CN112188036A - 通过视觉障碍拍摄照片 - Google Patents

Abstract

本发明涉及通过视觉障碍拍摄照片。本公开涉及用于图像捕获的系统和方法。即，图像捕获系统可以包括被配置为捕获视场的图像的相机、显示器和控制器。可以从初始相机姿势捕获视场的初始图像。可以确定在视场中可观察到障碍。基于障碍，可以确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望的位置。可以显示捕获界面，其可以包括用于将相机移动到至少一个期望的相机姿势的指令。可以从至少一个期望相机姿势捕获视场的至少一个另外的图像。可以处理捕获的图像以从背景图像中移除障碍。

Description

通过视觉障碍拍摄照片

本申请是申请日为2016年12月28日、申请号为201680083531.9、发明名称为“通过视觉障碍拍摄照片”的发明专利申请的分案申请。

优先权申请

本申请要求在2016年6月9日提交的美国临时专利申请No.62/348,118的优先权，其全部内容通过引用并入本文。

背景技术

相机的视场可以包括反射或遮挡元素。在这样的场景中，由相机捕获的图像可能提供比不包括这种反射或遮挡元素的图像更不理想的结果。

发明内容

本文所公开的系统和方法涉及图像捕获系统和方法，其可以提供不具有另外可能经由传统图像捕获系统捕获的遮挡或反射元素的图像。

在一个方面，提供了一种系统。该系统包括被配置成捕获视场的图像的相机和显示器。该系统还包括具有至少一个处理器和存储器的控制器。处理器执行在存储器中存储的程序指令以便执行操作。操作包括使相机从初始相机姿势捕获视场的初始图像并确定在视场中可观察到障碍。操作包括基于障碍确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望的位置。操作包括使显示器提供捕获界面。捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令。操作还包括使相机捕获视场的至少一个另外的图像。操作还包括处理捕获的图像以提供视场的至少一个背景图像。在背景图像中不存在至少一部分障碍。

在一个方面，提供了一种方法。该方法包括经由相机从初始相机姿势捕获视场的初始图像。相机包括显示器。该方法包括确定在视场中可观察到障碍。该方法还包括基于障碍确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望位置。该方法还包括经由显示器提供捕获界面。捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令。该方法还包括经由相机捕获视场的至少一个另外的图像。该方法还包括处理捕获的图像以提供视场的至少一个背景图像。在背景图像中不存在至少一部分障碍。

在一个方面，提供了一种系统。该系统包括用于执行本文描述的其他各个方面的操作的各种装置。

在另一个方面，提供了一种系统。所述系统包括：相机，被配置为捕获图像；显示器；以及控制器，包括至少一个处理器和存储器，其中，所述处理器执行在存储器中存储的程序指令以便执行操作，所述操作包括：接收由相机以初始相机姿势捕获的场景的初始图像；检测在场景的初始图像中可以观察到障碍；响应于检测到障碍，显示与将相机移动到至少一个期望的相机姿势对应的指令，其中，所述至少一个期望的相机姿势提供对具有障碍移除过程可使用的场景的至少一个视场的至少一个二次(secondary)图像的捕获，所述至少一个二次图像与所述初始图像组合作为用于生成其中不存在障碍的至少一部分的场景的输出图像的基础；接收根据所述指令捕获的所述至少一个二次图像；以及进行所述障碍移除过程以生成所述输出图像。

在另一个方面，提供了一种方法。所述方法包括：接收从相机的初始相机姿势捕获的场景的初始图像，其中，相机包括显示器设备或者被通信地耦合到显示器设备；在场景的初始图像中检测障碍；响应于检测到障碍，显示与将相机移动到至少一个期望的相机姿势对应的指令，其中，所述至少一个期望的相机姿势提供对具有障碍移除过程可使用的场景的至少一个视场的至少一个二次图像的捕获，所述至少一个二次图像与所述初始图像组合作为用于生成其中不存在障碍的至少一部分的场景的输出图像的基础；接收根据所述指令捕获的所述至少一个二次图像；以及进行所述障碍移除过程以生成所述输出图像。

通过阅读以下详细描述并在适当时参考附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应该理解的是，本发明内容以及本文提供的其他描述和附图旨在仅通过示例的方式说明实施例，并且因此可以进行多种变化。例如，结构性元件和处理步骤可以重新排列、组合、分配、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。

附图说明

图1示出了根据示例实施例的系统的示意图。

图2示出了根据示例实施例的图像捕获系统。

图3A示出了根据示例实施例的图像捕获场景。

图3B示出了根据示例实施例的图像捕获场景。

图3C示出了根据示例实施例的图像捕获场景。

图4示出了根据示例实施例的方法。

图5示出了根据示例实施例的两个图像捕获场景。

图6示出了根据示例实施例的四个图像捕获场景。

图7示出了根据示例实施例的障碍移除处理。

图8示出了根据示例实施例的障碍移除处理。

具体实施方式

本文描述了示例方法、设备和系统。应当理解，词语“示例”和“示例性”在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征更优选或更具优势。在不脱离本文提出的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。

因此，本文描述的示例实施例不意味着是限制性的。如在此一般描述的和在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中考虑。

此外，除非上下文另有所指，否则每个附图中示出的特征可以彼此组合使用。因此，附图通常应被视为一个或多个整体实施例的组成方面，应理解并非所有示出的特征对于每个实施例都是必需的。

I.概述

当相机的视场包括反射和/或遮挡元素时，传统的图像捕获技术可能产生不希望的结果。例如，当通过玻璃窗向黑暗场景(例如，在夜晚)拍摄图片时，来自明亮的室内物体的反射可能会洗掉或以其他方式降低背景暗场景的图像。作为另一示例，由于诸如笼杆或栅栏的遮挡对象，通过围闭物拍摄动物园动物可能提供不太理想的结果。

在示例实施例中，可以在移除图像前景中的遮挡元素的环境中应用本文描述的系统和方法。作为非限制性示例，遮挡元素可以包括窗户上的杆、栅栏、条、屏幕、雨滴，或者可以在相机的视场的前景中可观察到的其他元素。在示例实施例中，可以将各种图像处理算法应用于在不同相机位置处捕获的图像，以便恢复场景，使得其没有诸如反射、眩光、栅栏、雨滴和污垢的视觉障碍。

所描述的系统和方法可利用运动视差来在移动相机时确定场景或背景、层和障碍或前景层的不同运动模式。这样，在可以将它们混合的图像帧中场景层可以与障碍层分离。

本文描述的方法可以应用于多个静止图像(例如，经由移动设备的静止帧DSLR或单帧捕获模式捕获)和/或应用于多个视频图像(例如，经由摄像机或移动设备的视频捕获模式捕获)。此外，系统和方法可以涉及单个相机或多个相机(例如，立体或其他多镜头成像系统)。

附加地或替代地，本文描述的系统和方法可以在数字存档照片打印的背景下应用。也就是说，在一些照相打印上光泽或甚至无光泽的成品可能导致由传统相机捕获的对象打印的严重劣化的图像。例如，捕获的图像可能包括明亮的、生成的条纹，这可能是不希望的。本文的系统和方法可以通过处理从相对于对象打印的各种不同相机角度/位置捕获的对象打印的多个图像，基本上消除或减轻不期望的元素。

在这种场景下，可以将亮反射描述为源自与主对象打印不同的虚拟平面。这样，当移动相机的捕获位置时，反射可以移动到对象打印上的不同位置，或者可以一起从对象打印移除。如本文所述，诸如智能电话的成像系统可以被配置为经由显示器向用户提供用于从相对于对象打印的不同捕获位置捕获初始图像和多个进一步图像的指令。例如，指令可以类似于指导用户捕获全景图像的指令。

响应于接收到成像系统正在移动到不同的相应捕获位置或其接近的近似位置的信息，可以捕获多个进一步的图像。基于多个捕获图像(初始图像和进一步的图像)，可以自动执行图像处理以提供不包括反射的背景图像。这样，与传统技术相比，背景图像可以提供对象打印的更高质量的数字化。

II.示例系统

图1示出了根据示例实施例的系统100的示意图。系统100包括相机110、显示器120、用户界面130、定位系统140和控制器150。在示例实施例中，系统100可以合并到移动设备(例如，智能电话、膝上型电脑或平板电脑)、数码相机(例如，数字单透镜反射(DSLR)相机)或另一类型的成像系统中。

相机110可以包括一个或多个图像传感器，其被配置为捕获系统100的环境的视场的图像。相机110可以另外包括一个或多个光学元件，诸如透镜、偏振器或滤光器。光学元件可以沿着光轴放置，并且可以被配置为调整入射到相机110中的光的一个或多个方面。例如，光学元件可以被配置为将光聚焦到相对于一个或更多图像传感器的焦平面上。

显示器120可以包括被配置为向系统100的用户提供视觉信息的设备。即，显示器120可以包括具有多个像素元素的屏幕。像素元件可以包括多个发光二极管(LED)、薄膜晶体管(TFT)或另一类型的图像像素技术。在一些实施例中，显示器120可以合并到触摸屏中，触摸屏又可以被视为用户界面130的元素。

用户界面130可以包括用户与系统100的一个或多个方面交互的各种方式。例如，用户界面130可以包括一个或多个按钮、开关、触摸板、显示器或指示器。在这种场景下，用户可以按下系统100的按钮或触摸板以调整系统100的操作模式。例如，用户界面130可以被配置为接受来自用户的输入以便从第一操作模式(例如，标准拍摄模式)调整到第二操作模式(例如，阻挡场景拍摄模式)。此外，用户可以通过用户界面130能够控制切换操作模式的自动化级别。例如，用户界面130可以包括手动切换到(和离开)阻挡场景拍摄模式的选项。附加地或替代地，用户界面130可以包括用于基于例如视场的一个或多个图像而自动确定是否从第一操作模式切换到第二操作模式的选项。

定位系统140可以被配置为向控制器150提供关于系统100和/或相机110的位置的信息。在这种场景下，定位系统140可以包括惯性测量单元(IMU)和/或全球定位系统(GPS)。在示例实施例中，定位系统140可以基于RF和/或WiFi三角测量方法来提供关于系统100的位置的信息。在实施例中，定位系统140可以被配置为确定系统100和/或相机110的姿势(例如，位置和方向)。也就是说，定位系统140可以向控制器150提供指示相机姿势以及导致相机姿势变化的运动的信息。其他类型的定位系统是可能的。

控制器150可以包括至少一个处理器152和存储器154。存储器154可以包括非暂时性计算机可读介质。即，存储器154可以包括被配置为存储信息的只读存储器(ROM)、随机存取存储器(RAM)、软盘驱动器、硬盘驱动器、固态驱动器(SSD)或另一类型的存储器元件。处理器152可以被配置为执行存储在存储器154中的程序指令，以便执行这里描述的各种操作。

在示例实施例中，操作可以包括使相机110从初始相机姿势捕获视场的初始图像。附加地或替代地，可以从各种相机姿势捕获多个初始图像，这可以提供在视场内存在一个或多个障碍的指示。也就是说，手持相机(或智能电话)的自然运动可以提供足够的运动以便确定在视场中存在障碍。

这样，操作可以包括确定在视场中可观察到障碍。在一个实施例中，系统100的用户可以肯定地选择“障碍移除”模式(例如，通过按钮或拨号盘)。在其他实施例中，系统100可以自动检测障碍的存在并执行本文所述的其他操作。

操作还可以包括基于障碍确定至少一个期望的相机姿势。在这种场景下，至少一个期望的相机姿势可以包括相机110的至少一个期望位置和/或相机110的至少一个期望方向。

操作可以另外包括使显示器提供捕获界面。这样，捕获界面可以包括与将相机移动到至少一个期望的相机姿势相对应的指令。在一些实施例中，显示器可以提供叠加在视场上的指令的视觉表示。作为非限制性示例，指令可以包括圆圈、箭头、彩色区域、阴影区域或其他类型的视觉表示，其可以向系统100的用户提供关于如何将相机110移动到期望的相机姿势的信息。

操作还包括使相机捕获视场的至少一个另外的图像。在示例实施例中，可以从至少一个期望的相机姿势捕获至少一个另外的图像。也就是说，操作可以可选地包括确定当前相机姿势对应于至少一个期望的相机姿势。作为示例，控制器150可以经由定位系统140接收指示当前相机姿势的信息。在这种场景下，响应于确定当前相机姿势对应于至少一个期望的相机姿势，可以捕获视场的至少一个另外图像。

操作还包括处理捕获的图像以提供视场的至少一个背景图像。根据本文描述的方法和系统，障碍的至少一部分不存在于背景图像中。

图2示出了根据示例实施例的图像捕获系统200。图像捕获系统200可以与诸如智能电话的移动设备类似或相同。图像捕获系统200可以包括与如关于图1所示和所述的系统100的元件类似或相同的元件。可以预期其他类型的图像捕获系统200。

图像捕获系统200可包括主体202、前置摄像头204、显示器206、第一软键208和第二软键210。图像捕获系统200还可包括后置摄像头212。虽然图像捕获系统200被示为具有单个前置和后置摄像头，但是多视摄像头布置是可能的。也就是说，图像捕获系统200可以在图像捕获系统200的一个或多个表面上包括立体相机。

图3A示出了根据示例实施例的图像捕获场景300。即，图像捕获场景300可以包括视场302，其包括前景障碍304(例如，大象围闭物的条)。图像捕获场景300可以包括可以布置在前景中的标记306。大象310可以位于前景障碍304的后面。

在这样的场景中，可以期望使用诸如关于图2所示和所述的图像捕获系统200的图像捕获系统来捕获图像，其不包括分散注意力且不吸引人的前景障碍304。在示例实施例中，图像捕获系统可以自动检测前景障碍304的存在。另外或替代地，用户可以调整操作模式以启动“障碍场景拍摄模式”。

图3B示出了根据示例实施例的图像捕获场景320。在进入障碍场景拍摄模式时，图像捕获系统可以经由显示器呈现指示期望的一个或多个相机姿势的信息。该信息可以是捕获界面的一部分。也就是说，显示器上的信息可以以文字、数字、符号或经由其他指示来指示图像捕获系统/相机应该移动到期望的相机姿势。如本文所述，期望的相机姿势可包括图像捕获系统的位置和指向方向。

作为示例，图像捕获场景320示出了移动区域322被呈现为在如图3A中所描述的大象场景的实时视图表示之上的叠加。在一些实施例中，如所示地，重叠的移动区域可包括透明或半透明的重叠层。重叠的移动区域322可以包括当前相机姿势指示324和期望的相机路径326，其可以对应于多个期望的相机姿势(例如，相机方向和/或相机位置)。在示例实施例中，图像捕获系统可以被配置为响应于相机姿势是期望相机姿势的集合中的至少一个来捕获图像。这样，捕获界面可以为用户提供视觉引导以移动图像捕获系统，使得可以根据本文阐述的算法从足够的相机姿势集合来捕获足够数量的图像。

在期望的相机姿势捕获场景的图像期间或之后，可以对多个捕获的图像执行各种图像处理、操纵和滤波方法。即，这样的方法可以包括从捕获的图像中选择多个采样帧，对齐多个采样帧，以及对多个采样帧进行滤波，以便移除障碍的至少一部分并提供背景图像帧。换句话说，背景图像帧可以包括视场的表示，其可以看起来好像障碍实际上不在视场中。

可以根据以下中的至少一个来执行对多个采样帧的对齐：边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。

一旦对齐完成，可以通过帧之间的每像素的比较来滤波背景配准的帧。在示例实施例中，可以选择具有最小值(例如，亮度或强度)的像素以合并到经处理的帧中。例如，如果多个采样帧包括十个帧，则可以将十个像素(每帧一个)彼此进行比较。使用最小强度标准，可以选择具有最低强度的像素以合并到一个或多个经处理的帧中。附加地或替代地，可以根据每像素的中值滤波方法来执行对多个采样帧的滤波。从采样帧中滤波像素的其他方式是可能的并且在此考虑。

处理所捕获的图像可以包括均衡多个采样帧的颜色和亮度。

在一些实施例中，系统可以被配置为确定障碍的类型。此外，至少一个期望的相机姿势可以基于障碍的类型。例如，障碍的类型可以包括以下中的至少一个：遮挡物体、镜面反射或直接反射。作为示例，如果遮挡对象包括垂直条集合，则可以确定期望的相机姿势以包括沿相对于垂直条的水平轴的各种相机位置。其他示例是可能的。

在示例实施例中，捕获界面的指令包括经由显示器显示的、与多个期望的相机姿势相对应的多个空间位置的视觉表示。也就是说，来自显示器的视觉输出可以包括点、线、圆和/或其他形状或指示器，其可以帮助向用户提供关于向何处移动系统的指导。

在示例实施例中，显示器可以提供视场的实时视图表示。例如，显示器可以显示由系统的给定相机捕获的视场。显示器还可以提供指示当前相机姿势的信息，即，当前的相机位置和/或方向。显示器可以附加地或替代地提供指示至少一个期望的相机姿势的信息。也就是说，显示器可以提供相机的方向或位置的图形表示。

此外，在图像处理之后，显示器可以提供背景图像的表示。

图3C示出了根据示例实施例的图像捕获场景330。图像捕获场景330可表示已移除前景障碍的经处理的背景帧。在一些实施例中，不需要移除一些前景元素。例如，如果前景区域足够大，则本文的算法不需要将其从背景图像帧中移除。作为示例，符号306可以保留在处理的背景图像帧中。

III.示例方法

图4示出了根据示例实施例的方法400。方法400可以包括各种块或步骤。这些块或步骤可以单独或组合地执行。块或步骤可以以任何顺序和/或串行或并行执行。此外，可以从方法400中省略或添加块或步骤。

方法400的一些或所有块可以涉及如参考图1和图2所示和所述的系统100或图像捕获系统200的元件。此外，方法400的一些块可涉及各种成像场景，诸如那些关于图3A、3B和3C所示和所述的。方法400的一些或所有块可以由控制器150与处理器152和存储器154相关联地执行。

块402包括经由相机从初始相机姿势捕获视场的初始图像。在这种场景下，相机可以包括显示器。

块404包括确定在视场中可观察到障碍。在一些实施例中，可以捕获若干初始图像，以便提供用于确定视场中是否存在障碍的信息。在示例实施例中，手持式相机的自然运动可以提供足够的移动以确定视场是否包括例如围闭物的条或玻璃窗的表面。

块406包括基于障碍确定至少一个期望的相机姿势。该至少一个期望的相机姿势包括相机的至少一个期望的位置。

在示例实施例中，该方法可以包括确定当前的相机姿势对应于至少一个期望的相机姿势。也就是说，响应于确定当前相机姿势对应于该至少一个期望的相机姿势，使相机捕获视场的至少一个另外的图像。

块408包括经由显示器提供捕获界面。捕获界面包括对应于将相机移动到至少一个期望的相机姿势的指令。捕获界面的指令包括由显示器提供的、与多个期望的相机姿势对应的多个空间位置的视觉表示。

捕获界面还包括显示器和视场的实时视图表示。捕获界面还可以包括指示当前相机姿势的信息，并且还可以提供指示至少一个期望的相机姿势的信息。

块410包括经由相机捕获视场的至少一个另外的图像。作为示例，可以从至少一个期望的相机姿势捕获视场的至少一个另外的图像。

块412包括处理捕获的图像以提供视场的至少一个背景图像。从背景图像中移除障碍的至少一部分。在示例实施例中，该方法可以包括经由显示器提供背景图像的表示。

在示例实施例中，处理捕获的图像包括从捕获的图像中选择多个采样帧，对齐该多个采样帧，以及对该多个采样帧进行滤波，以便移除障碍的至少一部分和提供背景图像帧。

可以根据以下中的至少一个来执行对该多个采样帧的对齐：边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。可以根据每像素最小值或中值滤波方法来执行对多个采样帧的滤波。处理捕获的图像还可以包括均衡多个采样帧的颜色和亮度。

在一些实施例中，该方法可以包括确定障碍的类型。例如，对至少一个期望的相机姿势的确定可以基于障碍的类型。在非限制性集合中，障碍的类型可以包括以下中的至少一个：遮挡对象、镜面反射或直接反射。

IV.示例图像捕获场景

许多图像捕获场景可以包括通过视觉障碍拍摄场景的照片。例如，在主要城市的摩天大楼的顶层，相机用户可能想要在晚上拍摄城市美景的照片。然而，出于安全和舒适的原因，窗户可能存在于相机和夜景之间。在这种场景下，无论摄影师如何摆动相机(例如，将相机移动到各种位置或方向)，都很难移除明亮的室内场景的反射。

另一个示例包括在动物园中拍照。虽然坚固而紧密的围栏对于保护游客免受野生动物(如老虎)的影响非常重要，但可能需要在捕获的图像中拍摄没有任何围栏的老虎的全貌。此外，可能需要拍摄具有野生动物的自拍(例如，捕获视觉上包含该摄影师的图像)，就像围栏不在那里一样。

图5示出了根据示例实施例的两个图像捕获场景500和510。在第一场景500中，沿着顶行，通过前景窗口朝向背景建筑物和地面来捕获图像。如左上图所示，捕获的图像包括障碍，其可以表征为格子衬衫的反射。可以从各种相机姿势捕获多个图像，其中背景建筑物和地面在相应的视场中。根据本文描述的方法，可以重建多个捕获的图像以便移除反射部分。附加地或替代地，可以单独提取反射用于进一步的分析或处理。

在第二场景510中，沿着底行，视场可以包括围闭物中的野生动物(例如，老虎)。捕获的图像可以包括障碍，其可以被表征为链式连接的围栏。如果从多个相机姿势捕获若干图像，则可以移除链式连接的围栏的外观。这样，重建的场景可以包括没有阻挡的围栏的视场的表示。在一些实施例中，可以分别提取和分析或处理链式连接的围栏层。

许多其他障碍移除的场景是可能的。图6示出了根据示例实施例的四个图像捕获场景600、610、620和630。图像捕获场景可以涉及几种不同类型的障碍。例如，障碍可包括车窗上的雨滴(600)。也就是说，在下雨天，人们可能想要通过由雨滴占据的车窗拍照。障碍可以包括用顶灯捕获相册的图像时的眩光(610)。因此，眩光可能会遮挡相册的照片内容。在另一示例中，当通过窗口捕获图像时，可能存在窗框元件(620)和破裂玻璃(630)。其他类型的障碍是可能的。

本文描述的系统可以被配置为移除数字照片中的这些不期望的、令人不悦的障碍以恢复视觉上更加令人愉悦的内容。如果用户或机器移动相机，则可以从单个图像自动移除这些视觉障碍。在这种场景下，场景(障碍后面的图像内容)层和障碍层经历不同的图像运动。对于不透明的障碍，场景图层中的所有像素都可能在相机移动序列的帧中可见。对于透明或半透明障碍(诸如反射)，可以在每个帧中对像素添加不同值，并且有时它们对整个图像的相对贡献可能很小。

换句话说，本公开可利用场景和障碍层的运动视差来从图像序列移除障碍以用于场景重建。

如本文所使用的，术语“场景”和“背景”对于在障碍后面或下面的图像部分是可互换的。在一些实施例中，取决于上下文，障碍可被称为“反射”或“前景”。

因为当前系统和方法基于相机的运动，所以场景和障碍层可以在被捕获的视频序列中相对于彼此移动。在示例实施例中，如果场景层是固定的(不移动)和/或障碍层是固定的，则可以使分离问题更容易。这可以通过根据由一些稳健的运动分析算法估计的流场将帧翘曲到参考帧来实现。

本系统和方法利用运动分析算法来分析存在障碍时的像素运动。一旦知道运动，系统可以尝试将障碍层与场景分开。对于透明反射，对障碍和场景的估计对于更可靠的重建可以是重要的。对于不透明和稀疏的障碍，如栅栏、雨滴和眩光，将障碍视为剔除值同时估计场景层可能就足够了。因此，诸如根据最小和/或最大亮度值的滤波的一些简单操作可以非常有效地移除类似眩光的障碍。

为了移除诸如反射的透明障碍，可以执行运动估计和图像重建之间的多次迭代。在这种场景下，在重建的场景/障碍层和捕获的帧之间进行运动估计。在示例实施例中，虽然图像重建依赖于来自运动估计分析的登记，但是本系统能够在这两个步骤之间进行迭代并产生视觉上令人愉悦的结果。

本文描述了两种用于障碍移除的系统。第一系统是完全去障碍方法，其中如图7所示，估计和重建场景和障碍层的运动和外观。图7示出了根据示例实施例的障碍移除过程700。第二系统是“精简”的去障碍方法，其中只对场景层的运动和外观进行建模和估计，同时障碍层简单地被视为异常值，如图8所示。图8示出了根据示例实施例的障碍移除过程800。

附图中所示的特定布置不应视为限制。应该理解的是，其他实施例可以包括给定附图中所示的每个元件的更多或更少。此外，可以组合或省略一些所示元件。此外，说明性实施例可包括图中未示出的元件。

表示信息处理的步骤或块可以与可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路对应。替代地或另外地，表示信息处理的步骤或块可以对应于模块、段或程序代码的一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令，用于实现方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如包括磁盘、硬盘驱动器或其他存储介质的存储设备。

计算机可读介质还可以包括非暂时性计算机可读介质，诸如在短时间段内存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括在更长的时间段存储程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括二级或持续性长期存储，例如只读存储器(ROM)、光盘或磁盘、紧凑盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是计算机可读存储介质，例如有形存储设备。

虽然已经公开了各种示例和实施例，但是其他示例和实施例对于本领域技术人员来说将是显而易见的。各种公开的示例和实施例是出于说明的目的而不是限制性的，真实范围由所附权利要求指示。

Claims (20)

1.一种系统，包括：

相机，被配置为捕获图像；

显示器；以及

控制器，包括至少一个处理器和存储器，其中，所述处理器执行在存储器中存储的程序指令以便执行操作，所述操作包括：

接收由相机以初始相机姿势捕获的场景的初始图像；

检测在场景的初始图像中可以观察到障碍；

响应于检测到障碍，显示与将相机移动到至少一个期望的相机姿势对应的指令，其中，所述至少一个期望的相机姿势提供对具有障碍移除过程可使用的场景的至少一个视场的至少一个二次图像的捕获，所述至少一个二次图像与所述初始图像组合作为用于生成其中不存在障碍的至少一部分的场景的输出图像的基础；

接收根据所述指令捕获的所述至少一个二次图像；以及

进行所述障碍移除过程以生成所述输出图像。

2.根据权利要求1所述的系统，其中，所述至少一个期望的相机姿势不同于所述初始相机姿势。

3.根据权利要求1所述的系统，其中，所述操作还包括确定当前相机姿势对应于所述至少一个期望的相机姿势，以及响应地使所述相机捕获与所述至少一个期望的相机姿势对应的所述至少一个二次图像。

4.根据权利要求1所述的系统，其中，进行所述障碍移除过程包括：

从所述初始图像和所述至少一个二次图像中选择多个采样帧；

对所述多个采样帧进行对齐；以及

对所述多个采样帧进行滤波以便移除障碍的所述至少一部分并提供输出图像。

5.根据权利要求4所述的系统，其中，根据以下中的至少一个来执行对所述多个采样帧的对齐：边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。

6.根据权利要求4所述的系统，其中，根据每像素最小滤波方法或每像素中值滤波方法中的至少一个来执行对所述多个采样帧的滤波。

7.根据权利要求4所述的系统，其中，进行所述障碍移除过程还包括均衡所述多个采样帧的颜色和亮度。

8.根据权利要求1所述的系统，其中，所述操作还包括：

确定所述障碍的类型；以及

基于所述障碍的类型确定所述至少一个期望的相机姿势。

9.根据权利要求8所述的系统，其中，所述障碍的类型包括以下中的至少一个：遮挡物体、镜面反射或直接反射。

10.根据权利要求1所述的系统，其中，所述指令包括经由所述显示器显示的、与所述至少一个期望的相机姿势对应的至少一个空间位置的视觉表示。

11.根据权利要求1所述的系统，还包括使显示器提供包括所述指令的捕获界面，其中，使显示器提供捕获界面包括：

使显示器提供相机的视场的实时视图表示；

使显示器提供指示当前相机姿势的信息；以及

使显示器提供指示所述至少一个期望的相机姿势的信息。

12.根据权利要求1所述的系统，其中，所述操作还包括使显示器经由捕获界面提供所述输出图像的表示。

13.一种方法，包括：

接收从相机的初始相机姿势捕获的场景的初始图像，其中，相机包括显示器设备或者被通信地耦合到显示器设备；

在场景的初始图像中检测障碍；

响应于检测到障碍，显示与将相机移动到至少一个期望的相机姿势对应的指令，其中，所述至少一个期望的相机姿势提供对具有障碍移除过程可使用的场景的至少一个视场的至少一个二次图像的捕获，所述至少一个二次图像与所述初始图像组合作为用于生成其中不存在障碍的至少一部分的场景的输出图像的基础；

接收根据所述指令捕获的所述至少一个二次图像；以及

进行所述障碍移除过程以生成所述输出图像。

14.根据权利要求13所述的方法，还包括：确定当前相机姿势对应于所述至少一个期望的相机姿势，以及响应地使所述相机捕获与所述至少一个期望的相机姿势对应的所述至少一个二次图像。

15.根据权利要求13所述的方法，其中，进行所述障碍移除过程包括：

从所述初始图像和所述至少一个二次图像中选择多个采样帧；

对所述多个采样帧进行对齐；以及

对所述多个采样帧进行滤波以便移除障碍的所述至少一部分并提供输出图像。

16.根据权利要求15所述的方法，其中，根据以下中的至少一个来执行对所述多个采样帧的对齐：边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。

17.根据权利要求15所述的方法，其中，根据每像素最小滤波方法或每像素中值滤波方法中的至少一个来执行对所述多个采样帧的滤波。

18.根据权利要求15所述的方法，其中，进行所述障碍移除过程还包括均衡所述多个采样帧的颜色和亮度。

19.根据权利要求13所述的方法，还包括：

确定障碍的类型；以及

基于所述障碍的类型确定所述至少一个期望的相机姿势。

20.根据权利要求19所述的方法，其中，所述障碍的类型包括以下中的至少一个：遮挡物体、镜面反射或直接反射。

Images