CN111489396A - 利用临界边缘检测神经网络和几何模型确定相机参数 - Google Patents

Abstract

本公开涉及用于利用临界边缘检测神经网络和几何模型以从单个数字图像确定相机参数的系统、非暂态计算机可读介质以及方法。具体地，在一个或多个实施例中，所公开的系统可以训练和利用临界边缘检测神经网络，以从数字图像生成指示消失线的消失边缘图。然后，该系统可利用消失边缘图通过将几何模型应用于消失边缘图来更准确地和高效地确定相机参数。此外，系统可以从训练数字图像集合生成地面真值消失线数据，以用于训练临界边缘检测神经网络。

Description

利用临界边缘检测神经网络和几何模型确定相机参数

背景技术

近年来，在数字图像分析和编辑领域已经看到了显著的进步。由于算法和硬件的进步，传统的数字图像分析系统现在能够以各种方式分析和编辑数字图像。例如传统的数字图像分析系统可以重新投影数字图像，以使它们看起来在视觉上对齐(例如垂直)并添加或减去在数字图像中描绘的对象。确实，传统的数字图像分析系统可以(具有控制中的相机参数)调整大小和定向新的数字对象，使其适合在数字图像中描绘的三维场景中。在这种三维合成中，至关重要的是要对相机校准进行精确估计，以确保前景和背景元素在最终绘制的图像中具有匹配的透视失真。

尽管传统的数字图像分析系统近年来已经发展，但是它们在准确性、灵活性和效率方面仍然存在若干重大缺陷。例如一些传统的数字图像分析系统可以利用卷积神经网络来确定相机参数并修改数字图像。具体地，传统的数字分析系统可以训练卷积神经网络以从数字图像标识相机参数。然而，这样的系统不是非常精确和/或准确的。实际上，利用卷积神经网络确定相机参数的许多数字图像分析系统具有很高的错误率。结果，这样的系统还生成了不准确、逼真的或视觉上不吸引人的修改的数字图像。

一些传统的数字图像分析系统利用几何方案来从数字图像确定相机参数。例如这样的传统系统可以分析数字图像中的几何形状以标识边缘并且在基于所标识的边缘来确定拍摄数字图像时相机参数。但是，这样的系统并不健壮或灵活。实际上，当分析包含误导或令人迷惑的形状和/或线条(例如缺少强消失线)的数字图像时，利用几何方法的传统系统在准确性方面存在重大问题。例如包含各种圆形物体、弯曲物体或指向随机方向的线的数字图像可能会破坏几何模型的准确性。

一些传统系统可以通过分析相同主题(例如相同场景或物体)的多个数字图像来确定相机参数。这样的系统效率低下，因为它们需要大量的计算机资源并需要处理多个图像以提取相机参数集合。此外，这样的系统提供了很少的灵活性，因为它们需要符合特定标准的数字图像，并且在许多情况下，用户不太可能拥有使系统正常工作所需的图像(即，刻画了相同主题的大量的数字图像)。另外，许多系统需要大量的计算机处理资源和时间来生成和利用训练数据。

这些连同与附加问题和争议关于传统数字图像分析系统一起存在。

发明内容

本公开的实施例利用系统、非暂时性计算机可读介质和计算机实现的方法来提供益处和/或解决本领域中的前述或其他问题中的一个或多个，所述系统、非暂时性计算机可读介质和计算机实现的方法用于利用临界边缘检测神经网络和几何模型来确定相机校准并且生成增强的数字图像。具体地，所公开的系统可以基于单个数字图像来准确、高效和灵活地确定相机参数，诸如焦距、俯仰、横滚或偏航。例如在一个或多个实施例中，所公开的系统利用基于深度学习的框架来加权数字图像中的边缘(例如以标识与数字图像透视相关的消失线)。然后，所公开的系统可以利用消失线结合几何模型来准确地标识相机参数并生成修改的数字图像。为了进一步改进效率和准确性，所公开的系统还可以从现有的数字图像存储库生成准确的训练数据，并使用该训练数据来训练临界边缘检测神经网络。具体地，所公开的系统可以从训练数字图像生成地面真值消失线，并且利用地面真值消失线来训练临界边缘检测神经网络以标识临界边缘。在训练后，系统可以结合几何模型利用临界边缘检测神经网络来更准确地确定相机参数并生成修改后的数字图像。

本公开的一个或多个实施例的附加特征和优点在下面的描述中被概述，并且从描述中将部分地显而易见，或者可以通过这种示例性实施例的实践来学习。

附图说明

如下面简要描述的，具体实施方式通过附图的使用为一个或多个实施例提供了附加的特异性和细节。

图1示出了根据一个或多个实施例的相机参数确定系统可在其中操作的环境的图。

图2示出了根据一个或多个实施例的确定用于数字图像的相机参数的概述。

图3A-3C示出了根据一个或多个实施例的从训练数字图像集合生成地面真值消失线的过程。

图4示出了根据一个或多个实施例的用于训练临界边缘检测神经网络的流程图。

图5示出了根据一个或多个实施例的利用临界边缘检测神经网络来生成消失边缘图。

图6示出了根据一个或多个实施例的利用数字图像的相机参数来生成增强的数字图像。

图7示出了根据一个或多个实施例的相机参数确定系统的框图。

图8示出了根据一个或多个实施例的用于利用临界边缘检测神经网络来确定相机参数的一系列动作的流程图。

图9示出了根据一个或多个实施例的用于训练临界边缘检测神经网络的一系列动作的流程图。

图10示出了根据一个或多个实施例的示例计算设备的框图。

具体实施方式

本公开描述了相机参数确定系统的一个或多个实施例，相机参数确定系统可以利用临界边缘检测神经网络结合几何模型来从单个数字图像中标识相机参数。相机参数确定系统可以训练临界边缘检测神经网络以标识数字图像中的消失线并生成边缘图(例如对指示数字图像内的透视的消失线进行加权的边缘图)。相机参数确定系统然后可以利用几何模型来分析由临界边缘检测神经网络生成的边缘图并标识相机校准。相机参数确定系统还可以通过生成用于训练临界边缘检测神经网络的地面真实数据来进一步改进准确性和效率。

为了说明，相机参数确定系统可以从训练数字图像集合中生成地面真值消失线。具体地，在一个或多个实施例中，相机参数确定系统标识训练数字图像中的线(例如边缘)，并通过分析线来确定消失点。基于消失点与数字图像中的线之间的距离，相机参数确定系统可以标识地面真值消失线。然后，相机参数确定系统可以利用训练的数字图像和地面真值消失线来训练临界边缘检测神经网络，以标识数字图像中的消失线。当训练临界边缘检测神经网络时，相机参数确定系统可以利用临界边缘检测神经网络来生成消失边缘图，该消失边缘图指示用于数字图像的消失线。在一个或多个实施例中，相机参数确定系统利用消失边缘图(例如通过应用几何模型)来更准确和高效地确定数字图像的相机参数。

如上所述，在一些实施例中，相机参数确定系统标识用于训练图像集合的地面真值消失线。更具体地，相机参数确定系统可以将数字图像映射到球体上并将球体划分为区域或“箱(“bins”)”。然后，相机参数确定系统可以标识球体上两条或更多条线的交叉点中的每一个。在一个或多个实施例中，相机参数确定系统利用数字图像的线、交叉点和/或像素之间的基于距离的投票方案来确定图像的主要消失点。在一些实施例中，相机参数确定系统利用主要消失点，基于数字图像中各条线与主要消失点之间的距离来确定数字图像中的每条线是否为地面真值消失线。

此外，如上所述，相机参数确定系统可以训练临界边缘检测神经网络。具体地，在一个或多个实施例中，相机参数确定系统利用训练图像的地面真值消失线来训练临界边缘检测神经网络，以有监督的方式确定消失线。具体地，如下面关于图4更详细地讨论的，相机参数确定系统可以结合地面真值消失线利用损失函数来训练临界边缘检测神经网络以标识数字图像中的消失线。以这种方式，相机参数确定系统可以训练临界边缘检测神经网络，以基于在数字图像内的各种抽象级别上分析的上下文信息来标识消失线。

此外，相机参数确定系统可以利用训练的临界边缘检测神经网络来标识数字图像中的消失线并生成消失边缘图。在一个或多个实施例中，一旦训练了临界边缘检测神经网络，相机参数确定系统就可以利用临界边缘检测神经网络来生成包括多个边缘权重的消失边缘图。具体地，消失边缘图可以包括用于每个像素的权重，该权重指示每个像素对应于数字图像中的消失线的概率。

相机参数确定系统可以利用消失边缘图来确定用于相应数字图像的相机参数。更具体地，相机参数确定系统可以将几何模型应用于消失边缘图，以准确地确定焦距、俯仰、横滚或偏航。实际上，由于相机参数确定系统可以将几何模型应用于消失边缘图(而不是数字图像中包含的许多误导或错误的线)，因此相机参数确定系统可以改进所得相机参数的准确性。

相机参数确定系统还可以利用确定的相机参数来用数字图像执行各种功能。例如相机参数确定系统可以生成增强的数字图像。更具体地，相机参数确定系统可以将对象准确且无缝地添加到以数字图像描绘的三维场景中。相机参数确定系统还可以重新投影数字图像，以将垂直线和水平线对齐到消失点。此外，相机参数确定系统可以基于相机参数和数字图像来生成/估计在数字图像中描绘的场景或对象的三维模型。

相对于传统系统和方法，相机参数确定系统提供许多优点和益处。例如相机参数确定系统可以相对于传统系统改进准确性。实际上，通过应用临界边缘检测神经网络来生成准确的消失线，然后利用几何模型来分析消失线，相机参数确定系统可以准确地确定相机参数并生成更准确和逼真的增强型数字图像。因此，与利用预测相机参数的卷积神经网络的传统系统相比，相机参数确定系统可以利用专注于分析由临界边缘检测神经网络生成的准确消失线的几何模型来生成准确的相机参数。

此外，相对于传统系统，相机参数确定系统可以改进灵活性。例如在一个或多个实施例中，相机参数确定系统利用临界边缘检测神经网络来滤除未能反映图像透视的不准确或误导性的线。相机参数确定系统然后可以将几何模型应用于其余的准确消失线。因此，相机参数确定系统可以在各种各样的数字图像中甚至包括圆形或随机线的数字图像中稳健地生成准确的相机参数。相机参数确定系统还可以通过基于单个数字图像(而不是要求用户拍摄并提供对象或场景的多个数字图像)确定相机参数来改进灵活性。

此外，相机参数确定系统可以改进实现计算系统的效率。与传统系统相比，相机参数确定系统可以通过分析单个数字图像(而不是分析多个数字图像)来确定相机参数。此外，相机参数确定系统可以高效地生成和利用训练数据(例如来自现有数字图像存储库)来训练临界边缘检测神经网络。这可以大大减少生成和利用传统的、标记的训练数据所需的处理能力和时间。

总之，通过利用临界边缘检测神经网络，相机参数确定系统可以利用图像中的上下文信息来确定准确的消失线(例如第一边缘来自底板，因此该边缘可能指向消失点，或第二条边缘是楼梯扶手的一部分，可能会分散注意力)。此外，相机参数确定系统可以利用几何模型的精度，其中这种模型很可能会成功，从而相对于传统系统生成更好的整体性能。

如前面的讨论所示，本公开利用各种术语来描述动态表示管理系统的特征和益处。在下文中提供关于在本公开中使用的这些术语的含义的附加细节。例如如本文所使用的，术语“数字图像”是指任意数字符号、图片、图标或图示。例如术语“数字图像”包括具有以下或其他文件扩展名的数字文件：JPG、TIFF、BMP、PNG、RAW或PDF。术语“数字图像”还包括数字视频中的一个或多个图像(例如帧)。另外，术语“数字图像”是指以数字格式表示的3D对象。例如术语“数字图像”包括具有以下或其他文件扩展名的数字文件：OBJ、DAE、3DS、U3D和KMZ。因此，尽管本文的许多描述是用数字图像来表达的，但应理解，本公开内容还可应用于从数字视频中提取属性和/或编辑数字视频。另外，如本文中所使用的，术语“训练数字图像”是指用于训练神经网络的数字图像。具体地，术语“训练数字图像”可以包括与可用于训练神经网络的地面真值数据关联的数字图像。

如本文所使用的，术语“相机设备”是指可用于拍摄图像的任意设备。具体地，术语“相机设备”可以包括如上所述的能够拍摄任意种类的数字图像的设备。为了说明，相机设备可以包括数码相机或胶卷相机、移动电话或其他移动设备、平板计算机、计算机或可以拍摄图像的任意其他设备。

另外，如本文中所使用的，术语“相机参数”是指用于拍摄数字图像的相机设备的特性或性质。具体地，术语“相机参数”可以包括在拍摄数字时相机设备的特性，该特性影响数字图像的外观。为了说明，相机参数可以包括焦距、视场、俯仰、横滚和/或偏航。

此外，如本文中所使用的，术语“神经网络”是指可以基于输入来调整(例如训练)以近似未知功能的机器学习模型。具体地，术语“神经网络”可包括互连层的模型，该互连层在改变抽象度时来传送和分析属性，以学习近似复杂功能并基于提供给模型的多个输入来生成输出。例如术语“神经网络”包括一种或多种机器学习算法。换句话说，神经网络包括实现深度学习技术的算法，即利用算法集合来尝试对数据中的高级抽象建模的机器学习。下面提供了有关示例性神经网络和对应网络架构的其他详细信息。

此外，如本文所使用的，术语“临界边缘检测神经网络”是指用于从数字图像中标识消失线的神经网络。例如临界边缘检测神经网络可以包括神经网络(例如用于生成包括来自数字图像的消失线的消失边缘图)。在一个或多个实施例中，临界边缘检测神经网络包括卷积神经网络，诸如堆叠的沙漏(“hourglass”)网络。关于临界边缘检测神经网络的示例性架构和能力的附加细节在下面更详细地讨论(例如关于图2、4和5-6)。

此外，如本文所使用的，术语“消失点”是指图像中指示透视的区域(例如图像中的线看起来会聚的透视相关点或方向)。具体地，术语“消失点”可以包括数字图像中的点、向量、线或区域(例如，“视点”、水平线或北极)，其中在三维空间中相互平行的线的二维透视投影看起来会聚。消失点可以包括水平消失点(例如沿着水平线的公共方向/线/点/区域，诸如亚特兰大消失点)、垂直消失点(例如数字图像的垂直线的公共方向/线/点/区域)或其他消失点。消失点可以采用多种形式，诸如二维空间中线会聚的点。在三维应用中(例如当将数字图像映射到三维全景球时)，术语消失点还可以包括消失方向(例如指示图像中透视线指向或相交的方向的向量)。实际上，在一些实施例中，相机参数确定系统标识消失点，该消失点包括三维空间中的正交消失方向(例如正交的x、y和z方向上的消失方向)。实际上，在一个或多个实施例中，消失点对应于分别反射x、y和z方向的三个曼哈顿方向。

此外，如本文所使用的，术语“消失线”是指数字图像中的线，其对应于数字图像中的一个或多个消失点。具体地，术语“消失线”可以包括在消失点(例如在水平消失点或垂直消失点)处会聚的线，其接近消失点或与消失点对齐。

如本文中所使用，术语“地面真值”是指反映用于训练神经网络的数字图像的已知属性集合的已知像素集合的信息。例如地面真值消失线可以包括从数字图像标识的已知消失线(例如指向消失点的线)。相机参数确定系统可以利用地面真值消失线来训练临界边缘检测神经网络。

此外，如本文所使用的，术语“训练线”是指在训练数字图像中标识的线。具体地，术语“训练线”可以包括通过将边缘检测模型应用于训练数字图像而标识的线。因此，训练线可以包括训练数字图像中描绘的任意线或边缘。如下面更详细地讨论的，相机参数确定系统可以从训练数字图像中的训练线确定地面真值消失线。

此外，如本文所使用的，术语“消失边缘图”是指来自数字图像的消失线的表示。为了说明，消失边缘图可以包括阵列，向量，数据库或图像(例如黑白或灰度图像)，其中每个条目表示数字图像的像素并指示该像素是否对应于消失线。在一个或多个实施例中，消失边缘图包括权重(即加权消失边缘图)，其中每个权重指示对应像素描绘数字图像内消失线的一部分的置信度值(例如，置信度的度量，诸如概率)。

类似地，如本文所使用的，术语“加权消失边缘图”是指基于图像中的线的权重而生成的数字图像的消失边缘图。为了说明，相机参数确定系统可以基于各种标准来确定数字图像中每条线的权重，包括线长和/或线与一个或多个消失点之间的距离(即，图像中的线与消失点之间的角距离、和/或图像中消失点与线的交叉点之间的线距离)。然后，相机参数确定系统可以通过施加权重来生成消失边缘图。例如相机参数确定系统可以基于权重(例如权重是否满足阈值)来确定要包括在加权消失边缘图中的线。

此外，如本文所使用的，术语“权重”是指用于强调和/或去强调一个或多个像素的值。例如权重可以包括置信度值(例如任意置信度的度量，诸如概率值)。例如术语“权重”可以指给定线是消失线的置信度值或给定像素被包括在消失线中的置信度值。此外，如本文所使用的，术语“训练权重”是指训练图像中的线和/或像素的权重。更具体地，可以将训练权重用作训练图像的一部分，以训练临界边缘检测神经网络。

另外，如本文中所使用的，术语“几何模型”是指分析数字图像中的线和/或形状以估计相机参数的模型。例如术语“几何模型”可以指的是对来自数字图像的定向元素进行分组并迭代地对其进行细化以便于估计图像的方向或相机参数的模型。为了说明，术语“几何模型”可以包括搜索会聚线及其交叉点以确定数字图像中的垂直和/或水平方向和/或相机参数的模型。

现在将相对于描绘示例性实施例的说明图来提供关于相机参数确定系统的附加细节。具体地，图1示出了相机参数确定环境100。如图1所示，相机参数确定环境100包括客户端设备102，客户端设备102包括客户端应用104，并且与用户106相关联。客户端设备102经由网络108与服务器设备110进行通信。服务器设备110可以包括数字媒体管理系统112，其进而可以包括相机参数确定系统114。

尽管图1示出了经由服务器设备110实现的相机参数确定系统114，但是动态表示管理系统114可以经由其他组件来实现。例如相机参数确定系统114可以全部或部分地由客户端设备102来实现。类似地，相机参数确定系统114可以经由客户端设备102和服务器设备110两者来实现。

客户端设备102可以包括各种类型的计算设备。例如客户端设备102可以是移动设备(例如智能电话)、平板计算机、膝上型计算机、台式计算机或以下参考图10进一步说明的任何其他类型的计算设备。另外，客户端应用104可以包括各种类型的客户端应用程序中的任何一种。例如客户端应用104可以是在线应用(例如Web浏览器)，并且客户端设备102上的用户106可以输入统一资源定位符(URL)或将Web浏览器定向到服务器设备110的其他地址。替代地，客户端应用104可以是开发用于客户端设备102的不同本机应用。

另外，一个或多个服务器设备110可以包括一个或多个计算设备，其包括以下参照图10说明的那些计算设备。在一些实施例中，一个或多个服务器设备110包括内容服务器。服务器设备110还可以包括应用服务器、通信服务器、网络托管服务器、社交联网服务器或数字内容活动服务器。

客户端设备102，服务器设备110和网络108可以使用适合于传送数据和/或通信信号的任意通信平台和技术进行通信，包括支持数据通信的任意已知通信技术、设备、介质和协议，其示例参考图10进行描述。

尽管不是必需的，但是相机参数确定系统114可以是数字媒体管理系统112的一部分。数字媒体管理系统112收集、监视、管理、编辑、分发和分析各种媒体。例如数字媒体管理系统112可以基于经由客户端设备102处的一个或多个用户界面标识的用户输入来分析和编辑数字图像和/或数字视频。在一个或多个实施例中，数字媒体管理系统112可以利用相机参数确定系统114来确定相机参数和/或基于相机参数来修改数字图像。例如数字媒体管理系统112可以向相机参数确定系统114提供数字图像，并且相机参数确定系统114可以向数字媒体管理系统112提供用于所提供图像的相机参数。在其他实施例中，服务器设备110可以包括除了数字媒体管理系统112之外的系统，并且相机参数确定系统114可以经由替代手段来接收图像。例如服务器设备110可以经由网络108从客户端设备102或从另一源接收图像。如上所述，相机参数确定系统114可以高效、准确和灵活地确定数字图像的相机参数。具体地，图2示出了根据一个或多个实施例的确定用于数字图像的相机参数的概述。

具体地，如图2所示，相机参数确定系统114将数字图像202提供给临界边缘检测神经网络204，该临界边缘检测神经网络204生成消失边缘图206。相机参数确定系统114随后可以将几何模型208应用于消失边缘图206。此外，相机参数确定系统114可以利用几何模型208确定数字图像202的相机参数210。

如图2所示，相机参数确定系统114接收数字图像202并确定该图像的相机参数。数字图像202可以是各种文件类型中的任意一种，并且可以描绘各种场景类型中的任意一种。此外，相机参数确定系统114可以确定许多数字图像的相机参数，并且这样做无需考虑数字图像集合的文件或场景类型之间的相似性或差异。

如图2进一步所示，相机参数确定系统114可以利用临界边缘检测神经网络204来生成消失边缘图206。如关于图3-4进行更详细的描述，相机参数确定系统114可以训练临界边缘检测神经网络以从数字图像生成包括消失线的消失边缘图206。临界边缘检测神经网络204可以标识数字图像202中的线，并且可以确定数字图像中的每条线是否是消失线(例如与消失点相对应的消失线)。如图所示，临界边缘检测神经网络204利用从数字图像202中标识出的消失线来生成消失边缘图(例如其包括来自数字图像202的每条消失线，而没有来自数字图像的不是消失线的线)。

如图2所示，相机参数确定系统114利用几何模型208从消失边缘图206生成相机参数210。几何模型208检测消失边缘图206中的消失线并使用消失线来估计数字图像202的消失点和相机参数。垂直可以通过将来自消失边缘贴图206的定向线分组为场景中的多个消失点并进行迭代细化来执行此操作。将几何模型208应用于消失边缘图206(而不是数字图像202)会导致更准确的结果，因为不存在误导或“错误”的线段。因此，基于将几何模型208应用于消失边缘图206，相机参数确定系统114能够更准确和高效地确定数字图像202的相机参数210。

几何模型208利用基于优化的相机校准来估计数字图像的消失线、消失点和相机参数。几何模型还可以执行垂直调整，其中模型会自动修改图像中的线条以拉直数字图像。这些调整使倾斜的线条与人的感知期望看到图像的方式一致。换句话说，几何模型208可以去除相对于人类观察的失真。这种调整在具有强烈几何提示的图像的上下文中可能会有所帮助，诸如包括大型人造结构的图像。

为了确定图像的相机参数，几何模型208对数字图像执行边缘检测算法以标识数字图像中的线。几何模型208利用能量函数，并且迭代地优化该函数以估计各种矩阵(例如相机固有参数矩阵、取向矩阵)，然后可以将其用于估计针对图像的消失点、消失线和相机参数。然而，如上所述，对于没有强几何提示或具有许多弯曲或紧密平行线的图像，几何模型208在估计中可能不准确。

例如在一个或多个实施例中，相机参数确定系统114通过利用Elya Shechtman,Jue Wang,Hyunjoon Lee,and Seungyong Lee in Camera Calibration and AutomaticAdjustment Of Images,Patent No.9098885B2中描述的方法来应用几何模型208，其全部内容通过引用并入本文。类似地，相机参数确定系统114可以通过利用由HyunjoonLee,EliShechtman,Jue Wang,and Seungyong Lee in Automatic Upright Adjustment ofPhotographs,Journal of Latex Class Files,Vol.6,No.1(January 2007)中描述的方法来应用几何模型208，其全部内容通过引用并入本文。

在一个或多个实施例中，相机参数确定系统114响应于确定消失边缘图不足以使几何模型208生成准确的结果而利用替代方法。例如响应于确定消失边缘图具有不足数量的消失线以供在几何模型208中使用(例如小于满足置信度阈值的消失线的阈值数量)，相机参数确定系统114可以利用直接卷积神经网络方法。具体地，在一个或多个实施例中，相机参数确定系统利用基于卷积神经网络(CNN)的方法来直接确定用于数字图像的相机参数。

如上所述，相机参数确定系统114可以生成用于训练临界边缘检测神经网络的地面真值数据。图3A-3C示出了根据一个或多个实施例的生成地面真实数据。更具体地，图3A-3C示出了相机参数确定系统，其标识数字图像中的线并确定每条线是否为消失线以生成用于数字图像的地面真值消失线集合。具体地，图3A示出了相机参数确定系统114生成未过滤的边缘图。然后，图3B示出了相机参数确定系统114将未过滤的边缘图映射到球面全景上并标识主要消失点。另外，图3C示出了相机参数确定系统114利用主要消失点和未过滤的边缘图来生成地面真值边缘图。

如图3A所示，相机参数确定系统114接收数字图像302，并基于数字图像302生成未过滤的边缘图304。未过滤的边缘图304包括从数字图像302检测到的线，(即来自数字图像302的消失线和非消失线)。为了生成未过滤的边缘图304，相机参数确定系统114将边缘检测算法应用于数字图像302以标识来自数字图像中的线中的每一个。

如图3B所示，相机参数确定系统114可以将未过滤的边缘图304映射到球体(即，包括球体或球体的一部分的球面全景图)上，从而生成边缘映射球体306。像未过滤的边缘图304一样，边缘映射球体306包括从数字图像302检测到的线。将未过滤的边缘图304映射到球体上之后，相机参数确定系统114将边缘映射的球体306划分为各个区域或“箱”。此外，在一个或多个实施例中，相机参数确定系统114标识边缘映射球体306上的每个交叉点，并且基于这些交叉点，生成交叉点映射球体308。

如上所述，在一个或多个实施例中，相机参数确定系统114可以将训练线从全景数字图像映射到球形全景图(例如球体或球形)上。然后，相机参数确定系统114可以通过将图像划分为几个不同的、可能重叠的子图像来对全景数字图像的不同部分进行“采样”。相机参数确定系统114可以将这些子图像准备为训练图像，并且执行以下关于图3B-3C列举的步骤，并且可以在训练临界边缘检测神经网络时将这些图像用作训练图像。

如图3B所示，相机参数确定系统114可以对消失点执行基于距离的投票310。如上所述，在一个或多个实施例中，相机参数确定系统114可以确定球体306、308上的“箱”或区域的集合。在一个或多个实施例中，相机参数确定系统114均匀地或平均地划分球体。此外，在一个或多个实施例中，相机参数确定系统114可以确定针对边缘映射球体306上的线和/或交叉点映射球体308上的交叉点的基于距离的“投票”。相机参数确定系统114可以对在边缘映射球体306上检测到的线段执行霍夫变换，或执行各种类似变换中的任意一种。

更具体地，相机参数确定系统114可以利用各种投票方案中的任意一种来确定数字图像302的主要消失点。相机参数确定系统114可以基于距关于各个潜在消失点的距离或定向，从像素、线或交叉点确定投票。例如相机参数确定系统114可以发起成对投票方案，其中关于交叉点中涉及的线中的每一个，考虑线之间的交叉点。在另一个实施例中，相机参数确定系统114可以确定在边缘映射的球体306上的线中的每一个与到潜在消失点的每一个之间的角距离，以确定“投票”。

最后，基于投票，相机参数确定系统114可以确定图像的主要消失点312。在一个或多个实施例中，相机参数确定系统114标识预定数量的消失点(例如顶部的三个箱作为顶部的三个消失点)。在其他实施例中，相机参数确定系统114标识任意数量的消失点(例如满足阈值数量或投票百分比的任意消失点)。在一些实施例中，相机参数确定系统114标识与相互正交的消失方向相对应的消失点。例如水平消失方向314、316和垂直消失方向318相互正交。

如图3C所示，相机参数确定系统114利用主要消失点312和未过滤的边缘图304来执行加权线的动作320以生成地面真值边缘图322。具体地，相机参数确定系统114可以对未过滤的边缘图304中的每条线进行加权。相机参数确定系统114可以基于图像302的线中的每一个与主消失点之间的距离和/或基于线与图像302的主消失点中的每一个的对齐来确定线中的每一个的权重(即训练权重)。

这些训练权重可以反映加权线中的每一个是消失线的概率或置信度值。在一个或多个实施例中，权重是基于来自所标识的消失点与线、线之间的交叉点、或构成线的像素中的一个或多个的距离。例如权重可以基于消失点与线之间的角距离。在另一个示例中，权重可以基于线交叉点和消失点之间的线性距离。相机参数确定系统114然后可以基于这些测量的距离来分配权重，并且可以基于距离与权重本身之间的线性关系来确定权重。

在一个或多个实施例中，相机参数确定系统114然后可以使用线中的每一个的权重来生成地面真值边缘图316。相机参数确定系统114可以确定哪些线包括在地面真值消失边缘图322中作为消失线。在一个或多个实施例中，权重可包括阈值，在该阈值处权重被视为消失线。即，高于预定阈值的权重将使相机参数确定系统114将加权线包括在地面真值消失边缘图322中，而低于预定阈值的权重将使相机参数确定系统114排除来自地面真值消失边缘图322的加权线。

相机参数确定系统114可以利用数字图像中线的进一步分类。例如相机参数确定系统114可以利用多个(例如两个或更多个)预定阈值，一个阈值确定在消失边缘图316内的高权重，而一个阈值确定在消失边缘图316内的低权重。这两个阈值作为示例给出，并且应当理解，相机参数确定系统114可以利用在要处理的图像的上下文中有帮助的任意数量的权重阈值。此外，如上所述，相机参数确定系统114可以利用反映来自消失点的距离的连续权重。

因此，如图3C所示，相机参数确定系统114生成地面真值消失线集合作为地面真值消失边缘图322的一部分。相机参数确定系统114可以重复图3A-3C所示的动作用于多个数字图像(例如来自现有的数字图像存储库)，并生成多个地面真值消失边缘图，这些地面真值消失边缘图反映了每个数字图像的地面真值消失线。

如上所述，相机参数确定系统114可以利用训练数字图像地面真值消失线来训练临界边缘检测神经网络。例如图4示出了根据一个或多个实施例的训练临界边缘检测神经网络204以准确地确定消失线的相机参数确定系统114。具体地，关于图4，相机参数确定系统114利用训练图像402和对应的地面真值消失线数据404来训练临界边缘检测神经网络204。

如图4所示，相机参数确定系统114利用训练图像402和相关联的地面真值消失线数据404来训练未训练的临界边缘检测神经网络406。如上关于图3所述，相机参数确定系统114可以利用训练图像402来生成地面真值消失线数据404。在一个或多个实施例中，未训练的临界边缘检测神经网络406利用训练图像402和地面真值消失线数据404，以学习从数字图像准确标识消失线。

具体来说，如图4所示，相机参数确定系统114利用临界边缘检测神经网络406生成预测的消失边缘图408。具体地，临界边缘检测神经网络分析训练图像402以生成多个预测的消失线。例如临界边缘检测神经网络可以针对每个像素预测该像素是否属于训练图像402内的消失线。

然后，如图4所示，相机参数确定系统114将用于训练图像402的训练消失边缘图408与地面真值消失线数据404进行比较。更具体地，相机参数确定系统114利用生成计算的损失的损失函数410将训练消失边缘图408与对应训练图像402的地面真值消失线进行比较。具体地，损失函数410可以确定地面真值消失线数据404与训练消失边缘图408中的消失线之间的损失度量(例如差异度量)。

此外，如图4所示，相机参数确定系统114然后利用计算出的损失来学习更准确地从数字图像中标识消失线。例如相机参数确定系统114修改神经网络参数414(例如神经网络的层的内部权重)以减少或最小化损失。具体地，相机参数确定系统利用反向传播技术来修改临界边缘检测神经网络406的内部参数，以减少由于损失函数410的应用而导致的损失。

通过重复分析训练图像，生成预测的消失边缘图，将预测的消失边缘图与地面真实消失线进行比较，以及修改神经网络参数，相机参数确定系统114可以训练临界边缘检测神经网络406以准确地从数字图像中标识消失线。实际上，在一个或多个实施例中，相机参数确定系统114在阈值时间量、阈值迭代次数或直到达到阈值损失之前，迭代地训练临界边缘检测神经网络406。如上所述，在一个或多个实施例中，相机参数确定系统114利用包括卷积神经网络架构的临界边缘检测神经网络。例如图5示出了根据一个或多个实施例的临界边缘检测神经网络204的示例性架构和应用。如图5所示，并且如关于图2所讨论的，临界边缘检测神经网络204接收数字图像202，标识数字图像202中的消失线，并从数字图像202生成包括消失线的消失边缘图206。

临界边缘检测神经网络204可以对数字图像202执行逐像素预测。具体地，临界边缘检测神经网络可以利用沙漏网络的变体。因此，在一个或多个实施例中，临界边缘检测神经网络通过对与数字图像202相对应的特征图进行二次采样来执行自下而上的处理，并且通过结合来自底层的高分辨率特征来通过对特征图进行上采样来执行自顶向下的过程。在一个或多个实施例中，代替使用标准残差单元(例如卷积块)作为临界边缘检测神经网络204的基本构造块，临界边缘检测神经网络204包括特征的类似初始的金字塔以标识消失线。以这种方式，相机参数确定系统114可以在分析数字图像202时拍摄多尺度视觉图案(或语义)。

通常，沙漏神经网络的结构包括大致相等的自上而下和自下而上的处理，并且许多包含两个或多个沙漏结构，因此数据被交替地进行自下而上和自上而下的处理。这种架构允许神经网络在每个规模捕获信息，并跨各种分辨率组合信息，并且在图像中的对象的标识方面看到了巨大的成功。各个层的特定结构可以根据特定神经网络的目的而变化，但是采用有助于像素级预测的卷积-反卷积架构。例如在一个或多个实施例中，相机参数确定系统114可以利用沙漏神经网络，如由Alejandro Newell,Kaiyu Yang,and Jia Deng inEuropean Conference on Computer Vision(2016),Stacked Hourglass Networks forHuman Pose Estimation中所描述的，其全部内容通过引用方式并入本文。

为了说明，如图5所示，临界边缘检测神经网络204包括多个金字塔特征单元502。具体地，临界边缘检测神经网络204利用类似于金字塔特征网络(PFN)的各种金字塔特征。在这些金字塔特征内，临界边缘检测神经网络204可以包括各种并行卷积层，类似于在卷积神经网络(CNN)或更具体地在起始网络中发现的那些。

如图5所示，临界边缘检测神经网络204包括多个卷积层，其包括各种卷积操作。例如图5示出了具有1x1卷积操作的上卷积分支504和具有1x1卷积操作、3x3卷积操作和另一1x1卷积操作的下部卷积分支506。这些卷积分支504、506一起构成金字塔特征单元。如图所示，上卷积分支504与下卷积分支506并行。金字塔特征单元502接收输入并根据卷积分支504、506中的每一个来对输入执行卷积操作。然后，在输出508，临界边缘检测神经网络204将结果级联起来，并将其发送到下一个模块。这种方法有助于保留消失的线段中的更多细节，避免应用更多传统卷积块可能导致的模糊或失真的热图。

在一个或多个实施例中，临界边缘检测神经网络204通过确定每个像素的置信度值来生成消失边缘图206。置信度值指示来自临界边缘检测神经网络的该像素对应于消失线(例如被包括在消失线中或作为消失线的一部分)的置信度的度量。在其他实施例中，临界边缘检测神经网络204可以确定每条线的置信度值。临界边缘检测神经网络204可以利用这些置信度值来确定来自数字图像的哪些像素和/或线包括在消失边缘图206中作为消失线。在一个或多个实施例中，该确定基于置信度值必须遵守以包含的预定阈值。如上所述，相机参数确定系统114然后可以将消失边缘图206“馈送”到几何模型，然后该几何模型将仅考虑消失边缘图中包括的线，以确定用于数字图像的各种相机参数。

此外，临界边缘检测神经网络204可以基于与那些像素和/或线相对应的置信度值来确定数字图像中的像素和/或线的权重。然后，基于这些权重，临界边缘检测神经网络可以生成加权消失边缘图，加权消失边缘图反映了边缘图自身中分配的权重。即，在一个或多个实施例中，临界边缘检测神经网络204可以生成加权消失边缘图，该加权消失边缘图反映了其中包括的消失线中的每一个的置信度的量度。为了说明，加权消失边缘图可以反映出几何模型应给予具有较高置信度值的像素和/或线更多的考虑，而几何模型应给予具有较低置信度值的像素和/或线较少的考虑。因此，相机参数确定系统114可以利用几何模型和加权消失边缘图来确定相机参数。

除了(或作为替代)置信度值，相机参数确定系统114还可以基于线长度来确定权重。具体地，相机参数确定系统114可以给予与较长消失线相对应的像素/线更大的权重。类似地，相机参数确定系统114可以给予与较短消失线相对应的像素/线减少的权重。因此，相机参数确定系统114可以基于置信度值和/或线长来强调和/或不强调像素/线。

消失边缘图206中的消失线可以对应于不同的消失点(例如消失方向)。更具体地，消失边缘图206可以包括垂直消失线(例如具有与垂直消失方向相对应的交叉点的消失线)和水平消失线(例如具有与水平消失方向相对应的交叉点的消失线)。应当理解，相机参数确定系统114可以利用垂直和水平消失线两者来确定用于数字图像的相机参数。即，临界边缘检测神经网络204可以确定垂直消失线和水平消失线两者，并且可以生成包括这两种消失线的消失边缘图206。相机参数确定系统114可以利用该消失边缘图206和几何模型来确定数字图像的相机参数。

如以上关于图2所讨论的，相机参数确定系统114可以利用消失边缘图和几何模型来确定单个数字图像的相机参数。例如图6示出了相机参数确定系统114，其利用针对数字图像604的相机参数602以用数字图像604执行各种动作。例如相机参数确定系统114呈现用于修改数字图像的图形用户界面606。基于用户与图形用户界面606的交互，相机参数确定系统114可以利用相机参数602来生成增强的数字图像。

例如如图6所示，摄像头参数确定系统114利用相机参数602将椅子添加到数字图像604。摄像头参数确定系统114利用相机参数602来恰当地在数字图像604中描绘的三维空间(例如场景)中定位椅子。确实，如图所示，相机参数指示相机的俯仰、横滚和偏航，这允许几何模型在数字图像内恰当地使椅子恰当地定向。尽管图6示出了将对象添加到数字图像604，但是应当理解，相机参数确定系统114可以执行各种照片编辑功能中的任意一种，包括删除对象、修改照明或纹理、组合图像或任意其他编辑功能。此外，相机参数还可用于生成数字图像中描绘的场景的三维模型。

进一步地，如图6所示，相机参数确定系统114基于相机参数602提供视觉辅助以与数字图像604一起显示，以促进照片编辑(例如通过能够实现与用户界面的更精确的交互)。具体地，相机参数确定系统114提供与数字图像604内的消失点相对应的视线。这种方法能够实现编辑中的精确性，从而在达到期望的结果之前需要较少的交互。

另外，相机参数确定系统114可以在图像搜索上下文中利用相机参数602。例如在一个或多个实施例中，相机参数确定系统114利用相机参数602来从图像数据库中标识具有相似或相同相机参数的数字图像。具体地，相机参数确定系统114可以为图像数据库中的所有数字图像确定相机参数。相机参数确定系统114然后可以基于所确定的相机参数来进行搜索。例如相机参数确定系统114可以提供用户界面，在该用户界面中，用户106可以基于一个或多个相机参数(例如具有与输入数字图像相同的俯仰、横滚和偏航的图像)来指定搜索参数。相机参数确定系统114然后可以标识满足搜索参数的图像。

现在参考图7，将提供关于根据一个或多个实施例的相机参数确定系统114的能力和组件的附加的细节。具体地，图7示出了托管在计算设备701上的相机参数确定系统114的示例架构的示意图。相机参数确定系统114可以表示先前描述的相机参数确定系统114的一个或多个实施例。

如图所示，相机参数确定系统114位于计算设备701上作为数字媒体管理系统112的一部分，如上所述。通常，计算设备701可以表示各种类型的计算设备(例如服务器设备110或客户端设备102)。例如在一些实施例中，计算设备701是非移动设备，诸如台式机或服务器。在其他实施例中，计算设备701是移动设备，诸如移动电话、智能电话、PDA、平板计算机、膝上型计算机等。关于计算设备701的附加细节在下面参考图10进行讨论。

如图7所示，相机参数确定系统114包括用于执行本文所述的过程和特征的各种组件。例如相机参数确定系统114包括地面真值消失线数据引擎702、临界边缘检测神经网络704、神经网络训练引擎706、相机参数引擎707和数据存储装置708。下面依次介绍这些组件中的每一个。

如图7所示，相机参数确定系统114可以包括地面真值消失线数据引擎702。地面真值消失线数据引擎702可以创建、生成地面真值数据和/或将地面真值数据提供给相机参数确定系统114。如以上关于图3A-3C所讨论的，地面真值消失线数据引擎702可以生成用于训练数字图像集合的地面真值消失线。更具体地，地面真值消失线数据引擎702可以将数字图像映射到球体上，确定数字图像中的交叉点，确定数字图像中的消失点，测量数字图像中的各种距离，以及确定数字图像的地面真值消失线。

另外，如图7所示，相机参数确定系统114还包括临界边缘检测神经网络704。如以上关于图3-5所述，临界边缘检测神经网络704可以确定数字图像中的消失线并生成消失边缘图，消失边缘图包括来自数字图像的消失线(但不包括来自数字图像的其他线)。如下所述，临界边缘检测神经网络704可以由神经网络训练引擎706来训练。

此外，如图7所示，相机参数确定系统114还包括神经网络训练引擎706。神经网络训练引擎706可以训练神经网络以利用地面真实数据执行各种任务。如关于图4更详细地讨论的，神经网络训练引擎706可以使损失函数最小化并且利用地面真实数据。更具体地，神经网络训练引擎706可以训练临界边缘检测神经网络704以标识消失线并生成消失边缘图。神经网络训练引擎706可以使用来自地面真值消失行数据引擎702的地面真值数据。

另外，如图7所示，相机参数确定系统114包括相机参数引擎707。如以上更详细地讨论的，相机参数引擎707可以基于由临界边缘检测神经网络704生成的消失边缘图来确定相机参数。如上所述，相机参数引擎可以利用几何模型。

同样，如图7所示，相机参数确定系统114包括存储管理器708。存储管理器708可以代表相机参数确定系统114来存储和/或管理数据。存储管理器708可以存储与相机参数确定系统114有关的任意数据。例如存储管理器708可以存储消失线数据710和相机参数数据712。

图7示出了根据一个或多个实施例的可在其上实现相机参数确定系统114的至少一部分的计算设备701的示意图。相机参数确定系统114的每个组件702-712可以包括软件、硬件或两者。例如组件702-712可以包括一个或多个指令，一个或多个指令被存储在计算机可读存储介质上，并且可以由一个或多个计算设备的处理器执行，诸如客户端设备102或服务器设备110。当被一个或多个处理器执行时，相机参数确定系统114的计算机可执行指令可以使计算设备执行本文所述的方法。可替代地，组件702-712可以包括硬件，诸如执行特定功能或功能组的专用处理设备。备选地，动态表示管理系统114的组件702-712可以包括计算机可执行指令和硬件的组合。

此外，相机参数确定系统114的组件702-712例如可以被实现为一个或多个操作系统，实现为一个或多个独立应用，实现为一个应用的一个或多个应用的模块，实现为一个或多个插件，实现为一个或多个库函数或其他应用可以调用的函数，和/或实现为云计算模型。因此，组件702-712可以被实现为独立的应用，诸如桌面或移动应用。此外，组件702-712可以被实现为托管在远程服务器上的一个或多个基于网络的应用。组件702-712也可以在一套移动设备应用或“apps”中实现。为了说明，组件702-712可以在应用中实现，包括但不限于

STOCK、

LUMETRI^TM、或ADOBE

ADOBE、ADOBE DIMENSION、ADOBE STOCK、PHOTOSHOP、LIGHTROOM、PAINTCAN、LUMETRI、和ADOBE PREMIERE在美国和/或其他国家中是Adobe Inc的注册商标或商标。

图1-7，对应的文本和示例提供了相机参数确定系统114的许多不同的方法，系统，设备和非暂时性计算机可读介质。如图8-9所示，除了上述描述，还可以根据包括用于实现特定结果的动作的流程图来描述一个或多个实施例。图8-9可以以更多或更少的动作来执行。此外，动作可以以不同顺序执行。另外，本文描述的动作可以彼此平行地或与相同或相似动作的不同实例平行地重复或执行。

如上所述，图8-9示出了根据一个或多个实施例的用于训练和利用临界边缘检测神经网络的一系列动作800、900的流程图。尽管图8-9示出了根据一个实施例的动作，但是替代实施例可以省略、增加、重新排序和/或修改图8-9所示的任意动作。图8-9的动作可以作为方法的一部分来执行。备选地，非暂态计算机可读介质可以包括指令，该指令当由一个或多个处理器执行时，使得计算设备701执行图8-9的动作。在一些实施例中，系统可以执行图8-9的动作。

如图8所示，一系列动作800包括标识由具有相机参数的相机拍摄的图像的动作802。例如动作802可以涉及标识经由具有一个或多个相机参数的相机设备拍摄的数字图像。动作802还可以涉及通过将几何模型应用于第一消失线集合和第二消失线集合来确定一个或多个参数。此外，动作802可以涉及利用图像搜索数据库来标识数字图像以标识具有某些特征的图像。

此外，如图8所示，一系列动作800包括使用临界边缘检测神经网络204从数字图像生成消失边缘图的动作804。例如动作804可以涉及利用临界边缘检测神经网络204从数字图像生成消失边缘图，其中消失边缘图包括来自数字图像的多条消失线，其对应于数字图像中的消失点，并且其中临界边缘检测神经网络204被训练以从训练数字图像和与训练数字图像的地面真值消失点相对应的地面真值消失线生成消失边缘图。此外，动作804可以涉及使用临界边缘检测神经网络204，其中消失边缘图包括来自数字图像的消失线。此外，动作804可以涉及使用临界边缘检测神经网络204来生成加权消失边缘图，该加权消失边缘图反映了每条线是消失线的置信度和/或概率。动作804还可以包括通过生成第一消失线集合和第二消失线集合来生成消失边缘图，其中第一消失线集合具有对应于与水平消失方向相对应的消失点的交叉点，并且第二消失线集合具有对应于与垂直消失方向相对应的消失点的第二交叉点。

动作804的消失边缘图可以包括对应于数字图像的像素的置信度值，该置信度值包括像素对应于消失线的置信度的量度。此外，动作804可以包括：基于置信度值来确定针对多条线的权重；基于针对多条线的权重来生成加权的消失边缘图；以及基于加权的消失边缘图来生成一个或多个相机参数。此外，动作804的临界边缘检测神经网络204可以包括卷积神经网络。

另外，如图8所示，一系列动作800包括使用消失边缘图来确定图像的相机参数的动作806。例如动作806可以涉及利用消失边缘图来确定对应于数字图像的一个或多个相机参数。动作806还可以涉及使用加权的消失边缘图来确定针对数字图像的一个或多个相机参数。动作806还可以包括通过在加权消失边缘图中在给定较大权重的像素和/或线上的放置更多考虑以及在加权消失边缘图中在给定较小权重的像素和/或线上放置较少考虑来确定相机参数。

此外，动作806的相机参数可包括焦距、俯仰、横滚或偏航中的至少之一。动作806还可以涉及利用几何模型来确定数字图像的一个或多个相机参数。此外，几何模型可以基于包括在消失边缘图中的消失线并且不包括来自数字图像的其他线来确定数字图像的一个或多个相机参数。此外，动作806可以涉及利用几何模型来确定图像的相机参数，其中几何模型至少部分地基于与消失边缘图中包括的消失线相关联的一个或多个置信度值和/或权重来确定图像的相机参数。

转到图9，一系列动作900包括使用训练图像中的训练线确定训练图像的消失点的动作902。例如动作902可以包括利用多个训练图像中的训练数字图像中的训练线来确定训练数字图像的消失点。动作902还可以涉及将训练数字图像细分成区域。此外，动作902可以包括基于在投票方案中接收最多投票的区域来确定预定数量的主要消失点。

动作902还可以涉及将训练线映射到球形全景图，分析训练线以生成针对多个候选消失区域的多个投票，并基于多个投票来从多个候选消失区域中确定消失点。另外，动作902可以涉及投票方案，其中图像中的每个像素投票用于训练数字图像的一个或多个区域作为消失点。此外，动作902可以包括投票方案，其中训练数字图像中的每个线针对图像的一个或多个区域投票作为消失点。此外，动作902可以包括将霍夫变换(或各种相似变换中的任意一个)应用于球形全景图上的训练线。另外，动作902可以涉及确定训练数字图像的垂直消失点、第一水平方向和第二水平方向。

同样，如图9所示，一系列动作900包括为训练图像生成地面真值消失线集合的动作904。例如动作904可以涉及利用边缘映射的球体来生成用于训练数字图像的地面真值消失线集合。另外，动作904可以涉及将边缘映射的球体细分为多个子图像，并且确定各个子图像中的每一个的消失线以用作临界边缘检测神经网络的训练图像。

另外，如图9所示，一系列动作900包括确定消失点与训练线之间的距离的动作906。例如动作906可以涉及确定消失点中的消失点与训练线之间的距离。动作906还可以涉及确定消失线中的第一消失线与消失点中的第一消失点之间的第一角距离。此外，动作906可以涉及确定一个或多个线段的一个或多个交叉点与消失点中的一个或多个之间的距离。

另外，如图9所示，一系列动作900包括动作908，该动作908基于确定的距离包括作为消失线的训练线。例如动作908可以涉及基于消失点与训练线之间的距离将训练线包括在地面真值消失线集合中。动作908还可以涉及基于消失点与训练线之间的距离来确定训练线的权重，并将训练线的权重与距离阈值进行比较。动作908可以附加地涉及基于将训练线的权重与距离阈值进行比较来将训练线包括在地面真值消失线集合中。

此外，如图9所示，一系列动作900包括动作910，该动作910使用临界边缘神经网络从训练图像生成预测的消失线。例如动作910可以涉及利用临界边缘检测神经网络204从训练数字图像生成预测的消失线。动作910还可以包括利用临界边缘检测神经网络的层的金字塔特征单元，其中金字塔特征单元包括与一系列多个卷积操作并行的卷积操作。此外，动作910可以涉及将来自金字塔特征单元的每一层的卷积操作的结果进行连接。

同样，如图9所示，一系列动作900包括通过比较预测的消失线和地面真值消失线来修改临界边缘神经网络的参数的动作912。例如动作912可以涉及通过比较预测的消失线和地面真实消失线的集合来修改临界边缘检测神经网络204的参数。此外，动作912可以涉及利用损失函数来修改临界边缘检测神经网络204的参数，其中临界边缘检测神经网络基于由损失函数确定的损失的最小化来修改参数。

除了上述动作之外(或作为上述动作的替代)，在一些实施例中，一系列动作800、900包括用于训练临界检测边缘神经网络以从训练数字图像生成消失边缘图的步骤。关于图3A-5描述的方法和动作可以包括用于训练临界检测边缘神经网络以从训练数字图像生成消失边缘图的对应动作。

除了上述动作之外(或作为上述动作的替代)，在一些实施例中，一系列动作800、900包括用于利用临界边缘检测神经网络来生成数字图像的消失边缘图的步骤。关于图2和图5描述的方法和动作可以包括用于利用临界边缘检测神经网络来生成数字图像的消失边缘图的对应动作。

本公开的实施例可以包括或利用专用或通用计算机，该专用或通用计算机包括计算机硬件，诸如例如一个或多个处理器和系统存储器，如下面更详细地讨论的。本公开范围内的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。具体地，本文描述的过程中的一个或多个过程可以至少部分地实现为体现在非暂态计算机可读介质中并且可由一个或多个计算设备(例如本文描述的媒体内容访问设备中的任意一个)执行的指令。通常，处理器(例如微处理器)从非暂时性计算机可读介质(例如存储器)接收指令，并执行那些指令，从而执行一个或多个处理，包括本文所述的过程中的一个或多个。

计算机可读介质可以是通用或专用计算机系统可以访问的任意可用介质。存储计算机可执行指令的计算机可读介质是非暂态计算机可读存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施例可以包括至少两种明显不同类型的计算机可读介质：非暂态计算机可读存储介质(设备)和传输介质。

非暂态计算机可读存储介质(设备)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储设备、磁盘存储设备或其他磁性存储设备、或可用于存储期望程序代码部件的任意其他介质，期望程序代码部件以计算机可执行指令或数据结构形式并且可以由通用或专用计算机访问。

“网络”被定义为能够实现在计算机系统和/或模块和/或其他电子设备之间电子数据的传送的一个或多个数据链路。通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)将信息传递或提供给计算机时，计算机会将该连接恰当地视为传输介质。传输介质可以包括网络和/或数据链路，该网络和/或数据链路可以用于携带期望程序代码部件，期望程序代码部件以计算机可执行指令或数据结构的形式，并且可以由通用或专用计算机访问。上述的组合也应被包括在计算机可读介质的范围内。

此外，在到达各种计算机系统组件时，可以将计算机可执行指令或数据结构形式的程序代码装置从传输介质自动传递到非暂态计算机可读存储介质(设备)(反之亦然)。例如可以将通过网络或数据链路接收的计算机可执行指令或数据结构缓冲在网络接口模块(例如“NIC”)内的RAM中，然后最终传递到计算机系统RAM和/或计算机系统处的易失性较小的计算机存储介质(设备)。因此，应当理解，非暂态计算机可读存储介质(设备)可以被包括在也(或者甚至主要地)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如指令和数据，指令和数据当由处理器执行时，使通用计算机、专用计算机或专用处理设备执行特定功能或功能组。在一些实施例中，计算机可执行指令由通用计算机执行以将通用计算机转变成实现本公开内容的元件的专用计算机。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应该理解，所附权利要求书中定义的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。

本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实践本公开，所述计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费类电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机等。本公开还可以在分布式系统环境中实践，在分布式系统环境中，通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统均执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备中。

本公开的实施例也可以在云计算环境中实现。如本文中所使用的，术语“云计算”是指用于能够实现对可配置计算资源的共享池的按需网络访问的模型。例如可以在市场中采用云计算，以提供对可配置计算资源共享池的普遍且方便的按需访问。可配置计算资源的共享池可以经由通过虚拟化快速供应，并以较少的管理工作量或服务提供商交互来释放，然后被相应地扩展。

云计算模型可以由各种特征组成，诸如例如按需自助服务、广泛的网络访问、资源池、快速弹性、测量的服务等等。云计算模型还可以公开各种服务模型，例如软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础架构即服务(“IaaS”)。云计算模型还可以使用不同的部署模型来部署，诸如私有云、社区云、公共云、混合云等。另外，如本文所使用的，术语“云计算环境”是指其中采用云计算的环境。

图10示出了示例计算设备1000的框图，该示例计算设备1000可以被配置为执行上述处理中的一个或多个。将理解，诸如计算设备1000的一个或多个计算设备可以代表上述计算设备(例如计算设备701、服务器设备110和客户端设备102)。在一个或多个实施例中，计算设备1000可以是移动设备(例如移动电话、智能电话、PDA、平板计算机、膝上型计算机、相机、跟踪器、手表、可穿戴设备等)。在一些实施例中，计算设备1000可以是非移动设备(例如台式计算机或另一类型的客户端设备102)。此外，计算设备1000可以是包括基于云的处理和存储能力的服务器设备。

如图10所示，计算设备1000可以包括一个或多个处理器1002、存储器1004、存储设备1006、输入/输出接口1008(或“I/O接口1008”)以及通信接口1010，其可以通过通信基础设施(例如总线1012)的方式通信地耦合。尽管在图10中示出了计算设备1000，但是图10中示出的组件并非旨在进行限制。在其他实施例中可以使用附加或替代组件。此外，在某些实施例中，计算设备1000包括比图10所示的组件更少的组件。现在将更加详细地描述图10所示的计算设备1000的组件。

在特定实施例中，处理器1002包括用于执行指令的硬件，诸如构成计算机程序的那些。作为示例而非限制地，为了执行指令，处理器1002可以从内部寄存器、内部高速缓存、存储器1004或存储设备1006中取回(或获取)指令，并且解码并执行他们。

计算设备1000包括耦合到处理器1002的存储器1004。存储器1004可用于存储数据、元数据和由处理器执行的程序。存储器1004可以包括易失性和非易失性存储器中的一个或多个，诸如随机存取存储器(“RAM”)、只读存储器(“ROM”)、固态磁盘(“SSD”)、闪存、相变存储器(“PCM”)或其他类型的数据存储装置。存储器1004可以是内部或分布式存储器。

计算设备1000包括用于存储数据或指令的存储设备1006。作为示例，但不作为限制，存储设备1006可以包括上述非暂态存储介质。存储设备1006可以包括硬盘驱动器(HDD)、闪存、通用串行总线(USB)驱动器或这些或其他存储设备的组合。

如图所示，计算设备1000包括一个或多个I/O接口1008，其被提供以允许用户向计算设备1000提供输入(例如用户笔画)，从计算设备1000接收输出，以及以其他方式向计算设备1000和从计算设备1000传递数据。这些I/O接口1008可以包括鼠标、小键盘或键盘、触摸屏、相机、光学扫描仪、网络接口、调制解调器、其他已知的I/O设备或这些I/O接口1008的组合。触摸屏可以用手写笔或手指激活。

I/O接口1008可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，I/O接口1008被配置为将图形数据提供给显示器以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以服务于特定实现的任意其他图形内容。

计算设备1000可以进一步包括通信接口1010。通信接口1010可以包括硬件、软件或两者。通信接口1010提供一个或多个接口，用于在计算设备与一个或多个其他计算设备或一个或多个网络之间的通信(诸如例如基于分组的通信)。作为示例而非限制，通信接口1010可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器，或者用于与诸如WI-FI的无线网络通信的无线NIC(WNIC)或无线适配器。计算设备1000可以进一步包括总线1012。总线1012可以包括将计算设备1000的组件彼此连接的硬件、软件或两者。

在前述说明书中，已经参考本发明的特定示例实施例描述了本发明。参考本文讨论的细节描述了本发明的各个实施例和方面，并且附图示出了各个实施例。上面的描述和附图是对本发明的说明，并且不应解释为对本发明的限制。描述了许多具体细节以提供对本发明的各种实施例的透彻理解。

在不脱离本发明的精神或必要特征的情况下，本发明可以以其他特定形式实施。所描述的实施例在所有方面仅应被认为是示意性的而非限制性的。例如本文描述的方法可以用更少或更多的步骤/动作来执行，或者步骤/动作可以以不同的顺序来执行。另外，本文描述的步骤/动作可以彼此平行地或与相同或相似步骤/动作的不同实例并行地重复或执行。因此，本发明的范围由所附权利要求书而不是前面的描述指示。落在权利要求的等同含义和范围内的所有改变均应被涵盖在其范围之内。

Claims (20)

1.一种非暂态计算机可读存储介质，包括指令，所述指令在由至少一个处理器执行时，使得计算机系统：

标识经由具有相机参数相机设备拍摄的数字图像；

利用临界边缘检测神经网络来从所述数字图像生成消失边缘图，其中：

所述消失边缘图包括来自所述数字图像的多条消失线，所述多条消失线对应于所述数字图像中的消失点；以及

所述临界边缘检测神经网络被训练，以从训练数字图像和与所述训练数字图像的地面真值消失点相对应的地面真值消失线生成消失边缘图；以及

利用所述消失边缘图来确定与所述数字图像相对应的所述相机参数。

2.根据权利要求1所述的非暂态计算机可读存储介质，还包括指令，所述指令在由所述至少一个处理器执行时，使得所述计算机系统：通过生成第一消失线集合和第二消失线集合来生成所述消失边缘图，所述第一消失线集合具有与水平消失方向相对应的交叉点，所述第二消失线集合具有与垂直消失方向相对应的第二交叉点。

3.根据权利要求2所述的非暂态计算机可读存储介质，还包括指令，所述指令在由所述至少一个处理器执行时，使得所述计算机系统：通过将几何模型应用于所述第一消失线集合和所述第二消失线集合来确定所述一个或多个参数。

4.根据权利要求1所述的非暂态计算机可读存储介质，其中所述消失边缘图包括与所述数字图像的像素相对应的置信度值，所述置信度值包括所述像素对应于所述多个消失线中的一个或多个消失线的置信度的量度。

5.根据权利要求4所述的非暂态计算机可读存储介质，还包括指令，所述指令在由所述至少一个处理器执行时，使得所述计算机系统：

基于所述置信度值来确定多条线的权重；

基于所述多条线的所述权重来生成加权的消失边缘图；以及

基于所述加权的消失边缘图来生成所述相机参数。

6.根据权利要求1所述的非暂态计算机可读存储介质，其中所述相机参数包括焦距、俯仰、横滚或偏航中的至少一个。

7.根据权利要求1所述的非暂态计算机可读存储介质，其中所述临界边缘检测神经网络包括卷积神经网络。

8.一种系统，包括：

一个或多个存储器，包括：

多个训练数字图像，包括多个训练线；

临界边缘检测神经网络；

至少一个处理器；以及

非暂态计算机存储器，包括指令，所述指令在由所述至少一个处理器执行时，通过以下各项使得所述系统训练所述临界边缘检测神经网络：

利用所述多个训练图像的所述训练数字图像中的训练线，确定针对所述训练数字图像的消失点；

通过以下各项生成用于所述训练数字图像的地面真值消失线集合：

确定所述消失点的一个消失点与训练线之间的距离；以及

基于所述一个消失点与所述训练线之间的所述距离，将所述训练线包括在所述地面真值消失线集合中；

利用所述临界边缘检测神经网络从所述训练数字图像生成预测的消失线；以及

通过比较所述预测的消失线和所述地面真值消失线集合来修改所述临界边缘检测神经网络的参数。

9.根据权利要求8所述的系统，其中确定针对所述训练数字图像的消失点包括：

将所述训练线映射到球形全景图；

分析所述训练线以生成针对多个候选消失区域的多个投票；以及

基于所述多个投票，从所述多个候选消失区域确定所述消失点。

10.根据权利要求9所述的系统，其中确定针对所述训练数字图像的消失点还包括将霍夫变换应用于所述球形全景图上的所述训练线。

11.根据权利要求10所述的系统，还包括：

基于所述一个消失点与所述训练线之间的所述距离，确定针对所述训练线的训练权重；以及

将针对所述训练线的所述训练权重与距离阈值进行比较。

12.根据权利要求11所述的系统，还包括基于将针对所述训练线的所述训练权重与所述距离阈值进行比较，将所述训练线包括在所述地面真值消失线集合中。

13.根据权利要求8所述的系统，其中确定针对所述训练数字图像的消失点包括确定针对所述训练数字图像的垂直消失方向、第一水平方向和第二水平方向。

14.根据权利要求8所述的系统，其中从所述训练数字图像生成预测的消失线还包括利用所述临界边缘检测神经网络的层的金字塔特征单元，其中所述金字塔特征单元包括与一系列多个卷积操作并行的卷积操作。

15.根据权利要求8所述的系统，还包括指令，所述指令在由所述至少一个处理器执行时，使得所述系统：通过确定所述消失线中的第一消失线与所述消失方向中的第一消失方向之间的第一角距离来确定所述距离。

16.根据权利要求8所述的系统，其中所述临界边缘检测神经网络包括卷积神经网络。

17.一种用于确定针对数字图像的相机参数的方法，包括：

执行用于训练临界检测边缘神经网络以从训练数字图像生成消失边缘图的步骤；

标识经由具有相机参数的相机设备拍摄的数字图像；

执行用于利用所述临界边缘检测神经网络来生成针对所述数字图像的消失边缘图的步骤；以及

利用所述消失边缘图来确定用于拍摄所述数字图像的所述相机的所述相机参数。

18.根据权利要求17所述的方法，其中所述相机参数包括焦距、俯仰、横滚和偏航中的一个或多个。

19.根据权利要求17所述的方法，其中所述消失边缘图包括来自所述数字图像的一条或多条消失线。

20.根据权利要求17所述的方法，还包括基于所确定的所述相机参数从所述数字图像生成增强的数字图像。

Images