CN104978737A - 相机建模系统 - Google Patents

Abstract

提供一种相机建模系统。所述相机建模系统包括：消失点检测单元，被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点；视图模式确定单元，被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离，确定相机视图模式；相机建模单元，被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。

Description

相机建模系统

本申请要求于2014年4月3日提交到韩国知识产权局的第10-2014-0040061号韩国专利申请的权益，该申请的公开通过引用全部包含于此。

技术领域

一个或更多个示例性实施例涉及相机建模系统和方法。

背景技术

通过由用户直接输入相机参数(诸如相机的角度、焦距和安装高度)，或者通过在直接设置侧视图模式或俯视图模式之后设置表示预定尺寸的对象的框来查找相机参数，来执行传统相机建模。然而，由于必须直接输入用于相机建模的相机参数，因此给用户带来不便。此外，在设置侧视图模式或俯视图模式之后设置检测对象的框的情况下，结果容易受到用户输入的影响。

发明内容

一个或更多个示例性实施例包括对用于对象检测/跟踪、对象分类等的相机参数(诸如相机的角度、焦距、安装高度和测量模式)自动执行相机建模处理的系统。

其它方面将在下面的描述中部分地阐明，并且从描述中部分将是清楚的，或者可通过呈现的示例性实施例的实施而得知。

根据一个或更多个示例性实施例，一种相机建模系统包括：消失点检测单元，被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点；视图模式确定单元，被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离，确定相机视图模式；相机建模单元，被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。

可存在分别围绕所述多个参考检测对象的多个框；第一消失点可从连接所述多个框中的至少一对框的相应点的直线的交点得出；第二消失点可以是分别连接所述多个框的顶和底的直线的交点。

第一位置可以是检测区域的中心。

视图模式确定单元可根据从第一位置至第一消失点的距离与从第一位置至第二消失点的距离之间的差来确定相机视图模式。

相机视图模式可以是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。

相机建模单元可在相机视图模式是侧视图模式时通过将相机建模模式选择为自适应参数确定模式来执行相机建模；在相机视图模式是俯视图模式时通过将相机建模模式选择为直接参数确定模式来执行相机建模；在相机视图模式是统一视图模式时通过将相机建模模式选择为自适应参数确定模式、直接参数确定模式或者自适应参数确定模式和直接参数确定模式的组合来执行相机建模。

附图说明

从以下结合附图进行的对示例性实施例的描述，这些和/或其它方面将变得清楚且更容易理解，在附图中：

图1是根据示例性实施例的相机建模系统的示意性框图；

图2是根据示例性实施例的用于操作相机建模系统的方法的示意性流程图；

图3A是根据示例性实施例的用于检测水平消失点的方法的示例性示图；

图3B是根据示例性实施例的用于检测竖直消失点的方法的示例性示图；

图3C是根据示例性实施例的用于检测水平消失点和竖直消失点的方法的示例性示图；

图4A是用于基于从图3A中示出的检测图像检测到的消失点和图3A中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图；

图4B是用于基于从图3B中示出的检测图像检测到的消失点和图3B中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图；

图4C是用于基于从图3C中示出的检测图像检测到的消失点和图3C中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图；

图5A是根据示例性实施例的在相机视图模式是侧视图模式的情况下的示例性的相机建模模式的流程图；

图5B是根据示例性实施例的在相机视图模式是俯视图模式的情况下的示例性的相机建模模式的流程图。

具体实施方式

现在将对示例性实施例做出详细说明，在附图中示出示例性实施例的示例，其中，相同标号始终表示相同元件。在这点上，所呈现的示例性实施例可具有不同形式并且不应被解释为限于这里阐明的描述。因此，以下仅通过参照附图描述示例性实施例来解释本说明书的多个方面。如这里所使用的，当诸如“……中的至少一个”的表述出现在元件的列表之后时，其修饰元件的整个列表而不修饰列表中的单个元件。

在下文中，将参照附图详细描述示例性实施例。

图1是根据示例性实施例的相机建模系统的示意性框图。

参照图1，根据示例性实施例的相机建模系统10包括在相机1中。相机1通过经由图像捕捉装置30将来自光学单元20的光转换为电图像信号来获得图像，并将图像发送到相机建模系统10。

图2是根据示例性实施例的用于操作相机建模系统的方法的示意性流程图。在下文中，将与图1的描述一起描述图2的各个操作步骤。

参照图1，根据本示例性实施例的相机建模系统10可包括消失点检测单元100、视图模式确定单元200和相机建模单元300。

消失点检测单元100从存在于通过捕捉检测区域的图像所获得的检测图像中的多个参考检测对象的框B检测消失点，并将检测到的消失点输出到视图模式确定单元200(S1)。

参考检测对象被选择为具有与在完成相机建模之后通过相机1将被检测到的对象相似的尺寸和形状的对象。例如，当通过相机1将被检测到的对象是人时，参考检测对象可被确定为真实的人或具有与人相似的尺寸的人体模型。

框B是参考检测对象的简单图形。消失点检测单元100从参考检测对象检测消失点。通常，参考检测对象不是简单的几何图形，而具有如人或车辆的复杂形状。该复杂形状难以直接控制用于检测消失点的计算处理。因此，在用于检测消失点的计算处理中，消失点检测单元100使用参考检测对象的简单图形(即，框B)。因此，框B存在于每个参考检测对象，并且在图像中框B被设置为具有与参考检测对象相似的尺寸和面积，以替代参考检测对象。根据本示例性实施例的框B具有矩形形状或圆形形状，但是框B还可以是具有椭圆形状或多边形形状(诸如梯形形状或五边形形状)的几何图形。在下文中，参考检测对象可由框B替代。

消失点检测单元100使用多个框B检测消失点。这里，可使用两个框B，或者可使用三个或更多个框B。

消失点是指在对实体进行投影的情况下与投影平面不平行的一组平行线在投影图像平面上彼此相交的点。相机建模系统10的消失点检测单元100检测两个方向上的第一消失点和第二消失点。在本示例性实施例中，消失点检测单元100将水平消失点检测为第一消失点，并将竖直消失点检测为第二消失点。稍后将参照图3A、图3B和图3C详细描述检测水平消失点和竖直消失点的方法。

视图模式确定单元200测量从存在于检测图像中的第一位置至由消失点检测单元100检测到的第一消失点的第一距离，测量从第一位置至由消失点检测单元100检测到的第二消失点的第二距离，并基于第一距离和第二距离确定相机视图模式(S2)。根据本示例性实施例的相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。可根据相机的拍摄方向划分侧视图模式、俯视图模式和统一视图模式。在侧视图模式下沿水平方向拍摄对象，在俯视图模式下沿竖直方向拍摄对象，在统一视图模式下沿对角线方向拍摄对象。例如，当拍摄方向与水平面之间的角度为大约0度至大约25度时，相机视图模式可被定义为侧视图模式；当角度为大约25度至大约55度时，相机视图模式可被定义为统一视图模式；当角度为大约55度至大约90度时，相机视图模式可被定义为俯视图模式。然而，各个视图模式的具体角度仅是示例性的，示例性实施例不限于此。

稍后将参照图4A、图4B和图4C详细描述确定相机视图模式是侧视图模式、俯视图模式还是统一视图模式的方法。

相机建模单元300根据由视图模式确定单元200确定的相机视图模式来选择相机参数确定模式，并根据选择的相机参数确定模式执行相机建模以确定相机参数(S3)。根据本示例性实施例的相机参数确定模式是从自适应参数确定模式和直接参数确定模式选择的任何一个。稍后将参照图5A和图5B详细描述自适应参数确定模式和直接参数确定模式的具体操作以及根据由视图模式确定单元200确定的相机视图模式选择自适应参数确定模式或直接参数确定模式的方法。

在本示例性实施例中，消失点检测单元100、视图模式确定单元200和相机建模单元300被实现为执行不同功能的分开的单元。然而，在其它示例性实施例中，消失点检测单元100、视图模式确定单元200和相机建模单元300可被实现为执行多个功能的单个单元。

如这里所使用的，术语“相应点”是指在两个或更多个相似图形中位于相对相同的位置的点。例如，一对框的相应点是指在一对相似的框中位于相对相同的位置的点。

图3A是根据示例性实施例的用于检测水平消失点的方法的示例性示图。

参照图3A，根据本示例性实施例的消失点检测单元100通过水平消失点检测方法检测水平消失点。通过在检测图像中的框B检测水平消失点。可找到连接检测图像中的框B之中的至少一对框B的相应点的直线，并可找到直线的交点。框B的相应点可以是存在于框B的角落的点或存在于框B中的点。

可从找到的交点找到水平消失点。可通过各种方法从交点找到水平消失点。例如，可通过计算交点的位置的平均值或通过找出交点的位置的均值从交点查找水平消失点。

此外，由不同组合确定的交点可以是相同位置的点。这是检测图像中的框B位于与地面平行的直线上的情况。当检测图像中的框B位于与地面平行的直线上时，从位于该直线上的各对框B的组合得出的交点是相同的点。

在图3A中示出的示例性情况下，第一框B1、第二框B2和第三框B3位于与地面平行的直线上。连接第一框B1、第二框B2和第三框B3的右上顶点的直线L1与连接第一框B1、第二框B2和第三框B3的右下顶点的直线L2在交点VP1处彼此相交，并且在图3A中示出的示例性情况下，交点VP1是水平消失点。

图3B是根据示例性实施例的用于检测竖直消失点的方法的示例性示图。

参照图3B，根据本示例性实施例的消失点检测单元100通过竖直消失点检测方法检测竖直消失点。竖直消失点检测方法可以是查找画出的连接检测图像中的各个框B的顶和底的直线的交点的方法。

详细地，在本示例性实施例中，每个框B表示作为参考检测对象的人或人体模型。因此，框B的顶对应于人或人体模型的头，框B的底对应于人或人体模型的脚。由于人直立行走，因此连接人的头和脚的直线与地面垂直。因此，连接框B的顶和底的直线与地面垂直，直线的交点是竖直消失点。竖直消失点可在检测图像的内部或外部被检测到。

在图3B中示出的示例性情况下，三条直线分别连接第四框B11、第五框B12和第六框B13的顶和底。这三条直线在交点VP2处彼此相交，在图3B中示出的示例性情况下，交点VP2是竖直消失点。

图3C是根据示例性实施例的用于检测水平消失点和竖直消失点的方法的示例性示图。

参照图3C，根据本示例性实施例的消失点检测单元100通过图3A中示出的水平消失点检测方法检测水平消失点。在图3C中示出的示例性情况下，连接第七框B31和第八框B32的右上顶点的直线L31与连接第七框B31和第八框B32的右下顶点的直线L32在交点VP31处彼此相交。在图3C中示出的示例性情况下，交点VP31是水平消失点。

参照图3C，根据本示例性实施例的消失点检测单元100通过图3B中示出的竖直消失点检测方法检测竖直消失点。在图3C中示出的示例性情况下，连接第七框B31的顶和底的直线L33与连接第八框B32的顶和底的直线L34在交点VP32处彼此相交。在图3C中示出的示例性情况下，交点VP32是竖直消失点。

根据本示例性实施例的消失点检测单元100检测水平消失点和竖直消失点。然而，示例性实施例不限于此，消失点检测单元100可在与水平方向和竖直方向两者垂直的方向上检测消失点，或在不是直角坐标系的轴方向的新定义的方向上检测消失点。

图4A是用于基于从图3A中示出的检测图像检测到的消失点和图3A中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。

参照图4A，第一位置210a位于图3A中示出的检测图像中，从图3A中示出的检测图像找到水平消失点110a，从图3A中示出的检测图像找到竖直消失点120a。

也就是说，随着从检测图像的中心至某一方向上的消失点的距离增加，相机沿所述方向观看的可能性减小。因此，将与水平消失点110a和竖直消失点120a进行比较的第一位置210a可在检测图像的中心，并且，图1的视图模式确定单元200可通过比较第一距离和第二距离来确定相机视图模式，其中，第一距离是第一位置210a与水平消失点110a之间的距离，第二距离是第一位置210a与竖直消失点120a之间的距离。

例如，当第一距离小于第二距离时，相机可在水平方向上观看。因此，在这种情况下，视图模式确定单元200可将相机视图模式确定为侧视图模式。另一方面，当第二距离小于第一距离时，相机可在竖直方向上观看。因此，在这种情况下，视图模式确定单元200可将相机视图模式确定为俯视图模式。当第一距离和第二距离彼此相似时，相机可在对角线方向上观看。因此，在这种情况下，视图模式确定单元200可将相机视图模式确定为统一视图模式。当第一距离和第二距离之差在预定范围内时，视图模式确定单元200可确定第一距离和第二距离彼此相似。此外，当第一距离和第二距离之比在预定范围内时，视图模式确定单元200可确定第一距离和第二距离彼此相似。

在图4A中示出的示例性情况下，水平消失点110a存在于图3A中示出的检测图像的内部，竖直消失点120a存在于检测图像的外部同时远离检测图像。因此，由于第一位置210a和水平消失点110a之间的距离小于第一位置210a和竖直消失点120a之间的距离，所以观看图3A中示出的检测图像的相机的相机视图模式可被确定为侧视图模式。

图4B是用于基于从图3B中示出的检测图像检测到的消失点和图3B中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。

参照图4B，第一位置210b位于图3B中示出的检测图像中，从图3B中示出的检测图像找到水平消失点110b，从图3B中示出的检测图像找到竖直消失点120b。

由于图4B中示出的第一位置确定方法和相机视图模式确定方法与图4A中示出的第一位置确定方法和相机视图模式确定方法相同，因此这里将省略对它们的描述。

在图4B中示出的示例性情况下，竖直消失点120b存在于图3B中示出的检测图像的内部，水平消失点110b存在于检测图像的外部同时远离检测图像。因此，由于第一位置210b和竖直消失点120b之间的距离小于第一位置210b和水平消失点110b之间的距离，所以观看图3B中示出的检测图像的相机的相机视图模式可被确定为俯视图模式。

图4C是用于基于从图3C中示出的检测图像检测到的消失点和图3C中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。

参照图4C，第一位置210c位于图3C中示出的检测图像中，从图3C中示出的检测图像找到水平消失点110c，从图3C中示出的检测图像找到竖直消失点120c。

由于图4C中示出的第一位置确定方法和相机视图模式确定方法与图4A中示出的第一位置确定方法和相机视图模式确定方法相同，因此这里将省略对它们的描述。

在图4C中示出的示例性情况下，水平消失点110c和竖直消失点120c与图3C中示出的检测图像相距相似距离。因此，可确定第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离彼此相似。当第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离之差在预定范围内时，图1的视图模式确定单元200可确定第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离彼此相似。因此，图1的视图模式确定单元200可确定观看图3C中示出的检测图像的相机的相机视图模式是统一视图模式。当确定相机视图模式是统一视图模式时，根据示例性实施例的视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式或与俯视图模式接近的统一视图模式。

例如，当第一位置210c和水平消失点110c之间的距离(在下文中被称为第一距离)与第一位置210c和竖直消失点120c之间的距离(在下文中被称为第二距离)彼此相似并且第一距离小于第二距离时，视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式。当第一距离和第二距离彼此相似并且第一距离大于第二距离时，视图模式确定单元200可确定相机视图模式是与俯视图模式接近的统一视图模式。当第一距离和第二距离彼此相等时，视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式或与俯视图模式接近的统一视图模式，这可由系统管理员进行预先设置。

根据本示例性实施例的视图模式确定单元200确定相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。然而，示例性实施例不限于此，视图模式确定单元200可确定相机视图模式是仰视图模式或沿新定义的方向观看的视图模式。

图5A是根据示例性实施例的在相机视图模式是侧视图模式的情况下的示例性的相机建模模式的流程图。

参照图5A，在本示例性实施例中，当相机视图模式是侧视图模式时，相机建模模式重复执行以下操作：从水平消失点创建水平线(S11)；测量图像上的框宽度BoxW与图像上的从框的底至水平线的距离BoxD之间的比率A(S12)；确定相机和地面之间的角度T1并计算相机的安装高度H(S13)；计算相机的焦距f(S14)；计算框B的尺寸(S15)；提取计算出的框B的尺寸与设置的框的尺寸之间的比率R1(S16)；根据提取的比率R1重新确定相机和地面之间的角度T1(S17)，并随后返回到计算相机的安装高度H的操作(S13)。这是自适应参数确定模式。

首先，从水平消失点找到水平线(S11)。当相机不旋转时，水平线是穿过水平消失点并与相机的水平轴平行的直线。当相机旋转时，水平线是连接第一水平消失点和第二水平消失点的直线，其中，第一水平消失点在相机旋转之前的状态下被确定，第二水平消失点在相机旋转之后的状态下被重新确定。

在找到水平线之后，可通过以下等式(1)得到相机的检测图像上的框宽度BoxW与相机的检测图像上的从框B的底至水平线的距离BoxD之间的比率A(S12)。

等式(1)

$A=\frac{\mathrm{BoxD}}{\mathrm{BoxW}}$

之后，确定相机和地面之间的角度T1，并从确定的相机和地面之间的角度T1计算相机的安装高度H(S13)。根据本示例性实施例，相机和地面之间的初始角度T1可被确定为具有相机的实际角度的范围内的值。在本示例性实施例中，由于在相机视图模式是侧视图模式的情况下的相机建模模式是自适应参数确定模式，因此可通过自适应调整从相机和地面之间的角度T1的初始值得到角度T1的校正值。例如，可通过以下等式(2)确定相机和地面之间的角度T1的初始值。

等式(2)

T1＝cos^-1(A)

在下文中，将通过等式详细描述从相机和地面之间的角度T1的值计算相机的安装高度H的方法。

当相机和框B的底之间的角度是“a”，相机和框B的顶之间的角度是“b”，从竖直线的脚至框B的底的距离是“Z”，框的高度是“h”，其中，所述竖直线是从相机向下画至地面时，建立以下等式(3)。

等式(3)

$\tan \left(a\right)=\frac{H}{Z},\tan \left(b\right)=\frac{H-h}{Z}$

此外，当在相机的检测图像上从水平线至框B的底的距离是“pf”，在相机的检测图像上从水平线至框B的顶的距离是“ph”,并且在相机的检测图像上从框B的顶至框B的底的距离是“hi”时，结合相机的焦距f建立以下等式(4)至(6)。

等式(4)

pf＝f·tan(a-T1)

等式(5)

ph＝f·tan(b-T1)

等式(6)

hi＝pf-ph＝f·tan(a-T1)-f·tan(b-T1)＝f·(tan(a-T1)-tan(b-T1))

此外，当框B的实际框宽度是“W”时，结合相机的检测图像中的框宽度BoxW建立以下等式(7)。

等式(7)

$\mathrm{BoxW}=\frac{W\·f}{\cos (a-T1)\·\sqrt{Z^2+H^2}}=\frac{W\·f}{\cos (a-T1)}\·\frac{\sin \left(a\right)}{H}$

在相机和框B的顶之间的角度b是0的情况下，在相机的检测图像上从框B的底至水平线的距离BoxD等于在相机的检测图像上从框B的顶至框B的底的距离hi。因此，建立以下等式(8)至(11)。

等式(8)

BoxD＝A·BoxW，BoxD＝f·(tan(a-T1)+tan(T1))

等式(9)

∴ $f\·(\tan (a-T1)+\tan \left(T1\right))=A\·\frac{W\·f}{\cos (a-T1)}\·\frac{\sin \left(a\right)}{H}$

等式(10)

$\frac{\sin (a-T1)}{\cos (a-T1)}+\frac{\sin \left(T1\right)}{\cos \left(T1\right)}=A\·\frac{W}{H}\·\cos \frac{\sin \left(a\right)}{\cos (a-T1)}$

等式(11)

∴ $\frac{H}{W\·\cos \left(T1\right)}=A$

在本示例性实施例中，框B表示作为参考检测对象的人或人体模型，框宽度W被赋予可与真实的人的宽度对应的值。因此，当相机和地面之间的角度T1被确定并且随后相机的检测图像上的框宽度BoxW与相机的检测图像上的从框B的底至水平线的距离BoxD之间的比率A被得到时，可从等式(11)计算相机的安装高度H。

以上已通过等式详细描述了从相机和地面之间的角度T1的值计算相机的安装高度H的方法。

之后，计算相机的焦距f(S14)。当在相机的检测图像上从图像的中心位置至水平线的距离是“pH”时,通过以下等式(12)计算相机的焦距f。

等式(12)

$f=\frac{\mathrm{pH}}{\tan \left(T1\right)}$

之后，通过使用确定的相机和地面之间的角度T1的值、计算出的相机的安装高度H以及计算出的相机的焦距f，计算和得到在相机的检测图像上从框B的顶至框B的底的距离hi(S15)。通过以下等式(13)执行该计算，等式(13)等于等式(6)。

等式(13)

hi＝pf-ph＝f·tan(a-T1)-f·tan(b-T1)＝f·(tan(a-T1)-tan(b-T1))

之后，提取计算的在相机的检测图像上的从框B的顶至框B的底的距离hi与人或人体模型(即，本示例性实施例中的检测对象)的尺寸之间的比率R1(S16)。例如，人的平均高度可被设置为170cm。在这种情况下，当计算的在相机的检测图像上的从框B的顶至框B的底的距离hi大于设置的高度“170cm”时，比率R1大于1。另一方面，当计算的在相机的检测图像上的从框B的顶至框B的底的距离hi小于设置的高度“170cm”时，比率R1小于1。

当提取的比率R1大于或小于1时，重新确定所确定的相机和地面之间的角度T1(S17)。例如，当比率R1大于1时，由于其表示从计算出的在相机的检测图像上的从框B的顶至框B的底的距离hi所获得的检测对象的尺寸被测量为大于检测对象的实际尺寸，因此相机和地面之间的角度T1可被确定为大于其实际值。因此，相机和地面之间的角度T1可被重新设置为小于初始设置值的值，并且相机建模模式可返回到计算相机的安装高度H的操作(S13)。在重复执行自适应参数确定模式之后，当提取的比率R1等于或充分小于1时，这种情况下的相机和地面之间的角度T1、相机的安装高度H和相机的焦距f是相机建模的结果值。

图5B是根据示例性实施例的在相机视图模式是俯视图模式的情况下的示例性的相机建模模式的流程图。

参照图5B，在本示例性实施例中，当相机视图模式是俯视图模式时，相机建模模式执行以下操作：产生相机投影矩阵M(S21)；计算相机的安装高度H(S22)；计算相机和从相机向下画至地面的竖直线之间的角度T2(S23)；计算相机的焦距f(S24)。这是用于直接确定相机建模参数而无需重复操作的直接参数确定模式。

首先，产生相机投影矩阵M(S21)。相机投影矩阵M被表示为以下的等式(14)。

等式(14)

$\left[\begin{array}{c}k\·x\\ k\·y\\ k\end{array}\right]=\left[\begin{array}{ccc}f& 0& \mathrm{mx}\\ 0& f& \mathrm{my}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(T2\right)& \sin \left(T2\right)\\ 0& -\sin \left(T2\right)& \cos \left(T2\right)\end{array}\right]\left[\begin{array}{c}X\\ Y\\ H\end{array}\right]$

在相机投影矩阵M中，“k”是常数并且它指示左侧的三个值之间的比率保持为比率x:y:1。“mx”是具有相机的检测图像的水平方向上的像素数量的值的一半的常数，“my”是具有相机的检测图像的竖直方向上的像素数量的值的一半的常数。“X”是框B和相机之间的水平距离，“Y”是框B和相机之间的竖直距离。

之后，计算相机的安装高度H(S22)。在检测图像中，可从相机投影矩阵M获得以下等式(15)和(16)。

等式(15)

$x=\frac{f\·X}{-Y\·\sin \left(T2\right)+H\·\cos \left(T2\right)}$

等式(16)

$y=\frac{f\·(Y\·\cos \left(T2\right)+H\·\cos \left(T2\right))}{-Y\·\sin \left(T2\right)+H\·\cos \left(T2\right)}$

通过等式(15)和(16)，可如以下等式(17)得到相机的安装高度H。

等式(17)

$H=\frac{\mathrm{xh}\·h}{\mathrm{xh}-\mathrm{xf}}$

在等式(17)中，“xh”是从相机的检测图像的中心点至框B的顶的水平坐标，“xf”是从相机的检测图像的中心点至框B的底的水平坐标。

之后，计算相机和从相机向下画至地面的竖直线之间的角度T2(S23)。可从相机投影矩阵M和用于获得相机的安装高度H的等式得到以下等式(18)。

等式(18)

$\frac{(H-h)\·\mathrm{xh}-H\·\mathrm{xf}}{\mathrm{xh}-\mathrm{xf}}=Y\·\tan \left(T2\right)$

在等式(18)中，“h”是框B的高度。当在等式(18)中设置Y·tan(T2)＝C时，建立以下等式(19)。

等式(19)

$\sin \left(T2\right)=\sqrt{\frac{\mathrm{yf}\·(H-C)\·C-\mathrm{yh}\·(H-h-C)\·C}{\mathrm{yh}\·(H-h-C)\·H-\mathrm{yf}\·(H-C)\·(H-h)}}$

当对等式(19)的两边取反正弦时，可通过以下等式(20)获得相机和从相机向下画至地面的竖直线之间的角度T2。

等式(20)

$T2={\sin }^{-1}\sqrt{\frac{\mathrm{yf}\·(H-C)\·C-\mathrm{yh}\·(H-h-C)\·C}{\mathrm{yh}\·(H-h-C)\·H-\mathrm{yf}\·(H-C)\·(H-h)}}$

之后，计算相机的焦距f(S24)。当竖直消失点和相机的检测图像的中心点之间的距离是“v”时，建立以下等式(21)。可从等式(21)计算相机的焦距f。

等式(21)

$f=\frac{v}{\tan \left(T2\right)}$

当相机视图模式是统一视图模式时，根据示例性实施例的相机建模单元300可通过使用图5A中示出的相机建模模式、图5B中示出的相机建模模式或它们的组合来确定相机建模参数。

即使当相机视图模式被确定为统一视图模式时，相机建模单元300可根据水平消失点和由相机捕捉的图像中的第一位置之间的距离与竖直消失点和第一位置之间的距离之比来确定参数确定模式。

例如，当第一位置和水平消失点之间的距离小于第一位置和竖直消失点之间的距离时，相机建模单元300可将相机视图模式确定为与侧视图模式接近的统一视图模式，并通过使用图5A中示出的自适应参数确定模式来执行相机建模。

另一方面，当第一位置和水平消失点之间的距离大于第一位置和竖直消失点之间的距离时，相机建模单元300可将相机视图模式确定为与俯视图模式接近的统一视图模式，并通过使用图5B中示出的直接参数确定模式来执行相机建模。

然而，示例性实施例不限于此。例如，当相机视图模式是统一视图模式时，相机建模单元300可被预先设置为总是通过使用图5A中示出的自适应参数确定模式来执行相机建模。作为另一示例，当相机视图模式是统一视图模式时，相机建模单元300可被预先设置为总是通过使用图5B中示出的直接参数确定模式来执行相机建模。作为另一示例，当相机视图模式是统一视图模式时，相机建模单元300可被预先设置为通过使用图5A中示出的自适应参数确定模式来执行初步相机建模，通过使用图5B中示出的直接参数确定模式来执行二次相机建模，并随后通过使用初步相机建模结果和二次相机建模结果的组合来执行最终相机建模。例如，可通过对初步相机建模结果和二次相机建模结果求平均值来计算最终相机建模参数。

根据本示例性实施例的相机建模单元300使用通过以上等式定义的直接参数确定模式和自适应参数确定模式。然而，示例性实施例不限于此，相机建模单元300可使用可以以其它方式定义的直接参数确定模式或自适应参数确定模式。

如上所述，根据以上示例性实施例中的一个或更多个，相机建模系统可通过从参考检测对象检测相机的角度、焦距、安装高度和视图模式来自动执行相机建模。

应理解，这里描述的示例性实施例应仅被考虑为描述性意义而不是为了限制的目的。对每个示例性实施例中的特征或方面的描述通常应被考虑为可用于其它示例性实施例中的其它相似特征或方面。

虽然已经参照附图描述了一个或更多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (9)

1.一种相机建模系统，包括：

消失点检测单元，被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点；

视图模式确定单元，被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离，确定相机视图模式；

相机建模单元，被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。

2.如权利要求1所述的相机建模系统，其中，

存在分别围绕所述多个参考检测对象的多个框；

第一消失点从连接所述多个框中的至少一对框的相应点的直线的交点得出；

第二消失点是分别连接所述多个框的顶和底的直线的交点。

3.如权利要求1所述的相机建模系统，其中，第一位置是检测区域的中心。

4.如权利要求1所述的相机建模系统，其中，视图模式确定单元根据从第一位置至第一消失点的距离与从第一位置至第二消失点的距离之间的差来确定相机视图模式。

5.如权利要求1所述的相机建模系统，其中，相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。

6.如权利要求5所述的相机建模系统，其中，相机建模单元执行以下操作：

在相机视图模式是侧视图模式时，通过将相机建模模式选择为自适应参数确定模式来执行相机建模；

在相机视图模式是俯视图模式时，通过将相机建模模式选择为直接参数确定模式来执行相机建模；

在相机视图模式是统一视图模式时，通过将相机建模模式选择为自适应参数确定模式、直接参数确定模式或者自适应参数确定模式和直接参数确定模式的组合来执行相机建模。

7.如权利要求5所述的相机建模系统，其中，统一视图模式是从与侧视图模式接近的统一视图模式和与俯视图模式接近的统一视图模式选择的任何一个。

8.如权利要求7所述的相机建模系统，其中，相机建模单元执行以下操作：

在相机视图模式是与侧视图模式接近的统一视图模式时，通过将相机建模模式选择为自适应参数确定模式来执行相机建模；

在相机视图模式是与俯视图模式接近的统一视图模式时，通过将相机建模模式选择为直接参数确定模式来执行相机建模。

9.一种相机建模方法，包括：

从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点；

基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离，确定相机视图模式；

选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。