CN104978737A - 相机建模系统 - Google Patents

相机建模系统 Download PDF

Info

Publication number
CN104978737A
CN104978737A CN201510145651.4A CN201510145651A CN104978737A CN 104978737 A CN104978737 A CN 104978737A CN 201510145651 A CN201510145651 A CN 201510145651A CN 104978737 A CN104978737 A CN 104978737A
Authority
CN
China
Prior art keywords
camera
view pattern
modeling
end point
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510145651.4A
Other languages
English (en)
Other versions
CN104978737B (zh
Inventor
裴纯敏
洪韩娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN104978737A publication Critical patent/CN104978737A/zh
Application granted granted Critical
Publication of CN104978737B publication Critical patent/CN104978737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种相机建模系统。所述相机建模系统包括:消失点检测单元,被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点;视图模式确定单元,被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离,确定相机视图模式;相机建模单元,被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。

Description

相机建模系统
本申请要求于2014年4月3日提交到韩国知识产权局的第10-2014-0040061号韩国专利申请的权益,该申请的公开通过引用全部包含于此。
技术领域
一个或更多个示例性实施例涉及相机建模系统和方法。
背景技术
通过由用户直接输入相机参数(诸如相机的角度、焦距和安装高度),或者通过在直接设置侧视图模式或俯视图模式之后设置表示预定尺寸的对象的框来查找相机参数,来执行传统相机建模。然而,由于必须直接输入用于相机建模的相机参数,因此给用户带来不便。此外,在设置侧视图模式或俯视图模式之后设置检测对象的框的情况下,结果容易受到用户输入的影响。
发明内容
一个或更多个示例性实施例包括对用于对象检测/跟踪、对象分类等的相机参数(诸如相机的角度、焦距、安装高度和测量模式)自动执行相机建模处理的系统。
其它方面将在下面的描述中部分地阐明,并且从描述中部分将是清楚的,或者可通过呈现的示例性实施例的实施而得知。
根据一个或更多个示例性实施例,一种相机建模系统包括:消失点检测单元,被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点;视图模式确定单元,被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离,确定相机视图模式;相机建模单元,被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。
可存在分别围绕所述多个参考检测对象的多个框;第一消失点可从连接所述多个框中的至少一对框的相应点的直线的交点得出;第二消失点可以是分别连接所述多个框的顶和底的直线的交点。
第一位置可以是检测区域的中心。
视图模式确定单元可根据从第一位置至第一消失点的距离与从第一位置至第二消失点的距离之间的差来确定相机视图模式。
相机视图模式可以是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。
相机建模单元可在相机视图模式是侧视图模式时通过将相机建模模式选择为自适应参数确定模式来执行相机建模;在相机视图模式是俯视图模式时通过将相机建模模式选择为直接参数确定模式来执行相机建模;在相机视图模式是统一视图模式时通过将相机建模模式选择为自适应参数确定模式、直接参数确定模式或者自适应参数确定模式和直接参数确定模式的组合来执行相机建模。
附图说明
从以下结合附图进行的对示例性实施例的描述,这些和/或其它方面将变得清楚且更容易理解,在附图中:
图1是根据示例性实施例的相机建模系统的示意性框图;
图2是根据示例性实施例的用于操作相机建模系统的方法的示意性流程图;
图3A是根据示例性实施例的用于检测水平消失点的方法的示例性示图;
图3B是根据示例性实施例的用于检测竖直消失点的方法的示例性示图;
图3C是根据示例性实施例的用于检测水平消失点和竖直消失点的方法的示例性示图;
图4A是用于基于从图3A中示出的检测图像检测到的消失点和图3A中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图;
图4B是用于基于从图3B中示出的检测图像检测到的消失点和图3B中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图;
图4C是用于基于从图3C中示出的检测图像检测到的消失点和图3C中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图;
图5A是根据示例性实施例的在相机视图模式是侧视图模式的情况下的示例性的相机建模模式的流程图;
图5B是根据示例性实施例的在相机视图模式是俯视图模式的情况下的示例性的相机建模模式的流程图。
具体实施方式
现在将对示例性实施例做出详细说明,在附图中示出示例性实施例的示例,其中,相同标号始终表示相同元件。在这点上,所呈现的示例性实施例可具有不同形式并且不应被解释为限于这里阐明的描述。因此,以下仅通过参照附图描述示例性实施例来解释本说明书的多个方面。如这里所使用的,当诸如“……中的至少一个”的表述出现在元件的列表之后时,其修饰元件的整个列表而不修饰列表中的单个元件。
在下文中,将参照附图详细描述示例性实施例。
图1是根据示例性实施例的相机建模系统的示意性框图。
参照图1,根据示例性实施例的相机建模系统10包括在相机1中。相机1通过经由图像捕捉装置30将来自光学单元20的光转换为电图像信号来获得图像,并将图像发送到相机建模系统10。
图2是根据示例性实施例的用于操作相机建模系统的方法的示意性流程图。在下文中,将与图1的描述一起描述图2的各个操作步骤。
参照图1,根据本示例性实施例的相机建模系统10可包括消失点检测单元100、视图模式确定单元200和相机建模单元300。
消失点检测单元100从存在于通过捕捉检测区域的图像所获得的检测图像中的多个参考检测对象的框B检测消失点,并将检测到的消失点输出到视图模式确定单元200(S1)。
参考检测对象被选择为具有与在完成相机建模之后通过相机1将被检测到的对象相似的尺寸和形状的对象。例如,当通过相机1将被检测到的对象是人时,参考检测对象可被确定为真实的人或具有与人相似的尺寸的人体模型。
框B是参考检测对象的简单图形。消失点检测单元100从参考检测对象检测消失点。通常,参考检测对象不是简单的几何图形,而具有如人或车辆的复杂形状。该复杂形状难以直接控制用于检测消失点的计算处理。因此,在用于检测消失点的计算处理中,消失点检测单元100使用参考检测对象的简单图形(即,框B)。因此,框B存在于每个参考检测对象,并且在图像中框B被设置为具有与参考检测对象相似的尺寸和面积,以替代参考检测对象。根据本示例性实施例的框B具有矩形形状或圆形形状,但是框B还可以是具有椭圆形状或多边形形状(诸如梯形形状或五边形形状)的几何图形。在下文中,参考检测对象可由框B替代。
消失点检测单元100使用多个框B检测消失点。这里,可使用两个框B,或者可使用三个或更多个框B。
消失点是指在对实体进行投影的情况下与投影平面不平行的一组平行线在投影图像平面上彼此相交的点。相机建模系统10的消失点检测单元100检测两个方向上的第一消失点和第二消失点。在本示例性实施例中,消失点检测单元100将水平消失点检测为第一消失点,并将竖直消失点检测为第二消失点。稍后将参照图3A、图3B和图3C详细描述检测水平消失点和竖直消失点的方法。
视图模式确定单元200测量从存在于检测图像中的第一位置至由消失点检测单元100检测到的第一消失点的第一距离,测量从第一位置至由消失点检测单元100检测到的第二消失点的第二距离,并基于第一距离和第二距离确定相机视图模式(S2)。根据本示例性实施例的相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。可根据相机的拍摄方向划分侧视图模式、俯视图模式和统一视图模式。在侧视图模式下沿水平方向拍摄对象,在俯视图模式下沿竖直方向拍摄对象,在统一视图模式下沿对角线方向拍摄对象。例如,当拍摄方向与水平面之间的角度为大约0度至大约25度时,相机视图模式可被定义为侧视图模式;当角度为大约25度至大约55度时,相机视图模式可被定义为统一视图模式;当角度为大约55度至大约90度时,相机视图模式可被定义为俯视图模式。然而,各个视图模式的具体角度仅是示例性的,示例性实施例不限于此。
稍后将参照图4A、图4B和图4C详细描述确定相机视图模式是侧视图模式、俯视图模式还是统一视图模式的方法。
相机建模单元300根据由视图模式确定单元200确定的相机视图模式来选择相机参数确定模式,并根据选择的相机参数确定模式执行相机建模以确定相机参数(S3)。根据本示例性实施例的相机参数确定模式是从自适应参数确定模式和直接参数确定模式选择的任何一个。稍后将参照图5A和图5B详细描述自适应参数确定模式和直接参数确定模式的具体操作以及根据由视图模式确定单元200确定的相机视图模式选择自适应参数确定模式或直接参数确定模式的方法。
在本示例性实施例中,消失点检测单元100、视图模式确定单元200和相机建模单元300被实现为执行不同功能的分开的单元。然而,在其它示例性实施例中,消失点检测单元100、视图模式确定单元200和相机建模单元300可被实现为执行多个功能的单个单元。
如这里所使用的,术语“相应点”是指在两个或更多个相似图形中位于相对相同的位置的点。例如,一对框的相应点是指在一对相似的框中位于相对相同的位置的点。
图3A是根据示例性实施例的用于检测水平消失点的方法的示例性示图。
参照图3A,根据本示例性实施例的消失点检测单元100通过水平消失点检测方法检测水平消失点。通过在检测图像中的框B检测水平消失点。可找到连接检测图像中的框B之中的至少一对框B的相应点的直线,并可找到直线的交点。框B的相应点可以是存在于框B的角落的点或存在于框B中的点。
可从找到的交点找到水平消失点。可通过各种方法从交点找到水平消失点。例如,可通过计算交点的位置的平均值或通过找出交点的位置的均值从交点查找水平消失点。
此外,由不同组合确定的交点可以是相同位置的点。这是检测图像中的框B位于与地面平行的直线上的情况。当检测图像中的框B位于与地面平行的直线上时,从位于该直线上的各对框B的组合得出的交点是相同的点。
在图3A中示出的示例性情况下,第一框B1、第二框B2和第三框B3位于与地面平行的直线上。连接第一框B1、第二框B2和第三框B3的右上顶点的直线L1与连接第一框B1、第二框B2和第三框B3的右下顶点的直线L2在交点VP1处彼此相交,并且在图3A中示出的示例性情况下,交点VP1是水平消失点。
图3B是根据示例性实施例的用于检测竖直消失点的方法的示例性示图。
参照图3B,根据本示例性实施例的消失点检测单元100通过竖直消失点检测方法检测竖直消失点。竖直消失点检测方法可以是查找画出的连接检测图像中的各个框B的顶和底的直线的交点的方法。
详细地,在本示例性实施例中,每个框B表示作为参考检测对象的人或人体模型。因此,框B的顶对应于人或人体模型的头,框B的底对应于人或人体模型的脚。由于人直立行走,因此连接人的头和脚的直线与地面垂直。因此,连接框B的顶和底的直线与地面垂直,直线的交点是竖直消失点。竖直消失点可在检测图像的内部或外部被检测到。
在图3B中示出的示例性情况下,三条直线分别连接第四框B11、第五框B12和第六框B13的顶和底。这三条直线在交点VP2处彼此相交,在图3B中示出的示例性情况下,交点VP2是竖直消失点。
图3C是根据示例性实施例的用于检测水平消失点和竖直消失点的方法的示例性示图。
参照图3C,根据本示例性实施例的消失点检测单元100通过图3A中示出的水平消失点检测方法检测水平消失点。在图3C中示出的示例性情况下,连接第七框B31和第八框B32的右上顶点的直线L31与连接第七框B31和第八框B32的右下顶点的直线L32在交点VP31处彼此相交。在图3C中示出的示例性情况下,交点VP31是水平消失点。
参照图3C,根据本示例性实施例的消失点检测单元100通过图3B中示出的竖直消失点检测方法检测竖直消失点。在图3C中示出的示例性情况下,连接第七框B31的顶和底的直线L33与连接第八框B32的顶和底的直线L34在交点VP32处彼此相交。在图3C中示出的示例性情况下,交点VP32是竖直消失点。
根据本示例性实施例的消失点检测单元100检测水平消失点和竖直消失点。然而,示例性实施例不限于此,消失点检测单元100可在与水平方向和竖直方向两者垂直的方向上检测消失点,或在不是直角坐标系的轴方向的新定义的方向上检测消失点。
图4A是用于基于从图3A中示出的检测图像检测到的消失点和图3A中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。
参照图4A,第一位置210a位于图3A中示出的检测图像中,从图3A中示出的检测图像找到水平消失点110a,从图3A中示出的检测图像找到竖直消失点120a。
也就是说,随着从检测图像的中心至某一方向上的消失点的距离增加,相机沿所述方向观看的可能性减小。因此,将与水平消失点110a和竖直消失点120a进行比较的第一位置210a可在检测图像的中心,并且,图1的视图模式确定单元200可通过比较第一距离和第二距离来确定相机视图模式,其中,第一距离是第一位置210a与水平消失点110a之间的距离,第二距离是第一位置210a与竖直消失点120a之间的距离。
例如,当第一距离小于第二距离时,相机可在水平方向上观看。因此,在这种情况下,视图模式确定单元200可将相机视图模式确定为侧视图模式。另一方面,当第二距离小于第一距离时,相机可在竖直方向上观看。因此,在这种情况下,视图模式确定单元200可将相机视图模式确定为俯视图模式。当第一距离和第二距离彼此相似时,相机可在对角线方向上观看。因此,在这种情况下,视图模式确定单元200可将相机视图模式确定为统一视图模式。当第一距离和第二距离之差在预定范围内时,视图模式确定单元200可确定第一距离和第二距离彼此相似。此外,当第一距离和第二距离之比在预定范围内时,视图模式确定单元200可确定第一距离和第二距离彼此相似。
在图4A中示出的示例性情况下,水平消失点110a存在于图3A中示出的检测图像的内部,竖直消失点120a存在于检测图像的外部同时远离检测图像。因此,由于第一位置210a和水平消失点110a之间的距离小于第一位置210a和竖直消失点120a之间的距离,所以观看图3A中示出的检测图像的相机的相机视图模式可被确定为侧视图模式。
图4B是用于基于从图3B中示出的检测图像检测到的消失点和图3B中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。
参照图4B,第一位置210b位于图3B中示出的检测图像中,从图3B中示出的检测图像找到水平消失点110b,从图3B中示出的检测图像找到竖直消失点120b。
由于图4B中示出的第一位置确定方法和相机视图模式确定方法与图4A中示出的第一位置确定方法和相机视图模式确定方法相同,因此这里将省略对它们的描述。
在图4B中示出的示例性情况下,竖直消失点120b存在于图3B中示出的检测图像的内部,水平消失点110b存在于检测图像的外部同时远离检测图像。因此,由于第一位置210b和竖直消失点120b之间的距离小于第一位置210b和水平消失点110b之间的距离,所以观看图3B中示出的检测图像的相机的相机视图模式可被确定为俯视图模式。
图4C是用于基于从图3C中示出的检测图像检测到的消失点和图3C中示出的检测图像中的第一位置之间的距离来确定相机视图模式的方法的示例性示图。
参照图4C,第一位置210c位于图3C中示出的检测图像中,从图3C中示出的检测图像找到水平消失点110c,从图3C中示出的检测图像找到竖直消失点120c。
由于图4C中示出的第一位置确定方法和相机视图模式确定方法与图4A中示出的第一位置确定方法和相机视图模式确定方法相同,因此这里将省略对它们的描述。
在图4C中示出的示例性情况下,水平消失点110c和竖直消失点120c与图3C中示出的检测图像相距相似距离。因此,可确定第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离彼此相似。当第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离之差在预定范围内时,图1的视图模式确定单元200可确定第一位置210c和竖直消失点120c之间的距离与第一位置210c和水平消失点110c之间的距离彼此相似。因此,图1的视图模式确定单元200可确定观看图3C中示出的检测图像的相机的相机视图模式是统一视图模式。当确定相机视图模式是统一视图模式时,根据示例性实施例的视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式或与俯视图模式接近的统一视图模式。
例如,当第一位置210c和水平消失点110c之间的距离(在下文中被称为第一距离)与第一位置210c和竖直消失点120c之间的距离(在下文中被称为第二距离)彼此相似并且第一距离小于第二距离时,视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式。当第一距离和第二距离彼此相似并且第一距离大于第二距离时,视图模式确定单元200可确定相机视图模式是与俯视图模式接近的统一视图模式。当第一距离和第二距离彼此相等时,视图模式确定单元200可确定相机视图模式是与侧视图模式接近的统一视图模式或与俯视图模式接近的统一视图模式,这可由系统管理员进行预先设置。
根据本示例性实施例的视图模式确定单元200确定相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。然而,示例性实施例不限于此,视图模式确定单元200可确定相机视图模式是仰视图模式或沿新定义的方向观看的视图模式。
图5A是根据示例性实施例的在相机视图模式是侧视图模式的情况下的示例性的相机建模模式的流程图。
参照图5A,在本示例性实施例中,当相机视图模式是侧视图模式时,相机建模模式重复执行以下操作:从水平消失点创建水平线(S11);测量图像上的框宽度BoxW与图像上的从框的底至水平线的距离BoxD之间的比率A(S12);确定相机和地面之间的角度T1并计算相机的安装高度H(S13);计算相机的焦距f(S14);计算框B的尺寸(S15);提取计算出的框B的尺寸与设置的框的尺寸之间的比率R1(S16);根据提取的比率R1重新确定相机和地面之间的角度T1(S17),并随后返回到计算相机的安装高度H的操作(S13)。这是自适应参数确定模式。
首先,从水平消失点找到水平线(S11)。当相机不旋转时,水平线是穿过水平消失点并与相机的水平轴平行的直线。当相机旋转时,水平线是连接第一水平消失点和第二水平消失点的直线,其中,第一水平消失点在相机旋转之前的状态下被确定,第二水平消失点在相机旋转之后的状态下被重新确定。
在找到水平线之后,可通过以下等式(1)得到相机的检测图像上的框宽度BoxW与相机的检测图像上的从框B的底至水平线的距离BoxD之间的比率A(S12)。
等式(1)
A = BoxD BoxW
之后,确定相机和地面之间的角度T1,并从确定的相机和地面之间的角度T1计算相机的安装高度H(S13)。根据本示例性实施例,相机和地面之间的初始角度T1可被确定为具有相机的实际角度的范围内的值。在本示例性实施例中,由于在相机视图模式是侧视图模式的情况下的相机建模模式是自适应参数确定模式,因此可通过自适应调整从相机和地面之间的角度T1的初始值得到角度T1的校正值。例如,可通过以下等式(2)确定相机和地面之间的角度T1的初始值。
等式(2)
T1=cos-1(A)
在下文中,将通过等式详细描述从相机和地面之间的角度T1的值计算相机的安装高度H的方法。
当相机和框B的底之间的角度是“a”,相机和框B的顶之间的角度是“b”,从竖直线的脚至框B的底的距离是“Z”,框的高度是“h”,其中,所述竖直线是从相机向下画至地面时,建立以下等式(3)。
等式(3)
tan ( a ) = H Z , tan ( b ) = H - h Z
此外,当在相机的检测图像上从水平线至框B的底的距离是“pf”,在相机的检测图像上从水平线至框B的顶的距离是“ph”,并且在相机的检测图像上从框B的顶至框B的底的距离是“hi”时,结合相机的焦距f建立以下等式(4)至(6)。
等式(4)
pf=f·tan(a-T1)
等式(5)
ph=f·tan(b-T1)
等式(6)
hi=pf-ph=f·tan(a-T1)-f·tan(b-T1)=f·(tan(a-T1)-tan(b-T1))
此外,当框B的实际框宽度是“W”时,结合相机的检测图像中的框宽度BoxW建立以下等式(7)。
等式(7)
BoxW = W · f cos ( a - T 1 ) · Z 2 + H 2 = W · f cos ( a - T 1 ) · sin ( a ) H
在相机和框B的顶之间的角度b是0的情况下,在相机的检测图像上从框B的底至水平线的距离BoxD等于在相机的检测图像上从框B的顶至框B的底的距离hi。因此,建立以下等式(8)至(11)。
等式(8)
BoxD=A·BoxW,BoxD=f·(tan(a-T1)+tan(T1))
等式(9)
f · ( tan ( a - T 1 ) + tan ( T 1 ) ) = A · W · f cos ( a - T 1 ) · sin ( a ) H
等式(10)
sin ( a - T 1 ) cos ( a - T 1 ) + sin ( T 1 ) cos ( T 1 ) = A · W H · cos sin ( a ) cos ( a - T 1 )
等式(11)
H W · cos ( T 1 ) = A
在本示例性实施例中,框B表示作为参考检测对象的人或人体模型,框宽度W被赋予可与真实的人的宽度对应的值。因此,当相机和地面之间的角度T1被确定并且随后相机的检测图像上的框宽度BoxW与相机的检测图像上的从框B的底至水平线的距离BoxD之间的比率A被得到时,可从等式(11)计算相机的安装高度H。
以上已通过等式详细描述了从相机和地面之间的角度T1的值计算相机的安装高度H的方法。
之后,计算相机的焦距f(S14)。当在相机的检测图像上从图像的中心位置至水平线的距离是“pH”时,通过以下等式(12)计算相机的焦距f。
等式(12)
f = pH tan ( T 1 )
之后,通过使用确定的相机和地面之间的角度T1的值、计算出的相机的安装高度H以及计算出的相机的焦距f,计算和得到在相机的检测图像上从框B的顶至框B的底的距离hi(S15)。通过以下等式(13)执行该计算,等式(13)等于等式(6)。
等式(13)
hi=pf-ph=f·tan(a-T1)-f·tan(b-T1)=f·(tan(a-T1)-tan(b-T1))
之后,提取计算的在相机的检测图像上的从框B的顶至框B的底的距离hi与人或人体模型(即,本示例性实施例中的检测对象)的尺寸之间的比率R1(S16)。例如,人的平均高度可被设置为170cm。在这种情况下,当计算的在相机的检测图像上的从框B的顶至框B的底的距离hi大于设置的高度“170cm”时,比率R1大于1。另一方面,当计算的在相机的检测图像上的从框B的顶至框B的底的距离hi小于设置的高度“170cm”时,比率R1小于1。
当提取的比率R1大于或小于1时,重新确定所确定的相机和地面之间的角度T1(S17)。例如,当比率R1大于1时,由于其表示从计算出的在相机的检测图像上的从框B的顶至框B的底的距离hi所获得的检测对象的尺寸被测量为大于检测对象的实际尺寸,因此相机和地面之间的角度T1可被确定为大于其实际值。因此,相机和地面之间的角度T1可被重新设置为小于初始设置值的值,并且相机建模模式可返回到计算相机的安装高度H的操作(S13)。在重复执行自适应参数确定模式之后,当提取的比率R1等于或充分小于1时,这种情况下的相机和地面之间的角度T1、相机的安装高度H和相机的焦距f是相机建模的结果值。
图5B是根据示例性实施例的在相机视图模式是俯视图模式的情况下的示例性的相机建模模式的流程图。
参照图5B,在本示例性实施例中,当相机视图模式是俯视图模式时,相机建模模式执行以下操作:产生相机投影矩阵M(S21);计算相机的安装高度H(S22);计算相机和从相机向下画至地面的竖直线之间的角度T2(S23);计算相机的焦距f(S24)。这是用于直接确定相机建模参数而无需重复操作的直接参数确定模式。
首先,产生相机投影矩阵M(S21)。相机投影矩阵M被表示为以下的等式(14)。
等式(14)
k · x k · y k = f 0 mx 0 f my 0 0 1 1 0 0 0 cos ( T 2 ) sin ( T 2 ) 0 - sin ( T 2 ) cos ( T 2 ) X Y H
在相机投影矩阵M中,“k”是常数并且它指示左侧的三个值之间的比率保持为比率x:y:1。“mx”是具有相机的检测图像的水平方向上的像素数量的值的一半的常数,“my”是具有相机的检测图像的竖直方向上的像素数量的值的一半的常数。“X”是框B和相机之间的水平距离,“Y”是框B和相机之间的竖直距离。
之后,计算相机的安装高度H(S22)。在检测图像中,可从相机投影矩阵M获得以下等式(15)和(16)。
等式(15)
x = f · X - Y · sin ( T 2 ) + H · cos ( T 2 )
等式(16)
y = f · ( Y · cos ( T 2 ) + H · cos ( T 2 ) ) - Y · sin ( T 2 ) + H · cos ( T 2 )
通过等式(15)和(16),可如以下等式(17)得到相机的安装高度H。
等式(17)
H = xh · h xh - xf
在等式(17)中,“xh”是从相机的检测图像的中心点至框B的顶的水平坐标,“xf”是从相机的检测图像的中心点至框B的底的水平坐标。
之后,计算相机和从相机向下画至地面的竖直线之间的角度T2(S23)。可从相机投影矩阵M和用于获得相机的安装高度H的等式得到以下等式(18)。
等式(18)
( H - h ) · xh - H · xf xh - xf = Y · tan ( T 2 )
在等式(18)中,“h”是框B的高度。当在等式(18)中设置Y·tan(T2)=C时,建立以下等式(19)。
等式(19)
sin ( T 2 ) = yf · ( H - C ) · C - yh · ( H - h - C ) · C yh · ( H - h - C ) · H - yf · ( H - C ) · ( H - h )
当对等式(19)的两边取反正弦时,可通过以下等式(20)获得相机和从相机向下画至地面的竖直线之间的角度T2。
等式(20)
T 2 = sin - 1 yf · ( H - C ) · C - yh · ( H - h - C ) · C yh · ( H - h - C ) · H - yf · ( H - C ) · ( H - h )
之后,计算相机的焦距f(S24)。当竖直消失点和相机的检测图像的中心点之间的距离是“v”时,建立以下等式(21)。可从等式(21)计算相机的焦距f。
等式(21)
f = v tan ( T 2 )
当相机视图模式是统一视图模式时,根据示例性实施例的相机建模单元300可通过使用图5A中示出的相机建模模式、图5B中示出的相机建模模式或它们的组合来确定相机建模参数。
即使当相机视图模式被确定为统一视图模式时,相机建模单元300可根据水平消失点和由相机捕捉的图像中的第一位置之间的距离与竖直消失点和第一位置之间的距离之比来确定参数确定模式。
例如,当第一位置和水平消失点之间的距离小于第一位置和竖直消失点之间的距离时,相机建模单元300可将相机视图模式确定为与侧视图模式接近的统一视图模式,并通过使用图5A中示出的自适应参数确定模式来执行相机建模。
另一方面,当第一位置和水平消失点之间的距离大于第一位置和竖直消失点之间的距离时,相机建模单元300可将相机视图模式确定为与俯视图模式接近的统一视图模式,并通过使用图5B中示出的直接参数确定模式来执行相机建模。
然而,示例性实施例不限于此。例如,当相机视图模式是统一视图模式时,相机建模单元300可被预先设置为总是通过使用图5A中示出的自适应参数确定模式来执行相机建模。作为另一示例,当相机视图模式是统一视图模式时,相机建模单元300可被预先设置为总是通过使用图5B中示出的直接参数确定模式来执行相机建模。作为另一示例,当相机视图模式是统一视图模式时,相机建模单元300可被预先设置为通过使用图5A中示出的自适应参数确定模式来执行初步相机建模,通过使用图5B中示出的直接参数确定模式来执行二次相机建模,并随后通过使用初步相机建模结果和二次相机建模结果的组合来执行最终相机建模。例如,可通过对初步相机建模结果和二次相机建模结果求平均值来计算最终相机建模参数。
根据本示例性实施例的相机建模单元300使用通过以上等式定义的直接参数确定模式和自适应参数确定模式。然而,示例性实施例不限于此,相机建模单元300可使用可以以其它方式定义的直接参数确定模式或自适应参数确定模式。
如上所述,根据以上示例性实施例中的一个或更多个,相机建模系统可通过从参考检测对象检测相机的角度、焦距、安装高度和视图模式来自动执行相机建模。
应理解,这里描述的示例性实施例应仅被考虑为描述性意义而不是为了限制的目的。对每个示例性实施例中的特征或方面的描述通常应被考虑为可用于其它示例性实施例中的其它相似特征或方面。
虽然已经参照附图描述了一个或更多个示例性实施例,但是本领域的普通技术人员将理解,在不脱离由权利要求限定的本发明构思的精神和范围的情况下,可在形式和细节上进行各种改变。

Claims (9)

1.一种相机建模系统,包括:
消失点检测单元,被配置为从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点;
视图模式确定单元,被配置为基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离,确定相机视图模式;
相机建模单元,被配置为选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。
2.如权利要求1所述的相机建模系统,其中,
存在分别围绕所述多个参考检测对象的多个框;
第一消失点从连接所述多个框中的至少一对框的相应点的直线的交点得出;
第二消失点是分别连接所述多个框的顶和底的直线的交点。
3.如权利要求1所述的相机建模系统,其中,第一位置是检测区域的中心。
4.如权利要求1所述的相机建模系统,其中,视图模式确定单元根据从第一位置至第一消失点的距离与从第一位置至第二消失点的距离之间的差来确定相机视图模式。
5.如权利要求1所述的相机建模系统,其中,相机视图模式是从侧视图模式、俯视图模式和统一视图模式选择的任何一个。
6.如权利要求5所述的相机建模系统,其中,相机建模单元执行以下操作:
在相机视图模式是侧视图模式时,通过将相机建模模式选择为自适应参数确定模式来执行相机建模;
在相机视图模式是俯视图模式时,通过将相机建模模式选择为直接参数确定模式来执行相机建模;
在相机视图模式是统一视图模式时,通过将相机建模模式选择为自适应参数确定模式、直接参数确定模式或者自适应参数确定模式和直接参数确定模式的组合来执行相机建模。
7.如权利要求5所述的相机建模系统,其中,统一视图模式是从与侧视图模式接近的统一视图模式和与俯视图模式接近的统一视图模式选择的任何一个。
8.如权利要求7所述的相机建模系统,其中,相机建模单元执行以下操作:
在相机视图模式是与侧视图模式接近的统一视图模式时,通过将相机建模模式选择为自适应参数确定模式来执行相机建模;
在相机视图模式是与俯视图模式接近的统一视图模式时,通过将相机建模模式选择为直接参数确定模式来执行相机建模。
9.一种相机建模方法,包括:
从存在于检测区域中的多个参考检测对象检测第一消失点和第二消失点;
基于从检测区域中的第一位置至第一消失点的距离和从第一位置至第二消失点的距离,确定相机视图模式;
选择与确定的相机视图模式对应的相机建模模式并通过选择的相机建模模式执行相机建模。
CN201510145651.4A 2014-04-03 2015-03-30 相机建模系统 Active CN104978737B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0040061 2014-04-03
KR1020140040061A KR102225620B1 (ko) 2014-04-03 2014-04-03 카메라 모델링 시스템

Publications (2)

Publication Number Publication Date
CN104978737A true CN104978737A (zh) 2015-10-14
CN104978737B CN104978737B (zh) 2020-01-24

Family

ID=54210862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510145651.4A Active CN104978737B (zh) 2014-04-03 2015-03-30 相机建模系统

Country Status (3)

Country Link
US (1) US10348961B2 (zh)
KR (1) KR102225620B1 (zh)
CN (1) CN104978737B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493387A (zh) * 2017-09-11 2019-03-19 北京图森未来科技有限公司 一种多摄像头光轴对齐的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10582095B2 (en) 2016-10-14 2020-03-03 MP High Tech Solutions Pty Ltd Imaging apparatuses and enclosures
US11765323B2 (en) * 2017-05-26 2023-09-19 Calumino Pty Ltd. Apparatus and method of location determination in a thermal imaging system
JP6976733B2 (ja) * 2017-06-14 2021-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10636137B1 (en) * 2017-10-23 2020-04-28 Amazon Technologies, Inc. System for determining object orientations in an image
US10580164B2 (en) * 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060078214A1 (en) * 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
CN1969312A (zh) * 2004-04-30 2007-05-23 微软公司 用于选择视图模式和设定的系统和方法
US7356425B2 (en) * 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
CN101520852A (zh) * 2008-02-29 2009-09-02 富士通株式会社 消失点检测装置和检测方法
US20100295948A1 (en) * 2009-05-21 2010-11-25 Vimicro Corporation Method and device for camera calibration
US20120249837A1 (en) * 2011-04-01 2012-10-04 Lawrence Shao-Hsien Chen Methods and Systems for Real-Time Image-Capture Feedback
US20130070108A1 (en) * 2010-03-26 2013-03-21 Maarten Aerts Method and arrangement for multi-camera calibration

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591005B1 (en) * 2000-03-27 2003-07-08 Eastman Kodak Company Method of estimating image format and orientation based upon vanishing point location
JP3549463B2 (ja) * 2000-06-02 2004-08-04 松下電器産業株式会社 カメラ装置
KR100443552B1 (ko) * 2002-11-18 2004-08-09 한국전자통신연구원 가상 현실 구현 시스템 및 방법
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
JP3891181B2 (ja) 2004-02-20 2007-03-14 住友電気工業株式会社 カメラパラメータの自動算出方法及び装置
JP5079614B2 (ja) 2008-07-15 2012-11-21 Toa株式会社 カメラパラメータ特定装置および方法ならびにプログラム
US8396285B2 (en) * 2009-04-20 2013-03-12 Hewlett-Packard Development Company, L.P. Estimating vanishing points in images
JP5375958B2 (ja) * 2009-06-18 2013-12-25 富士通株式会社 画像処理装置および画像処理方法
US8731303B2 (en) * 2010-12-07 2014-05-20 Sony Corporation Vanishing point estimation system and methods
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
JP5613147B2 (ja) 2011-12-27 2014-10-22 住友電気工業株式会社 カメラパラメータ測定装置、カメラパラメータ測定方法、及びプログラム
US20130314401A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US20140019303A1 (en) * 2012-07-13 2014-01-16 Wal-Mart Stores, Inc. Comparison of Product Information
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969312A (zh) * 2004-04-30 2007-05-23 微软公司 用于选择视图模式和设定的系统和方法
US20060078214A1 (en) * 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US7356425B2 (en) * 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
CN101520852A (zh) * 2008-02-29 2009-09-02 富士通株式会社 消失点检测装置和检测方法
US20100295948A1 (en) * 2009-05-21 2010-11-25 Vimicro Corporation Method and device for camera calibration
US20130070108A1 (en) * 2010-03-26 2013-03-21 Maarten Aerts Method and arrangement for multi-camera calibration
US20120249837A1 (en) * 2011-04-01 2012-10-04 Lawrence Shao-Hsien Chen Methods and Systems for Real-Time Image-Capture Feedback

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493387A (zh) * 2017-09-11 2019-03-19 北京图森未来科技有限公司 一种多摄像头光轴对齐的方法和装置

Also Published As

Publication number Publication date
US20150288878A1 (en) 2015-10-08
KR102225620B1 (ko) 2021-03-12
CN104978737B (zh) 2020-01-24
KR20150115287A (ko) 2015-10-14
US10348961B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN104978737A (zh) 相机建模系统
US20180322646A1 (en) Gaussian mixture models for temporal depth fusion
KR101947826B1 (ko) 차량의 주차구획 인식방법
CN108876749A (zh) 一种鲁棒的镜头畸变校正方法
CN102565072B (zh) 拉伸铝合金板表面裂纹立体视觉在线检测方法
CN102113321B (zh) 目标对象物位置确定装置
US20200167578A1 (en) Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product
CN104902246A (zh) 视频监视方法和装置
WO2012165491A1 (ja) ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体
CN110334678A (zh) 一种基于视觉融合的行人检测方法
WO2004106856A1 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
CN103782232A (zh) 投影仪及其控制方法
US20160144786A1 (en) Method and apparatus for providing driving information
CN112798811B (zh) 速度测量方法、装置和设备
US9332247B2 (en) Image processing device, non-transitory computer readable recording medium, and image processing method
KR102096230B1 (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
CN104463899A (zh) 一种目标对象检测、监控方法及其装置
CN105286871A (zh) 一种基于视频处理的人体身高测量方法
CN109212377A (zh) 一种高压线路障碍物识别方法、装置、巡检机器人
CN105592301B (zh) 摄像设备及其控制方法和监视照相机系统
CN107145828A (zh) 车辆全景图像处理方法及装置
JP6860445B2 (ja) 物体距離検出装置
CN106097297B (zh) 一种摄像头遮挡范围计算方法
Delmas et al. Stereo camera visual odometry for moving urban environments
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190409

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Applicant after: Hanwha Precision Machinery Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201216

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanwha Techwin Co.,Ltd.

Patentee before: Hanwha Precision Machinery Co.,Ltd.

CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder