CN103208112A - 多个相机的多部分对应器 - Google Patents

Abstract

描述了用于寻找两个或更多个相机的相机图像中的一个或多个部分的对应的方法、系统和装置，包括计算机程序产品。对于第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一部分的第一特征坐标在3D物理空间的第一反投影的第一3D光线。对于第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第二部分的第二特征坐标在3D物理空间的第二反投影的第二3D光线，其中第一特征坐标和第二特征坐标对应于在模型中识别出的第一特征。计算第一3D光线和第二3D光线之间的第一距离。

Description

多个相机的多部分对应器

相关申请的交叉引用

本申请要求2011年12月16日提交的题为“Multi-Part Corresponder forMultiple Cameras（多个相机的多部分对应器）”的美国专利申请No.61/576,952的权益和优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本发明总地涉及机器视觉领域，更具体地涉及将分立相机图像中的部分对应起来。

背景技术

数字图像是通过许多设备形成的并用于许多实践目的。设备包括工作在可见光或红外光下的相机、线扫描传感器、飞点扫描仪、电子显微镜、包括CT扫描仪的X射线设备、磁共振成像器以及业内技术人员公知的其它设备。可以在工业自动化、医疗诊断、面向各种军用和民用以及科学目的卫星成像、照相处理、监视和交通监控、文档处理和许多其它领域找到其实践应用。

为了服务于这些应用，由各种设备形成的图像被数字设备分析以提取适宜的信息。具有可观的实践重要性的一类分析是确定与成像设备的视野内的目标对应的图像中的图案的位置、方位和尺寸。图案定位方法在工业自动化中尤其重要，在工业自动化中，这些方法用来在半导体制造、电子器件组装、制药、食品处理、消耗品制造和其它领域中引导机械手和其它自动化设备。

在使用一个以上成像设备的应用中，另一类具有实践重要性的数字图像分析是识别一个设备的视野内和另一设备的视野内的多个部分之间的对应(例如分立视野中的哪些部分对应于同一物理部分)。因此，需要快速地将分立视野中的多个部分对应起来的系统和方法。

发明内容

在一个方面中，该技术涉及一种计算机执行的方法，它寻找两个或更多个相机的相机图像中的一个或多个部分的对应。该方法包括：对于第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一部分的第一特征坐标在3D物理空间的第一反投影的第一3D光线。该方法包括：对第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第二部分的第二特征坐标在3D物理空间的第二反投影的第二3D光线，其中第一特征坐标和第二特征坐标对应于在模型中识别出的第一特征。该方法包括计算第一3D光线和第二3D光线之间的第一距离。

在另一方面，该技术涉及一种计算机执行的方法，它寻找两个或更多个相机的相机图像中的一个或多个部分的对应。该方法包括：对第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一特征坐标在3D物理空间的反投影的第一3D光线，计算作为第一相机图像中的第二特征坐标在3D物理空间的第二反投影的第二3D光线。该方法包括：对第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线，计算作为第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线，其中第一特征坐标和第三特征坐标对应于模型中识别出的相同的第一特征，而第二特征坐标和第四特征坐标对应于模型中识别出的相同的第二特征。该方法包括计算第一和第三3D光线上的最接近点之间的第一点以及第二和第四3D光线上的最接近点之间的第二点。

在一些实施例中，该方法包括：对于第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线；对于第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线，其中第三特征坐标和第四特征坐标对应于模型中识别出的第二特征，并计算第三3D光线和第四3D光线之间的第二距离。

在一些实施例中，该方法包括基于第一距离和第二距离中的至少一个计算候选部分对应分数。在一些实施例中，候选部分对应分数是第一距离和第二距离的平均值。在一些实施例中，该方法包括：如果第一距离超出一预定阈值，则将第一相机的第一相机图像中的第一部分和第二相机的第二相机图像中的第二部分的配对排除在候选部分对应之外。

在一些实施例中，该方法包括：对于第三相机的第三相机图像中的第三部分，计算作为第三相机图像中的第三部分的第三特征坐标在3D物理空间的第三反投影的第三3D光线，其中第一特征坐标、第二特征坐标和第三特征坐标对应于模型中识别出的第一特征，并计算第三3D光线和第一点之间的第二距离，所述第一点位于第一和第二3D光线上的最接近点之间。

在一些实施例中，该方法包括：对于第三相机的第三相机图像中的第三部分，计算作为第三相机图像中的第三部分的第三特征坐标在3D物理空间的第三反投影的第三3D光线，其中第一特征坐标、第二特征坐标和第三特征坐标对应于模型中识别出的特征，并计算第一3D光线和第三3D光线之间的第二距离，和计算第二3D光线和第三3D光线之间的第三距离。

在一些实施例中，该方法包括计算第一点和第二点之间的距离。在一些实施例中，该方法包括将该距离与预定值比较以确定距离残差。在一些实施例中，该预定值基于模型中识别出的第一特征和第二特征。在一些实施例中，该预定值基于输入值。

在一些实施例中，该方法包括基于该距离残差来计算候选对应分数。在一些实施例中，该方法包括：如果该距离残差超出一预定阈值，则将第一相机图像中的第一部分和第二相机图像中的第二部分的配对排除在候选部分对应之外。在一些实施例中，该方法包括：计算第一3D光线和第三3D光线之间的第一距离并计算第二3D光线和第四3D光线之间的第二距离；并基于距离残差、第一距离和第二距离来计算候选部分对应分数。

在另一方面，本技术涉及一系统。该系统包括：两个或更多个相机；对应模块，所述对应模块被配置成：对于两个或更多个相机中的第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一部分的第一特征坐标在3D物理空间的第一反投影的第一3D光线；对于两个或更多个相机中的第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第二部分的第二特征坐标在3D物理空间的第二反投影的第二3D光线；其中第一特征坐标和第二特征坐标对应于模型中识别出的第一特征；并计算第一3D光线和第二3D光线之间的第一距离。

在另一方面，本技术涉及一系统。该系统包括：两个或更多个相机；对应模块，所述对应模块被配置成：对两个或更多个相机中的第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一特征坐标在3D物理空间的反投影的第一3D光线，计算作为第一相机图像中的第二特征坐标在3D物理空间的第二反投影的第二3D光线；对于两个或更多个相机中的第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线，计算作为第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线；其中第一特征坐标和第三特征坐标对应于模型中识别出的同一第一特征，而第二特征坐标和第四特征坐标对应于模型中识别出的同一第二特征；并计算第一和第三3D光线上的最接近点之间的第一点以及第二和第四3D光线上的最接近点之间的第二点。

本技术的其他方面和优点将在结合仅以示例方式示出本技术原理的附图考虑以下详细描述中变得显而易见。

附图说明

本发明的上述和其他目的、对象、特征和优点，当与相应附图一起细阅时，从以下各实施例的详细描述中将得到更全面的理解，在附图中：

图1示出可用于这项技术的系统；

图2示出两个图像捕获设备的视野；

图3是示出寻找两个或更多个相机的视野内的一个或多个部分的对应的方法的流程图；以及

图4示出这些部分以及这些部分的图像。

具体实施方式

一般来说，本技术涉及针对多个相机图像之间的对应部分的计算机化系统和计算机执行的方法。在3D机器视觉系统中，可使用对相同或重叠的场景成像的两个或更多个2D相机来确定与一个或多个场景中的物体有关的3D信息(例如与相机或其它已知点的距离)。确定一个相机的视野内的物体和第二相机的视野内的物体是否对应于同一物理物体有助于协同地利用分立的图像来确定与场景中的物体有关的3D信息。本文描述的计算机化系统和计算机执行的方法利于将分立相机的视野内的多个物体对应起来。

图1描绘出用于这项技术的系统100。系统100包括图像捕获设备(例如相机)105和图像捕获设备110。图像捕获设备105和图像捕获设备110被定位以捕获工作空间112内的图像。像平面115是图像捕获设备105的像平面，并代表由图像捕获设备105捕获的工作空间112图像的二维平面。像平面120是图像捕获设备110的像平面，并代表由图像捕获设备110捕获的工作空间112图像的二维平面。尽管系统100图示为具有两个图像捕获设备(图像捕获设备105和图像捕获设备110)，然而本技术可用于具有两个或更多个图像捕获设备的系统。

系统100包括对应模块125。对应模块125接收来自图像捕获设备105和图像捕获设备110的图像。对应模块125可配置成使用本文描述的方法来确定像平面115中的各个部分(例如图像捕获设备105的视野)与像平面120中的各个部分(例如图像捕获设备110的视野)的对应。

可校正系统100以提供从一个图像捕获设备的坐标系至另一图像捕获设备的坐标系的数学转换。可校正系统100以提供从图像捕获设备的坐标系至图像捕获设备视野内的物理场景的坐标系的数学转换。与特征坐标关联的像点x反投影至由x和相机中心限定的3D射线。校正将像点关联于射线的方向。有关相机校正的额外信息可在2000年12月22日提交的题为“Method andapparatus for calibrating an image acquisition system(用于校正图像获取系统的方法和装置)”的美国专利No.6,798,925以及Richard Hartley和Andrew Zisserman第二版(2004)中的“Multiple view Geometry in ComputerVision(计算机视觉中的多视场几何学)”中找到，这两篇文献均全篇援引包含于此作为参考。

系统100是计算机化系统的示例，该计算机化系统被专门地设置成执行本文描述的计算机化方法。然而，与图1相关地描述的系统结构和内容仅为示例性目的，且并不意在将其他示例限制于图1所示的特定结构。如对于本领域普通技术人员而言明显地，可在不背离此处描述的计算机化系统和方法的情况下构建很多变化的系统结构。

图2示出两个图像捕获设备的视野；视野210是第一图像捕获设备(例如图像捕获设备105)的视野。视野220是第二图像捕获设备(例如图像捕获设备110)的视野。视野210、220表示多个部分的同一组。可使用本文描述的技术以利于识别一个视野中的哪些部分实例对应于另一视野中的一个部分实例。如本文中使用的，部分实例指图像中的物理部分的表征。

例如，在图2中，视野210、220均包含若干个部分实例。本文描述的计算机化系统和计算机执行的方法有助于将视野210中的一些部分与视野220中的一些部分匹配(例如确定视野210中的部分225和视野220中的部分230对应于同一物理部分)。

图3是示出寻找两个或更多个相机的视野内的一个或多个部分的对应的方法的流程图300。在步骤305，生成一个部分的3D模型特征。在一些实施例中，3D模型特征可以是3D点。在一些实施例中，3D模型特征也可以是边角、圆和线段中的至少一个。3D模型可以是物理部分的数学表述。生成3D模型的方法也是本领域内技术人员公知的，例如参见James D.Foley(1996)的“Computer Graphics:principles and practice(计算机图形学：原理和实践)”，该文献全篇地援引包含于此作为参考。例如，3D模型可包括一个部分的尺寸、其顶点或规定该部分的物理特征的其它属性。部分特征是可选择以帮助识别由图像捕获设备捕获的图像中的各个部分的部分的形貌。例如，部分特征可以是该部分的锯齿形边缘、该部分中的孔或该部分的任何其它物理形貌。部分特征可手动地或以编程方式基于模型而选择。3D模型可使用由马萨诸塞州内蒂克市的Cognex公司提供的Cognex

3D三角函数来生成。

在步骤310，训练部分定位器工具以定位部分实例。训练特征寻找器工具以定位部分特征。在一些实施例中，部分定位和特征寻找是使用同一工具执行的。在一些实施例中，部分定位和特征寻找是使用不同工具执行的。在一些实施例中，可使用边角寻找器、圆寻找器或其它图案匹配工具来定位这些特征。在一些实施例中，通过应用部分定位器工具产生的2D姿态（例如通过使用部分定位姿态将来自训练图像的特征的位置映射至运行时图像）来直接地定位特征。

训练步骤训练特征寻找器工具以在图像捕获设备的2D图像中定位由3D模型表述的部分。例如，可训练Cognex PatMax以寻找图像中的部分特征。

在步骤315中，在每个相机的图像中定位2D部分实例。图4示出这些部分和这些部分的图像。在图4中，部分402具有特征405(例如部分405的正方体边角)并且部分407具有特征410。部分402和部分407两者通过同一模型(未示出)建模，而特征405和特征410是模型中同一特征的实例。相机415可捕获图像420，该图像420包括部分405(部分实例425)和部分407(部分实例430)在相机415的像平面420中的2D投影。相机435可捕获图像440，该图像440包括部分405(部分实例445)和部分407(部分实例450)在相机435的像平面中的2D投影。部分实例可使用例如Cognex PatMax定位在特定图像中(例如将部分实例425、430定位在图像420中并将部分实例445、450定位在图像440中)。关于Cognex PatMax如何在图像中寻找部分实例的进一步描述可在1998年7月13日提交的题为“Method for Fast,Robust,Multi-Dimensional PatternRecognition(快速、强健、多维图案识别的方法)”的美国专利7,016,539和2003年11月10日提交的题为“Fast high-accuracy multi-dimensionalpattern inspection(快速高精确性多维图案检查)”的美国专利7,065,262中找到，这些文件全篇地援引包含于此以供参考。

在步骤320，在每个相机的图像中寻找每个2D部分实例的特征位置或坐标。在图4的示例中，可例如使用Cognex PatMax来寻找特征455(特征405在图像420中的2D投影)、特征460(特征410在图像420中的2D投影)、特征465(特征405在图像440中的2D投影)以及特征470(特征410在图像440中的2D投影)。在一些实施例中，可通过将部分位置姿态施加于部分实例中的特征位置偏移来计算特征位置。例如，特征455在部分实例425中的偏移可与所发现的部分425的姿态组合并用作特征位置。该方法的好处是可按照此方式获得封闭特征的位置。

在步骤325，创建一对应候选的列表。在一些实施例中，对应候选列表可以是通过从每个相机图像中选择一个部分实例而产生的所有组合的列表。在一些实施例中，对应候选列表可以是包括通过从每个相机图像中选择一个部分实例而产生的所有组合的一个子集的列表。例如，参见图4，对应列表可以是(部分实例425/部分实例445)、(部分实例425/部分实例450)、(部分实例430/部分实例445)、(部分实例430/部分实例450)(例如来自图像420的部分实例和来自图像440的部分实例的每种组合)。

在使用三个相机的实施例中，对应候选可包括通过从第一相机图像选择一部分实例、从第二相机图像选择一部分实例并从第三相机图像选择一部分实例所产生的所有组合。如前面提到的，本文描述的方法可用于大于1的任何数量的相机。

在步骤330，评价对应候选。在一些实施例中，使用相应候选的每个部分实例中的一些部分特征的实例基于三角测量来评价对应候选。可将相应的部分特征进行比较(例如将一个部分实例425中的特征455与另一部分实例445中的相同特征465进行比较)。参见图4，例如，可评价对应候选(部分实例425/部分实例445)。从特征455开始，计算光线475(它是图像420中的特征455的坐标在3D物理空间的反投影)。另外计算光线480(它是图像440中的特征465的坐标在3D物理空间的反投影)。计算光线475和光线480之间的光线残差(例如光线475和480上的最接近点之间的距离)。在一些实施例中，如果光线残差大于一阈值，则将该对应候选从对应候选列表中移除。大的光线残差可能暗示被比较的部分实例对应于两个不同的物理部分。如果光线残差小于一阈值，则以相同方式对剩下的特征进行评价并将光线残差与该阈值作比较。如果各个特征的每个残差小于该阈值，则计算对应候选分数并且该对应候选仍然保留在对应候选列表中。在一些实施例中，对少于所有特征的一些特征计算光线残差。

在一些实施例中，该阈值是基于部分尺寸的。例如，该阈值可以是部分沿一边的尺寸的百分比。

在一些实施例中，对应候选分数可以是各残差的平均值。在一些实施例中，对应候选分数可以是各残差之和。

可依赖于存在的相机的数目以数种不同方式计算光线残差。例如，在使用三个相机的实施例中，光线残差可计算成三个光线之间的距离之和(例如每个光线是每个相机图像的特征坐标在3D物理空间的反投影)。在一些实施例中，残差可计算成第一光线和第二光线之间的距离与第一、第二光线之间的一个点和第三光线之间的距离之和。在使用三个或更多个相机的另一实施例中，可通过确定第一光线和第二光线的最接近点之间的一个点并随后将该3D点投影到第三相机的图像中并将投影点的距离与第三图像中的特征的位置进行比较来计算光线残差。

在一些实施例中，可基于模型的几何形状来评价对应候选。例如，可计算光线475和光线480上的最接近点之间的第一点。可计算对于另一特征的光线的最接近点之间的一个点。可将计算出的这两个点之间的距离与部分模型中这两个特征之间的给定距离进行比较。例如，可计算距离残差，该距离残差是计算出的距离和给定距离之间的差。在一些实施例中，如果该距离残差大于一阈值，则将该对应候选从对应候选列表中移除。大的距离残差可能表示正在评价与两个不同物理部分对应的部分实例。如果距离残差小于一阈值，则以相同方式对特征间的剩余距离进行评价并将该距离残差与该阈值比较。如果每个距离残差小于该阈值，则计算对应候选分数并且该对应候选仍然保留在对应候选列表中。在一些实施例中，对应候选分数可以是各距离残差的平均值。在一些实施例中，对应候选分数可以是各距离残差之和。在一些实施例中，对应候选分数可以是各距离残差的加权平均值，其中加权是基于模型尺寸的。在一些实施例中，对应候选分数基于光线残差和距离残差。

在步骤335，将对应候选列表中的对应候选排序。在一些实施例中，通过其相应的对应候选分数将对应候选排序，以使可能性最大的对应候选排在第一。对应候选列表可以是一阵列、联合的列表或其它数据结构。

参照图4，例如归类的对应候选列表可包括下列对应候选：

部分实例425/部分实例445(对应候选分数8)、部分实例430/部分实例450(对应候选分数9)、部分实例425/部分实例450(对应候选分数20)、部分实例430/部分实例445(对应候选分数35)。

在步骤430，将最佳的对应候选从对应候选列表中移除并添加至结果列表中。在一些实施例中，最佳的对应候选必须具有满足预定阈值的分数，并随后被添加至结果列表。结果列表是所找到的部分对应的列表。

在步骤345，将包括步骤340中移除的对应候选中的部分实例的对应候选列表中的对应候选从对应候选列表中移除。例如，参照前面的对应候选列表，在将作为具有最低分数对应候选的对应候选(部分实例425/部分实例445)从对应候选列表中移除后，可移除对应候选(部分实例425/部分实例450)和对应候选(部分实例430/部分实例445)，因为它们中的每一个共享有对应候选(部分实例425/部分实例445)的部分实例。

在步骤350，判断在对应候选列表中是否还留有任何候选。如果列表为空，则方法可返回。结果列表中的对应候选识别所找到的部分实例对应。

如果对应候选列表中存在更多的对应候选，则将具有最低对应候选分数的对应候选从对应候选列表中去除，如针对步骤340描述的那样。然后剔除对应候选列表，将共享具有最低对应候选分数的对应候选的部分实例的对应候选去除，如参照步骤345描述的那样。

以上描述的技术可在数字和/或模拟电子电路系统中、或计算机硬件、固件、软件、或其各种组合中实现。实施例可以作为计算机程序产品，即，有形地实施在机器可读存储设备中的计算机程序，用于由例如可编程处理器、计算机和/或多台计算机之类的数据处理装置来执行或控制该数据处理装置的操作。计算机程序可以按任何形式的计算机或编程语言来编写，包括源代码、编译代码、解释代码和/或机器代码，并且该计算机程序可按任何形式来部署，包括作为独立程序或作为子例程、元件或适于在计算环境中使用的其他单元。计算机程序可被部署以在一台计算机上或一个或多个地点的多台计算机上以供执行。

方法步骤可由执行计算机程序以通过操作输入数据和/或生成输出数据来执行本发明的功能的一个或多个处理器来执行。方法步骤还可由专用逻辑电路系统执行并且装置可被实现为专用逻辑电路系统，例如，FPGA（现场可编程门阵列）、FPAA（现场可编程模拟阵列）、CPLD（复杂可编程逻辑器件）〕PSoC（可编程的片上系统）、ASIP（专用指令集处理器）、或ASIC（专用集成电路）。子例程可指计算机程序的诸部分和/或实现一个或多个功能的处理器/专用电路。

作为示例，适于计算机程序的执行的处理器包括通用微处理器和专用微处理器两者，以及任何类型的数字或模拟计算机中的任何一个或多个处理器。一般而言，处理器从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和/或数据的一个或多个存储器设备。诸如高速缓存之类的存储器设备可用于暂存数据。存储器设备也可用于长期数据存储。一般而言，计算机还包括或操作地耦合以从和/或向用于存储数据的例如磁盘、磁光盘或光盘之类的一个或多个大容量存储设备接收数据和/或传送数据。计算机还可操作地耦合至通信网络以从该网络接收指令和/或数据和/或向该网络传送指令和/或数据。适于体现计算机程序指令和数据的计算机可读存储设备包括所有形式的易失性和非易失性存储器，其作为示例包括例如DRAM、SRAM、EPROM、EEPROM和闪存设备之类的半导体存储器设备；例如内部硬盘或可移动盘之类的磁盘；磁光盘；以及例如CD、DVD、HD-DVD和蓝光盘之类的光盘。处理器和存储器可由专用逻辑电路系统补充和/或被纳入到专用逻辑电路系统中。

为了提供与用户的交互，前面描述的技术可在与例如CRT（阴极射线管）监视器、等离子监视器、或LCD（液晶显示器）监视器之类的用于向用户显示信息的显示设备、和键盘以及例如鼠标、跟踪球、触摸板、或运动传感器之类的可由用户用来向计算机提供输入（例如，与用户接口元件交互）的指示设备通信的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可按任何形式接收，包括声音、语音和/或触觉输入。

前面描述的技术可在包括后端组件的分布式计算系统中实现。例如，后端组件可以是数据服务器、中间件组件和/或应用服务器。前面描述的技术可在包括前端组件的分布式计算系统中实现。前端组件可以例如是具有图形用户界面的客户机计算机、借此用户可与示例性实施例交互的Web浏览器和/或用于发送设备的其他图形用户界面。前述技术可实现在包括这样的后端、中间件、或前端组件的任何组合的分布式计算系统中。

计算系统可包括客户机和服务器。客户机和服务器一般彼此相距甚远并通常通过通信网络进行交互。客户机和服务器的关系根据在相应计算机上运行且彼此具有客户机-服务器关系的计算机程序来产生。

计算系统的组件可通过任何形式或介质表现的数字或模拟数据通信（例如通信网络）来互连。通信网络的示例包括基于电路的和基于分组的网络。基于分组的网络可包括例如因特网、载波网际协议（IP）网络（例如，局域网（LAN）、广域网（WAN）、校域网（CAN）、城域网（MAN）、家庭域网（HAN））、专用IP网络、IP专用交换分机（IPBX）、无线网络（例如无线电接入网络（RAN）、802.11网络、802.16网络、通用分组无线业务（GPRS）网络、HiperLAN）和/或其它基于分组的网络。基于电路的网络可包括例如公共电话交换网（PSTN）、专用交换分机（PBX）、无线网络（例如，RAN、蓝牙、码分多址（CDMA）网络、时分多址（TDMA）网络、全球移动通信系统（GSM）网络）和/或其它基于电路的网络。

计算系统和/或计算设备的示例可包括，例如，计算机、具有浏览器设备的计算机、电话、IP电话、移动设备（如，蜂窝电话、个人数字助理（PDA）设备、膝上计算机、电子邮件设备）、服务器、具有一个或多个处理卡的机架、专用电路、和/或其他通信设备。浏览器设备包括例如具有万维网浏览器（例如，可从微软公司获得的

Internet

可从Mozilla公司获得的

Firefox）的计算机（例如，台式计算机、膝上计算机）。移动计算设备包括，例如，

IP电话包括，例如，可从Cisco System有限公司获得的

Unified IP Phone 7985G、和/或可从Cisco System有限公司获得的Unified Wireless Phone 7920。

本领域的技术人员将意识到本发明可体现为其它具体形式，而不背离本发明的精神和本质特性。因此认为上述实施例在各方面均是说明性的而非限制本文描述的本发明。因此，本发明的范围由所附权利要求而不是由上述描述指定，且因此在该权利要求的等价技术方案的含义和范围内的所有变形都旨在包含于此。

Claims (17)

1.一种寻找两个或更多个相机的相机图像中的一个或多个部分的对应的计算机执行方法，包括：

对于第一相机的第一相机图像中的第一部分，计算作为第一相机图像中的第一部分的第一特征坐标在3D物理空间的第一反投影的第一3D光线；

对于第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第二部分的第二特征坐标在3D物理空间的第二反投影的第二3D光线，其中所述第一特征坐标和所述第二特征坐标对应于模型中识别出的第一特征；以及

计算所述第一3D光线和所述第二3D光线之间的第一距离。

2.如权利要求1所述的计算机执行方法，其特征在于，还包括：

对于所述第一相机的第一相机图像中的第一部分，计算作为所述第一相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线，

对于所述第二相机的第二相机图像中的第二部分，计算作为所述第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线，其中所述第三特征坐标和所述第四特征坐标对应于模型中识别出的第二特征；以及

计算所述第三3D光线和第四3D光线之间的第二距离。

3.如权利要求2所述的计算机执行方法，其特征在于，还包括：

基于所述第一距离和所述第二距离中的至少一个，计算候选部分对应分数。

4.如权利要求3所述的计算机执行方法，其特征在于，所述候选部分对应分数是所述第一距离和所述第二距离的平均值。

5.如权利要求1所述的计算机执行方法，其特征在于，还包括：

如果所述第一距离超出一预定阈值，则将所述第一相机的第一相机图像中的第一部分和所述第二相机的第二相机图像中的第二部分的配对排除在候选部分对应之外。

6.如权利要求1所述的计算机执行方法，其特征在于，还包括：

对于第三相机的第三相机图像中的第三部分，计算作为第三相机图像中的第三部分的第三特征坐标在3D物理空间的第三反投影的第三3D光线，其中所述第一特征坐标、所述第二特征坐标和所述第三特征坐标对应于模型中识别出的第一特征，以及

计算所述第三3D光线和第一点之间的第二距离，所述第一点位于所述第一和第二3D光线上的最接近点之间。

7.如权利要求1所述的计算机执行方法，其特征在于，还包括：

对于第三相机的第三相机图像中的第三部分，计算作为所述第三相机图像中的第三部分的第三特征坐标在3D物理空间的第三反投影的第三3D光线，其中所述第一特征坐标、所述第二特征坐标和所述第三特征坐标对应于模型中识别出的特征，以及

计算所述第一3D光线和所述第三3D光线之间的第二距离，和计算所述第二3D光线和所述第三3D光线之间的第三距离。

8.一种寻找两个或更多个相机的相机图像中的一个或多个部分的对应的计算机执行方法，包括：

对第一相机的第一相机图像中的第一部分，计算作为所述第一相机图像中的第一特征坐标在3D物理空间的反投影的第一3D光线，计算作为所述第一相机图像中的第二特征坐标在3D物理空间的第二反投影的第二3D光线；

对于第二相机的第二相机图像中的第二部分，计算作为所述第二相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线，计算作为所述第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线，其中所述第一特征坐标和所述第三特征坐标对应于模型中识别出的同一第一特征，而所述第二特征坐标和所述第四特征坐标对应于模型中识别出的同一第二特征；以及

计算所述第一和第三3D光线上的最接近点之间的第一点以及所述第二和第四3D光线上的最接近点之间的第二点。

9.如权利要求8所述的方法，其特征在于，还包括计算所述第一点和所述第二点之间的距离。

10.如权利要求9所述的方法，其特征在于，还包括将所述距离与预定值进行比较以确定距离残差。

11.如权利要求10所述的方法，其特征在于，所述预定值基于模型中识别出的第一特征和第二特征。

12.如权利要求10所述的方法，其特征在于，所述预定值基于输入的值。

13.如权利要求10所述的方法，其特征在于，还包括基于所述距离残差来计算候选对应分数。

14.如权利要求13所述的方法，其特征在于，还包括如果所述距离残差超出一预定阈值，则将所述第一相机图像中的第一部分和所述第二相机图像中的第二部分的配对排除在候选部分对应之外。

15.如权利要求10所述的方法，其特征在于，还包括计算所述第一3D光线和所述第三3D光线之间的第一距离并计算所述第二3D光线和所述第四3D光线之间的第二距离；并基于所述距离残差、所述第一距离和所述第二距离来计算候选部分对应分数。

16.一种系统，包括：

两个或多个相机；

对应模块，所述对应模块配置成：

对于所述两个或更多个相机中的第一相机的第一相机图像中的第一部分，计算作为所述第一相机图像中的第一部分的第一特征坐标在3D物理空间的第一反投影的第一3D光线；

对于所述两个或更多个相机中的第二相机的第二相机图像中的第二部分，计算作为第二相机图像中的第二部分的第二特征坐标在3D物理空间的第二反投影的第二3D光线，其中所述第一特征坐标和所述第二特征坐标对应于模型中识别出的第一特征；以及

计算所述第一3D光线和所述第二3D光线之间的第一距离。

17.一种系统，包括：

两个或多个相机；

对应模块，所述对应模块配置成：

对于所述两个或更多个相机中的第一相机的第一相机图像中的第一部分，计算作为所述第一相机图像中的第一特征坐标在3D物理空间的反投影的第一3D光线，计算作为所述第一相机图像中的第二特征坐标在3D物理空间的第二反投影的第二3D光线；

对于所述两个或更多个相机中的第二相机的第二相机图像中的第二部分，计算作为所述第二相机图像中的第三特征坐标在3D物理空间的第三反投影的第三3D光线，计算作为所述第二相机图像中的第四特征坐标在3D物理空间的第四反投影的第四3D光线，其中所述第一特征坐标和所述第三特征坐标对应于模型中识别出的同一第一特征，而所述第二特征坐标和所述第四特征坐标对应于模型中识别出的同一第二特征；以及

计算所述第一和第三3D光线上的最接近点之间的第一点以及所述第二和第四3D光线上的最接近点之间的第二点。

Images