CN107925727B - 3d相机图像中的点到点距离测量 - Google Patents

3d相机图像中的点到点距离测量 Download PDF

Info

Publication number
CN107925727B
CN107925727B CN201680050191.XA CN201680050191A CN107925727B CN 107925727 B CN107925727 B CN 107925727B CN 201680050191 A CN201680050191 A CN 201680050191A CN 107925727 B CN107925727 B CN 107925727B
Authority
CN
China
Prior art keywords
measurement
points
pair
predicted
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680050191.XA
Other languages
English (en)
Other versions
CN107925727A (zh
Inventor
K.塞沙德里纳坦
O.内斯塔雷斯
A.梅迪扎德
M.T.施泰因
吴翌
J.格兰格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107925727A publication Critical patent/CN107925727A/zh
Application granted granted Critical
Publication of CN107925727B publication Critical patent/CN107925727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

系统和方法用于从3D图像数据确定点到点距离。在一些实施例中，例如由用户指定的两个测量点表示图像帧内感兴趣的对象上的端点。假设定位在这些端点之间的所有点也属于感兴趣的对象，可以运用与沿着由测量点限定的测量线定位的点相关联的附加3D数据来提供鲁棒距离测量。在一些实施例中，执行总体最小二乘法拟合，例如通过鲁棒主成分分析（RPCA）来执行，以便识别测量线上的3D坐标的集合内的线性结构。在一些示例性实施例中，针对多变量位置和多变量离散度的高度鲁棒的估计而计算数据的协方差矩阵的最小协方差行列式（MCD）估计量。

Description

3D相机图像中的点到点距离测量
优先权声明
本申请要求2015年8月31日提交的题为“POINT-TO-POINT DISTANCEMEASUREMENTS IN 3D CAMERA IMAGES”的美国专利申请序列号14/841,609的优先权。
背景技术
数字相机是常常包括在商用电子媒体设备平台中的组件。数字相机现在以可穿戴形状因子（例如，视频捕获听筒、视频捕获耳麦、视频捕获眼镜等）而可获得，以及嵌入在智能电话、平板计算机和笔记本计算机中。三维（3D）相机正变得更常见，并且现在可以在包括机动车的许多移动设备/平台上见到。这些设备向最终用户提供增强的娱乐与利用体验。例如，摄影和机动车控制系统可以通过来自3D相机的深度（即，范围）信息输出而增强。生成3D相机图像的现有技术包括立体或多相机、包括投影光图案和相机的结构化光系统、飞行时间（TOF）相机等。
通过3D相机而使得能够实现的重要应用是点到点测量，其中，以真实世界单位（诸如，厘米等）来测量典型地由用户指定的图像上的两个点之间的距离。测量这样的点到点距离的最简单方式是利用范围信息连同几何校准信息来计算测量点的3D坐标。然后可以计算所选择的测量点之间的中间距离的测量。然而，这样的测量方案遭受若干缺点。例如，范围值经常是有噪声的，从而在指定一对点时引入显著误差。而且，该技术还易受测量位置的非精确用户输入所影响。
因此，3D相机图像中的更鲁棒的点到点距离测量是有利的。
附图说明
本文描述的素材通过示例而非限制的方式在随附各图中图示。为了图示的简单和清楚起见，在图中图示的元件未必按照比例绘制。例如，为了清楚，可以相对于其它元件而夸大一些元件的尺寸。另外，在视为适当的情况下，已经在各图之中重复参考标记以便指示对应或者类似的元件。在附图中：
图1是依照一些实施例的3D相机图像中的点到点距离测量的示意图；
图2A是依照一些实施例的用于点到点距离测量的方法的流程图；
图2B是依照一些实施例的3D相机图像中的点到点间隙距离测量的示意图；
图3是依照一些实施例的用于点到点距离测量的方法的流程图；
图4图示了依照一些实施例的包括点到点距离测量管线的图像捕获设备；
图5是根据一些实施例的具有一个或多个处理器核的处理器、集成存储器控制器和集成图形处理器的实施例的框图；
图6是依照一些实施例的采用点到点测量设备的示例性超低功率系统的示意图；以及
图7是依照一些实施例布置的示例性移动手持机平台的示意图。
具体实施方式
参照附上的各图来描述一个或多个实施例。尽管详细地讨论和描绘了具体的配置和布置，但是应当理解到，这仅是出于说明性目的。相关领域中的技术人员将认识到，其它的配置和布置是可能的，而没有脱离本描述的精神和范围。相关领域中的技术人员将清楚明白的是，本文描述的技术和/或布置可以使用在超出本文详细描述的系统和应用的各种各样其它系统和应用中。
在以下详细描述中参考随附各图，随附各图形成详细描述的部分并且图示了示例性实施例。另外，要理解到，可以利用其它实施例，并且可以做出结构和/或逻辑改变，而没有脱离所要求保护的主题的范围。因此，以下详细描述不应视为限制性含义，并且所要求保护的主题的范围单纯由随附权利要求及其等同方案来限定。
在以下描述中，阐述众多细节，然而，本领域中的技术人员将清楚明白的是，可以在没有这些具体细节的情况下实践实施例。以框图形式而不是详细示出公知的方法和设备，以避免使一些重要方面模糊不清。遍及该说明书对“实施例”或“一个实施例”的引用意味着，结合该实施例描述的特定特征、结构、功能或特性包括在至少一个实施例中。因而，短语“在实施例中”或“在一个实施例中”在遍及该说明书的各种地方的出现未必指的是相同的实施例。此外，在实施例的上下文中描述的特定特征、结构、功能或特性可以以任何适合的方式在一个或多个实施例中组合。例如，在与两个实施例相关联的特定特征、结构、功能或特性相互不排除的任何地方，第一实施例可以与第二实施例组合。
如在示例性实施例的描述中以及在随附权利要求中使用的单数形式的“一”、“一个”和“所述”旨在还包括复数形式，除非上下问清楚地以其它方式指示。还将理解到，如本文中使用的术语“和/或”是指并且涵盖相关联的所列项目中的一个或多个的任何以及所有的可能组合。
如遍及该描述以及在权利要求中所使用的，用术语“中的至少一个”或“中的一个或多个”连接的项目列表可以意指所列项目的任何组合。例如，短语“A、B或C中的至少一个”可以意指A；B；C；A和B；A和C；B和C；或者A、B和C。
术语“耦合”和“连接”连同其词形变化可以在本文中用于描述组件之间的功能或结构关系。应当理解到，这些术语不旨在用作彼此的同义词。相反，在特定实施例中，“连接”可以用于指示两个或更多的元件与彼此直接物理、光学或电气接触。“耦合”可以用于指示两个或更多的元件与彼此直接或间接（利用它们之间的其它中间元件）物理、光学或电气接触，和/或两个或更多的元件彼此协作或交互（例如，如在因果关系中）。
从计算机存储器内的数据位上的操作的算法和符号表示的角度来呈现本文提供的详细描述的一些部分。除非特别地以其它方式陈述，否则如从以下讨论显而易见，要领会到，遍及描述，利用诸如“核算”、“计算”、“确定”、“估计”、“存储”、“收集”、“显示”、“接收”、“整合”、“生成”、“更新”等等术语的讨论是指计算机系统或者类似电子计算设备的动作和过程，其将表示为包括寄存器和存储器的计算机系统的电路内的物理（电子）量的数据操控和变换成类似地表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。
尽管以下描述阐述了可以在架构（诸如例如片上系统（SOC）架构）中所显现的实施例，但是本文描述的技术和/或布置的实现不约束于特定的架构和/或计算系统，并且可以出于类似的目的而通过任何架构和/或计算系统来实现。采用例如多个集成电路（IC）芯片和/或封装的各种架构，和/或各种计算设备和/或消费者电子（CE）设备，诸如机顶盒、智能电话等，可以实现本文描述的技术和/或布置。另外，尽管以下描述可以阐述众多具体细节，诸如，系统组件的逻辑实现、类型和相互关系，逻辑分区和/或集成选择等，但是所要求保护的主题可以在没有这样的具体细节的情况下实践。此外，一些素材，诸如例如控制结构和完整的软件指令序列，可能没有详细示出以便不使本文公开的素材模糊不清。
本文公开的素材的某些部分可以在硬件中实现，例如作为图像处理器中的逻辑电路实现。某些其它部分可以实现在硬件、固件、软件或其任何组合中。本文公开的素材中的至少一些还可以实现为存储在机器可读介质上的指令，所述指令可以由一个或多个处理器（图形处理器和/或中央处理器）读取和执行。机器可读介质可以包括用于存储或传输采用机器（例如，计算设备）可读的形式的信息的任何介质和/或机构。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光学存储介质；闪存设备；电气、光学、声学或其它类似的非暂时性有形介质。
以下描述了一个或多个系统、装置、方法和计算机可读介质以用于从3D图像数据确定点到点距离。在一些实施例中，例如由用户指定的两个测量点表示在图像帧内感兴趣的对象上的端点。假设处在这些端点之间的所有点也属于感兴趣的对象，根据本文描述的实施例，可以运用与沿着由测量点限定的测量线定位的点相关联的附加3D数据，以便提供鲁棒的距离测量。
图1是依照一些实施例的3D相机图像中的点到点距离测量的示意图。在所图示的实施例中，相机平台包括阵列相机115。在一些实施例中，阵列相机115是具有带预确定的基线关系的多个相机硬件模块（CM）110、111和112的移动计算设备的组件，不过在示例性实施例中图示了三个相机硬件模块，但是可以在阵列相机中包括任何数目的相机硬件模块和/或图像传感器。
所述多个相机模块110、111和112中的每一个可以收集从不同的相机视点捕获的输入图像。在示例性实施例中，在基本上相同的时刻捕获从不同的视点捕获的世界场景101的图像，使得它们包含用于给定场景的图像数据。三个图像帧中的一个可以被指定为参考，并且与来自其它帧的信息组合成图像帧120，针对图像帧内的每一个2D（x、y）空间位置，所述图像帧120具有深度或范围（z）信息或者指示深度的视差信息。例如，在CM 110具有比相机模块111、112（例如，720p、HD等）高的分辨率（例如，8兆像素或更多）的情况下，CM 110可以提供默认参考RGB图像。CM 111和CM 112可以被视为对参考模块的补充，并且各自与来自相机模块110的预确定的基线向量（长度和方向）相关联以便生成深度数据（D）。然后，对于输入图像帧的每一个2D空间位置，可以将输入图像与RGB-D数据相关联。在其中相机模块110、111和112是在移动平台上的示例性实施例中，参考相机模块与每一个补充相机模块之间的基线向量可以具有几十毫米到几十厘米的长度，取决于形状因子。在其中相机模块110、111、112是分离的基础设施固件的其它实施例中，基线长度的量级可以是米。在一个示例性移动设备实施例中，相机模块111、112以已知的距离在参考相机模块110的相对侧上间隔开。
如图1中进一步图示，输入图像帧120包括对象140和150。例如通过用户输入接收测量点130A和130B。在这样的情况下，用户的目标可以是从输入图像帧120确定对象140的真实世界物理宽度。照此，将测量点输入130A和130B用作跨对象140延伸的测量线130的端点。作为进一步说明，还例如通过第二用户输入接收测量点135A和135B。在该第二情况下，用户的目标可以是确定测量点135A和135B之间的间隙或空间的真实世界物理宽度。照此，再次将第二测量点输入135A和135B用作在对象140和对象150之间延伸的测量线135的端点。在第一示例中，有帮助的是，在以下假设之下采用沿测量线130的整个长度的输入图像数据：测量点130A、130B沿对象的边缘定位，使得整个测量线130横跨要测量的对象140。这样的假设是基于以下逻辑：用户经常期望一次针对单个对象的测量数据。在本文描述的一些实施例中，基于附加信息来执行对应于测量点130A和130B的3D空间坐标的细化，所述附加信息通过分析沿测量线的多个点的3D结构来获取。
然而，在第二示例中，可能不大有帮助的是，采用来自测量线135的整个长度的输入图像数据，因为它是间隙测量并且许多不同的背景对象可以存在于间隙内，每一个与不同的深度值相关联。因此，在本文的一些另外的实施例中，没有基于附加信息来细化测量点135A、135B，所述附加信息通过分析沿测量线的多个点的3D结构来获取。
图2A是用于从3D图像数据确定点到点距离的方法201的流程图。在示例性实施例中，方法210通过例如集成到3D相机平台中的一个或多个计算机处理器来实现，如在下文进一步描述。方法201以在操作205处接收与图像帧相关联的输入图像数据而开始。输入图像数据是3D图像数据，除颜色信息（例如，在任何颜色空间中用于多个颜色通道中的每一个的强度，所述颜色空间诸如RGB、YPBPR、YCBCR等）之外，该3D图像数据还包括深度信息。可以存在与图像帧的每一个像素相关联的深度或视差值，或者一些深度/视差值可以在相机遮挡和/或无纹理表面等的事件中缺失。甚至是在深度值与输入图像帧的每一个像素相关联的情况下，作为用于确定深度值的上游图像处理的结果而预期深度数据是有噪声的。
在一些实施例中，在操作205处接收的深度信息是采用与多个像素p i 相关的深度图的形式，每一个像素p i 具有与输入图像帧相关联的图像坐标x i 、y i 。在其它实施例中，在操作205处接收的深度信息是采用与多个像素关联的视差图的形式，每一个像素具有与输入图像相关的图像坐标x i 、y i 。与像素相关联的视差值指示一个图像（例如，由图1中的相机模块110收集）中的像素到另一个图像（例如，由相机模块111收集）中的像素的对应性。视差估计可以是通过任何技术，因为本文的实施例在这一方面不受限制。
对于其中在操作205处没有作为输入而接收3D（X、Y、Z）空间坐标图的一些实施例，在操作205处生成图像数据的“世界3D坐标”。可以利用任何映射函数来从对应像素位置处的视差值确定3D空间坐标，例如基于在操作205处接收的预确定的相机参数进行确定。对于每一个图像点p=（x、y），存在作为3D点P的投影的相关联的范围信息Z=R（x、y），3D点P由以下给定：
Figure DEST_PATH_IMAGE001
其中投影矩阵K与本征相机校准参数相关联。对于具有球面透镜效应的许多消费者数字相机，
Figure 671383DEST_PATH_IMAGE002
而偏斜
Figure DEST_PATH_IMAGE003
，并且投影矩阵简化为
Figure 588524DEST_PATH_IMAGE004
其中c x , c y 表示主点。
在操作210处，接收与输入图像帧相关联的测量点。在示例性实施例中，接收测量点而作为对：p 1 和p 2 而。作为一个示例，可以从触摸输入来接收两个测量点p 1 、p 2 的用户选择，所述触摸输入由向用户呈现输入图像帧的触摸显示器进行采样。在p1=(x 1 ,y 1 )并且p2=(x 2 ,y 2 )的情况下，每一个测量点p 1 和p 2 分别关联于3D空间坐标P 1 和P 2 ，如从等式（1）和等式（2）确定的。
在操作230处，为沿着由测量点p 1 、p 2 限定的测量线的像素位置类似地确定3D空间坐标的集合。沿着测量线的图像像素位置可以在图像帧中的最靠近的整数坐标处进行采样。在一些实施例中，为了最大化采样点的数目，如果|p 1 (x)-p 2 (x)|>|p 1 (y)-p 2 (y)|，则沿着x维度对3D图像数据进行采样，并且否则，沿着y维度对3D图像数据进行采样。取决于用来计算深度的方法，可以为沿着测量线的点的子集或者全部来获取3D坐标。在一些实施例中，将测量线上的集合点{L i }存储到电子存储器，其中L i =X i , Y i , Z i 并且i=1,2,…N。任何缺失的深度值都没有包括在测量线点的集合{L i }中。
在操作240处，对测量线点的集合{L i }进行过滤以便计及异常值。在示例性实施例中，过滤操作240是基于以下逻辑：用户可能测量的许多真实世界对象具有沿着测量轴线为线性的轮廓。因而，如果没有过于接近相机，许多对象将具有平面特点。例如，人上的3D点在许多深度测量中经常看起来是平面的。对于世界上许多经常出现的多边形对象，诸如，建筑物、家具、汽车、照片等，这同样成立。在一些实施例中，过滤操作240采用这一假设以便通过寻找测量线点的集合{L i }中的（多个）线性结构来增强测量点p 1 , p 2 之间的测量的精度。具有非充足线性结构的测量线点的集合{L i }的子集被移除、忽略或者以其它方式视为包含异常值。
在操作250处，然后将用于测量点(P 1 , P 2 )的3D坐标映射到分别与所预测或“细化”的测量点(P 1 ’, P 2 ’)相关联的3D坐标。细化是基于从具有充足线性结构的测量线点导出的函数。该测量线函数可以用于确定所预测的测量点坐标P 1 ’, P 2 ’。在一些实施例中，采用所预测的测量点坐标P 1 ’, P 2 ’来确定测量线是否与点到点间隙测量而不是点到点对象测量相关联。在这样的情况下：输入测量点p 1 , p 2 横跨不同对象之间的间隙，诸如，图1中图示的门道之间的距离，通过基于测量线之上的线性的过滤的细化可能没有保持明显优势。因此，方法201进一步说明了采用间隙测量检测的一些实施例。所预测的测量点坐标P 1 ’, P 2 ’的使用然后可以依靠间隙检测算法的结果进行调整。响应于检测到间隙，可以与所预测的测量点坐标P 1 ’, P 2 ’无关地确定点到点距离测量。在没有检测到间隙的情况下，可以基于所预测的测量点坐标P 1 ’, P 2 ’来确定点到点距离测量。
在示例性实施例中，在操作260处，使测量线P 1 P 2 通过预确定的固定长度的末端片段延伸。图2B是点到点间隙距离测量的示意图，其图示了沿测量线P 1 P 2 (135)远离P 1 (135A)延伸的第一末端片段235A，以及沿测量线P 1 P 2 (135)远离P 2 (135B)延伸的第二末端片段235B。在操作270处，将与每一个末端片段相关联的深度与最近的所预测的测量点的深度Z’相比较。在有利实施例中，从第一末端片段中的深度值确定第一末端片段深度Z 1 ext 的鲁棒估计。作为一个示例，可以采用双权或双平方函数来估计深度Z 1 ext 。可以应用相同的技术以得出第二末端片段深度Z 2 ext 的估计。
方法201然后响应于Z 1 ’和Z 1 ext 之间的比较以及Z 2 ’和Z 2 ext 之间的比较的结果而进行到操作280或290。响应于末端片段中的至少一个具有比最近的所预测的测量点深度Z’相等或更大的深度，方法201进行到操作280，其中基于所预测的测量点坐标P 1 ’, P 2 ’来确定点到点对象距离测量。尽管可以在操作280处采用任何已知的技术，但是在一些示例性实施例中，将所预测的测量点坐标P 1 ’, P 2 ’之间的欧几里得距离计算为：
Figure DEST_PATH_IMAGE005
。
基于所预测的测量点而计算的所测量的距离d具有改进的精度，移除了来自可能通过指针或触摸界面获取的测量点p 1 , p 2 的用户输入的误差。通常，在为感兴趣的对象的测量而指定测量点p 1 , p 2 的情况下，可能无意中包括与对象毗邻的前景或背景区上的点。针对线性而过滤的3D坐标点将移除这样的误差。
响应于两个末端片段具有比最近的所预测的测量点深度Z’小的深度（即，Z 1 ext <Z1’并且Z 2 ext < Z 2 ’），检测到间隙测量。方法201然后进行到操作290，其中基于测量点坐标P 1 , P 2 来确定点到点间隙距离测量。尽管可以在操作290处采用任何已知技术，但是在一些示例性实施例中，如上文针对所预测的测量点坐标P 1 ’, P 2 ’描述的那样来计算测量点坐标P 1 , P 2 之间的欧几里得距离。
方法201然后在操作299处存储和/或输出距离d作为点到点测量结果而完成。距离d可以存储为与输入测量点p 1 , p 2 相关联的元数据，和/或为与输入图像相关联的元数据。在一些实施例中，将距离d与在操作210处接收的测量点p 1 , p 2 相关联地存储到电子存储器。在一些其它实施例中，将距离d与在操作205处接收的输入图像相关联地存储到电子存储器。在又其它的实施例中，将距离d与测量点p 1 , p 2 相关联地以及与在操作205处接收的输入图像相关联地存储到电子存储器。
在一些实施例中，执行测量线集合{L i }中的3D坐标的鲁棒总体最小二乘法（TLS）拟合以便计及异常值，例如，在以上操作240处进行，并且得出所预测的测量点坐标P 1 ’,P 2 ’。这样的技术或者等同方案是适当的，因为沿着所有3个方向(X,Y,Z)的变量可能遭受显著误差。图3是依照一些示例性实施例的用于点到点距离测量的方法301的流程图。方法301还说明了方法201的示例性实施例。
方法301以在操作305处利用3D相机模块收集输入图像数据而开始。在一些实施例中，3D相机模块是以上介绍的阵列相机115（图1）。在其它实施例中，利用飞行时间（TOF）相机收集输入图像数据。在又其它的实施例中，在操作305处采用结构化光源（照明器）来确定输入图像帧之上的深度数据图。还可以在操作305处采用其它已知的3D相机和深度映射技术以便收集用于输入图像帧的3D数据。
在操作310处，在显示屏幕上呈现在操作305处收集的输入图像帧。在一些示例性实施例中，在集成到与3D相机相同的平台中的显示屏幕上呈现输入图像帧，所述平台包括但不限于移动设备平台。在操作315处，通过由3D相机平台实现的图形用户界面（GUI）来接收测量点p 1 , p 2 。例如，在一些实施例中，在操作315处接收用户触摸，而同时在操作310处显示屏幕正呈现输入图像。
在操作320处，沿着在两个测量点之间延伸的测量线对3D空间坐标数据进行采样。从这种采样生成测量线点的集合{L i }，如上文所述。
在一些实施例中，通过主成分分析（PCA）来执行TLS拟合以便识别{L i }内的线性结构。然而，传统PCA对于数据中的异常值是敏感的，并且因此，它没有很好地适合于其中经常观察到深度数据中的异常值的测量问题。因此，鲁棒PCA（RPCA）是有利的。因此，在操作325处，计算协方差矩阵的鲁棒估计以便解决由异常值引发的困难。在一些示例性实施例中，计算数据的协方差矩阵的最小协方差行列式（MCD）估计量。MCD提供了多变量位置T和多变量离散度（scatter）S的高度鲁棒估计。MCD算法的目标是从包括在测量线集合{L i }中的N个中找出h个观察值，其协方差矩阵具有最低行列式。尽管可以在操作325处采用任何已知的MCD算法，但是在一些实施例中，采用快速MCD算法来生成MCD解。
确定快速MCD估计量的崩溃点的参数h对于给定相机平台可以被预确定。不同深度测量系统具有不同精度，并且可以在选择h时考虑到这些，h直接对应于用于系统的预期数目的异常值。在其中利用三相机系统确定视差估计的一些示例性实施例中，h可能为0.5N，或者更小。对于较大的阵列相机系统，h可以随着视差精度方面的预期改进而增大。对于使用有源照明来更加准确地测量深度的结构化光或飞行时间系统，这同样成立。
快速MCD算法有利地允许准确的拟合情况，其中h个或更多个观察值位于超平面上，同时还得出位置和离散度的鲁棒估计（离散度在h个或更多个观察值位于超平面上时为奇异的（singular））。响应于非奇异的离散度，方法301进行到操作330，其中多变量离散度S的本征分解作为S = VΛV T 而执行以便计算数据的主成分。作为对应于最大本征值的本征向量的第一主成分可以标记为v 0 。在操作345处，将P 1 和P 2 投影到主成分v 0 上以便获得所投影的坐标P 1 ’和P 2 ’，如：
Figure 40365DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
如果替代地所有点都落在超平面上，则方法335进行到操作335，其中计算超平面的等式。在示例性实施例中，在操作335处进一步采用快速MCD算法来计算超平面等式aX + bY +cZ +d = 0。在操作340处，在测量点坐标P 1 , P 2 处评估超平面等式。如果a; b = 0，所测量的对象具有单个深度测量，并且超平面简化为
Figure 137371DEST_PATH_IMAGE008
。然后将P 1 和P 2 的Z坐标设定为
Figure DEST_PATH_IMAGE009
，并且使用等式（1）中的这种所预测的深度测量来重新计算细化点P 1 ’, P 2 ’。响应于a或b不等于0，将测量点坐标P 1 和P 2 投影到线上以便计算所预测的测量点坐标P 1 ’和P 2 ’，如以下针对P 1 ’所给定的：
Figure 951744DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
。
在所预测的测量点坐标P 1 ’和P 2 ’已确定的情况下，方法301在操作365处继续，其中确定所预测的测量点之间的距离。在一些实施例中，例如，通过应用等式（3）。以作为用于在操作315处接收的输入测量点的点到点距离而将距离d存储到电子存储器，方法301完成。距离d可以与输入图像和输入测量点中的任一个或二者相关联地存储。距离d可以进一步输出到相机设备的显示屏幕或者以其它方式呈现或传输给用户。
图4进一步图示了点到点测量设备可以如何与图像和/或视频捕获设备400的各种其它组件集成以便提供适于点到点测量确定的增强的相机输出。图像捕获设备400例如可以是移动计算设备平台的部分。移动计算设备可以是指具有处理系统和移动电源或电力供应（诸如例如一个或多个电池）的任何设备。移动计算设备的示例可以包括膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助手（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如，智能电话、平板电脑或智能电视）、移动互联网设备（MID）、消息传送设备、数据通信设备等。移动计算设备的示例还包括配置为由人穿戴的计算机和/或媒体捕获/传输设备，诸如，腕式计算机、手指计算机、手环计算机、眼镜计算机、带扣计算机、臂环计算机、鞋子计算机、衣物计算机以及其它可穿戴计算机。在各种实施例中，例如，移动计算设备可以实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管作为示例可以用实现为智能电话的移动计算设备而描述一些实施例，但是可以领会到，其它实施例也可以使用其它无线移动计算设备实现。实施例在该上下文中不受限制。
图像捕获设备400包括硬件相机模块110、111和112。在示例性实施例中，CM 110还包括RGB（NIR）相机传感器458，而CM 111和112各自包括RGB（NIR）相机传感器459。传感器458可以例如是HD、FHD、QXGA、WQXGA、QSXGA或UHD格式数字图像设备。在一些实施例中，传感器458具有至少8兆像素分辨率。传感器459可以例如是HD、FHD、QXGA、WQXGA、QSXGA或UHD格式数字图像设备。在一些实施例中，传感器459具有比传感器458低的像素分辨率，例如，1-5兆像素。图像/视频捕获设备400因此可以并发地生成三个图像帧，例如用以为输入图像提供RGB图像数据和图像深度数据二者。
相机传感器458、459可以提供每一像素8位或更多的颜色分辨率，并且可操作为逐步地捕获连续视频帧。传感器458可以具有170MHz或更多的像素频率。传感器458、459可以包括RGB贝叶斯颜色过滤器、模拟放大器、A/D转换器、将入射光转换为对应于原始图像数据的数字信号的其它组件。可以控制传感器458、459以便操作卷帘快门或电子焦平面快门过程，其中，针对帧以行顺序方式逐步地读出像素。遵照任何已知的流传送协议，诸如MIPI，CM110、111和112可以各自输出与接连暴露的帧相关联的原始数据。
在示例性实施例中，将由CM 111和112输出的原始图像/视频数据输入到ISP 475。ISP 475要在与CM 111和112相关联的水平和/或竖直消隐期间接收和分析原始视频数据的帧。在RGB图像数据的原始图像数据处理期间，ISP 475可以执行例如颜色空间转换、降噪、像素线性化和阴影补偿中的一个或多个。在一些实施例中，将原始图像数据传递通过ISP475以便在下游由可编程微处理器450进行处理。
可以将由ISP 475输出的图像数据缓冲和队列化为准备用于进一步的图像处理的输入图像数据，所述图像处理诸如例如依照本文其它地方描述的实施例中的一个或多个的点到点3D图像测量。在实施例中，（多个）处理器450包括执行点到点测量操作以及执行本文其它地方描述的算法的逻辑。在实施例中，（多个）处理器450包括执行点到点测量操作以及执行本文其它地方描述的算法的逻辑。在一些实施例中，（多个）处理器450包括执行方法201（图2）和/或方法301（图3）的操作中的一个或多个的逻辑。在一些实施例中，（多个）处理器450包括确定用于沿测量线的点的3D空间坐标的像素采样逻辑401，所述测量线由两个端点输入来限定。在一些实施例中，像素采样逻辑401利用可编程电路实现，所述可编程电路包括已经通过（多个）软件指令配置的寄存器。在一些实施例中，（多个）处理器450包括3D坐标线性拟合逻辑402，用以实现例如利用RPCA和/或MCD算法来识别经采样的3D坐标集合内的线性结构的鲁棒技术，如本文其它地方所描述的。在一些实施例中，3D坐标线性拟合逻辑402利用可编程电路实现，所述可编程电路包括已经通过（多个）软件指令配置的寄存器。在一些实施例中，（多个）处理器450包括测量逻辑403，用以例如确定所预测的测量点坐标之间的点到点距离，如本文其它地方所述的。在一些实施例中，测量逻辑403利用可编程电路实现，所述可编程电路包括已经通过（多个）软件指令配置的寄存器。
软件和硬件实现二者可以很好地适合于实现依照本文描述的实施例的点到点测量。对于硬件实现，像素采样逻辑401和/或3D坐标线性拟合逻辑402和/或测量逻辑403可以通过例如由ISP 475提供的固定功能逻辑来实现。对于软件实现，可以利用任何已知的可编程处理器，包括（多个）处理器405的核、图形处理器的执行单元或者向量处理器，以便实现像素采样逻辑401和/或3D坐标线性拟合逻辑402和/或测量逻辑403。（多个）处理器450可以单纯地负责从接收自ISP 475的输入图像数据来生成点到点测量数据。在一个示例性实施例中，通过由（多个）处理器450实例化的软件堆栈的用户空间来调用像素采样逻辑401和/或3D坐标线性拟合逻辑402和/或测量逻辑403。在一些实施例中，（多个）处理器450执行在软件堆栈的核空间中实例化的像素采样逻辑401和/或3D坐标线性拟合逻辑402和/或测量逻辑403。在一些实施例中，利用存储在计算机可读介质上的指令来编程（多个）处理器450以便使处理器例如执行沿测量线的像素采样、基于线性结构的像素过滤或者基于所预测的测量点坐标的距离确定中的一个或多个，如本文其它地方所述的。
如在图4中进一步图示，可以将点到点测量数据输出到存储/显示/传输管线495。在一个示例性存储管线实施例中，将点到点测量数据写入到电子存储器420（例如，DDR等）以便补充所存储的输入图像数据。存储器420可以是处理器450可访问的主存储器410的部分或者是单独分开的。可替换地或者此外，存储/显示/传输管线495要将点到点测量数据和/或输入图像数据从视频/图像捕获设备400传输出去。
图5是可以用于处理输入图像以便确定点到点测量距离的数据处理系统500的框图。数据处理系统500包括一个或多个处理器450和一个或多个图形处理器501，并且可以实现在单处理器台式系统、多处理器工作站系统或者具有大量处理器450或处理器核507的服务器系统中。在另一个实施例中，数据处理系统500是供在移动、手持式或嵌入式设备中使用的片上系统（SOC）集成电路。
数据处理系统500的实施例可以包括或者并入在基于服务器的游戏平台、游戏主控台中，所述游戏主控台包括游戏和媒体主孔台、移动游戏主控台、手持式游戏主控台或者在线游戏主控台。在一些实施例中，数据处理系统500是移动电话、智能电话、平板计算设备或者移动互联网设备。数据处理系统500还可以包括可穿戴设备、与之耦合或者集成在其中，所述可穿戴设备诸如智能手表可穿戴设备、智能眼镜设备、增强现实设备或者虚拟现实设备。在一些实施例中，数据处理系统500是具有一个或多个处理器502以及由一个或多个图形处理器508生成的图形界面的电视或机顶盒设备。
在一些实施例中，所述一个或多个处理器502各自包括处理指令的一个或多个处理器核507，所述指令在执行时实施用于系统和用户软件的操作。在一些实施例中，所述一个或多个处理器核507中的每一个配置为处理特定指令集509。在一些实施例中，指令集509可以促进复杂指令集计算（CISC）、精简指令集计算（RISC）或者经由超长指令字（VLIW）的计算。多个处理器核507可以各自处理不同的指令集509，其可以包括促进其它指令集的仿真的指令。处理器核507还可以包括其它处理设备，诸如数字信号处理器（DSP）。
在一些实施例中，处理器502包括缓存存储器504。取决于架构，处理器502可以具有单个内部缓存器或者多个层级的内部缓存器。在一些实施例中，缓存存储器在处理器502的各种组件之间共享。在一些实施例中，处理器502还使用外部缓存器（例如，等级3（L3）缓存器或者最后等级缓存器（LLC））（未示出），其可以使用已知的缓存器一致性技术在处理器核507之间被共享。寄存器堆506附加地包括在处理器502中，可以包括用于存储不同类型数据的不同类型寄存器（例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器）。一些寄存器可以是通用寄存器，而其它寄存器可以特定于处理器502的设计。
在一些实施例中，处理器502耦合到处理器总线510以便在处理器502与系统500中的其它组件之间传输数据信号。系统500具有“集线器（hub）”系统架构，包括存储器控制集线器516和输入输出（I/O）控制器集线器530。存储器控制器集线器516促进存储器设备与系统500的其它组件之间的通信，而I/O控制器集线器（ICH）530经由局部I/O总线提供到I/O设备的连接。
存储器设备520可以是动态随机存取存储器（DRAM）设备、静态随机存取存储器（SRAM）设备、闪存设备或者具有充当过程存储器的适合性能的某种其它存储器设备。存储器520可以存储数据522和指令521以供在处理器502执行过程时使用。存储器控制器集线器516还与可选的外部图形处理器512耦合，所述外部图形处理器512与处理器502中的所述一个或多个图形处理器508通信以便执行图形和媒体操作。
在一些实施例中，ICH 530使得外围设备能够经由高速I/O总线连接到存储器520和处理器502。I/O外围设备包括音频控制器546、固件接口528、无线收发器526（例如，Wi-Fi、蓝牙）、数据存储设备524（例如，硬盘驱动、闪存等）以及用于将传统（例如，个人系统2（PS/2））设备耦合到系统的传统I/O控制器。一个或多个通用串行总线（USB）控制器542连接输入设备，诸如键盘和鼠标544组合。网络控制器534也可以耦合到ICH 530。在一些实施例中，高性能网络控制器（未示出）耦合到处理器总线510。
图6是依照一个或多个实施例的采用点到点测量设备的示例性超低功率系统600的示意图。系统600可以是移动设备，不过系统600不限于该上下文。系统600可以并入到可穿戴计算设备、膝上型计算机、平板电脑、触摸板、手持式计算机、掌上计算机、蜂窝电话、智能设备（例如，智能电话、智能平板或移动电视）、移动互联网设备（MID）、消息传送设备、数据通信设备等中。系统600还可以是基础设施设备。例如，系统700可以并入到大号电视、机顶盒、台式计算机或者其它家用或商用网络设备中。
系统600包括设备平台602，设备平台602可以实现所述各种点到点测量方法的子集或全部和上面在图2-图5的上下文中描述的逻辑块/电路中的任一个。在各种示例性实施例中，视频处理器615执行例如像素采样、鲁棒线性拟合和距离测量逻辑中的至少一个，如上文所述。视频处理器615包括例如基于来自输入图像的3D数据而实现点到点测量的逻辑电路607，如本文其它地方所述。在一些实施例中，一个或多个计算机可读介质可以存储指令，所述指令在由CPU 610和/或视频处理器615执行时使（多个）处理器执行一个或多个点到点测量方法，诸如，以上详细描述的那些中的任一个。点到点测量结果然后可以存储在存储器612中。
在实施例中，设备平台602耦合到人接口设备（HID）620。平台602可以利用CM 110、111、112收集原始图像数据，所述原始图像数据经处理并输出到HID 620。包括一个或多个导航特征的导航控制器650可以用于例如与设备平台602和/或HID 620交互。在实施例中，HID 620可以包括经由无线电618和/或网络660耦合到平台602的任何电视类型的监控器或显示器。HID 620可以例如包括计算机显示屏幕、触摸屏显示器、视频监控器、电视类设备和/或电视，以便接收触摸输入而同时在显示器622上显示输入图像。
在实施例中，设备平台602可以包括CM 110-112、芯片集605、处理器610,615、存储器/存储装置612、应用616和/或无线电618的任何组合。芯片集605可以提供处理器610,615、存储器612、视频处理器615、应用616或无线电618之间的相互通信。
处理器610,615中的一个或多个可以实现为一个或多个复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器；x86指令集兼容处理器、多核或者任何其它的微处理器或中央处理单元（CPU）。
存储器612可以实现为易失性存储器设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或者静态RAM（SRAM）。存储器612还可以实现为非易失性存储设备，诸如但不限于闪存、电池支持的SDRAM（同步DRAM）、磁性存储器、相变存储器等。
无线电618可以包括能够使用各种适当的无线通信技术传输和接收信号的一个或多个无线电。这样的技术可以牵涉跨一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨这样的网络通信时，无线电618可以依照任何版本的一个或多个适用的标准来操作。
在实施例中，系统600可以实现为无线系统、有线系统或二者的组合。当实现为无线系统时，系统700可以包括适用于通过无线共享介质通信的组件和接口，诸如一个或多个天线、传输器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱的部分，诸如RF频谱等。当实现为有线系统时，系统600可以包括适用于通过有线通信介质通信的组件和接口，诸如输入/输出（I/O）适配器、连接I/O适配器与对应的有限通信介质的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板（PCB）、背板、交换机结构、半导体材料、双绞线、同轴线缆、光纤等等。
与本文描述的示例性实施例一致的带阈值的像素值匹配和相关联的对象过程可以实现在各种硬件架构、信元设计或“IP核”中。
如上文所述，系统600可以以变化的物理样式或形状因子来体现。图7进一步图示了其中可以体现系统600的移动手持式设备700的实施例。在实施例中，例如，设备700可以实现为具有无线能力的移动计算手持设备。如在图7中所示，移动手持式设备700可以包括具有前部701和后部702的外壳。设备700包括显示器704、输入/输出（I/O）设备706和集成天线708。设备700还可以包括导航特征712。显示器704可以包括用于显示对于移动计算设备适当的信息的任何适合的显示单元。I/O设备706可以包括用于将信息输入到移动计算设备中的任何适合的I/O设备。用于I/O设备706的示例可以包括字母数字键盘、数字小键盘、触摸板、输入按键、按钮、开关、麦克风、扬声器、语音识别设备及软件等。信息还可以通过麦克风（未示出）的方式输入到设备700中，或者可以由语音识别设备数字化。实施例在这一方面不受限制。集成到至少前部701或后部702中的是相机705,710（例如，每一个包括镜头、光圈和成像传感器），其中每一个可以是一个或多个CM的组件，通过其使图像数据暴露并且输出至点到点测量设备，如本文其它地方所述的。
如上文所示例化的，本文描述的实施例可以使用硬件元件、软件元件或二者的组合而实现。硬件元件或模块的示例包括：处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等。软件元件或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用编程接口（API）、指令集、计算代码、计算机代码、代码片段、计算机代码片段、数据字、值、符号或其任何组合。确定实施例是否使用硬件元件和/或软件元件实现可以依照针对设备的选择而考虑的任何数目的因素发生变化，所述因素诸如但不限于：期望的计算速率、功率水平、热容忍性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可以通过存储在机器可读存储介质上的代表性指令而实现。这样的指令可以在其通过机器执行期间完全地或者至少部分地驻留在主存储器内和/或处理器内，主存储器和处理器部分存储指令然后还构成机器可读存储介质。可编程逻辑电路可以具有通过实现计算机可读介质的处理器进行配置的寄存器、状态机等。如所编程的这样的逻辑电路然后可以理解为物理地变换成落入本文描述的实施例的范围内的系统。表示处理器内的各种逻辑的指令在由机器读取时还可以使机器编制遵循本文描述的架构的逻辑和/或执行本文描述的技术。称为信元设计或者IP核的这样的表示可以存储在有形、机器可读介质上并且供应给各种顾客或制造设施以便加载到实际做出逻辑或处理器的制作机器中。
尽管已经参照实施例描述了在本文中阐述的某些特征，但是该描述不旨在以限制性意义来解读。因而，对本文描述的实现以及其它实现的各种修改（它们是本公开所属于的领域中的技术人员清楚明白的）被认为处在本公开的精神和范围内。
以下段落简要地描述了一些示例性实施例：
在一个或多个第一实施例中，一种用于图像数据的点到点测量的计算机实现的方法，包括：接收输入图像帧内的一对测量点的指示，为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标，对与测量线相关联的3D空间坐标进行过滤以便计及异常值，基于经过滤的3D空间坐标的函数而将该对测量点映射到一对所预测的点，确定这对所预测的点之间的距离，以及与该对测量点相关联地将所述距离存储到存储器。
在第一实施例的推动下，对3D空间坐标进行过滤还包括针对3D空间坐标拟合线性结构。将该对测量点映射到一对所预测的点是基于线性结构的函数。确定这对所预测的点之间的距离还包括计算这对所预测的点之间的欧几里得距离。
在紧接上面的第一实施例的推动下，将该对测量点映射到一对所预测的点还包括针对3D空间坐标拟合平面，并且将该对测量点投影到所述平面上。
在第一实施例的推动下，拟合线性结构包括执行与测量线相关联的3D空间坐标的鲁棒总体最小二乘法（TLS）拟合。
在紧接上面的第一实施例的推动下，执行鲁棒TLS拟合还包括：确定与测量线相关联的3D空间坐标的多变量位置和离散度的鲁棒估计，以及基于离散度的本征分解来确定主成分。
在紧接上面的第一实施例的推动下，确定多变量位置和离散度的鲁棒估计还包括计算最小协方差行列式（MCD）估计量以便寻找与测量线相关联的3D空间坐标中的h个观察值，其与具有最低行列式的协方差矩阵相关联。将该对测量点映射到一对所预测的点还包括确定h个观察值是否全部处于超平面上，以及响应于h个观察值全部处于超平面上而基于与超平面相关联的所预测的深度来计算所预测的点，或者响应于h个观察值没有全部处于超平面上而将测量点投影到线上。
在第一实施例的推动下，方法还包括：构造一对线段，每一个使测量线延伸超出测量点之一；确定与每一个线段相关联的深度；以及响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与一对细化点无关地确定测量点之间的距离。
在第一实施例的推动下，方法还包括：接收图像帧数据，所述图像帧数据包括与图像帧内的每一个2D空间位置相关联的深度值；在显示屏幕上显示图像帧；并且接收一对测量点的指示还包括接收用户选择，所述用户选择指示图像帧内的两个或更多的空间坐标。
在第一实施例的推动下，方法还包括利用以下中的至少一个来收集图像帧数据：多个相机；飞行时间相机；或者结构化光照明器。
在一个或多个第二实施例中，一种计算机化的成像设备，包括：输入端口，用于接收输入图像帧内的一对测量点的指示；以及耦合到输入端口的一个或多个处理器。所述处理器用来为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标，对与测量线相关联的3D空间坐标进行过滤以便计及异常值，基于经过滤的3D空间坐标的函数而将该对测量点映射到一对所预测的点，以及确定这对所预测的点之间的距离。所述设备还包括用于与输入图像帧相关联地存储所述距离的存储器。
在第二实施例的推动下，为了过滤3D空间坐标，所述一个或多个处理器拟合3D空间坐标中的线性结构，为了映射该对测量点，所述一个或多个处理器基于3D空间坐标中的线性结构而将测量点映射到这对所预测的点，并且为了确定这对所预测的点之间的距离，所述一个或多个处理器计算这对所预测的点之间的欧几里得距离。
在紧接上面的第二实施例的推动下，为了映射该对测量点，所述一个或多个处理器基于3D空间坐标而计算平面的函数，并且将这对测量点投影到所述平面上。
在第二实施例的推动下，为了针对3D空间坐标拟合线性结构，所述一个或多个处理器执行与测量线相关联的3D空间坐标的鲁棒总体最小二乘法（TLS）拟合。
在紧接上面的第二实施例的推动下，为了执行鲁棒TLS拟合，所述一个或多个处理器确定与测量线相关联的3D空间坐标的多变量位置和离散度的鲁棒估计，并且基于离散度的本征分解来确定主成分。
在紧接上面的第二实施例的推动下，为了确定多变量位置和离散度的鲁棒估计，所述一个或多个处理器计算最小协方差行列式（MCD）估计量以便寻找与测量线相关联的3D空间坐标中的h个观察值，其与具有最低行列式的协方差矩阵相关联。为了将这对测量点映射到这对所预测的点，所述一个或多个处理器确定h个观察值是否全部处于超平面上，并且响应于h个观察值全部处于超平面上而基于与超平面相关联的所预测的深度来计算所预测的点，或者响应于h个观察值没有全部处于超平面上而将测量点投影到线上。
在第二实施例的推动下，所述一个或多个处理器还构造一对线段，每一个使测量线延伸超出测量点中的一个，确定与每一个线段相关联的深度，以及响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与这对所预测的点无关地确定测量点之间的距离。
在第二实施例的推动下，设备还包括以下中的至少一个：多个相机、飞行时间相机或者结构化光源，用以收集与图像帧内的每一个2D空间位置相关联的深度值。设备还包括显示屏幕，用以显示图像帧，并且设备还包括用户接口，用以接收用户选择，所述用户选择指示图像帧内的两个或更多空间坐标。
在一个或多个第三实施例中，一个或多个计算机可读存储介质具有存储在其上的指令，所述指令在由处理器执行时使处理器实施方法，所述方法包括：接收输入图像帧内的一对测量点的指示，为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标，对3D空间坐标进行过滤以便计及异常值，基于经过滤的3D空间坐标集合而将该对测量点映射到一对所预测的点，确定这对所预测的点之间的距离，以及与该对测量点相关联地将所述距离存储到存储器。
在第三实施例的推动下，所述介质还包括存储在其上的指令，所述指令在由处理器执行时进一步使处理器实施所述方法，所述方法还包括，对3D空间坐标进行过滤还包括针对3D空间坐标拟合线性结构，基于线性结构将该对测量点映射到一对所预测的点，并且确定这对所预测的点之间的距离还包括计算这对所预测的点之间的欧几里得距离。针对3D空间坐标拟合线性结构包括执行与测量线相关联的3D空间坐标的鲁棒总体最小二乘法（TLS）拟合。TLS拟合还包括：确定与测量线相关联的3D空间坐标的多变量位置和离散度的鲁棒估计，以及基于离散度的本征分解来确定主成分。
在紧接上面的第三实施例的推动下，确定多变量位置和离散度的鲁棒估计还包括计算最小协方差行列式（MCD）估计量以便寻找与测量线相关联的3D空间坐标中的h个观察值，其与具有最低行列式的协方差矩阵相关联，并且将该对测量点映射到一对所预测的点还包括确定h个观察值是否全部处于超平面上，以及响应于h个观察值全部处于超平面上而基于与超平面相关联的所预测的深度来计算所预测的点，或者响应于h个观察值没有全部处于超平面上而将测量点投影到线上。
在一个或多个第四实施例中，计算机化的成像设备包括执行第一实施例中的任何一个的部件。
在一个或多个第五实施例中，计算机可读存储介质具有存储在其上的指令，所述指令在由处理器执行时使处理器实施第一实施例中的任何一个。
将认识到，实施例不限于如此描述的示例性实施例，而在修改和更改的情况下也可以实践且不脱离随附权利要求的范围。例如，以上实施例可以包括特征的具体组合。然而，以上实施例不在这一方面受限制，并且在实施例中，以上实施例可以包括仅承担这样的特征的子集，承担这样的特征的不同次序，承担这样的特征的不同组合和/或承担除明确列出的那些特征之外的附加特征。因此，范围应当参照随附权利要求连同赋予这样的权利要求的完整范围的等同方案来确定。

Claims (15)

1.一种计算机化的成像设备，包括：
输入端口，用于接收输入图像帧内的一对测量点的指示；
耦合到输入端口的一个或多个处理器，所述处理器用来：
为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标；
通过计算3D空间坐标的最小协方差行列式MCD估计量来估计与测量线相关联的3D空间坐标的多变量位置和离散度，所述MCD标识针对预定阈值数量的3D空间坐标具有最低行列式的协方差矩阵;
确定预定阈值数量的3D空间坐标是否全部都在超平面上；
通过以下方式计算一对预测点：
响应于预定阈值数量的3D空间坐标全部都在超平面上在测量点处评估超平面等式；或者
响应于预定阈值数量的3D空间坐标并没有全部都在超平面上将测量点投影到从离散度的本征分解所确定的的主成分上；
确定该对预测点之间的欧几里得距离；以及
存储器，用于与输入图像帧相关联地存储所述距离。
2.如权利要求1所述的设备，其中，所述一个或多个处理器还：
构造一对线段，每一个使测量线延伸超出测量点中的一个；
确定与每一个线段相关联的深度；以及
响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与该对所预测的点独立地确定测量点之间的距离。
3.如权利要求1所述的设备，还包括：
以下中的至少一个：多个相机、飞行时间相机或者结构化光源，用于收集与图像帧内的每一个2D空间位置相关联的深度值；
显示屏幕，用于显示图像帧；以及
用户接口，用于接收用户选择，所述用户选择指示图像帧内的两个或更多空间坐标。
4.一种用于图像数据的点到点测量的计算机实现的方法，所述方法包括：
接收输入图像帧内的一对测量点的指示；
为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标；
通过计算3D空间坐标的最小协方差行列式MCD估计量来估计与测量线相关联的3D空间坐标的多变量位置和离散度，所述MCD标识针对预定阈值数量的3D空间坐标具有最低行列式的协方差矩阵;
确定预定阈值数量的3D空间坐标是否全部都在超平面上；
通过以下方式计算一对预测点：
响应于预定阈值数量的3D空间坐标全部都在超平面上在测量点处评估超平面等式；或者
响应于预定阈值数量的3D空间坐标并没有全部都在超平面上将测量点投影到从离散度的本征分解所确定的的主成分上；
确定该对预测点之间的欧几里得距离；以及
与该对测量点相关联地将所述距离存储到存储器。
5.如权利要求4所述的方法，还包括：
构造一对线段，每一个使测量线延伸超出测量点之一；
确定与每一个线段相关联的深度；以及
响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与该对预测点独立地确定测量点之间的距离。
6.如权利要求4所述的方法，还包括：
接收图像帧数据，所述图像帧数据包括与图像帧内的每一个2D空间位置相关联的深度值；
在显示屏幕上显示图像帧；并且
其中接收该对测量点的指示还包括接收用户选择，所述用户选择指示图像帧内的两个或更多个空间坐标。
7.如权利要求4所述的方法，还包括：
利用以下中的至少一个来收集图像帧数据：
多个相机；
飞行时间相机；或者
结构化光照明器。
8.一种具有存储在其上的指令的计算机可读存储介质，所述指令在由处理器执行时使处理器执行下列操作：
接收输入图像帧内的一对测量点的指示；
为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标；
通过计算3D空间坐标的最小协方差行列式MCD估计量来估计与测量线相关联的3D空间坐标的多变量位置和离散度，所述MCD标识针对预定阈值数量的3D空间坐标具有最低行列式的协方差矩阵;
确定预定阈值数量的3D空间坐标是否全部都在超平面上；
通过以下方式计算一对预测点：
响应于预定阈值数量的3D空间坐标全部都在超平面上在测量点处评估超平面等式；或者
响应于预定阈值数量的3D空间坐标并没有全部都在超平面上将测量点投影到从离散度的本征分解所确定的的主成分上；
确定该对预测点之间的欧几里得距离；以及
与该对测量点相关联地将所述距离存储到存储器。
9.如权利要求8所述的介质，还包括指令，所述指令使处理器进一步执行下列操作：
构造一对线段，每一个使测量线延伸超出测量点之一；
确定与每一个线段相关联的深度；以及
响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与该对预测点独立地确定测量点之间的距离。
10.如权利要求8所述的介质，还包括指令，所述指令使得所述处理器进一步执行下列操作：
接收图像帧数据，所述图像帧数据包括与图像帧内的每一个2D空间位置相关联的深度值；
在显示屏幕上显示图像帧；并且
其中接收该对测量点的指示还包括接收用户选择，所述用户选择指示图像帧内的两个或更多个空间坐标。
11.如权利要求8所述的介质，还包括指令，所述指令使得所述处理器进一步执行下列操作：
利用以下中的至少一个来收集图像帧数据：
多个相机；
飞行时间相机；或者
结构化光照明器。
12.一种用于图像数据的点到点测量的计算机实现的设备，所述设备包括：
用于接收输入图像帧内的一对测量点的指示的装置；
用于为沿着由该对测量点限定的测量线的多个点中的每一个确定3D空间坐标的装置；
用于通过计算3D空间坐标的最小协方差行列式MCD估计量来估计与测量线相关联的3D空间坐标的多变量位置和离散度的装置，所述 MCD标识针对预定阈值数量的3D空间坐标具有最低行列式的协方差矩阵;
用于确定预定阈值数量的3D空间坐标是否全部都在超平面上的装置；
用于通过以下方式计算一对预测点的装置：
响应于预定阈值数量的3D空间坐标全部都在超平面上在测量点处评估超平面等式；或者
响应于预定阈值数量的3D空间坐标并没有全部都在超平面上将测量点投影到从离散度的本征分解所确定的的主成分上；
用于确定该对预测点之间的欧几里得距离的装置；以及
用于与该对测量点相关联地将所述距离存储到存储器的装置。
13.如权利要求12所述的设备，还包括：
用于构造一对线段的装置，每一个使测量线延伸超出测量点之一；
用于确定与每一个线段相关联的深度的装置；以及
用于响应于线段深度中的第一个小于与所预测的测量点中的第一个相关联的第一所预测的深度以及线段深度中的第二个小于与所预测的测量点中的第二个相关联的第二所预测的深度二者，与该对所预测的点独立地确定测量点之间的距离的装置。
14.如权利要求12所述的设备，还包括：
用于接收图像帧数据的装置，所述图像帧数据包括与图像帧内的每一个2D空间位置相关联的深度值；
用于在显示屏幕上显示图像帧的装置；并且
其中用于接收该对测量点的指示的装置还包括用于接收用户选择的装置，所述用户选择指示图像帧内的两个或更多个空间坐标。
15.如权利要求12所述的设备，还包括：
用于利用以下中的至少一个来收集图像帧数据的装置：
多个相机；
飞行时间相机；或者
结构化光照明器。
CN201680050191.XA 2015-08-31 2016-07-29 3d相机图像中的点到点距离测量 Active CN107925727B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/841609 2015-08-31
US14/841,609 US9792687B2 (en) 2015-08-31 2015-08-31 Point-to-point distance measurements in 3D camera images
PCT/US2016/044897 WO2017039907A1 (en) 2015-08-31 2016-07-29 Point-to-point distance measurements in 3d camera images

Publications (2)

Publication Number Publication Date
CN107925727A CN107925727A (zh) 2018-04-17
CN107925727B true CN107925727B (zh) 2020-10-23

Family

ID=58096597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050191.XA Active CN107925727B (zh) 2015-08-31 2016-07-29 3d相机图像中的点到点距离测量

Country Status (4)

Country Link
US (1) US9792687B2 (zh)
CN (1) CN107925727B (zh)
DE (1) DE112016003118B4 (zh)
WO (1) WO2017039907A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI663466B (zh) * 2015-09-25 2019-06-21 佳能企業股份有限公司 攝像裝置及其操作方法
US10599958B2 (en) * 2017-12-14 2020-03-24 Avigilon Corporation Method and system for classifying an object-of-interest using an artificial neural network
WO2019213432A1 (en) 2018-05-03 2019-11-07 Intuitive Surgical Operations, Inc. Systems and methods for measuring a distance using a stereoscopic endoscope
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
CN110006343B (zh) * 2019-04-15 2021-02-12 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
US11386522B2 (en) * 2019-08-07 2022-07-12 Reification Inc. Calibration of individual and arrayed cameras using images and video
US20220108435A1 (en) * 2020-10-02 2022-04-07 Baker Hughes Oilfield Operations Llc Automated turbine blade to shroud gap measurement
US20220261085A1 (en) * 2021-02-12 2022-08-18 Apple Inc. Measurement based on point selection
US11461917B1 (en) * 2021-08-20 2022-10-04 Omniscient Neurotechnology Pty Limited Measuring 3-dimensional distances in medical imaging data
CN114199124B (zh) * 2021-11-09 2023-07-25 汕头大学 基于线性拟合的坐标标定方法、装置、系统及介质
WO2023195911A1 (en) * 2022-04-05 2023-10-12 Ams-Osram Asia Pacific Pte. Ltd. Calibration of depth map generating system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867302A (zh) * 2012-08-30 2013-01-09 四川大学 基于三维图像信息处理的岩心裂缝识别方法
CN103761745A (zh) * 2013-07-31 2014-04-30 深圳大学 一种肺部运动模型估计方法及系统
CN104123751A (zh) * 2014-07-24 2014-10-29 福州大学 Kinect与关节臂结合的复合式测量和三维重建方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064697B2 (en) * 2007-10-12 2011-11-22 Microsoft Corporation Laplacian principal components analysis (LPCA)
US7778788B2 (en) 2008-05-29 2010-08-17 United Technologies Corporation Scanner based optical inspection system
US8238642B2 (en) * 2008-11-20 2012-08-07 General Electric Company Methods and apparatus for measuring 3D dimensions on 2D images
US8896686B2 (en) 2009-06-23 2014-11-25 Here Global B.V. Determining a geometric parameter from a single image
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
US8459792B2 (en) 2010-04-26 2013-06-11 Hal E. Wilson Method and systems for measuring interpupillary distance
WO2013146269A1 (ja) 2012-03-29 2013-10-03 シャープ株式会社 画像撮像装置、画像処理方法およびプログラム
JP2013228267A (ja) 2012-04-25 2013-11-07 Panasonic Corp 表示装置、表示方法、及びプログラム
US8571351B2 (en) * 2012-06-03 2013-10-29 Tianzhi Yang Evaluating mapping between spatial point sets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867302A (zh) * 2012-08-30 2013-01-09 四川大学 基于三维图像信息处理的岩心裂缝识别方法
CN103761745A (zh) * 2013-07-31 2014-04-30 深圳大学 一种肺部运动模型估计方法及系统
CN104123751A (zh) * 2014-07-24 2014-10-29 福州大学 Kinect与关节臂结合的复合式测量和三维重建方法

Also Published As

Publication number Publication date
CN107925727A (zh) 2018-04-17
US9792687B2 (en) 2017-10-17
DE112016003118B4 (de) 2023-03-16
DE112016003118T5 (de) 2018-04-12
US20170061624A1 (en) 2017-03-02
WO2017039907A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
CN107925727B (zh) 3d相机图像中的点到点距离测量
US11423508B2 (en) Method and system of point cloud registration for image processing
US9547907B2 (en) Image segmentation using color and depth information
CN107278314B (zh) 用于非局部均值图像去噪的装置、移动计算平台和方法
US9858683B2 (en) Method and system of planar surface detection objects in 3d space generated from captured images for image processing
US9852513B2 (en) Tracking regions of interest across video frames with corresponding depth maps
US9514523B2 (en) Method and apparatus for filling images captured by array cameras
US10417771B2 (en) Fast MRF energy optimization for solving scene labeling problems
US10063840B2 (en) Method and system of sub pixel accuracy 3D measurement using multiple images
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN111080687A (zh) 用于主动深度感测的方法和装置及其校准方法
US10013761B2 (en) Automatic orientation estimation of camera system relative to vehicle
US9292927B2 (en) Adaptive support windows for stereoscopic image correlation
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
US20200111233A1 (en) Adaptive virtual camera for indirect-sparse simultaneous localization and mapping systems
EP3213256B1 (en) Global matching of multiple images
CN104781828B (zh) 使用视频运动估计模块的加速对象检测过滤器
WO2017084009A1 (en) Disparity search range compression
US9712809B2 (en) Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
WO2017161561A1 (en) Gpu optimized and online single gaussian based skin likelihood estimation
US20200204777A1 (en) Real-time spacetime stereo using spacetime descriptors
US9779328B2 (en) Range image generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant