CN103217147A - 测量设备和测量方法 - Google Patents

Abstract

根据实施例，一种测量设备包括：显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；设置单元，被配置成设置第一图像上的测量位置；第一计算器，被配置成计算多幅图像中的不同于第一图像的第二图像上的与测量位置对应的对应位置；第二计算器，被配置成使用第一图像、测量位置、第二图像以及对应位置来计算测量位置的三维位置和三维位置的误差；以及选择单元，被配置成当每次由第二计算单元计算三维位置和误差时，确定多幅图像的多个图像对中是否具有三维位置的误差小于第二计算器所计算的误差的图像对，并且还被配置成当具有所述图像对时，选择所述图像对，但是当不具有所述图像对时，决定三维位置。当每次选择单元选择图像对时，第二计算器使用在图像对中包括的新的第一图像、三维位置被投影到新的第一图像上的第一投影位置、在图像对中包括的新的第二图像、以及三维位置被投影到新的第二图像上的第二投影位置，来计算测量位置的新的三维位置和误差。

Description

测量设备和测量方法

相关申请的交叉引用

本申请基于在2012年1月19日提交的日本专利申请No.2012-009255并要求其优先权；通过引用将其全部内容并入本申请中。

技术领域

本申请描述的实施例总体上涉及一种测量设备和一种测量方法。

背景技术

迄今为止，已经知道一种从由具有不同视点的多个相机拍摄的多幅图像之间的对应关系来测量对象的三维位置的技术，该技术被称为立体测量。

例如，按照如下方式来测量三维位置。从多幅图像中选择一对图像，并且从所选择图像上的测量点的位置与拍摄所选择图像的相机的位置之间的位置关系来测量三维位置。然而，测量精确度根据相机的位置、镜头的焦距、成像元件的尺寸、分辨率以及图像上的测量点的位置而不同。为此原因，为了提高三维位置的测量精确度，需要选择与测量点相关联的最佳图像对。

然而，根据传统技术，由于从多幅图像中选择与特定图像相关联的最佳图像，从而不能选择不包括该特定图像的图像对。为此原因，不能选择与测量点相关联的最佳图像对，导致三维位置的测量精确度变差。

发明内容

实施例的目的是提供一种能够提高三维位置的测量精确度的测量设备和测量方法。

根据一个实施例，测量设备包括：显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；设置单元，被配置成设置第一图像上的测量位置；第一计算器，被配置成计算多幅图像中的不同于第一图像的第二图像上的与所述测量位置对应的对应位置；第二计算器，被配置成使用第一图像、所述测量位置、所述第二图像以及对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及选择单元，被配置成当每次由所述第二计算单元计算三维位置和误差时，确定多幅图像的多个图像对中是否存在三维位置的误差小于第二计算器所计算的误差的图像对，并且还被配置成当存在所述图像对时，选择所述图像对，但是当不存在所述图像对时，决定三维位置。当每次所述选择单元选择所述图像对时，第二计算器使用在所述图像对中包括的新的第一图像、三维位置被投影到所述新的第一图像上的第一投影位置、在所述图像对中包括的新的第二图像、以及三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。

根据上述测量设备，能够提高三维位置的测量精确度。

附图说明

图1是示出了本实施例的测量设备的示例的配置图；

图2是示出了本实施例的测量过程示例的流程图；

图3是示出了本实施例的选择屏幕示例的视图；

图4是示出了本实施例的显示屏幕示例的视图；

图5是示出了本实施例的对应点计算过程示例的流程图；

图6是本实施例的对应点计算过程示例的说明图；

图7是示出了本实施例的显示屏幕示例的视图；

图8是示出了本实施例的三维位置的测量误差的示例的说明图；

图9是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；

图10是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；

图11是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；

图12是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；

图13是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；

图14是示出了本实施例的图像对搜索过程示例的流程图；以及

图15是本实施例的图像转换方法示例的说明图。

具体实施方式

在下文中，将参考附图详细描述实施例。

图1是示出了本实施例的测量设备100的示例的配置图。如图1所示，测量设备100包括显示单元110、显示控制单元120、输入单元130、第一选择单元140、设置单元150、第一计算单元160、第二计算单元170、第二选择单元180以及转换单元190。

可以通过例如液晶显示器之类的显示设备来实现显示单元110。可以通过在诸如CPU（中央处理单元）的处理设备上执行的程序来实现显示控制单元120、第一选择单元140、设置单元150、第一计算单元160、第二计算单元170、第二选择单元180以及转换单元190，即，可以通过诸如IC（集成电路）的硬件来实现软件或可以通过软件和硬件的组合来实现软件。例如，可以通过诸如相机的成像设备、存储有由成像设备拍摄的图像的存储设备等来实现输入单元130。例如，可以通过至少一个磁性地、光学地以及电学地可存储存储设备，例如HDD（硬盘驱动器）、SSD（固态驱动器）、ROM（只读存储器）以及存储卡，来实现存储设备。

图2是示出了由实施例的测量设备100执行的测量过程的步骤的流程的示例的流程图。

首先，当根据操作者的鼠标操作等拍摄多幅图像时，输入单元130接收从不同视点拍摄的多幅图像和相机的相机参数（S10）。

将相机参数大致分类为相机的内部参数和外部参数。内部参数包括镜头在图像上的光学中心坐标、镜头的焦距以及成像元件的有效像素间隔。外部参数表示相机的移动，并由旋转矩阵、平移矢量等来表示。相机参数可以是将内部参数和外部参数组合的投影矩阵（与透视投影矩阵同义）。投影矩阵是具有三行和四列的矩阵，并且表示从空间上的三维坐标（三维坐标系统的示例）到每个相机的图像坐标（图像坐标系统的示例）的转换。

假设当预先去除了失真等时，将输入的图像适于测量三维位置。

如果通过输入单元130输入多幅图像，则显示控制单元120在显示单元110上显示多幅图像的选择屏幕，并且第一选择单元140根据操作者的鼠标操作等从多幅图像中选择第一图像（步骤S20）。图3是示出了本实施例的选择屏幕的示例的视图。在图3示出的示例中，第一选择单元140从多幅图像200选择图像400作为第一图像。

如果第一选择单元140选择了第一图像，则显示控制单元120在显示单元110上显示第一图像的显示屏幕（步骤S30）。图4是示出了本实施例的显示屏幕的示例的视图。在图4示出的示例中，显示控制单元120在显示单元110上显示被第一选择单元140选择作为第一图像的图像400的显示屏幕。

当过程从步骤S90返回到该步骤时，显示控制单元120在显示单元110上显示在步骤S90中受到图像变换的第一图像和在步骤S80中选择的第二图像的显示屏幕。

随后，设置单元150根据操作者的鼠标操作等在显示单元110上所显示的显示屏幕中的第一图像上设置测量点（测量位置的示例）（步骤S40）。测量点是三维位置的测量目标点。在步骤S30中，如果选择充分示出测量点和测量点周围的图像作为第一图像，则变得容易使操作者输入测量点。在图4示出的示例中，设置单元150在显示屏幕上的图像400上设置测量点401。

与此同时，当完成步骤S90时，由于已经在第一图像上设置了测量点（投影点），从而可以不提供此步骤。当已经被设置的测量点从测量目标位置转移时，设置单元150可以校正并重设测量点的位置。

如果设置单元150设置了测量点，则第一计算单元160计算第二图像上的与在第一图像上设置的测量点对应的对应点（对应位置的示例），该第二图像是从输入单元130输入的多幅图像中不同于第一图像的任意图像（步骤S50）。

与此同时，当完成步骤S90时，由于已经计算了第二图像上的对应点（投影点），从而可以不提供此步骤。然而，在步骤S40中，当重设了测量点时，第一计算单元160执行此步骤。

图5是示出了本实施例的由第一计算单元160执行的对应点计算过程的步骤的流程的示例的流程图。

首先，第一计算单元160在第一图像上设置环绕测量点的窗口区域（步骤S501）。第一计算单元160可以根据第一图像的分辨率和尺寸、具有/不具有纹理等来确定窗口区域的尺寸。图6是本实施例的对应点计算过程的示例的说明图。在图6示出的示例中，在图像400上设置环绕测量点401的窗口区域500作为第一图像。

之后，第一计算单元160临时设置第二图像（步骤S502）。第一计算单元160可以将从输入单元130输入的多幅图像中不同于第一图像的所有图像临时设置为第二图像，或可以将从输入单元130输入的多幅图像中不同于第一图像的一幅特定图像临时设置为第二图像。

尽管在本实施例中，第一计算单元160重复步骤S502到S505直到不同于第一图像的所有图像均被临时设置为第二图像为止，然而用于临时设置第二图像的过程不限于此。第一计算单元160可以将从输入单元130输入的多幅图像中拍摄时间最接近第一图像的图像、从第一图像的拍摄时间起经过了给定时间的图像、或拍摄时间与第一图像相隔最久的图像临时设置为第二图像。在步骤S90之后，当在步骤S40处重设测量点时，由第一计算单元160临时设置的第二图像变为在步骤S80中选择的第二图像。在这些情况下，步骤S502到S505不重复。

在图6示出的示例中，图像501被临时设置为第二图像。

之后，第一计算单元160计算由第一计算单元160临时设置的第二图像上的与第一图像上的测量点对应的核线（步骤S503）。具体而言，第一计算单元160使用第一图像和第二图像的相机参数来计算核线。使用相机参数计算核线的方法是公知的，因而将省略对该方法的详细描述。

在图6示出的示例中，计算图像501上的核线502。

之后，第一计算单元160在第二图像的核线上设置与第一图像的窗口区域对应的窗口区域，并且计算这两个窗口区域中的亮度的关联值（执行关联操作）以计算对应点（步骤S504）。即，第一计算单元160执行第一图像和第二图像的关联操作以计算对应点。

在图6示出的示例中，在图像501上的核线502上设置窗口区域503。

第一计算单元160使用公式（1）中示出的NCC（归一化互相关）来计算亮度的关联值（执行关联操作）。

$\mathrm{NCC}(x,y)=\frac{\underset{k}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{I}_{501}(x+k,y+j)I_{400}(k,j)}{\underset{k}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{I}_{501}{(x+k,y+j)}^2\×\underset{k}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{I}_{400}{(k,j)}^2}---\left(1\right)$

在公式（1）中，计算出作为第二图像的图像501上的位置（x，y）的NCC的值。I₄₀₀和I₅₀₀分别表示图6示出的图像400（第一图像）和图像501（第二图像）的亮度。k和j表示图6示出的窗口区域500中的像素位置，并且x+k和y+j表示窗口503中的像素位置。

第一计算单元160的关联操作方法不限于NCC，而是可以使用SAD（绝对差和）、SSD（方差和）、ZNCC（零均值归一化互相关）等。

当在核线502上移动图像501上的位置（x，y）时，第一计算单元160计算关联值。第一计算单元160将计算关联值的图像501上的位置（x，y）、所计算的关联值、以及在第二图像中临时设置的图像501存储（保存）在存储单元（未示出）中。例如可以由通过至少一个磁性地、光学地以及电学地可存储存储设备，例如HDD、SSD、RAM（随机存取存储器）以及存储卡来实现存储单元。

尽管x和y通过核线502具有线性关系，然而考虑到核线502的估计误差等，第一计算单元160可以对与核线502相邻的位置（例如核线502的±N个（其中N为自然数）像素）执行关联操作，而不是在核线502上执行关联操作。为了增加图像501上的位置（x，y）的精确度，第一计算单元160可以通过对关联值应用二次曲线或保形线性形状来执行子像素估计。

之后，如果没有将不同于第一图像的所有图像临时设置为第二图像（在步骤S505中为否），则过程返回步骤S502，并且将不同于第一图像的所有图像临时设置为第二图像。如果不同于第一图像的所有图像被临时设置（在步骤S505中为是），则过程前进到步骤S506。

之后，第一计算单元160比较在步骤S504中存储的关联值，并且搜索与第一图像具有最多关联（最高关联）的第二图像和第二图像上的位置（x，y）（步骤S506）。当使用NCC或ZNCC时，关联值越大，关联度越高。当使用SAD或SSD时，关联值越小，关联度越高。

可替代地，第一计算单元160可以搜索在步骤S504中存储的关联值满足阈值TC（第二阈值的示例）的第二图像和第二图像上的位置（x，y）。还可替代地，在步骤S90之后，当在步骤S40中重设测量点时，在步骤S504中，第一计算单元160可以根据在步骤S80中计算的误差来计算测量误差，并且可以搜索具有最小测量误差的第二图像而不是搜索关联值，并搜索第二图像上的位置（x，y）。

之后，第一计算单元160将如此搜索的第二图像确定为第二图像，并且确定所搜索的第二图像上的位置（x，y）为对应点（步骤S507）。

返回到图2，如果通过第一计算单元160确定了第二图像和对应点，则显示控制单元120在显示单元110上显示第一图像和第二图像的显示屏幕（步骤S60）。图7是示出了本实施例的显示屏幕的示例的视图。在图7示出的示例中，显示控制单元120在显示单元110上显示作为第一图像的由第一选择单元140所选择的图像400和作为第二图像的由第一计算单元160所选择的图像601的显示屏幕。以重叠方式在图像400上显示测量点401，并且以重叠方式在图像601上显示对应点602和核线603。

操作者确认与测量点401对应的对应点602的位置是否正确。例如，当对应点602的位置不正确时，设置单元150可以基于操作者的鼠标操作等在图像601上校正和重设对应点602的位置，以放置在核线603上。此时，显示控制单元120可以以放大比例的方式显示图像601（显示屏幕），使得可以高精度校正对应点。

之后，第二计算单元170使用第一图像、第一图像上的测量点、第二图像以及第二图像上的对应点来计算测量点的三维位置，并且还计算在所计算的三维位置的误差（步骤S70）。当完成步骤S90时，第二计算单元170使用新的第一图像、将之前的三维位置（在步骤S70中计算的之前的三维位置）投影到新的第一图像上的第一投影点（第一投影位置的示例）、新的第二图像、以及将之前的三维位置投影到新的第二图像上的第二投影点（第二投影位置的示例），来计算测量点的三维位置。在如下描述中，可以将测量点视为被第一投影点所代替，并且可以将对应点视为被第二投影点所代替。

具体而言，假定由公式（2）表示第一图像的测量点的齐次坐标，由公式（3）表示第二图像的对应点的齐次坐标，具有相机参数的第一图像和第二图像的三行四列投影矩阵为P和P’，并且由公式（4）表示将计算的三维位置的齐次坐标。在这种情况下，由于由公式（5）和（6）表示将计算的三维位置，并且建立了具有三个未知数和四个公式的联立方程，从而第二计算单元170例如使用最小平方方法等计算由公式（7）表示的三维位置。

$\tilde{m}={\left(\begin{array}{ccc}u& v& 1\end{array}\right)}^T---\left(2\right)$

${\tilde{m}}^{\′}={\left(\begin{array}{ccc}{u}^{\′}& v^{\′}& 1\end{array}\right)}^T---\left(3\right)$

${\tilde{X}}_w={\left(\begin{array}{cccc}X& Y& Z& 1\end{array}\right)}^T---\left(4\right)$

$\tilde{m}~P{\tilde{X}}_w---\left(5\right)$

${\tilde{m}}^{\′}~P^{\′}{\tilde{X}}_w---\left(6\right)$

X_w=(X  Y  Z)    （7）

接下来，将描述计算三维位置的测量误差的方法。

图8是示出了本实施例的三维位置的测量误差的示例的说明图。在图8示出的情况（A）中，通过第一图像700的测量点的三维位置703的光束705与第二图像701的图像表面相交的位置变为第二图像701的对应点。由于难以无误差地估计对应点，并且实际上出现了对应点估计的误差，从而光束可能具有在光束705的两侧上出现误差的形式，并且出现测量误差707。

在图8示出的情况（B）中，通过第一图像700的测量点的三维位置704的光束706与第二图像702的图像表面相交的位置变为第二图像702的对应点。在图8的情况（B）中，虽然第一图像700与图8的情况（A）处于相同位置，然而第二图像702与图8的情况（A）处于不同位置。在图8中，应理解的是，如果通过测量点的光轴与测量点的深度位置对齐，则图8的情况（B）的测量误差708大于图8的情况（A）的测量误差707。

第二计算单元170可以考虑第二图像中的误差来计算测量误差，或者可以考虑第一图像和第二图像两者中的误差来计算测量误差。第一图像中的误差是在第一图像中设置测量点时出现的误差。

当考虑第二图像中的误差来计算测量误差时，第二计算单元170通过公式（8）和（9）而不是公式（3）表示第二图像的对应点的齐次坐标，并且应用到公式（5）和（6）来计算由公式（10）和（11）表示的三维位置。

${\tilde{m}}^{\′\′}={\left(\begin{array}{ccc}{u}^{\′}+s& v^{\′}& 1\end{array}\right)}^T---\left(8\right)$

${\tilde{m}}^{\′\′\′}={\left(\begin{array}{ccc}{u}^{\′}-s& v^{\′}& 1\end{array}\right)}^T---\left(9\right)$

${{\tilde{X}}^{\′\′}}_w---\left(10\right)$

${{\tilde{X}}^{\′\′\′}}_w---\left(11\right)$

关于由公式（8）和（9）表示的第二图像的对应点的齐次坐标，当核线与图像水平时，执行子象素估计处理，并且依据可以通过子象素估计（例如，约一个像素的1/4）计算的像素位置或依据像素来计算对应点，具有1/2采样间隔的像素被设置为出现误差的位置，并且这些像素为s个像素。

第二计算单元170使用公式（12）计算三维位置的测量误差。

err=max(|X_w-X″_w|,|X″_w-X″′_w|,|X_w-X″′|)    （12）

这里，max(A，B，C)是返回A、B和C中的最大值的函数，并且|D|表示范数。

如图9所示，当核线不与图像水平时，第二计算单元170可以根据核线800的方向考虑到对应点801两侧的误差804来设置点802和803，并且误差804的大小可以是沿核线800的s个像素。

如图10所示，第二计算单元170可以在通过核线800的各个像素处设置点900到903，可以从设置的点900到903计算三维位置，并且可以如同公式（12）将范数为最大值的三维位置确定为三维位置中的测量误差。

尽管在公式（12）中计算了范数的最大值，然而也可以计算平均值、方差或最小值。

当如图11和图12所示考虑第一图像和第二图像两者中的误差来计算测量误差时，第二计算单元170可以考虑第一图像700的测量点周围的误差，可以计算三维位置1200到1203（为测量点中的光束反射误差与第二图像701的对应点中的光束反射误差的交叉点），并且可以将与三维位置703的差的范数的最大值确定为三维位置的测量误差。图12是由图11的圆S所环绕的部分的放大图。第二计算单元170可以计算与三维位置703的差的范数的平均值、方差或最小值，而不是最大值。

如图13所示，第二计算单元170可以将二次函数1008应用到环绕作为第一图像的图像1000的测量点1002的窗口区域1003的图像图案和环绕作为第二图像的图像1001的对应点的窗口区域1005的图像图案的相关值，或窗口区域1003的图像图案和环绕发生误差的点的窗口区域1006和1007的图像图案的相关值，从而计算二次系数。

二次系数表示相关值的平滑度。该值越大，二次函数越陡峭，并且可以以较小误差执行估计。当窗口区域仅包括难以处理的图案时，当图像有噪声时，当图像模糊时，或当图像的亮度不适当时等，对相关值进行平坦。第二计算单元170可以应用等角线而不是二次曲线，并且可以将等角线的倾斜度作为相关值的平滑度。

返回到图2，第二选择单元180（选择单元的示例）使用三维位置和第二计算单元170所计算的测量误差，确定通过输入单元130输入的多幅图像的多个图像对（一组图像的示例）中是否存在三维位置的误差小于第二计算单元170所计算的误差的图像对。当存在该图像对时，第二选择单元180选择该图像对，并且当没有该图像对时，第二选择单元180决定三维位置（步骤S80）。

图14是示出了本实施例的由第二选择单元180执行的图像对搜索过程的步骤的流程的示例的流程图。

首先，将三维位置和第二计算单元170所计算的测量误差输入到第二选择单元180（步骤S801）。

之后，第二选择单元180从通过输入单元130输入的多幅图像中设置图像对（步骤S802）。第二选择单元180设置除了当第二计算单元170计算三维位置和测量误差时所使用的第一图像和第二图像的图像对之外的图像对，使得不彼此重叠。

之后，第二选择单元180将由第二计算单元170所计算的三维位置投影到所选择图像对的每幅图像上（步骤S803）。具体而言，如果由公式（4）表示三维位置的齐次坐标，并且使用所选择图像对的各幅图像的投影矩阵P和P’，则第二选择单元180可以由公式（5）和（6）计算所选择图像对的每幅图像上的投影位置。

之后，第二选择单元180计算所选择图像对中的误差（步骤S804）。关于误差的计算，可以使用关联第二计算单元170所描述的方法。例如，当考虑所选择图像对的任意图像中的误差来计算测量误差时，第二选择单元180首先计算作为第一图像的图像对的一幅图像与作为第二图像的另一幅图像的误差，接着计算第一图像和第二图像反转之后的误差。第二选择单元180将所计算的误差的最大值、最小值或平均值确定为所述图像对中的测量误差。

尽管在本实施例中假定误差为位置估计的测量误差，然而，实际上，图像质量影响误差。为此原因，第二选择单元180通过与第二计算单元170中的方法相同的方法来计算表示所选择图像对的相关值的平滑度的二次系数。当所计算的二次系数小于阈值TD（第一阈值的示例）（即，在较平滑变化的情况下），第二选择单元180不太可能估计出比当第二计算单元170计算三维位置和测量误差时所使用的第一图像和第二图像的图像对具有较高精度的三维位置。为此原因，期望测量误差增加，并且对测量误差给出罚值。例如，第二选择单元180将测量误差乘以α（其中α为正）。

随后，如果没有设置所有的图像对（在步骤S805中为否），则过程返回步骤S802，并且设置所有的图像对。如果图像对的设置结束（在步骤S805中为是），则过程前进到步骤S806。例如，当通过输入单元130输入的多幅图像为图像A、图像B以及图像C，并且当第二计算单元170计算三维位置和测量误差时所使用的图像对为一对图像A和B时，如果第二选择单元180设置图像A和C的图像对和图像B和C的图像对，则图像对的设置结束。

随后，第二选择单元180从所设置的图像对搜索测量误差小于第二计算单元170所计算的测量误差的图像对（步骤S806）。

当搜索图像对时（在步骤S807中为是），第二选择单元180将如此搜索的图像对确定为新的第一图像和第二图像的图像对（步骤S808）。具体而言，如果对图像对进行搜索，则第二选择单元180产生以测量误差的升序描述如此搜索的对和拍摄图像对的图像的位置的列表。在所产生的列表中，第二选择单元180将具有最高次序（在列表中具有最小测量误差）的图像对、具有最低次序（在列表中具有最大测量误差）的图像对、测量误差比第二计算单元170所计算的测量误差小一设置值TH的图像对、或拍摄位置接近当第二计算单元170计算测量误差时所使用的第一图像或第二图像的图像对，确定为新的第一图像和第二图像的图像对。

第二选择单元180将所确定的图像对中的一幅图像设置为第一图像，并且将另一幅图像设置为第二图像。与此同时，当所确定的图像对包括当第二计算单元170计算测量误差时所使用的第一图像时，第二选择单元180将第一图像设置为实际上的第一图像，并且将另一幅图像设置为实际上的第二图像。另一方面，当所确定的图像对不包括当第二计算单元170计算测量误差时所使用的第一图像时，第二选择单元180将在空间上接近第一图像的图像、拍摄时间接近第一图像的图像、或焦距接近第一图像的图像设置为第一图像，并且将另一幅图像设置为第二图像。可以通过外部参数的平移矢量计算在空间上接近第一图像的图像。

当没有搜索图像对时（在步骤S807中为否），即当第二计算单元170计算所设置图像对中的测量误差时所使用的第一图像和第二图像的图像对中的测量误差为最小时，过程结束。

如果通过第二选择单元180确定新的第一图像和第二图像的图像对（在在步骤S80中为是），则转换单元190执行图像转换（例如旋转图像），使得新的第一图像和当第二计算单元170计算测量误差时所使用的第一图像具有相同外观（步骤S90）。例如，转换单元190执行图像转换以将初始第一图像的旋转方向与新的第一图像的旋转方向匹配。

图15是本实施例的图像转换方法的示例的说明图。如图15所示，转换单元190在通过当前第一图像1300的测量点的三维位置1302与当前第一图像1300的相交点1304的图像的垂直线1305上设置两光束1306和1307。接着，转换单元190分别将在三维位置1302与当前第一图像1300的光学中心1308之间具有相同距离的光束1306和1307的位置设置为点1309和1310。接着，转换单元190将三维位置1302和点1309和1310投影到新的第一图像1301上，以分别设置投影点1313、1312以及1311，并且计算连接投影点1313、1312以及1311和新的第一图像1301的纵轴的线的斜率β。接着，转换单元190使用所计算的斜率β在投影点1313周围执行图像旋转转换。

转换单元190在存储单元中存储（保存）从初始图像到转换之后的图像的转换规则。因此，第二计算单元170从转换之后的图像上的坐标返回到转换一次之前的坐标，并且计算三维位置和测量误差。由于当操作者确认测量点时期望转换单元190的图像转换提高可视性，从而不必须执行图像转换，如有需要也可以执行。

之后，过程返回到步骤S30，显示控制单元120在显示单元110上显示投影三维位置并且由转换单元190执行图像转换的新的第一图像、以及由第二选择单元180所选择并且投影三维位置的新的第二图像的显示屏幕。

转换单元190可以对第二图像和第一图像执行图像转换。转换单元190可以使用在A.Fussiello等人在《Machine Vision and Application》2000版上发表的“A Compact Algorithm for rectification of stereo paris”中所公开的方法来执行图像转换。

如果没有通过第二选择单元180确定新的第一图像和第二图像的图像对（在步骤S80中为否），并且决定了三维位置，则显示控制单元120在显示单元110上显示三维位置和三维位置的误差（步骤S100）。可以以文件的形式等输出所决定的三维位置和三维位置的误差。

如上所述，根据实施例，以测量误差的降序来依次选择图像对，并且计算存在最小测量误差的图像对的三维位置，从而提高三维位置的测量精度。尤其是，根据实施例，由于选择将初始选择的第一图像的方式并不影响最终三维位置的估计精度，从而即使具有不同水平熟练度的操作者也可以执行高质量的三维测量，而不会导致个体差异。

变型

尽管在上述实施例中假定使用了单个第二图像，然而也可以使用多个第二图像。在这种情况下，第一计算单元160可以使用如同M.Okutomi和T.Kanade在“IEEE Transactions on Pattern Analysis and Machine Intelligence”1993年四月版的第15卷第4期353-363页发表的“A Multiple-BaselineStereo”中公开的深度的倒数来计算相关值，并且可以计算对应点。

硬件配置

上述实施例的测量设备100和变型包括诸如CPU（中央处理单元）的控制设备、诸如ROM或RAM的存储设备、诸如HDD或SSD的外部存储设备、诸如显示器的显示设备、诸如鼠标或键盘的输入设备以及诸如摄像机的成像设备，并且可以使用常规计算机通过硬件来实现。

在ROM等中并入通过上述实施例的测量设备100和变型所执行的程序，并提供该程序。

可以将通过上述实施例的测量设备100和变型所执行的程序存储在诸如CD-ROM、CD-R、存储卡、DVD或软盘（FD）的计算机可读存储介质中，作为可安装格式或可执行格式的文件，并提供该程序。

可以将通过上述实施例的测量设备100和变型所执行的程序存储在连接到诸如因特网的网络的计算机上、通过因特网下载，并提供该程序。可以通过诸如因特网的网络提供或分配通过上述实施例的测量设备100和变型所执行的程序。

通过上述实施例的测量设备100和变型所执行的程序具有用于实现计算机上的各单元的模块配置。例如，作为实际硬件，控制设备从存储设备上的外部存储设备读取并执行程序，从而实现计算机上的各单元。

例如，可以以不同顺序执行实施例的流程图中的各步骤，可以同时执行多个步骤，或在不偏离各步骤的特征的情况下，每次执行流程图中的处理时可以改变执行各步骤的次序。

根据上述实施例的测量设备，所述测量设备包括：显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；设置单元，被配置成设置第一图像上的测量位置；第一计算器，被配置成计算多幅图像中的不同于第一图像的第二图像上的与测量位置对应的对应位置；第二计算器，被配置成使用第一图像、测量位置、第二图像以及对应位置来计算测量位置的三维位置和三维位置的误差；以及选择单元，被配置成当每次由第二计算单元计算出三维位置和误差时，确定多幅图像的多个图像对中是否具有三维位置的误差小于第二计算器所计算的误差的图像对，并且还被配置成当具有所述图像对时，选择所述图像对，但是当不具有所述图像对时，决定三维位置。当每次选择单元选择出图像对时，第二计算器使用在图像对中包括的新的第一图像、三维位置被投影到新的第一图像上的第一投影位置、在所述图像对中包括的新的第二图像、以及三维位置被投影到新的第二图像上的第二投影位置，来计算测量位置的新的三维位置和误差。因此，可以提高三维位置的测量精度。

尽管已经描述了某些实施例，然而仅通过示例的方式来呈现这些实施例，而不旨在限制本发明的范围。实际上，在本申请中描述的新颖性实施例可以以各种其它形式来体现；此外，可以对本申请中描述的实施例做出各种省略、替换以及修改，而不偏离本发明的精神。所附权利要求书和它们的等同方案期望覆盖将落入本发明的范围和精神内的这样的形式或修改。

Claims (9)

1.一种测量设备，包括：

显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；

设置单元，被配置成设置所述第一图像上的测量位置；

第一计算器，被配置成计算所述多幅图像中的不同于所述第一图像的第二图像上的与所述测量位置对应的对应位置；

第二计算器，被配置成使用所述第一图像、所述测量位置、所述第二图像以及所述对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及

选择单元，被配置成当每次所述第二计算单元计算所述三维位置和所述误差时，确定所述多幅图像的多个图像对中是否存在所述三维位置的误差小于所述第二计算器计算的所述误差的图像对，并且所述选择单元还被配置成当存在所述图像对时，选择所述图像对，但是当不存在所述图像对时，决定所述三维位置，

其中，当每次所述选择单元选择所述图像对时，所述第二计算器使用在所述图像对中包括的新的第一图像、所述三维位置被投影到所述新的第一图像上的第一投影位置、在所述图像对中包括的新的第二图像、以及所述三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。

2.根据权利要求1所述的设备，

其中，所述选择单元通过使用表示从三维坐标系统到图像坐标系统的变换的投影矩阵将所述三维位置投影到在所述图像对中包括的每幅图像上来设置投影位置，并且所述选择单元基于每个投影位置计算所述图像对中的所述三维位置的所述误差。

3.根据权利要求2所述的设备，

其中，所述选择单元在每个投影位置周围执行关联操作，并且当表示关联值的平滑度的值不满足第一阈值时，所述选择单元对所述图像对的所述三维位置中的所述误差给出罚值。

4.根据权利要求1到3中任一项所述的设备，

其中，当存在所述三维位置的所述误差小于所述第二计算器计算的所述误差的多个图像对时，所述选择单元选择所述三维位置中具有最小误差的图像对。

5.根据权利要求1到4中任一项所述的设备，

其中，当所述第一图像包括在所选择的图像对中时，所述选择单元将所述第一图像设置为所述新的第一图像，并且将另一图像设置为所述新的第二图像。

6.根据权利要求1到5中任一项所述的设备，

其中，所述第一计算器执行所述第一图像和所述第二图像的关联操作，以计算所述对应位置，并且

所述第二图像是所述多幅图像中的与所述第一图像具有最高关联的图像、与所述第一图像的关联满足第二阈值的图像、拍摄时间最接近所述第一图像的图像、或拍摄时间与所述第一图像相隔最久的图像。

7.根据权利要求1到6中任一项所述的设备，

其中，所述显示控制器在所述显示单元上显示设置了所述对应位置的所述第二图像，并且

所述设置单元校正并重设所述对应位置。

8.根据权利要求1到7中任一项所述的设备，还包括：

转换器，被配置成执行图像转换，以将所述新的第一图像的旋转方向与所述第一图像的旋转方向匹配，

其中，所述显示控制器在所述显示单元上显示设置了所述第一投影位置并且执行了所述图像转换的所述新的第一图像、以及设置了所述第二投影位置的所述新的第二图像，并且

所述设置单元校正并重设所述第一投影位置和所述第二投影位置的至少之一。

9.一种测量方法，包括：

通过显示控制器在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；

通过设置单元设置所述第一图像上的测量位置；

通过第一计算器计算所述多幅图像中的不同于所述第一图像的第二图像上的与所述测量位置对应的对应位置；

通过第二计算器使用所述第一图像、所述测量位置、所述第二图像以及所述对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及

当每次所述第二计算单元计算所述三维位置和所述误差时，选择单元确定在所述多幅图像的多个图像对中是否存在所述三维位置的误差小于所述第二计算器计算的所述误差的图像对；以及

当存在图像对时，所述选择单元选择所述图像对，但是当不存在图像对时，所述选择单元决定所述三维位置，

其中，在计算所述三维位置和所述三维位置的所述误差时，当每次所述选择单元选择所述图像对时，使用在所述图像对中包括的新的第一图像、所述三维位置被投影到所述新的第一图像上的第一投影位置、所述图像对中包括的新的第二图像、以及所述三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。

Images