CN102033314B - 影像采集装置和影像显示方法 - Google Patents

Abstract

本发明提供了一种影像采集装置，用于采集物理物体的影像并显示采集到的影像，用以复合并实时显示形状扭曲分级标尺到采集到的影像，该装置包括用于产生分级标尺的分级标尺产生部件，该分级标尺被用于在采集到的影像中指示物理物体的维度；一个数据存储装置，用于存储用于校正形状分级标尺形状的校正数据，该校正数据通过添加与所述扭曲和失真引起的相同程度的扭曲到所述生成的分级标尺上来校正分级标尺的形状；一个分级标尺形状校正部件，用于产生形状扭曲分级标尺，通过校正数据校正分级标尺形状；以及一个影像复合部件，用于将生成的形状扭曲分级标尺和采集到的影像复合起来，并将采集到的影像与形状扭曲分级标尺复合显示。

Description

影像采集装置和影像显示方法

技术领域

本发明涉及一种应用于影像采集装置的技术，该装置能够采集物理物体的影像并显示采集到的影像，显示用于指示物理物体维度的分级标尺，以便作为一个覆盖层显示在采集到的影像上。 

背景技术

近几年，影像采集装置被广泛用于在观察中采集物理物体的影像，并在其显示单元，如液晶显示器或者有机/无机的电子荧光屏上实时显示采集到的影像，例如包括内窥镜，数码照相机和数码摄像机。这种影像采集装置通过利用由透镜系统组成的影像采集光学部件，实现将从物理物体上反射的光线成像在图像传感器如CCD和CMOS上作为物体的影像，从而采集完整的物体影像。 

利用影像采集光学部件完成在图像传感器上的物体影像相比实际的物理物体通常会产生失真，这种失真来源于在影像采集光学部件的失真和畸变。 在图11中将会给出一个图像失真的例子以便于理解。 

图11给出了由于在影像采集光学系统的失真和畸变而在物体的影像上产生的失真。图11(a)给出了实际的物理物体。图11(b)给出了利用影像采集光学部件采集的图11(a)中所示的物理物体的完整影像，图像具有球面形失真和畸变的特征。从这些图中可以看出，由于由影像采集光学部件完成的物体的影像与实际物理物体相比较具有失真，由影像采集装置采集到的影像与实际物理物体相比也变成了失真的影像。 

当一个广角透镜系统用于影像采集光学部件时，就会发现图11(b)中的球面形失真，并且当广角系统用于短距离数据采集时失真情况尤为明显。由于广角镜头系统具有大的景深以及较宽的图像聚焦的特性，因此经常用于内窥镜，内窥镜的影像采集光学部件在结构上很难构造具有可驱动含有多个透镜的系统的调焦机构。由于内窥镜通常要采集介于几个毫米到几十厘米的短距离范围内的物理物体的影像，所以所述球面形畸变很明显地产生。 

当使用所述的这种影像采集装置采集影像时，使用者有这样的需求，即从显示部件中显示的采集到的影像中识别出物理物体的真实维度。为了满足这一需求，有人给出了这样一种技术提议，在内窥镜中设置复数个用于采集物理物体的影像的影像采集装置，基于具有代表性点的位置关系计算这些代表点在采集到的复数个影像中的三维坐标，然后根据计算的三维坐标将分级标尺作为一个覆盖层显示在采集到的影像中。（例如，参考JP 2002-156212 A） 

     在内窥镜的使用上还有这样的技术提议，提供一种内窥镜位置和方向探测方法，用于计算内窥镜的头的空间位置和方向，一种位移信息计算方法，用于根据个别点在内窥镜的一系列连续影像中的位移计算内窥镜的影像沿面内方向的位移，以及一种深度信息计算方法，根据内窥镜镜头的空间位置和方向，和内窥镜影响沿着平面内方向的位移，计算这些点在内窥镜影像上的三维坐标。然后根据计算出的这些点的三维坐标显示分级标尺。（例如，参考JP 2000-210248 A）

在内窥镜的使用上还有这样的技术提议，提供一个测量光扫描方法，然后计算出在激光的扫描线上和内窥镜的头上，那些单独的点之间的距离，之后根据计算结果显示分级标尺。（例如，参考JP05-041901 A (1993)）

在内窥镜上还有这样的技术提议，提供一个距离影像传感器，用于采集代表至目标的距离的二维分布的范围影像，之后根据计算结果显示出分级标尺。（例如，参考JP 2005-087468 A） 

参照专利文献，所述技术提议具有如下所述的问题。

    在文献JP 2002-156212 A中提及的技术中，需要探测利用复数个影像采集装置采集到的复数个影像中相应的代表点。为了探测采集到的复数个影像中相应的代表点，还需为每一幅采集到的影像计算校正值以补偿由于影像采集光学部件产生的失真和畸变而造成的失真。由于计算过程具有非常高的复杂性，当采用一般用途的计算机，例如采用个人计算机（下文中称作“PC”）很难处理这些采集到的影像数据，并将分级标尺作为覆盖层实时显示到采集到的影像中。 

在文献JP 2000-210248 A中提及的技术中，在连续的采集到的影像中相应的代表点被检测出来，之后计算出每个代表点分别对应的三维坐标。于是，与在专利文献1中提及的技术类似的方法，这里也有同样的问题，由于计算过程的复杂性，处理这些计算的要求非常高，在个人计算机中实时显示分类标尺并覆盖在采集到的影像上非常困难。此外，由于在内窥镜中要求安装内窥镜位置和方向传感器以探测内窥镜的头所在的位置和方向，这就产生了这样一个问题，内窥镜的造价变得更高。 

在文献JP 05-041901 A中提及的技术中，激光光源的物理位置是利用测量光扫描的方法来控制的，激光在内窥镜视场中的扫描范围是通过连续地转换所用的光纤来引导激光到达内窥镜的头上，因此，沿着扫描线上的目标距离是根据反射激光来计算的。由于这一配置产生了下述问题，即要求一个能够精确控制激光源的物理位置的装置，于是影像采集装置的结构变得更为复杂。 

在文献JP 2005-087468 A中提及的技术中，为了计算采集到的影像中单个点的三维位置，需要安装范围影像传感器以采集范围影像。于是产生了这样一个问题，影像采集装置的造价变得更高。 

发明内容

本发明的目的是提供一种影像采集装置，一种影像显示方法和用于记录用于显示采集的影像的程序的记录介质，该程序能够实时显示被用于物理物体维度指示的分级标尺并作为覆盖层显示到采集到的影像上，并且具有较低的造价和简单的结构。 

本发明的一个方面，影像采集装置包括： 

光接收部件，用于接收从物理物体上反射的反射光；

影像采集光学部件，由于响应于反射光的失真和畸变，通过扭曲物理物体的真实影像来完成影像作为一个物体的影像； 

影像采集部件，用于采集物体的影像作为采集到的影像；以及

显示部件，用于显示采集到的影像，该装置还进一步包括：

分级标尺生成部件，用于在采集到的影像中生成用于表明物理物体维度的分级标尺；

数据存储部件，用于存储用于校正的数据以便，通过在生成的分级标尺上增加与失真和畸变导致的扭曲类似程度的扭曲，来校正分级标尺的形状；

分级标尺形状校正部件，通过根据用于校正的数据来校正分级标尺的形状，来产生一个形状扭曲分级标尺；以及

影像复合部件，用于复合生成的形状扭曲分级标尺和采集到的影像，其中显示部件将采集到的影像与形状扭曲分级标尺复合显示。

本发明的另一个方面，影像显示方法，在影像采集装置上执行，该影像采集装置包括用于接收从物理物体上反射的反射光的光接收部件；一个影像采集光学部件，根据由于响应于反射光的失真和畸变而扭曲物理物体的真实影像，来完成影像作为一个物体影像；一个影像采集部件，用于采集物体的影像作为采集的影像；以及一个显示部件，用于显示采集到的影像，该方法包括： 

分级标尺生成步骤，用于生成分级标尺，用于在采集到的影像中指示物理物体的维度；

分级标尺形状校正步骤，通过根据用于校正分级标尺形状的数据来校正分级标尺的形状，通过增加与失真和畸变导致的扭曲类似程度的扭曲到所生成的分级标尺上来生成形状扭曲分级标尺；  

影像复合步骤，用于复合生成的形状扭曲分级标尺到采集的影像上；以及

显示步骤，用于将采集到的影像与形状扭曲分级标尺结合显示在显示部件上。

本发明的第三个方面，记录介质存储：指示影像显示方法，由影像采集装置执行的影像显示程序，该影像采集装置包括一个光接收部件用以收从物理物体上反射的反射光；一个影像采集光学部件，根据响应于反射光的失真和畸变，扭曲物理物体的真实影像来完成影像作为一个物体影像；一个影像采集部件，用于采集物体的影像作为采集到的影像；一个显示部件，用于显示采集到的影像，来执行： 

分级标尺生成程序，用于生成用分级标尺，用于在采集到的影像中指示物理物体的维度。

分级标尺形状校正程序，根据用于校正分级标尺的的数据来校正分级标尺的形状，通过增加与失真和畸变导致的扭曲类似程度的扭曲到生成的分级标尺，来生成形状扭曲分级标尺； 

影像结合程序，用于将生成的形状扭曲分级标尺结合到采集的影像上，以及

程序，用于将采集到的影像结合形状扭曲分级标尺一起显示在显示部件上。

本发明的特征是生成在采集到的影像中用作指示物理物体维度的分级标尺；通过添加与在影像采集光学部件上产生的扭曲和失真相同程度的扭曲到生成的分级标尺上来校正分级标尺的形状；以及将校正的形状扭曲分级标尺作为一个覆盖图层显示在采集的影像中。根据本发明，由于分级标尺形状是通过加入与失真和畸变引起的失真类似程度的失真到分级标尺中而被矫正的，可以预期，计算的复杂性将比在采集到的影像上施加形状校正的复杂性大幅降低，这样使用一般通用的计算机，例如PC中，分级标尺就可以作为一个覆盖层实时地显示在采集到的影像中。 

根据本发明，可以预期，影像采集装置将具有比较便宜的价格。因为将不再需要任何在专利文件3中公开的内窥镜位置和方向传感装置，或者其他特殊的传感器，如在专利文件4中披露的范围影像传感器。 

根据本发明，还可以预期，影像采集装置也将具有简单的结构，因为不再需要利用复杂的结构来精确控制物理位置，如专利文件3中披露的测量光扫描装置。 

附图说明

图1 给出了根据本发明第一实施例的影像采集装置的结构的框图。 

    图2 给出了图1中示出的距离计算部件170和分级标尺生成部件180的具体结构的框图。 

    图3给出了图1中示出的分级标尺形状校正部件190的操作图。 

    图4给出了图1中示出的影像采集装置的操作流程图。 

    图5给出了根据本发明的第二个实施例的影像采集装置的结构的框图。 

    图6 给出了图5中示出的距离计算部件510，位移计算部件520和分级标尺生成部件530的详细结构的框图。 

    图7给出了图5中示出的物理物体和光接收部件130之间的位置关系的一个示例。 

    图8给出了图6中示出的深度分级标尺计算部件532的操作示意图。 

    图9给出了图5中示出的分级标尺校正部件190的操作图。 

图10 给出了图5中示出的距离计算部件510，位移计算部件520和分级标尺生成部件530的详细结构的框图。 

图11示出了在影像采集装置中由于影像采集光学部件的失真和畸变在物体影像上产生的失真。 

具体实施方式

参考附图，实施本发明的最佳方式将在以下部分详述。 

第一实施例 

图1给出了根据本发明第一实施例的影像采集装置的结构的框图。如图1所示，该实施例中的影像采集装置100包括：照明光源110，激光光源120，光接收部件130，光分离部件140，影像采集光学部件150，影像采集部件160，距离计算部件170，分级标尺生成部件180，分级标尺形状校正部件190，数据存储部件200，影像复合部件210，显示部件220，以及操作部件230。

照明光源110接收由操作部件230下达的指令来激发照明光源。当照明光300照射到物理物体上时，照明光包括至少一部分波长范围位于可见光的光波(波长从380nm至750nm)，或者全部波长范围为可见光。氙灯或者卤素灯均可用做照明光源110。 

    激光光源120接收由操作部件230下达的激发激光光源的指令，开始激发激光310照射到物理物体上。在这个实施例中，激光光源120可以发射出波长为780nm的激光。在这一实施例中，由于利用了波长范围在可见光的波长范围之外的激光，这样就可以避免激光310干扰在影像采集部件160采集到的物理物体的影像。需要指出的是，被激光光源120照射的激光310的波长范围并没有被限制在所述区域，而是具有任意的波长范围。 

    光接收部件130接收包括照明光300和激光310的反射光400，两者都在物理物体上被反射。假设一个内窥镜被用作影像采集装置100，则光接收部件130相当于内窥镜的头部。 

光分离部件140把在光接收部件130接收的反射光400分成激光310（激光成分），以及包括照明光300成分的其他光成分（照明光成分）。被光分离部件140分出的照明光成分和激光成分将分别射入影像采集光学部件150和距离计算部件170。需要指出的是，诸如二向色棱镜的分束器可以用于光分离部件140。 

影像采集光学部件150，基于光分离部件140射入的照明光成分完成物理物体的影像，作为影像采集部件160上的物理物体的影像。影像采集光学部件150具有本征的失真和畸变，因此已经生成的物体的影像相对于实际的物理物体是扭曲的。需要指出的是，一个广角镜头可能被用于影像采集光学部件150。 

影像采集部件160，响应于操作部件230发出的指令开始影像采集，通过影像采集光学部件150采集物体的影像，以此作为采集到的影像。在这一实施例中，影像采集部件160是这样配置的，根据预先定义的采集影像的帧速度重复完整的物体影像的采集操作。需要指出的是，影像采集部件160可以使用如CCD和CMOS一类的影像传感器。 

距离计算部件170，响应于操作部件230发出的指令开始生成分级标尺，根据光分离部件140所射入的激光成分计算指示光接收部件130和物理物体之间的距离的目标物体距离。在这一实施例中，距离计算部件170是这样配置的，根据预先定义的在影像采集部件160采集影像的帧速度重复计算目标物体距离。 

分级标尺生成部件180，根据在距离计算部件170计算的目标物体距离，计算出在分级标尺的间距，作为在影像采集部件160上采集到的影像的维度指示，然后根据计算的间距生成分级标尺。需要指出的是，每当在距离计算部件170计算目标物体距离后，分级标尺生成部件180就会生成分级标尺。 

分级标尺形状校正部件190通过校正分级标尺的形状，通过在分级标尺生成部件180所生成的分级标尺上加入由于影像采集光学部件150的失真和畸变引起的类似程度的畸变，来生成形状扭曲分级标尺。需要指出的是，每当分级标尺生成部件180生成分级标尺时，分级标尺形状校正部件190就生成形状扭曲分级标尺。 

数据存储部件200存储用于校正的数据，如校正参数和校正矩阵，用于在距离计算部件170中计算目标物体距离，在分级标尺生成部件180中计算分级标尺的间距，在分级标尺状校正部件190中校正分级标尺的形状。这些数据值是这样配置的，可以通过距离计算部件170，分级标尺生成部件180，以及分级标尺形状校正部件190等从操作部件230进行修改。 

    影像复合部件210将分级标尺形状校正部件190产生的形状扭曲分级标尺作为一个覆盖层复合在影像采集部件160采集到的影像上，并输出复合后的采集影像到显示部件220。需要指出的是，当操作部件230没有接受指令来开始生成分级标尺时，影像复合部件210将不会复合形状扭曲分级标尺和采集到的图像，而是直接输出由影像采集部件160提供的采集影像到显示部件220上。操作部件230接收使用者发出的所述各种不同的指令，并把这些指令传输给单独的结构部件。 

    然后，参考图2，下文中详细给出距离计算部件170以及分级标尺生成部件180的配置。图2 给出了图1中示出的距离计算部件170和分级标尺生成部件180的详细结构的框图。 

    首先，将详细给出距离计算部件170的结构。如图2所示，距离计算部件170包括：影像实现光学部件171，距离传感器172，以及反射距离计算部件173。影像实现光学部件171将自激光分离部件140射入的激光成分聚焦到距离传感器172上。距离传感器172测量由影像实现光学部件171聚焦的激光成分并给出光强。与影像采集部件160类似方式，距离传感器172可能使用诸如CCD和CMOS一类的影像传感器。反射距离计算部件173响应于操作部件230的指令来开始生成分级标尺，基于距离传感器172测量的收集到的激光成分和存储在数据存储部件200的距离校正参数来计算目标物体距离。需要指出的是，反射距离计算部件173是这样配置的，根据预先定义的在影像采集部件160采集影像的帧速度重复目标物体距离的计算。 

利用激光成分的光射入量计算目标物体距离的技术是本领域技术人员熟知的，该技术基于目标物体距离越远激光成分的光射入量就越少这一物理现象。由于激光成分的光射入量随目标物体距离呈指数减少，因此可以利用激光成分的光射入量来估算目标物体距离，通过从预先制定的近似曲线上查找一系列的距离校准参数得到，该近似曲线由激光成分的光射入量与相应的一系列的目标物体距离编制而成。 

下面，将详细给出分级标尺生成部件180的结构。如图2所示，分级标尺生成部件180包含面内分级标尺计算部件181和生成部件182。 

      面内分级标尺计算部件181基于反射距离计算部件173中计算的目标物体距离和在数据存储部件200中存储的面内分级标尺间距参数来计算分级标尺的间距，用于在影像采集部件160采集到的影像中作为物理物体的维度指示。在这一实施例中，分级标尺间距参数指出了目标物体距离和所生成的分级标尺的间距之间的关系，这种关系可以通过将真实的三维空间中，恒定距离下所测得的单独的目标物体距离和采集的影像中的像素数相结合而得到。需要指出的是，在面内分级标尺计算部件181中所计算出的分级标尺间距被定义为：用于位于采集的影像中在深度上等于目标物体的距离的平同一面内的指示物理物体的维度的面内分级标尺的间距。该分级标尺的间距以后被称为“面内分级标尺的间距”。生成部件182基于面内分级标尺的间距生成面内分级标尺以便在面内分级标尺计算部件181中计算，然后从分级标尺形状校正部件190输出。 

    图3 给出了图1中所示的分级标尺形状校正部件190的操作。在这一实施例中，图3(a)给出了由分级标尺生成部件180生成的分级标尺的一个实例。图3(b)给出了由分级标尺形状校正部件190生成的形状扭曲分级标尺的一个实例。 

分级标尺形状校正部件190，通过利用事先存储在数据存储部件200中的校正参数和校正矩阵作为校正数据，通过在如图3(a)所示的由分级标尺生成部件所生成的分级标尺上施加几何变换作为形状校正来生成如图3(b)所示的形状扭曲分级标尺。在该实施例中，作为校正数据的校正参数和校正矩阵包括代表了向目标影像施加与影像采集光学部件150中所产生的失真和畸变类似程度的失真的几何变换的参数和矩阵。 

基于给定晶格图案，例如，在影像采集光学部件150中采集到的方格子图案中的失真的计算可以得到校正参数和校正矩阵。更具体地说，这种计算包含首先应用已知的技术，如Zhang方法，，从影像采集光学部件150采集到的给定的晶格图案的影像中获得校正参数和校正矩阵，用于校正由于影像采集光学部件150中产生的失真和畸变而引起的失真，并随后依据校正参数和校正矩阵计算其逆变换。 

值得注意的是同样的方法，如现有技术中的几何变换法，诸如前面所说的Zhang方法，都可用于使用校正参数和校正矩阵的几何变换法。此外，被用作校正数据的校正参数和校正矩阵，其具有影像采集光学部件150的固有特征值，当该实施例中的影像采集部件100被制造出来时，这些校正参数和校正矩阵能够被计算出来，并作为初始结构数据存储在存储部件200中。 

因此，能够预期，在采集到的影像中物理物体的维度可以根据形状扭曲分级标尺获得，通过在影像复合部件210将所述生成的形状扭曲分级标尺作为一个覆盖层复合到采集到的影像上，并在显示部件220上显示复合的影像。该实施例在图3(a)中给出，其中分级标尺生成部件180根据计算的分级标尺间距生成一个类似晶格的标尺，它还允许生成其他类型的分级标尺，如十字形和线形分级标尺。该实施例也在图3(b)中给出，其中影像采集光学部件150提供一个本征的球面形的失真和畸变，它还允许提供其他类型的失真和畸变，诸如绕线器形失真和畸变。 

参考图4，图1中示出的影像采集装置100的操作将在这里详述。图4 是一个描述图1中所示的影像采集装置100的操作的流程图。 

首先，当影像采集装置100的使用者通过操作部件230命令开启照明光300和激光310时，照明光源110和激光光源分别发出照明光300和激光310 (第S1步) 。 

    然后，当使用者通过操作部件230指示开始影像采集和分级标尺生成，则影像采集部件160开始采集影像，距离计算部件170开始计算目标物体距离。当开始开启照明光300和激光310后，从物理物体上反射的反射光400被接收到光接收部件130 (第S2步) 。 

在光接收部件130接收到反射光400在光分离部件140上被分成照明光成分和激光成分，之后，照明光成分被引入影像采集光学部件150，激光成分被引入距离计算部件170上的影像实现光学部件171上 (第S3步) 。 

当照明光成分被引入影像采集光学部件150上时，影像采集光学部件150根据影像采集部件160上的照明光成分完成物理物体的成像作为物体的影像(第S4步)。在该步骤中，由于影像采集光学部件150的失真和畸变，物体的影像与真实的物理物体相比具有失真。 

影像采集部件160已经开始根据操作部件230的命令采集影像，采集完整的物体影像，并将采集到的影像输出到影像复合部件210上(第S5和S6步)。 

    同时，当激光成分被引入到影像实现光学部件171上时，影像实现光学部件171将激光成分聚焦到距离传感器172上。距离传感器172测量由影像实现光学部件171聚焦的激光成分的光射入量，输出所测得的光射入量到反射距离计算部件173。同时反射距离计算部件173已经开始根据距离传感器172测量到的光射入量来计算目标物体距离，并将目标物体距离的计算结果输出到分级标尺生成部件180上的面内分级标尺计算部件181中(第S7步)。 

面内分级标尺计算部件181，根据在反射距离计算部件173上计算的目标物体距离，以及存储在存储部件200中的分级标尺间距的校正参数来计算面内分级标尺间距(第S8步)。 

生成部件182，根据在面内分级标尺计算部件181上计算得到的面内分级标尺间距生成面内分级标尺(第S9步)。 

分级标尺形状校正部件190，根据存储在存储部件200中的校正矩阵，通过校正在生成部件182上生成的分级标尺来生成形状扭曲分级标尺，并输出形状扭曲分级标尺到影像复合部件210上(第S10和S11步)。 

然后，影像复合部件210将从分级标尺形状校正部件190中输出的形状扭曲的分级标尺作为一个覆盖层复合在从影像采集部件160中采集到的影像上，然后将复合后的影像在显示部件220中输出(第S12和S13步)。 

之后，显示部件220显示与从影像复合部件210上输出的形状扭曲的分级标尺复合的采集影像(第S14步)。 

步骤S4到S14以影像采集部件160采集影像的帧速率重复进行，直到使用者通过操作部件230来操作，指示终止采集影像和生成分级标尺。一旦使用者通过操作部件230来操作，指示终止采集影像和生成分级标尺，影像采集部件160立即终止采集影像，反射距离计算部件173也终止目标物体距离的计算(第S15步)。 

其后，当使用者通过操作部件230来操作，指示终止照明光300和激光310的光照，照明光源110和激光光源120将分别终止照明光300和激光310的照射(第S16步)。 

该实施例的效果将在下面详述。 

如上所述，该实施例中的影像采集装置100生成分级标尺，该分级标尺在采集到的影像中作为物理物体维度的指示，通过加入与由光学部件150引起的失真和畸变类似程度的失真到分级标尺上来校正分级标尺的形状，然后将校正的形状扭曲分级标尺复合到采集到的影像，并最终作为一个覆盖图层显示。 

由于该实施例中的影像采集装置100仅仅对生成的分级标尺施加形状校正，其计算的复杂性远低于直接施加形状校正到采集到的影像上的情况。因此即便是在一个一般用途的计算机上，如个人计算机上，分级标尺仍可以作为一个覆盖图层实时地显示在采集到的影像上。 

由于该实施例中的影像采集装置100并不需要特殊的传感器，如专利文献4（JP2005-087458）中提到的距离影像传感器，以及专利文献2（JP2000-210248A）中提到的内窥镜中的位置和方向探测装置，因此造价较低。 

由于该实施例中的影像采集装置100并不需要诸如专利文献3（JP05-041901A）中提到的测量光扫描装置那样的精确控制物理位置的复杂结构，因此可以用简单的结构实现。 

由于该实施例中的影像采集装置100根据从激光310的反射光中所包含的激光成分来计算目标物体距离，根据计算的目标物体距离计算面内分级标尺的间距，并生成对应于目标物体距离的分级标尺，即使投射到采集的影像上的物理物体的维度会由于目标物体距离的偏差而变化，仍可以显示一个具有适当间距的分级标尺作为一个覆盖层显示在采集到的影像上。 

第二实施例 

    图6给出了根据本发明的第二个实施例的影像采集装置的结构框图。如图5中所示，本实施例中的影像采集装置500与图1中示出的第一个实施例中的影像采集装置100有如下不同： 添加了位移计算部件520，距离计算部件510代替了距离计算部件170，分级标尺生成部件530代替了分级标尺生成部件180。需要指出的是，其他结构要素与图1中的影像采集装置100相同，在此不再详述。

    图6详细给出了图6中示出的距离计算部件510，位移计算部件520以及分级标尺生成部件530的结构方框图。如图6所示，距离计算部件510具有影像实现光学部件511，距离传感器512，以及反射距离计算部件513 

影像实现光学部件511完成斑纹（speckle）图样的成像作为斑纹影像，该斑纹影像根据从光分离部件140射入的激光成分，由激光310照射到物理物体上生成。需要指出的是，在影像实现光学部件511中可能采用广角镜头。  

距离传感器512以图2中距离传感器172类似的方式测量激光成分的光射入量。距离传感器512还采集在影像实现光学部件511中完成的斑纹影像。距离传感器512是这样配置的，可以根据预先定义的帧速率重复采集斑纹影像，并将采集到的斑纹影像输出到位移计算部件520。需要指出的是，采集斑纹影像的帧速率可能等于或大于在采集部件160中采集影像的帧速率。还需要指出的是，诸如CCD和CMOS的影像传感器可能被用在距离传感器512上。反射距离计算部件513与图2中的反射距离计算部件173相同，在此不再详述。 

    下面介绍一下位移计算部件520的结构。如图6 所示，位移计算部件520包括：影像到影像位移计算部件521，影像存储部件522和位移累计部件523组成。 

影像存储部件522是影像到影像位移计算部件521专用的一个存储区域，该区域支持比数据存储部件200快得多的数据读/写操作。 

影像到影像位移计算部件521计算由距离传感器514采集的连续斑纹影像之间的位移。更具体的说，影像到影像位移计算部件521将由距离传感器512输出的连续斑纹影像存储到影像存储部件522。影像到影像位移计算部件521还计算表示从距离传感器512输出的斑纹影像和上一循环距离传感器512输出的斑纹影像之间的距离的矢量，并存储在影像存储部件522中。需要指出的是，影像到影像位移计算部件521基于已知的方法计算斑纹影像之间位移，例如，计算斑纹影像之间关联的方法，计算光流量的方法，以及计算SHIFT（尺度不变特征变换）特征量的方法等等。这些计算斑纹影像之间位移的技术方法在本领域众所周知，例如，在激光鼠标中的应用，所以在此不再详述。需要指出的是，尽管在这一实施例中，斑纹影像存储在影像到影像位移计算部件521中的影像存储部件522中，它也可以被存储在数据存储部件200中。 

    位移累计部件523将事先预定的时间段内由影像到影像位移计算部件521所计算出的位移进行累加，并输出累计的位移值到分级标尺生成部件530，作为在事先预定的时间段内光接收部件130的位移。需要指出的是，事先预定的时间段可能等于或大于与采集部件160中用于采集影像的帧速率相应的时间。还需要指出的是，尽管位移累计部件523的配置是按照事先预定的时间段累计位移，但它的配置并不限于此。例如，位移累计还可以从操作部件130 接受指令指示光接收部件130开始移动起，到它接受指令指示停止移动为止的这段时间。需要注意的是，位移是按照矢量来计算的，在数学上代表了位移矢量的累计。 

分级标尺生成部件530的结构将在下面被详述。如图6所示，分级标尺生成部件530包含面内分级标尺计算部件531，深度分级标尺计算部件532和生成部件533。 

    面内分级标尺计算部件531，根据从反射距离计算部件513中输出的目标物体距离，基于目标物体距离和存储在数据存储部件200的分级标尺间距参数计算面内分级标尺间距，输出计算得到的面内分级标尺间距以及目标物体距离到深度分级标尺计算部件532。 

深度分级标尺计算部件532，根据从位移累计部件523中输出的光探测部件130的位移，基于位移，在位移光接收部件130移动的初始位置和结束位置，利用距离计算部件510计算的目标物体距离，以及根据上面计算的目标物体距离，利用面内分级标尺计算部件531计算的面内分级标尺间距，来计算深度分级标尺间距，用于在采集到的物理物体的影像中作为维度指示。需要指出的是， 在深度分级标尺计算部件532计算的分级标尺间距被指定为“深度分级标尺的间距”。 

生成部件533根据在反射距离计算部件513计算的目标物体距离，在面内分级标尺计算部件531计算的面内分级标尺间距，以及在深度分级标尺计算部件532计算的深度分级标尺的间距，生成三维分级标尺作为分级标尺，代表面内分级标尺和深度分级标尺的组合。所生成的三维分级标尺被输出到分级标尺形状校正部件190。 

    用于计算深度分级标尺的空间的深度分级标尺计算部件532的操作，以及用于生成三维分级标尺的生成部件533的操作，都将结合图7到图9进行详述。 

图7给出了图5中物理物体和光接收部件130之间的位置关系的一个实例。图8 给出了图6中示出的深度分级标尺计算部件532 的操作。图9给出了图5中示出的分级标尺形状校正部件190的操作。在这一实施例中，图9(a)给出了由分级标尺生成部件533生成的三维分级标尺的实例，图9(b)给出了其形状被分级标尺形状校正部件190所校正过的形状扭曲分级标尺的实例。 

    下面将要详述的是，深度分级标尺计算部件532和生成部件533在图7给出的一个实例中的操作，其中影像采集由位于与物理物体上的A点位置相对位置的光接收部件130开始，这样光接收部件130可以直接面对物理物体，随后在一段特定的时间内，使用者可将光接收部件130平行于物理物体移动到与物理物体上B点相对的位置。 

首先，根据在图7中在点A位置的目标物体距离d1，以及首个从图6中的面内分级标尺输出的面内分级标尺间距m1，深度分级标尺计算部件532将这些数据存储到数据存储部件200中作为起始点数据，该起始点与光接收部件开始运动时所处的位置相关联。 

    然后，深度分级标尺计算部件532把目标物体距离以及从面内分级标尺计算部件531输出的面内分级标尺间距存储到数据存储部件200，作为终止点的数据，因为该数据与光接收部件130结束移动后所处的位置相关联，直到图6中所示的位移累计部件523输出光接收部件130的位移L为止。 

    当在一段特定的时间后从图6中的位移累计部件523输出光接收部件130的位移L时，基于存储在数据存储部件200中的起始点和终止点的数据，深度分级标尺计算部件532计算了由于光接收部件130的位移引起的目标物体距离的差异，以及在起始点和终止点的面内分级标尺间距的比率。在这一实施例中，终止点数据存储了在图7中的B点存储目标物体距离d2以及面内分级标尺的间距m2。因此两个目标物体距离的差异用d1-d2=d来计算，面内分级标尺间距m1和m2的比率在该实施例中用m1/m2来计算。 

下一步，深度分级标尺计算部件532用于计算第一面内分级标尺的位置排列作为起始点数据，计算第二面内分级标尺的位置排列作为终止点数据，其中第一面内分级标尺基于面内分级标尺的间距m1产生，第二面内分级标尺基于面内分级标尺的间距m2产生，并且两者都基于位移L绘制在采集到的影像上。 

    在这一实施例中，如图8所示，第二个面内分级标尺820的中心点C与影像采集800的中心位置一致，第一个面内分级标尺810的中心点D与采集影像800的中心位移L的位置一致。需要指出的是，在影像采集光学部件150没有失真和畸变的情况下，这些位置分别对应于采集到的影像中的物理物体上的Ｂ点和Ａ点。还需要指出的是，第一个和第二个面内分级标尺分别被描绘成十字线形和格子形分级标尺，如图8所示。这些标尺只是想要清晰的体现本发明的思想，并不需要作为一个覆盖层加到实际采集到的影像中。 

下一步，深度分级标尺计算部件532基于第一和第二面内分级标尺的排列位置，计算深度分级标尺的间距，然后使用上文中记载的方法，计算面内深度分级标尺的间距的比率m1/m2，以及目标物体距离的变化d。更具体地说，深度分级标尺计算部件532计算深度分级标尺的间距，假定连接C点和D点的线段长度与目标物体距离的差异相等，，从几何学的角度，深度分级标尺的间距从采集到的影像中浅的位置到深的位置逐渐减小。 

再下一步，根据计算的深度分级标尺间距，起始点的面内分级标尺间距m1和终止点的分级标尺的间距m2，生成部件533生成图9(a)中的三维分级标尺。生成的三维分级标尺的形状在分级标尺形状校正部件190被校正，并转化为图9(a)中的形状扭曲分级标尺，需要指出的是，由生成部件533生成的三维分级标尺并不仅限于图9(a)中的格子形和L形分级标尺的组合，还允许具有能够在采集的图像中分辨物理物体维度的任意形状。 

当深度分级标尺计算部件532输出深度分级标尺间距，起始点以及终止点数据到生成部件533后，深度分级标尺计算部件532在数据存储部件532上将终止点的数据存储为下一个起始点数据，然后存储目标物体距离以及从面内深度分级标尺计算部件531中输出的面内深度分级标尺间距作为终止点数据存储在数据存储部件200中。 

    参阅图10，图5中影像采集装置500的操作将在下面详述。图10是一个流程图，描述图5中的距离计算部件500，位移计算部件520，分级标尺生成部件530，以及分级标尺形状校正部件190的操作。下文中只记载了与图4的流程图中的步骤S7到S11有关的操作，其他的操作与图4的操作相同，将不再详述。 

首先，距离计算部件510中的影像实现光学部件511根据激光成分，所述激光成分是在光分离部件140上从目标物体上反射的反射光中分离出来并被射入的，在距离传感器512中根据被射入的激光成分完成斑纹图样的影像作为斑纹影像（第S101步）。 

    距离传感器512测量激光成分的光射入量，并且输出测量值到反射距离计算部件513。反射距离计算部件513根据从距离传感器512中输出的光射入量计算目标物体距离，然后输出目标物体距离的计算结果到位于分级标尺生成部件530中的面内分级标尺计算部件531中（第S102步）。 

    面内分级标尺计算部件531计算与从反射距离计算部件513中输出的目标物体距离相一致的面内分级标尺间距，然后输出计算的面内分级标尺的间距和目标物体距离到深度分级标尺计算部件532（第S103和S104步）。需要指出的是，输出到深度分级标尺计算部件532的面内分级标尺间距和目标物体距离被分级标尺计算部件532作为起始点或终止点数据存储在数据存储部件200中。 

    反过来，距离传感器512也基于斑纹影像采集的帧速率重复采集斑纹影像，并将采集到的斑纹影像输出到位于位移计算部件520的影像到影像位移计算部件521中。影像到影像位移计算部件521计算从距离传感器512中输出的最新的斑纹影像和在影像存储部件522中存储的先前输出的斑纹影像之间的位移（第S105步）。 

    一段给定的时间内，在影像到影像位移计算部件521中计算的位移被累计在位移累计部件523中，累计的数据作为光接收部件130的合位移，输出到位于分级标尺生成部件530的深度分级标尺计算部件532中（第S106和S107步）。 

根据从位移累计部件523中输出的光接收部件130的合位移，深度分级标尺计算部件532根据该合位移计算了第一和第二面内分级标尺在采集到的影像中的位置布局（第S108步）。 

    深度分级标尺计算部件532还分别计算了面内分级标尺间距和目标物体距离的比率在起始点和终止点的差别，所有数据都存储在数据存储部件200中。然后，根据这些差别和第一个及第二个面内分级标尺的位置布局计算了深度分级标尺间距（第S109步）。 

    下一步，根据深度分级标尺的间距，起始点数据和终止点数据，生成部件533生成三维分级标尺（第S110步）。 

    再下一步，根据生成部件533生成的三维分级标尺，分级标尺形状校正部件190，根据存储在数据存储部件200中的校正矩阵（第S111步），施加形状校正到三维分级标尺上生成形状扭曲分级标尺。分级标尺形状校正部件190输出生成的形状扭曲分级标尺到影像复合部件210（第S112步）。 

本实施例的效果将在下面详述。如所述，在本实施例中的影像采集装置500中，当使用者移动光接收部件130时，光接收部件130的位移作为矢量被计算，深度分级标尺以及面内分级标尺都可以根据计算的位移，在起始点和终止点通过移动光接收部件130，由距离计算部件510计算的一堆目标物体距离以及由面内分级标尺计算部件531计算的面内分级标尺间距，通过计算深度分级标尺的间距生成。根据该实施例，我们将会很满意地看到，物理物体的维度将会以三维几何的形式从影像采集装置500的显示部件220显示的采集的影像中获得。 

需要指出的是，在上面的实施例1和2中的影像采集装置100和500都是以举例的方式描述的，因此在它们的结构和操作中可能会有不离开现有发明范围的内容上的修改。例如，尽管目标物体距离在实施例1和2中是基于激光成分的光射入量计算的，它也允许利用脉冲激光作为激光 310从激光源120射出，目标物体距离也可以在距离计算部件170和510中根据从激光射入到接收到激光反射光这一段时间的测量得到。 

    还需要指出的是，关于影像采集装置100和500的一些功能，例如，距离计算部件170的一部分，分级标尺生成部件180，分级标尺形状校正部件190，数据存储部件200，影像复合部件210，那些包括在影像采集装置100中的部件，以及距离计算部件510的一部分，位移计算部件520，分级标尺生成部件530，那些在图5中给出的部件，分级标尺形状校正部件190，影像复合部件210都可能被构造成实现这些功能的程序，记录在可以从影像采集装置100和500读取的记录介质上，并且允许利用影像采集装置100和500进行读取和执行。可以从影像采集装置100和500读取的记录介质可能包括这样的记录介质，如软盘，磁光磁盘，CD-ROM以及作为硬盘安装在影像采集装置100和500内的记录介质。此外，可以从影像采集装置100和500中读取的记录介质还可能包括诸如动态地含有程序，在定义的一段时间内作为非永久性存储安装在影像采集装置100和500中的器件。 

Claims (8)

1.影像采集装置，包括：

光接收部件，用于接收从物理物体上反射来的反射光；

影像采集光学部件，用于通过扭曲的所述物理物体的由于响应于所述反射光的失真和畸变的实际的影像，来完成物体影像的成像；

影像采集部件，用于采集所述物体的影像作为采集到的影像；以及

显示部件，用于显示所述采集到的影像；

还包括，

分级标尺生成部件，用于产生一个用于在所述采集到的影像中指示所述物理物体维度的分级标尺，根据在距离计算部件计算的目标物体距离，计算出分级标尺的间距；

数据存储部件，用于存储校正的数据，该校正数据通过增加与所述失真和畸变导致的扭曲类似程度的扭曲到所述生成分级标尺以校正分级标尺形状；

分级标尺形状校正部件，用于通过根据所述用于校正的数据校正所述分级标尺的形状以产生形状扭曲分级标尺；以及

影像复合部件，用于复合所述生成的形状扭曲分级标尺和所述采集到的影像，其中所述显示部件显示复合的所述形状扭曲分级标尺和所述采集到的影像；

所述影像采集装置还包括：

激光光源，用于照射激光到所述物理物体上；

光分离部件，用于从所述反射光中分离激光成分作为所述激光的成分；以及

距离计算部件，用于根据所述激光成分计算用于指示所述物理物体和所述光接收部件之间的距离的目标物体距离；其中

所述分级标尺生成部件包括：

面内分级标尺计算部件，用于计算面内分级标尺间距作为面内分级标尺的间距，该面内分级标尺在一个完全相同的平面上表示所述物理物体的一个维度，该平面在所述采集的影像中所处的深度等于所述目标物体距离；以及

生成部件，用于根据所述面内分级标尺间距生成一个面内分级标尺为所述分级标尺。

2.如权利要求1所述的影像采集装置，其中

    所述距离计算部件包括：

距离传感器，用于测量指示所述激光成分的强度的光射入量；以及 

反射距离计算部件，用于根据所述光射入量计算所述目标物体距离。

3.如权利要求2所述的影像采集装置，还进一步包括：

位移计算部件，用于在一段确定的时间内，将由所述影像采集装置的使用者移动所述光接收部件的位移计算为一个矢量，其中，

所述分级标尺生成部件包括：

深度分级标尺计算部件，用于基于所述位移，在所述物体移动的起点和终点位置由所述距离计算部件计算的目标物体距离，以及由所述面内分级标尺计算部件基于所述起点与所述终点计算得到的面内分级标尺的间距，计算深度分级标尺的间距，在所述采集的影像中用作物理物体的维度指示，其中，

所述生成部件，用于基于所述面内分级标尺的间距生成面内分级标尺为所述分级标尺，还基于所述深度分级标尺的间距和所述位移，生成深度分级标尺为除所述面内分级标尺之外的分级标尺。

4.如权利要求3所述的影像采集装置，还包括从所述使用者接收指令的接收操作部件，其中

所述位移计算部件计算所述光接收部件在一段时间内的位移，该时间段从所述操作部件接收到开始所述移动的指令开始一直到接收到所述移动结束的指令为止，来代替所述一段确定的时间。

5. 一种影像显示方法，由影像采集装置执行，该影像采集装置包括

光接收部件，用于接收从物理物体上反射来的反射光；

影像采集光学部件，用于通过扭曲的所述物理物体的由于响应于所述反射光的失真和畸变的实际的影像，来完成物体影像的成像；

影像采集部件，用于采集所述物体的影像作为采集到的影像；以及

显示部件，用于显示所述采集到的影像，

该方法包括：

分级标尺生成步骤，用于生成分级标尺，该分级标尺用于在所述采集到的影像中指示物理物体的维度，根据在距离计算部件计算的目标物体距离，计算出分级标尺的间距；

数据存储步骤，用于存储校正数据，该校正数据用于通过增加所述失真和畸变导致的扭曲类似程度的扭曲到所述生成分级标尺以校正分级标尺的形状；

分级标尺形状校正步骤，用于通过根据所述用于校正的数据校正所述分级标尺的形状以产生形状扭曲分级标尺；以及

影像复合步骤，用于复合所述生成的形状扭曲分级标尺和所述采集到的影像，其中，所述显示部件显示复合有所述形状扭曲分级标尺的所述采集到的影像；

所述影像采集方法还包括：

激光照射步骤，用于照射一束激光到所述物理物体上；

光分离步骤，用于从所述反射光中分离出激光成分作为所述激光的成分；以及

距离计算步骤，用于根据所述激光成分计算用于指示所述物理物体和所述光接收部件之间的距离的目标物体距离；其中

所述分级标尺生成步骤包括：

面内分级标尺计算步骤，用于计算面内分级标尺间距作为面内分级标尺的间距，该面内分级标尺在同一平面上表示所述物理物体的一个维度，该平面在所述采集的影像中所处的深度等于所述目标物体距离；以及

生成步骤，用于根据所述面内分级标尺间距生成面内分级标尺为所述分级标尺。

6.如权利要求5所述的一种影像显示方法，其中

所述距离计算步骤还包括：

距离传感步骤，用于使用距离传感器测量表示所述激光成分强度的光射入量；以及

反射距离计算步骤，用于根据所述光射入量计算所述目标物体距离。

7.如权利要求6所述的一种影像显示方法，还包括

位移计算步骤，用于在一段确定的时间内，将由所述影像采集装置的使用者移动所述光接收部件的位移计算为一个矢量，其中

所述分级标尺生成步骤包括

深度分级标尺计算部件，用于基于所述位移，在所述物体移动的起点和终点位置由所述距离计算部件计算的目标物体距离，以及由所述面内分级标尺计算部件基于所述起点和所述终点计算得到的面内分级标尺的间距，计算深度分级标尺的间距，在所述采集的影像中用作物理物体的维度指示，其中

所述生成步骤，用于基于所述面内分级标尺间距生成面内分级标尺为所述分级标尺，还基于所述深度分级标尺的间距和所述位移生成深度分级标尺为除所述面内分级标尺之外的分级标尺。

8.如权利要求7所述的一种影像显示方法，其中

所述影像采集装置还包括用于从所述使用者接收指令的操作部件；以及

所述位移计算步骤，计算所述光接收部件在一段时间内的位移，该时间段从所述操作部件接收到开始所述移动的指令开始一直到接收到所述移动结束的指令为止，来代替所述一段确定的时间。