CN1912537A - 三维测量系统、三维测量方法和带彩色代码标识 - Google Patents

Abstract

本发明提供通过使用编码的标板来使大范围的非接触三维测量提高效率，实现自动化的三维测量系统。本发明的解决方案为，对测量对象物1进行立体拍摄成包括4个带代码标识CT，该带代码标识CT具有位置检测用图形P1和代码图形P3；一边拍摄邻接的图像使其共有2个带代码标识CT，一边对一连串的图像进行立体拍摄；从一对摄影图像中提取位置检测用图形P1和代码图形P3，利用带代码标识CT的识别代码搜索与基准点相对应的对应点，并设定立体匹配区域，将从摄影到提取、标定处理、到三维测量止的处理实现全自动化。

Description

三维测量系统、三维测量方法和带彩色代码标识

技术领域

本发明涉及三维测量系统、三维测量方法和带彩色代码标识。更详细地说涉及连接整合进行三维测量的各个区域、能够对大范围的区域自动地进行测量的三维测量系统及三维测量方法，并且，涉及具有用于表示测量位置的位置检测用图形和用于识别标识的彩色代码图形的、用于三维形状测定和测量的带彩色代码标识。

背景技术

过去，在以非接触方式进行三维测量的情况下，利用称为非接触三维测量仪的图形投光机和CCD摄像机形成为一体的比较大型的装置来对每个小区域进行测量，再用照相测量方法对粘贴在该每个小区域的各种标板(タ一ゲツト)进行测量，从该坐标点整合这些小区域，进行大范围的测量。并且，在仅用数码摄像机等的图像进行三维测量的情况下，利用手动或半自动处理来进行立体对的设定、2幅以上图像的标定、和测量位置的设定。

而且，标板是指为了高精度地确定测量对象物的位置、形状而粘贴在测量对象物上的标识。该情况下，采用反向标板(参见图8)和模板(图32中P7所示)等作为标板。

为了测量较宽的区域，利用大型非接触三维测量仪来测量许多部位的小区域，再利用照相测量方法，用摄像机拍摄粘贴在各小区域的图像连接用的标板，高精度地对各标板点进行三维测量，对用该摄像机坐标系和用各三维测量仪测量的小区域中的标板的三维坐标系(地球坐标系等)进行整合，作为宽广的整体区域。

但是，若采用该方法，则存在以下问题：对小区域和大区域的测量必须使用各不相同的测量仪、很麻烦，并且不能够使三维测量整体自动化。尤其是以高精度宽范围对许多小区域进行整合时，为了缩小各个测量范围，其结果测量区域数增大，其结果作业麻烦、效率差。例如，即使仅测量车的侧面，小区域数也达到100个(カツト)以上。这样，存在即使各个作业简单、整体也很费事、作业效率低的问题。

并且，在过去的标识中，由于采用同一图形，所以存在这些标识之间的识别很难、不容易确定立体图像中的对应点、不容易确定不同的图像之间的对应点的问题。因此，存在从摄像到三维测量的工序很难全自动化的问题。并且，在进行图像色彩的校正时，必须准备与标板不同的另外的校正用标识。

发明内容

本发明的目的是用一个系统使宽范围的非接触三维测量效率化、自动化。

再者，本发明的目的是能够识别用于三维测量的标识，容易确定立体图像中的对应点、容易确定不同图像之间的对应点。并且，其目的还在于这样一来有助于从摄像到三维测量的工序的全自动化。此外，其目的还在于用该标识本身也能够校正图像的色彩。

为了解决上述问题，涉及本发明的三维测量系统100，例如图2所示(关于带代码标识参见图1)具有：摄影图像数据存储部13，存储从2个方向拍摄成包括带代码标识CT的测量对象物1的一对摄影图像，该带代码标识CT在面内具有用于表示测量位置的位置检测用图形P1、和用于识别标识的代码图表P3；提取部41，从一对摄影图像中提取带代码标识CT的位置检测用图形P1和代码图形P3；识别代码判断部46，根据由提取部提取出的带代码标识CT的代码图形P3，判断带代码标识CT的识别代码；基准点设定部42，对一对摄影图像中的一个，根据由提取部41提取出的带代码标识CT的位置检测用图形P1，设定带代码标识CT的基准点；对应点搜索部43，对一对摄影图像中的另一个，根据由提取部41提取出的带代码标识CT的位置检测用图形P1，利用由识别代码判断部46判断出的识别代码，搜索与基准点相对应的对应点；标定部44，根据基准点和对应点，对一对摄影图像进行标定处理。

这里，代码图形的代码中包括将彩色代码、条形码、以及文字、数字、记号排列成计算机能够识别的代码。并且，从2个方向对测量对象物进行拍摄是指除用立体摄像机来拍摄外，还包括以单张照片稍许移动位置进行拍摄的情况，使2个图像大部分重复而且能够测量距离地拍摄。并且，摄影图像数据存储部、提取部等也可以是在物理上独立的摄影图像数据存储装置、提取装置等，摄影图像数据存储部也可以是在物理上分离的存储装置内构成。若采用这样的结构，则利用带代码标识CT的位置检测用图形P1和代码图形P3，用一个系统就能够使宽范围的非接触三维测量提高效率、实现自动化。

在涉及本发明的三维测量系统中，例如图1所示，代码图形P3是施加了多种色彩的彩色代码图形，带代码标识CT也可以是带彩色代码标识。

这里，在彩色代码图形中，除了对彩色化的单位图形的排列进行编码的图形外，还包括对上色的反向标板进行组合编码的图形。若这样构成，则能够对标识赋予多个识别编号，并且，容易判断图形是否相同，一目了然。

在涉及本发明的三维测量系统中，例如图6所示，也可以具有排列部47，该排列部47对由图像摄影装置10拍摄成各个图像至少包括3个带代码标识CT、且相邻的摄影图像之间至少共有2个带代码标识CT的一连串的摄影图像，将一连串摄影图像的排列设定成使得由相邻的摄影图像共有的带代码标识CT的识别代码一致。

这里，至少有3个是因为将在各顶点配置有带代码标识的三角形图像连接起来也能够进行宽范围测量。若拍摄成包含4个带代码标识，便于取得利用矩形图像覆盖宽范围的一连串摄影图像而理想。并且，识别代码一致是指包括不仅排序后而且排序前的图形一致的状态(代码编号一致是表现不同)。并且，典型地摄影图像(包括一连串摄影图像)，尤其是与一对的没有不同也按对处理。对后述的模型图像也是一样。若这样构成，则将识别代码相同的带代码标识作为记号，很容易发现图像间的排列。

在涉及本发明的三维测量系统中，标定部44也可以对涉及测量对象物1的一连串摄影图像依次进行定标，以使对于一连串的摄影图像，与由相邻的摄影图像共有的带代码标识CT有关的基准点或对应点的坐标一致。

若这样的构成，则能够使立体图像之间的核线(エピポ一ラライン)在水平上形成相同高度，所以容易标定。

在涉及本发明的三维测量系统中，也可以具有标识信息存储部150，该标识信息存储部150将提取出的带彩色代码标识CT的位置检测用图形P1的位置坐标、和由识别代码判断部46判断出的识别编号相关联起来进行存储。若这样的构成，则能够提供可判断带代码标识CT的代码的三维测量系统。

本发明的三维测量方法，例如图4所示(关于系统结构参见图2，关于带代码标识参见图1)，其特征在于，具有：摄影工序(S10)，从2个方向拍摄测量对象物1以便包括带代码标识CT，该带代码标识CT在面内具有用于表示测量位置的位置检测用图形P1、和用于识别标识的代码图形P3；图像数据存储工序(S11)，存储通过摄影工序(S10)拍摄的测量对象物1的一对摄影图像；提取工序(S14)，从一对摄影图像中提取带代码标识CT的位置检测用图形P1和代码图形P3；识别代码判断工序(S15)，根据通过提取工序(S14)提取出的带代码标识CT的代码图形P3，来判断带代码标识CT的识别代码；基准点设定工序(S18)，对一对摄影图像中的一个，根据由提取工序(S14)提取出的带代码标识CT的位置检测用图形P1，设定带代码标识CT的基准点；对应点搜索工序(S19)，对一对摄影图像中的另一个，根据由提取工序(S14)提取出的带代码标识CT位置检测用图形P1，利用由识别代码判断工序(S15)判断出的识别代码，搜索与基准点相对应的对应点；以及标定工序(S40)，根据基准点和对应点，对一对摄影图像进行标定处理。在此，基准点设定工序(S18)和对应点搜索工序(S19)相当于标定作业工序(S30)。若这样构成，利用带代码标识CT的位置检测用图形P1和代码图形P3，能够使宽范围的非接触三维测量提高效率，实现自动化。

涉及本发明的三维测量方法，代码图形P3可以是施加了多种色彩的彩色代码图形，带代码标识CT也可以是带彩色代码标识。若这样构成，则能够对标识赋予多个识别编号，并且，容易判断图形是否相同，一目了然。

涉及本发明的带彩色代码标识，例如图1所示，在面内具有用于表示测量位置的位置检测用图形P1、以及彩色代码图形P3，该彩色代码图形相对于位置检测用图形P1按预定的位置关系配置，并施加了用于识别标识CT(包括CT1～12)的多种色彩。

这里，在彩色代码图形P3中具有各种形状的单位图形，并且也包括将条形码等代码和与色彩进行组合的图形。若这样构成，则通过使用彩色代码，能够很容易地识别标识，一目了然，能够很容易地确定立体图像中的对应点，很容易地确定不同图像之间的对应点。

这一点能够促进从摄像到三维测量的工序的全自动化。并且，能够在小区域内实现多个识别编号。

在涉及本发明的带彩色代码标识中，例如图1所示，也可以在面内具有施加了用作色彩基准的多种色彩的基准色图形P2。若这样构成，则能够以基准色图像P2为基础进行图像或标识的色彩校正，容易判断彩色代码。

在涉及本发明的带彩色代码标识中，位置检测用图形P1也可以配置在4边形的3个角上。若这样构成，则容易提取标板，并且容易检测标识的方向(倾斜方向)，并且，便于标定区域和立体匹配区的设定、邻接图像的连结，有利于其自动化。

发明效果

若采用本发明，则能够用一个系统对宽范围的非接触三维测量提高效率，实现自动化。

并且，若采用本发明，则能够识别用于三维测量的标识，容易确定立体图像中的对应点，容易确定不同图像之间的对应点。并且，这样能够有助于从摄像到三维测量的工序的全自动化。

附图说明

图1是表示带彩色代码标板的例子的图。

图2是第1实施方式中的三维测量系统的整体结构例的方框图。

图3是表示包括提取部和识别代码判断部的、彩色代码提取单元的结构例的图。

图4是表示第1实施方式中的三维测量系统的处理流程例的图。

图5是表示交迭摄影例子的图。

图6是表示用立体摄像机拍摄的摄影图像例的图。

图7是表示带彩色代码标板的提取流程例的图。

图8是利用反向标板的重心位置检测的说明图。

图9是表示带彩色代码标板区域方向检测处理部的处理流程的一例的图。

图10是表示带彩色代码标板区域方向检测处理部的处理流程的一例的(续)的图。

图11是用于说明反向标板的代码读取的图(之一)。

图12是用于说明反向标板的代码读取的图(之二)。

图13是表示立体对选择的流程例子的图。

图14是表示在带彩色代码标板的色识别数少的情况下的拍摄顺序例子的图。

图15是说明对应点决定处理的流程图的例子。

图16是立体图像中的模型图像坐标系XYZ和摄像机坐标系xyz的说明图。

图17是表示参考点的自动对应的流程例的图。

图18是表示具有参考点的标板的例子的图。

图19是表示左右图像中的搜索范围和模板图像的一例的图。

图20是表示立体匹配区的自动决定的处理流程图。

图21是用于说明立体匹配区设定的图。

图22是说明测量位置指定处理的流程图的例子。

图23是第2实施方式中的三维测量系统的整体结构例的方框图。

图24是表示投影到摄像对象物上的基准图形的例子的图。

图25是表示对多个彩色反向标板进行组合的带彩色代码标识的例子的图。

图26是表示带彩色代码标板例子的图。

图27是表示带彩色代码标板例子的图。

图28是表示带彩色代码标板例子的图。

图29是表示带彩色代码标板例子的图。

图30是表示带彩色代码标板例子的图。

图31是表示带彩色代码标板例子的图。

图32是表示带彩色代码标板例子的图。

图33是表示带彩色代码标板例子的图。

具体实施方式

本专利申请依据在日本2005年8月1日申请的特愿2005年-223490号、2005年8月2日申请的特愿2005-224771号和2005年9月30日申请的特愿2005-289334号，其内容作为本专利申请的内容形成其一部分。

本发明通过以下的详细说明能够更充分地理解。本发明的进一步应用范围，通过以下的详细说明将更加明确。但是，详细的说明和特定的实例是本发明的希望的实施方式，仅仅是为了说明的目的进行叙述。根据该详细说明，在本发明的精神和范围内进行各种变形、更改，对本领域技术人员来说是显而易见的。

申请人无意向公众赠送所述实施方式的任何内容，已公开的更改、代用方案中，可能在文字上未包含在权利要求范围内，也作为等同论下的发明的一部分。

对本发明与特定的最佳实施方式相关联进行说明，但并非有意仅限定于这些实施方式。相反，本意是如附带的权利要求定义的那样，包括所有的代替、改变和等同物，包括在本发明的精神和范围内。

[第1实施方式]

本发明是通过使用带代码标识(标板)，使非接触三维测量提高效率，实现自动化。

以下根据附图，详细说明本发明的实施方式。

首先，作为带代码标板的一例，说明带彩色代码标识(标板)。

[带彩色代码标板]

图1表示带彩色代码标板的例子。图1(a)是彩色代码的单位区域为3个的带彩色代码标板、图1(b)是彩色代码的单位区域为6个的带彩色代码标板、图1(c)是彩色代码的单位区域为9个的带彩色代码标板。图1(a)～(c)的带彩色代码标板CT(CT1～CT3)，由位置检测用图形(反向标板部)P 1、基准色图形(基准色部)P2、彩色代码图形(彩色代码部)P3、空图形(白色部)P4构成。

反向标板部P1用作标板本身的检测用、其重心检测用、标板的方向检测用、标板区域检测用。在图1所示的带彩色代码标板中使用反向标板作为位置检测用图形P1。

基准色部P2为了与根据照明和摄像机等摄影条件的颜色偏差对应，用作相对比较时的参照用、及用于校正色差的色校准用。并且，基准色部P2能够用作按简易方法制作的带彩色代码标板CT的色彩校正用。例如，在使用由不进行色管理的彩色打印机(喷墨激光升华式等打印机)打印的带彩色代码标板CT的情况下，在使用打印机等中色彩出现个体差，但是，对基准色部P2和彩色代码部P3的色进行相对比较加以校正，能够抑制个体差的影响。

彩色代码部P3通过对其各单位区域的配色组合表现代码。根据用于代码的代码色数，可表现的代码数发生变化。例如，在代码色数为n的情况下，在图1(a)的带彩色代码标板CT1中，彩色代码部P3的单位区域为3个，所以表示出n×n×n这样的代码。为了提高可靠性，即使在附加条件为不重复使用在其他单位区域内使用的颜色的情况下，也表示出n×(n-1)×(n-2)这样的代码。并且，如果增加代码色数就能够增加代码数。再者，若附加条件为使彩色代码部P3的单位区域数和彩色代码数相等，则所有的代码色均用于彩色代码部P3，所以，不仅与基准色部P2比较，而且在彩色代码部P3的各单位区域之间对色进行相对比较，这样，能够确认各单位区域的色彩，决定识别代码，能够提高可靠性。再者，若追加使各单位区域的面积全部相同的条件，则也能够在从图像中检测带彩色代码标板CT时使用。这是因为即使具有不同的识别代码的带彩色代码标板CT之间，各色所占有的面积相同，所以，根据来自彩色代码部整体的检测光，能够获得大致相同的分散值。并且，因为单位区域之间的边界等间隔重复出现，能够检测明确的色彩差，所以，从这样的检测光的重复图形中也能够从图像中检测标板CT。

白色部P4用作带彩色代码标板CT的方向检测用以及色差校正用。在标板CT的4个角内，只有一个地方有不配置反向标板的部位，能够将其用在标识CT的方向检测用。这样，白色部P4可以是与反向标板不同的图形。所以，在白色部也可以印刷以目视确认代码的编号等字符串，也可以作为条形码等代码区域使用。再者，为了提高检测精度，也可以作为模板匹配用的模板图形使用。

[系统结构]

图2是第1实施方式中的三维测量系统的整体结构例的方框图。

三维测量系统100具有：图像摄影装置10、摄影图像数据存储部13、对应部40、显示图像形成部50和显示装置60。其中，摄影图像数据存储部13、对应部40和显示图像形成部50例如由计算机来构成。测量对象物1是成为施工对象物/制作对象物的有体物，例如相当于建筑物、工厂等各种工作物和人物、风景等。

图像摄影装置10是取得测量对象物1的图像(典型的是立体图像，但也可以按对使用单个照片图像)的装置，例如使用将测量用的立体摄像机或通用的数码摄像机、与对于由这些摄像机拍摄的测量对象物1的图像进行透镜像差补偿的装置组合的设备。摄影图像数据存储部13存储测量对象物1的图像，例如存储由图像摄影装置10拍摄的测量对象物1的单个照片图像和立体图像。

对应部40使涉及测量对象物1的一对摄影图像或模型图像相对应进行标定或匹配，在测量对象物1的图像是立体图像的情况下，在带代码标识的提取、基准点设定、对应点搜索之后进行标定处理。并且，对应部40在三维测量时进行立体匹配。具有提取部41、基准点设定部42、对应点搜索部43、标定部44、对应点指示部45、识别代码判断部46、排列部47、摄影/模型图像显示部48、模型图像形成部48A、和模型图像存储部48B。

[彩色代码提取单元]

图3表示彩色代码提取单元的结构例。彩色代码提取单元105由提取带彩色代码标板的提取部41和判断该彩色代码的识别代码判断部46构成。提取部41具有搜索处理部110、反向标板分组处理部120、带彩色代码标板检测处理部130、和图像/彩色图形存储部140。并且，识别代码判断部46对由带彩色代码标板检测处理部130检测出的彩色代码进行判断赋予代码编号。

并且，图像摄影装置(摄像部)10是对包括带彩色代码标板的测量对象物进行拍摄的装置，使用立体摄像机等。图像数据存储部13存储由图像摄影装置10拍摄的立体图像。并且，标识信息存储部150使由提取部41提取出的带彩色代码标识CT的位置检测用图形P1的位置坐标、和由识别代码判断部46判断出的识别代码相关联进行存储，存储在标识信息存储部150的数据，由标定部44用于标定，或者由三维位置测量部151、或者三维坐标数据运算部51(参见图2)用于测量对象物的三维坐标或三维形状的测量。

搜索处理部110根据从摄影图像数据存储部13或模型图像存储部48B中读取的彩色图像(摄影图像或模型图像)，检测反向标板图形等位置检测用图形P1。在作为位置检测用标板，取代反向标板图形使用模板图形来情况下，进行模板图形检测。

反向标板分组处理部120将由搜索处理部110检测出的反向标板属于相同带彩色代码标板CT的标板(例如位置坐标进入相同带彩色代码标板CT区域域的标板)分为同一组。

带彩色代码标板检测处理部130包括：带彩色代码标板区域方向检测处理部131，从被判断为属于相同带彩色代码标板的反向标板的组中，检测出该带彩色代码标板CT的区域和方向；色彩检测处理部311，对带彩色代码标板的基准色部P2、彩色代码部P3中的色彩排列、图像中的测量对象物1的色彩进行检测；色彩校正部312，参照基准色图形P2，校正彩色代码部P3和图像中的测量对象物1的色彩；以及确认处理部313，确认分组是否适当。

图像、彩色图形存储部140包括：读取图像存储部141，存储读取到提取部41的图像；以及带彩色代码标板对应表142，对预定使用的多种带彩色代码标板CT，记录表示带彩色代码标板CT的种类的种类代码编号，并且，对各种带彩色代码标板CT，记录图形配置和代码编号的对应关系。

识别代码判断部46是根据彩色代码部P3中的色彩排列来判断识别代码变换成识别代码的单元，其包括：坐标变换处理部321，根据由带彩色代码标板检测处理部130检测出的带彩色代码标板CT的区域和方向的数据，对带彩色代码标板CT的坐标进行变换；以及代码变换处理部322，根据坐标变换后的带彩色代码标板CT的彩色代码部P3中的色彩的排列，对识别代码进行判断，变换成识别代码。

返回到图2，排列部47对由图像摄影装置10拍摄成各摄影图像至少包括3个带代码标识CT，而且在相邻的摄影图像之间至少共有2个带代码标识CT的一连串摄影图像，设定一连串摄影图像的排列，使由相邻的摄影图像共有的带代码标识CT的识别代码一致。并且，对于一连串的模型图像，设定与测量对象物1有关的一连串模型图像的排列，使由相邻的模型图像共有的带代码标识CT的识别代码一致。

基准点设定部42在立体图像的一个图像(基准图像)上所指定的点的附近，搜索适合于特征点的点，将适合于该特征点的点设定为基准点。特征点有例如测量对象物1的中心位置、重心位置、角位置、粘贴在测量对象物1或被投影的标识(标板)等。对应点搜索部43对立体图像的另一图像(搜索图像)上的、与由基准点设定部42设定的基准点相对应的对应点进行设定。若操作者在特征点附近指示指示点，则即使操作者不严格指示特征点，也能够利用基准点设定部42引入到操作者在基准图像中想要指示的特征点，同时，用对应点搜索部43设定搜索图像的对应点。

标定部44，利用由基准点设定部42设定的基准点和由对应点搜索部43求出的对应点，根据与立体图像等的一对图像有关的摄影位置和斜度，求出一对图像的对应点关系，进行标定计算处理。对应点指示部45在操作者指定了基准图像的特征点附近以外的点的情况下，设定在搜索图像上的对应点。操作者将显示在显示装置60的基准图像上的指示点、和由对应点指示部45设定的搜索图像上的对应点的显示位置进行对比，能够容易识别测量对象物1的特征点的对应关系。并且，利用对应点指示部45的位置对应，由标定部44进行相互标定。

模型图像形成部48A根据由标定部44进行标定计算处理的参数(摄影摄像机的位置、斜度)形成模型图像。这里，模型图像也称为偏移校正图像，将摄影图像的一对即左右图像的对应点(以下，除了作为与基准点对应的一个图像的点的对应点之外，将在左右图像中对应的点也称为“对应点”。)重新配置在同一核线上，重新配置成能够看出立体的图像。模型图像存储部48B存储由模型图像形成部48A形成的测量对象物1的模型图像。摄影/模型图像显示部48在由对应部40进行的提取、基准点设定、对应点搜索、立体匹配等处理中，将由摄影图像或模型图像形成部48A形成的模型图像作为一对图像显示在显示装置60上。

显示图像形成部50根据测量对象物1的三维坐标数据和测量对象物1的摄影图像或模型图像，形成在任意方向的测量对象物1的立体二维图像的装置，具有：三维坐标数据运算部51、三维坐标数据存储部53、立体二维图像形成部54、立体二维图像存储部55、图像对应部56、立体二维图像显示部57、姿势指示部58、和图像变换部59。

三维坐标数据运算部51根据由标定部44求出的对应点关系，求出测量对象物1的对应点的三维坐标数据。在三维坐标数据存储部53中存储由三维坐标数据运算部51运算的测量对象物1的对应点的三维坐标数据。而且，也可以预先对测量对象物1用未图示的三维位置测量装置另行测量的三维坐标数据存储在三维坐标数据存储部53，在标定处理中，当求三维坐标数据时，将存储在三维坐标数据存储部53的三维坐标数据读出使用。

立体二维图像形成部54根据对应点的三维坐标数据形成测量对象物1的立体二维图像。这里，所谓立体二维图像，是指根据三维坐标立体表现测量对象物1的形状，以便例如取得在任意方向的斜视图像。立体二维图像存储部55存储由立体二维图像形成部54形成的测量对象物1的立体二维图像。图像对应部56利用由标定部44求出的对应点关系，使存储在摄影图像数据存储部13的摄影图像或存储在模型图像存储部48B的模型图像、与利用三维坐标数据由立体二维图像形成部54形成的立体的二维图像相对应。立体的二维图像显示部57例如利用鸟瞰图像等带立体感结构(texture)的图像，将由图像对应部56对应起来的测量对象物1的图像，以具有立体感的二维图像显示在显示装置60上。

姿势指示部58是指示测量对象物1的立体的二维图像的姿势(看立体二维图像的方向)，例如，由操作者操作鼠标等光标输入装置，指示显示装置60上所显示的测量对象物1的姿势。图像变换部59根据对立体的二维图像的姿势指示，进行对应点的坐标变换。立体的二维图像显示部57显示与由姿势指示部58指示的姿势对应的测量对象物1的立体图像。显示装置60是液晶显示装置或CRT等图像显示装置。

[系统动作]

图4表示三维测量系统的工作的流程图例子。

首先，在测量对象物1上粘贴带代码标板(S01)。粘贴带代码标板的位置，成为测量位置。在本实施方式中，利用带彩色代码标板CT作为带代码标板。然后，利用数码摄像机等图像摄影装置10对已拍摄的测量对象物1的图像(典型为立体图像)进行拍摄(S10)，将已拍摄的图像在摄影图像数据存储部13进行图像登记(S11)。

图5表示交迭摄影的例子。对测量对象物1用1台、2台或多台摄像机10来拍摄成进行交迭(S10)。摄影装置10的台数为1台～多台，无论几台均可，没有特别限制。基本上如图5(b)所示，用2台1组的摄像机来进行立体拍摄，一边使该立体拍摄的图像的一部分交迭，一边取得一连串的立体图像，供三维测量。如图5(a)所示，也可以用1台从多个方向拍摄成进行交迭，并且，也可以用多台多重摄像机来拍摄成进行交迭。在此情况下，由互相交迭的2个图像构成对，但也可以是一个图像例如与左邻的图像构成一个对，与右邻的图像构成另一个对。

图6是表示用左右的立体摄像机拍摄的摄影图像的例子。图6(a)表示立体图像的交迭情况。被测量的基本范围是2幅(一对)立体摄影图像的交迭范围。这时，希望拍摄成4个带代码标板CT进入交迭范围。这样一来，能够用立体图像来进行三维测量。并且，图6(b)表示相邻的立体图像之间的交迭方法的例子。这样，希望将一连串的图像拍摄成，使上下左右方向的某一方向包括2个带代码标板CT进行交迭。这样一来，能够使宽范围的非接触三维测量实现自动化。而且，末行是表示图像的有效区域的行，将4个带彩色代码标板CT的位于最外侧的反向标板进行连接的线内为有效区域。

接着，对应部40将登记在摄影图像数据存储部13的摄影图像或者存储在模型图像存储部48B的模型图像读取到提取部41的图像/彩色图形存储部140。在提取部41中从摄影图像中提取带代码标板CT(S14)。在识别代码判断部46中判断被提取出的标板CT的识别代码(S15)，利用识别代码来决定图像(摄影图像)的排列，并且，设定成为立体对的左右图像的组(S16)，进行标定处理(S30)。

[位置检测用标板的检测]

其中，提取部41中的提取处理(S14)以手动或自动处理进行。在自动处理的情况下，根据带彩色代码标板CT的色识别数或摄影方法，处理有所不同。首先，说明最初带彩色代码标板CT的色识别数多的情况。在此情况下，摄影顺序不受限制，能够全自动处理。

图7是表示带彩色代码标板的提取(S14)流程图的例子。

首先，将处理对象的彩色图像(摄影图像或模型图像)从图像摄影装置10或图像数据存储部13中读取到提取部41的读取图像存储部141(S500)。然后，从读取的各图像中检测出带彩色代码标板CT(S510)。

搜索方法有以下几种方法：(1)对带彩色代码标板CT中的位置检测用图形(反向标板)P1进行搜索的方法；(2)对彩色代码部P3的色分散进行检测的方法；(3)对这些方法组合的方法；或者(4)使用上彩色的位置检测用图形的方法。

在此，说明(1)、(2)和(3)的方法。对于(4)在第3实施方式中说明。

(1)在带彩色代码标板CT中包含反向标板的情况下，使用亮度差鲜明的图形，所以通过缩小摄像机光圈进行闪光灯拍摄，能够取得仅反向标板发光的图像，通过对该图像进行二进制化，能够很简单地检测反向标板。

图8是采用反向标板的重心位置检测的说明图。(A1)表示内圆部204的亮度高，外圆部206的亮度低的反向标板200；(A2)是表示(A1)的反向标板200的直径方向的亮度分布图；(B1)是表示内圆部204的亮度暗，外圆部206的亮度高的反向标板200，(B2)表示(B1)的反向标板200的直径方向的亮度分布图。在反向标板200如图8(A1)那样内圆部204的亮度亮的情况下，在测量对象物1的摄影图像中重心位置的反射光量多，成为明亮的部分，所以图像的光量分布如图8(A2)所示，根据光量分布的阈值To能够求出反向标板200的内圆部204和中心位置。

若决定标板的存在范围，则例如用动差(moment)法来计算重心位置。例如将图8(A1)所示的反向标板200的平面坐标设定为(x、y)。然后，对反向标板200的亮度为阈值To以上的x、y方向的点，按(式1)、(式2)进行运算(*为乘法算子)。

xg＝{∑x*f(x、y)}/∑f(x、y)----(式1)

yg＝{∑y*f(x、y)}/∑f(x、y)----(式2)

(xg、yg)：重心位置的坐标，f(x、y)：(x、y)坐标上的浓度值，而且，在图8(B1)所示的反向标板200的情况下，对亮度为阈值To以下的x、y方向的点，运算(式1)、(式2)。

这样，求出反向标板200的重心位置。

(2)通常，在带彩色代码标板CT的彩色代码部具有使用多种代码色、颜色的分散值大的特征。所以，通过从图像中找出分散值大的部位，即可检测带彩色代码标板CT。

(3)在带彩色代码标板CT上包含有反向标板的情况下，首先，对整个图像进行扫描检测出亮度高的部位(可以有反向标板部P1)，然后，通过找出已检测出的亮度高的部位的周围的色分散值高的部位(可以有彩色代码部P3)，能够高效率地进行检测。

在此，说明(1)例。然后反向标板检测处理部111将从彩色图像中检测出的多个反向标板的坐标保存到读取图像存储部141。

返回到图7，继续说明带彩色代码标板的提取流程。反向标板分组处理部120，根据保存在读取图像存储部141的反向标板的坐标，检测属于相同的带彩色代码标板CT的反向标板的组的候补(例如，检测出坐标位于带彩色代码标板CT内的)，将该组合作为组保存到读取图像存储部141(S520)。例如，通过对检测出的带彩色代码标板CT内的3个反向标板之间的距离、以及连接3个反向标板的三角形的顶角进行测量，可以进行确认(参见S530)。

再者，使检测出的带彩色代码标板的图形与带彩色代码标板对应表142进行对照，可以确认是哪一种带彩色代码标板。

其次，带彩色代码标板检测处理部130，在区域方向检测处理部131中按照保存在读取图像存储部141的反向标板的组单位，根据反向标板的重心位置求出带彩色代码标板CT的区域和方向(S530)求出该区域和方向之前或之后，由色彩检测处理部311检测基准色部P2、彩色代码部P3和图像中的测量对象物1的色彩。必要时，由色彩校正部312以基准色部P2的颜色为基准，对彩色代码部P3和图像中的测量对象物1的色彩进行校正。并且，在使用了不构成基准的印刷色的带彩色代码标板的情况下，结合其基准色部进行校正。然后，在确认处理部313，对是否适当进行了分组、也就是说一旦被分组后的反向标板的重心位置是否属于相同的带彩色代码标板CT进行确认。在被判断为属于相同组的情况下，进入下一识别代码判断处理(S535)，在被判断为不属于相同组的情况下，再次返回到分组处理(S520)。

图9～图10表示带彩色代码标板区域方向检测处理部131的处理流程的一例。并且，在图11、图12中，说明反向标板的代码读取。这里，说明从图1(a)的带彩色代码标板CT1读取代码的手续。

为了从带彩色代码标板CT1中读取代码，需要知道带彩色代码标板CT1的区域和方向，所以，在R1、R2、R3上对3个位置检测用反向标板的重心点进行标示(ラベリング)(参见图11(a))。

在标示时，首先制作通过对象的3个反向标板的重心点R1～R3的三角形(S600)。从3个反向标板的重心点R1～R3中适当地选择出一个，假设标示为标板T1(S610)。对其余的二个重心点沿顺时针方向假设标示为T2、T3(S612，参见图11(b))。

然后，对通过各个重心点的边进行标示。将通过T1和T2的边标示为L12；将通过T2和T3的边标示为L23；将通过T3和T1的边标示为L31(S614，参见图12(a))。

然后，在三角形的内侧，将从各顶点(重心点)离开半径R的像素值进行弧状扫描，在扫描的范围内试着改变颜色(参见图12(b))。

在重心点T1按顺时针方向扫描L12到L31，在重心点T2按顺时针方向扫描L23到L12，在重心点T3按顺时针方向扫描L31到L23(S620～S625)。

半径的决定方法根据进行扫描的角度，在图像上对反向标板的尺寸乘上倍率决定。由于在从倾斜方向拍摄反向标板的情况下变成椭圆，所以扫描范围也形成椭圆形状。倍率由反向标板的尺寸、反向标板重心位置和基准色部P2的距离来决定。

再者，为了减少噪声等的影响，也考虑在扫描范围具有宽度，在从半径R-Δr到R+Δr之间决定平均值等代表值的方法。

在该例中，按弧状扫描，但是也可以考虑对与由重心点形成的三角形的边相垂直的直线进行扫描的方法(参见图12(c))。

在图1(a)的带彩色代码标板的例中，对重心点T2的周围进行扫描的结果，有色的变化，R、G、B的值见到变化，变化的峰值按R、G、B的顺序依次出现。T1和T3的周围的扫描结果，没有色的变化，R、G、B的值大致恒定，未出现峰值(参见图12(b))。这样，根据在一个重心点T2的周围看到色的变化、在其余的2个重心点T1、T3的周围没有色的变化的特征，可以判断出带彩色代码标板CT1的方向。

标示的确认处理由确认处理部313来进行。在扫描的结果有色的变化的重心点作为R1，其余的2个重心点从有色变化的重心点起按顺时针方向标示作为R2、R3(S630～S632)。在该例中，设重心点T2为R1，重心点T3为R2，重心点T1为R3。在有色变化的重心点是一个，而且未检测出2个没有色变化的重心点的情况下，变成反向标板的组合错误(S633)，新选出3组反向标板(S634)，返回到S600。这样，根据处理结果，也能够确认选择出的3个反向标板是否属于相同的带彩色代码标板CT1。这样来确定反向标板的分组。

上述标示方法，以图1(a)的带彩色代码标板CT1为例进行了说明，但对于后述的各种带彩色代码标板CT也可以通过改变一部分处理来进行同样的处理。

[代码的识别]

返回到图7，识别代码判断部46，对由提取部41提取出的带彩色代码标板CT1，在坐标变换处理部321中根据被分组的反向标板的重心位置进行坐标变换，以便符合带彩色代码标板CT1的设计值，然后，在代码变换处理部322中识别彩色代码，进行代码变换，求出带彩色代码标板CT1的识别代码(S540)，保存到读取图像存储部141。该处理流程由图10进行说明。

根据粘贴在曲面上的、从斜方向拍摄等，将形状有失真的带彩色代码标板的摄影图像，用标示R1、R2、R3来进行坐标变换为无失真的正面图(S640)。通过进行坐标变换，参照带彩色代码标板的设计值，容易判断反向标板部P1/基准色部P2/彩色代码部P3/白色部P4，容易进行后处理。

然后，确认在坐标变换后的带彩色代码标板CT1上是否如设计值那样有白色部P4(S650)。在不是像设计值那样的情况下变成检测错误(S633)。在如设计值那样有白色部P4的情况下，判断为检测出了带彩色代码标板CT1(S655)。

然后，进行色彩校正，对已知区域和方向的带彩色代码标板CT1的彩色代码进行判断。

彩色代码部P3通过对其各单位区域的配色的组合，来表现代码。例如，在代码色数为n，单位区域为3个的情况下，表示出n×n×n的代码，在附加条件为不重复使用在其他单位区域内使用的颜色的情况下，表示n×(n-1)×(n-2)的代码。在附加的条件是代码色数为n，单位区域为n个，不重复使用颜色的情况下，能够表现像n阶乘那样的代码。

识别代码判断部46在代码变换处理部322中使彩色代码部P3中的单位区域的配色的组合与带彩色代码标板对应表142的配色的组合进行比较对照，判断识别代码(图7的S535)。

色彩的判断方法，有以下2种方法：(1)对基准色部P2的色和彩色代码部P3的色进行比较决定的相对比较方法；(2)使用基准色部P2的颜色和白色部P4的颜色，对带彩色代码标板CT1进行色校正，利用该校正后的色来判断彩色代码部P3的代码的绝对比较方法。例如在用于彩色代码部P3的色数少的情况下，将基准色作为相对比较的比较色使用；在用于彩色代码部P3的色数多的情况下，为了校正颜色，作为校正用的色，作为绝对比较的比较色使用。如前述那样，色彩的检测由色彩检测处理部311来进行；色校正由色彩校正部312来进行。在利用图像的三维测量中，由于拍摄多个图像，所以在绝大多数情况下，在各图像之间根据拍摄条件等产生色差。通过使用带彩色代码标板，能够校正多个图像之间的色差。

识别代码判断部46在代码变换处理部322中，使用(1)和(2)中的某一个色彩判断方法，检测基准色部P2和彩色代码部P3(S660、S670)，对彩色代码部P3的各色进行判断，将颜色变换为代码，求出对象的带彩色代码标板CT1的识别代码(S680、图7的S540)。

并且，对每个图像，分别将包含在该图像的带彩色代码标板CT1编号登记在读取图像存储部141内(图7的S545)。登记在读取图像存储部141内的数据，返回到摄影图像数据存储部13和模型图像存储部48B，并且，根据多个带彩色代码标板CT的检测位置坐标，由标定部44用于标定，或者在三维位置测量部151、或三维坐标数据运算部51(参见图2)用于对测量对象物的三维坐标、三维形状进行测量。

[立体对的设定]

返回到图4，继续说明三维测量系统100的动作。然后，转移到立体对的设定。在摄影图像数据存储部13中所登记的图像中，设定成为立体对的左右图像的组(S16)。

图13表示立体对选择(S16)的流程的一例。该选择的流程由排列部47自动地进行。首先，对按每个图像进行登记的带彩色代码标板CT的编号列入表中(S550)。从其中，从包含多个共用的代码编号的标识CT的图像中选择出立体对(S560)。在拍摄时，如图6(a)所示，如果立体拍摄成包含4个带代码标板CT，那么4个带代码标板CT进入的图像各有2个，所以能够设定立体对。并且，如图6(b)所示，在各立体对之间，共用的代码编号的带代码标板CT有2个进入的情况下，处于该图像的上下左右的某一邻接图像的关系，所以能够决定各立体对之间的配置关系(S570)。这样，排列部47对于由图像摄影装置10拍摄成各摄影图像包含4个带代码标识CT、且在相邻的摄影图像之间共有2个带代码标识的一连串摄影图像，设定一连串摄影图像的排列，使得由相邻的摄影图像共有的带代码标识CT的识别代码一致。而且，如果拍摄成各摄影图像包含3个以上的带代码标识CT，而且在相邻的摄影图像之间共有2个以上带代码标识，能够进行排列。

以下说明带彩色代码标板的色识别数少的情况下的立体对的设定。

图14表示色识别数少的情况下的摄影顺序的一例。若决定摄影顺序取得图像，则图像的配置和立体对是已知的，所以不等标板的提取，就能够自动地设定立体对。在该例中决定按箭头的方向依次拍摄。

在摄影顺序不同的情况下，如果用排列部47对读取图像存储部141的图像重新进行排列，那么以后能够自动处理。

在手动的情况下，读取图像后在显示装置60上进行立体显示，并比较2个图像，由此来设定立体对即可。在这种情况下，如果由排列部47决定拍摄顺序取得图像，则作业效率提高而理想。

[对应点决定处理]

在此，返回到图4。以下，利用基准点设定部42，在立体图像的一个图像(基准图像)上所指定的点的附近，搜索适合于特征点的点，将适合于该特征点的点设定为基准点(S18)。并且，利用对应点搜索部43来规定立体图像的另一边的图像(搜索图像)上的、与基准点相对应的对应点(S19)。

图15是说明对应点决定处理的流程图的例子。参照图15，来说明决定左右图像的对应点的具体的处理过程。当进入对应点决定处理时(S200)，选择作为对应点决定处理的手动模式、半自动模式、自动模式这3种方式中的某一种(S202)。而且，以下说明的左图像和右图像，相反地置换成其相反的右图像和左图像，也是完全一样的处理，也可以这样替换读取来处理。

若选择手动模式，则开始手动模式中的处理(S210)。首先，通过对应点指示部45的鼠标来指示和确定成为显示装置上的左图像的特征的地方(S212)。进行确定是例如按压鼠标的钮等。通过确定处理来读取左图像坐标。然后，通过对应点指示部45的鼠标在显示装置的右图像上指示、确定与左图像相同的特征点(S214)。这样读取右图像坐标。这样，在手动模式中，通过对应点指示部45分别在左右图像上指示、确定。然后，作为对应点判断出是否对应了6点以上(S216)。若不到6点，则S202的模式选择后返回到(S210)。而且，也可以这样编程序，即返回到S212根据手动模式继续进行对应点决定处理。若对应6点以上，则返回。

若选择半自动模式，则开始半自动模式的处理(S220)。在半自动模式中，设定为由对应点搜索部43进行的自动搜索模式(S222)。然后，在显示装置60的左图像上通过对应点指示部45的鼠标来指示特征点(基准点、反向标板等)(S224)。于是，对应点搜索部43自动地搜索右图像上的对应点(反向标板等)(S226)。

并且，操作员判断由对应点搜索部43检索的右图像上的对应点是否适当(S228)。在此情况下，由对应点搜索部43运算的相互相关系数为某阈值以上，就决定为OK(例如0.7以上等)。在显示装置60上，通过对应点指示部45，操作员参照如下情况判断，即，参照例如在右图像上与左图像上相对应的搜索位置上若是OK则显示绿显示点、若是NG则显示红显示点，或改变光标标记的图形(例如、从箭头“＝>”更改为双重圆圈“◎”变更光标标记显示)，或者显示相互相关法中的相互相关系数值。右图像搜索是否是OK的显示，只要操作员容易判断，无论用什么样的显示均可。

在不是OK的情况下，判断对应点是否也可以是其他位置(S230)，若也可以是其他位置，则返回到S224指示其他点。另一方面，在无论如何将该位置作为特征点的情况下，以手动模式来移动右图像上的光标进行指示(S232)。也就是说，例如若旋转调整对准对应点指示部45的进深方向的刻度盘，则等效地使右图像上的光标移动，所以对其进行调整，拿到和左图像相同的特征点的地方对准。

然后，在S228，在右图像搜索OK的情况下，或者由S232指示了右图像的情况下，读取该点的图像坐标(S234)。例如按压鼠标钮等，加以确定。并且，判断作为对应点是否对应6点以上(S236)。若是不到6点，则S202的模式选择之后返回(S220)。而且，也可以将程序编为返回到S222，继续根据半自动模式进行对应点决定处理。若是对应了6点以上，则定为返回。

上述半自动模式，在左图像上通过鼠标来指示特征点，这样自动地搜索右图像的对应点，显示出是否OK。因此，操作员观看光标标记显示的显示，若由对应点搜索部43检索的右图像上的对应点适当，则将检索出的对应点确定为对应点(例如，从箭头“＝>”更改为“◎”的情况下)。通过利用半自动模式，操作员仅指示一边的图像即可，所以能够很简单地处理对应点决定处理。而且，利用鼠标的指示和确认用的判断，也可以通过按压钮，但，也可以是进一步移动鼠标光标，仅在左图像上描画，构成为经常判断显示右图像上的对应点。若判断显示与左图像上的鼠标光标相对应的右图像上的对应点，则能够更容易处理对应点决定处理。

若选择自动模式，则开始自动模式的处理(S240)。自动模式是预先将成为对应点的标板配置在对象物周边，这样来自动检测标板的模式。成为标板的将容易识别的点预先配置在对象物周围作为特征点。标板只要是容易识别的标板均可。在本实施方式中，使用带彩色代码标板CT的反向标板部P1。在此情况下，预先知道标板的正确位置，那么能够进行准确的三维测量。

首先，操作员利用显示装置60来确认在左右图像上是否包含有6点以上的标板(S242)。如果在左右图像上未包含6点以上的标板，那么进入手动或半自动模式(S244)。而且，在未拍摄与左右图像相对应的6点以上的标板的情况下，重新拍摄成标板达到6点以上。然后，转移到自动模式处理(S246)。

在自动模式处理中，为了进行自动标板检测，通过对应点指示部45来指示已配置的标板图像的一个，例如，在提取部41的图像彩色图形存储部140内作为模板图像进行登记(S248)。然后，利用基准点设定部42和对应点搜索部43，以模板图像为基础搜索左图像和右图像的各个标板位置(S250)。该标板位置的搜索处理例如利用前面说明的相互相关系数法等自动进行检测。并且，将被搜索的标板位置显示在显示装置60上(S252)。

操作员判断搜索出的标板位置是否OK(S254)，若是OK，则返回。若是NG，则进行标板位置的校正(S256)。在该校正中，利用手动模式或半自动模式的处理。假定，即使在NG的情况下，由于也配置有标板而容易校正。

然后，利用被校正的标板位置，来检测左右图像上的对应点(S258)。该作业通过利用对应部40的对应点指示部45观看显示装置60并指示左右图像的对应点来进行。或者，预先决定标板的位置，大致上平行地进行立体摄影。于是，标板的配置可以在已拍摄的图像上保存，所以也能够自动地相对应。再者，分别决定6点以上的标板符号，预先指定模板，也能够自动进行对应。左右图像上的对应点的点数最少为6点，所以用手动进行操作也很容易完成。

而且，自动时的位置检测用图形的提取方法，参见图8的说明。

[标定]

以下，用标定部44进行标定作业，对摄影图像数据存储部13内存储的测量对象物1的立体图像进行相互标定，求出立体图像的对应点关系(S30)。

这里，所谓标定作业是指利用基准点设定部42和对应点搜索部43，对于操作者用鼠标光标等在基准图像上指示的指示点，读取与适合于特征点的基准点相对应的对应点的图像坐标的操作。该对应点通常每个图像需要6点以上。预先对测量对象物1利用无图示的三维位置测量装置另行测量的三维坐标数据如果存储在三维坐标数据存储部53内，那么，使基准点坐标和图像对应来执行绝对标定。如果没有存储在三维坐标数据存储部53内，执行相对标定。

例如，在交迭的立体图像中，有4个带彩色代码标板CT，在一个带彩色代码标板CT中，如果有3点的位置检测用图形(反向标板部)P1，那么能够根据合计12点的位置检测用图形(反向标板部)P1的重心位置坐标进行标定处理。

标定最低有6点以上才进行，所以，位置检测用图形在带彩色代码标板中最低有2点即可。在此情况下，按8点进行标定处理。

这里的处理能够通过手动、或半自动进行。也就是说，对带彩色代码标板CT内的位置检测用图形P1，在左右图像上用鼠标目视其重心位置进行点击，或者像先前说明的那样，若用鼠标点击位置检测用图形P1的附近，则也能够进行自动位置检测。此外，能够检测带彩色代码标板CT，并根据求出的识别代码自动决定基准点及对应点。

以下，对于立体对选择的各图像，利用通过标定作业而求出的对应点的坐标，借助于标定部44来进行标定计算处理(S40)。通过标定计算处理，能够求出拍摄的摄像机的位置、倾斜度、对应点的位置和测量精度。标定计算处理对一对摄影图像或一对模型图像的对应用相互标定来进行，对多个或者全部图像之间的标定利用线束(bundle)调整来进行。

以下详细说明标定计算处理。

[相互标定]

以下说明由标定部44进行的相互标定。

图16是立体图像中的模型图像坐标系XYZ和摄像机坐标系xyz的说明图。将模型图像坐标系统的原点取在左侧的投影中心，将与右侧的投影中心相连结的线在X轴上取得。缩小比例尺取基线长为单位长度。这时求出的参数成为左侧的摄像机的Z轴旋转角κ1、Y轴的旋转角φ1、右侧的摄像机的Z轴旋转角κ2、Y轴的旋转角φ2、X轴的旋转角ω2的5个旋转角。

首先，利用以下的共面条件式(式3)，来求出设定左右摄像机的位置所需的参数。

[数1]

$\left|\begin{array}{cccc}{X}_{01}& Y_{01}& Z_{01}& 1\\ X_{02}& Y_{02}& Z_{02}& 1\\ X_1& Y_1& Z_1& 1\\ X_2& Y_2& Z_2& 1\end{array}\right|=C$

                                              …(式3)

X₀₁、Y₀₁、Z₀₁：左图像的投影中心坐标

X₀₂、Y₀₂、Z₀₂：右图像的投影中心坐标

X₁、Y₁、Z₁：左图像的像坐标

X₂、Y₂、Z₂：右图像的像坐标

在此情况下，左侧的摄像机的X轴的旋转角ω1为0，所以不必考虑。

若设为上述条件，则共面条件式(式3)如(式4)所示地被变形，对(式4)求解，即可求出各参数。

[数2]

$F({\mathrm{\κ}}_1,{\mathrm{\φ}}_1,{\mathrm{\κ}}_2,{\mathrm{\φ}}_2,{\mathrm{\ω}}_2)=\left|\begin{array}{cc}{Y}_1& Z_1\\ Y_2& Z_2\end{array}\right|=Y_1{Z}_2-Y_2{Z}_1=0$

                                              …(式4)

在此，模型图像坐标系XYZ和摄像机坐标系xyz之间，以下所示的坐标变换的关系式(式5)、(式6)成立。

[数3]

$\left(\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right)=\left(\begin{array}{ccc}\cos {\mathrm{\φ}}_1& 0& \sin {\mathrm{\φ}}_1\\ 0& 1& 0\\ -\sin {\mathrm{\φ}}_1& 0& \cos {\mathrm{\φ}}_1\end{array}\right)\left(\begin{array}{ccc}\cos {\mathrm{\κ}}_1& -\sin {\mathrm{\κ}}_1& 0\\ \sin {\mathrm{\κ}}_1& \cos {\mathrm{\κ}}_1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\\ -c\end{array}\right)$

                                              ……(式5)

$\left(\begin{array}{c}{X}_2\\ Y_2\\ Z_2\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\ω}}_2& -\sin {\mathrm{\ω}}_2\\ 0& \sin {\mathrm{\ω}}_2& \cos {\mathrm{\ω}}_2\end{array}\right)\left(\begin{array}{ccc}\cos {\mathrm{\φ}}_2& 0& \sin {\mathrm{\φ}}_2\\ 0& 1& 0\\ -\sin {\mathrm{\φ}}_2& 0& \cos {\mathrm{\φ}}_2\end{array}\right)\left(\begin{array}{ccc}\cos {\mathrm{\κ}}_2& -\sin {\mathrm{\κ}}_2& 0\\ \sin {\mathrm{\κ}}_2& \cos {\mathrm{\κ}}_2& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ -c\end{array}\right)+\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right)$

                                              ……(式6)

利用这些式，按以下顺序，求出未知参数。

(1)参数(κ1、φ1、κ2、φ2、ω2)的初始近似值通常设为0。

(2)将共面条件式(式4)围绕近似值泰勒展开，利用(式5)、(式6)来求出已线性化时的微分系数的值，成立观测方程式。

(3)利用最小平方法，求出对近似值的校正量。

(4)校正近似值。

(5)利用被校正的近似值，反复进行(2)～(5)的操作直到收敛为止。

假定在标定点的配置不良等情况下，会出现不收敛的情况。在未正常进行的情况下，用标定结果显示来输出错误并显示哪里的图像不良。在此情况下，在图像上若有别的标定点，变更后重复上述计算。若不好，则进行标定点的配置变更。

返回到图4，模型图像形成部48A根据由标定部44标定的标定要素，形成一对模型图像(S42)，由模型图像形成部48A形成的模型图像存储在模型图像存储部48B(S43)。摄影、模型图像显示部48将该模型图像作为立体图像，显示在显示装置60上(S44)。

[精密标定]

在此，说明除了带彩色代码标板CT外还利用具有参考点的标板作为位置检测用标识进行精密标定的例子。

图17表示参考点的自动对应的流程图例。并且，图18表示具有参考点RF的标板的例子。在图18(a)中配置有多个反向标板作为参考点RF。在平面的测量对象物中，也有只是带彩色代码标板CT就可以的情况，但是在测量对象物1的曲面复杂的情况和曲率大的情况下，除带彩色代码标板CT以外，粘贴了多个反向标板作为参考点RF，测量的可靠性提高。

在此，说明该参考点RF的自动位置检测、对应。

根据图17的流程图进行说明。首先检测带彩色代码标板CT内的位置检测用图形(反向标板部)P1的位置(S110)。关于反向标板的检测，请参照图8的说明。在图18(a)中，4个带彩色代码标板CT内的位置检测用图形P1共计6个以上，能够进行标定处理。因此，进行标定处理(S120)，然后进行偏移校正处理(S130)。

而且，这里进行偏移校正处理，但是，此外也可以进行仿射变换和赫尔默特变换等，对图像进行变换处理。在此情况下，位置检测用标板的数可以为4点以上。

通过偏移校正处理来制作偏移校正图像(模型图像)。所谓偏移校正图像是指对左右图像的核线EP重新排列成为一横线的图像。因此，如图18(b)所示，左右图像的参考点RF重新排列在同一核线(水平线)EP上。若用标定处理的结果形成模型图像，则能够获得这样的偏移校正图像。在使用仿射变换和赫尔默特变换等其他变换的情况下，不仅限于来到同一水平线上，即使这样也来到其近边。

以下搜索同一核线EP上的成为参考点RF的标板(S140)。如果形成偏移校正图像，那么仅同一线上的一维搜索即可，所以，容易搜索。在利用其他变换的情况下，不仅搜索核线EP，而且搜索其近边数条线。

这里的搜索例如利用以模板匹配等为代表的相互相关法。作为模板图像，如果将参考点RF放在与带彩色代码标板CT内的位置检测用图形P1相同的图形内，那么能够和带彩色代码标板CT的位置检测用图形P1同时进行检测，所以使用它很方便。

并且，若将反向标板用于参考点RF，则能够根据摄影条件预先算出大致的大小，所以也可以作为模板进行登记。并且，若使用反向标板，则该部分反射强度高，所以，也可以根据进行了图像扫描的亮度检测图像中的参考点作为模板。

[相互相关法]

采用相互相关系数的方法，按照利用下式的以下顺序。

[数4]

$C(a,b)=\underset{m_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{n_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\frac{\{I_{(a,b)}(m_1,n_1)-\stackrel{\‾}{I}\}\{T(m_1,n_1)-\stackrel{\‾}{T}\}}{\sqrt{I_{{\mathrm{\σ}}_{\mathrm{ab}}}{T}_{\mathrm{\σ}}}}$  ……(式7)

其中， $\stackrel{\‾}{I}=\frac{1}{N_1^2}\underset{m_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{n_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}{I}_{(a,b)}(m_1,n_1)$  ……(式8)

$\stackrel{\‾}{T}=\frac{1}{N_1^2}\underset{m_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{n_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}T(m_1,n_1)$  ……(式9)

$I_{{\mathrm{\σ}}_{\mathrm{an}}}=\frac{1}{N_1^2}\underset{m_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{n_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}{\{I_{(a,b)}(m_1,n_1)-\stackrel{\‾}{I}\}}^2$  ……(式10)

$T_{\mathrm{\σ}}=\frac{1}{N_1^2}\underset{m_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}\underset{n_1=0}{\overset{N_1-1}{\mathrm{\Σ}}}{\{T(m_1,n_1)-\stackrel{\‾}{T}\}}^2$  ……(式11)

I_(a，b)(m₁，n₁)：输入图像的部分图像

T(m₁，n₁)：模板图像

图19是表示左右图像中的搜索范围和模板图像的一例的图。例如，由对应部40的对应点指示部45指示的成为特征点的点作为中心的、N1×N1像素的图像T作为模板图像T从左图像中切出。然后，将比模板图像T大的右图像中的M1×M1像素作为搜索范围I(像素数(M1-N1+1)²)，在搜索范围I上移动模板图像T。然后，求出上式的相互相关系数C(a，b)达到最大的图像位置，这样，看作是搜索到模板图像T。如果左图像和右图像完全一致，那么相互相关系数值C(a，b)成为1.0。返回到图17，一般地通过标定处理求出摄影摄像机的位置和倾斜度(S120)，进行利用该结果来制作偏移校正图像的作业(S130)。这里，进行的处理是利用标定部44的标定结果通过模型图像显示部48来制作偏移校正图像。

如图18(b)所示，当在同一线上找到了参考点RF时，将其作为对应点进行识别(编号)(S150)。这里，如果在同一线上有多个参考点RF的情况下，从其左右的位置识别各个参考点RF。然后，除了被检测出的参考点RF以外进行标定(S160)。这里，通过再次进行标定，能够提高标定的可靠性。如果标定结果的精度充分(S170)，没有问题，就结束处理。如果精度不充分，那么删除坏点(S180)，再次重新做标定(S160)。

该标定处理也按立体图像对进行。模型图像形成部48A根据由标定部标定的标定要素形成一对模型图像(S42)，由模型图像形成部48A形成的模型图像存储在模型图像存储部48B内(S43)。摄影/模型图像显示部48将该模型图像作为立体图像显示在显示装置60上(S44)。利用具有参考点的标板来进行标定，并且反复进行标定，这样提高标定精度，但是，这样的标定通常根据经过一次标定处理的模型图像来进行。模型图像从模型图像存储部48B读取到提取部41的读取图像存储部141，用于再次标定。

[线束调整的共线条件式]

再次返回到图4的流程进行说明。

以下，使用自动标定的全部点(图像)进行线束调整(包含在S40)。通过该处理来调整计算全部图像的精度。该处理本身利用以下原理通过计算求出。

共线条件式是投影中心、照片图像和地上的对像物位于一条直线上的线束调整的基本式，成为如(式12)。

[数5]

$\left.\begin{array}{c}y=-c\frac{a_{21}(X-X_0)+a_{22}(Y-Y_0)+a_{23}(Z-Z_0)}{a_{31}(X-X_0)+a_{32}(Y-Y_0)+a_{33}(Z-Z_0)}+\mathrm{\Δy}\\ x=-c\frac{a_{11}(X-X_0)+a_{12}(Y-Y_0)+a_{13}(Z-Z_0)}{a_{31}(X-X_0)+a_{32}(Y-Y_0)+a_{33}(Z-Z_0)}+\mathrm{\Δx}\end{array}\right\}$

                                              …(式12)

c：画面距离(焦点距离)；x，y：图像坐标

X，Y，Z：对象空间坐标(基准点、未知点)

X₀，Y₀，Z₀：摄像机的摄影位置

a₁₁～a₃₃：摄像机的倾斜度(3×3旋转行列的要素)

Δx，Δy：摄像机的内部标定校正项

这里说明在标定中使用相互相关法和线束法的方法，但也可以进一步重复这些标定，提高标定精度。在此情况下，也可以在标定前利用排列部47将涉及测量对象物1的一连串模型图像排列使用，使得对于一连串的模型图像，由相邻的模型图像共有的带代码标识CT的识别代码一致。

[匹配区决定]

返回到图4，以下利用对应部40来进行测量位置指定(匹配区的决定)(S45)，利用三维坐标数据运算部51来进行立体测量(S50)，在三维坐标数据存储部53登记立体图像的对应点的三维坐标。

[立体匹配区的自动决定]

以下说明三维测量(面测量)用的测量位置指定、即匹配区的决定(S45)。

如图6(a)所示，匹配区的决定由对应点搜索部43来自动设定匹配范围，以便包含配置在立体图像4角的带彩色代码标板CT。而且，也可以在匹配前利用排列部47排列使用涉及测量对象物1的一连串模型图像，对一连串的模型图像，使相邻的模型图像共有的带代码标识CT的识别代码一致。

图20表示立体匹配区的自动决定的流程图例。并且图21是用于说明立体匹配区设定的图。图21(a)是带彩色代码标板CT具有位置检测用的3个反向标板的例子。首先，检测出配置在立体图像的4角的带彩色代码标板CT(S300)。然后，检测位于4个带彩色代码标板CT内的各个反向标板部P1(S310)。关于这些检测，请参见图7和图8的说明。其次，根据该检测出的各反向标板部P1的坐标值，将连接最外侧的反向标板部P1的区域设定为测量区域，以便包含所有的反向标板部P1(S320)。也就是说，在以左上为原点(0，0)的情况下，能够如下地自动决定应当测量的匹配区：若相互连接Y坐标最小值点则为水平的上线；若相互连接Y坐标最大值的点则为水平的下线；若相互连接X坐标最小值的点则为垂直方向的左线；若连接X坐标最大值的点则为垂直方向的右线。

这样，通过决定匹配区域，如图6(b)所示，各模型图像之间的交迭也能够确实取得。也就是说，将带彩色代码标板CT配置在画面的4角附近，将连接始终位于这些带彩色代码标板CT的最外侧的反向标板而划分的区域设为匹配区，这样，能够自动地决定立体匹配区，同时切实地进行各模型图像之间的交迭。在此情况下，如果在各带彩色代码标板CT上最少配置2点以上位置检测用图形(反向标板部)P1，那么能够进行匹配区的自动设定处理。图21(b)是带彩色代码标板CT具有位置检测用的2个反向标板的例子。在此情况下，在带彩色代码标板CT内，产生连接反向标板的线倾斜的部分。

在全自动的情况下，如果代码识别数多，那么能够一边取邻接图像的交迭，一边以一对图像(典型的立体)为基本单位，按任意顺序拍摄。并且，如果决定摄影顺序，那么，即使代码识别数少也能够自动化。在此情况下，能够识别立体摄影(交迭)的2幅的图像中的带彩色代码标板CT即可。对于做了匹配区(S45)的决定的区域域，进行立体测量(S50)。在立体测量中采用例如使用相互相关系数法的图像相关处理。

[测量位置指定]

测量位置指定既可以是半自动，也可以是手动。以下说明半自动和手动的测量位置指定以及与其相连续的测量。

图22表示测量位置指定的处理流程例。若进入测量位置指定处理(S400)，则选择作为测量位置指定处理的手动模式、半自动测量模式、自动测量模式的3种模式中的某一种(S402)。

在显示装置60上显示立体图像，可以对其一边观看确认，一边进行测量。再者，也可以在显示装置60上显示立体图像(摄影图像、模型图像)。并且，来自对应点指示部45的立体图像上的深度方向上的指示，通过鼠标所带的刻度盘或者单独刻度盘等指示。

若选择手动模式，则开始对手动模式的测量位置指定的处理(S410)。在此，说明操作员一边观看显示装置60的立体图像，一边指示测量点的顺序。操作员对由显示装置60显示的左图像，指示希望测量的位置作为特征点(S412)。接着，对由显示装置60显示的右图像，指示被认为是同一点的位置作为特征点(S414)。然后，观看显示装置60，确认左图像的特征点和右图像的特征点作为光标指示的希望测量点是否位于一致的特征点上(S416)。在该光标指示的点的位置，除画面的平面方向以外，也包括深度方向。如果不同，则利用对应点指示部45的鼠标来指示希望测量的位置(S418)。

当操作员用显示装置60观看立体图像时，也能够同时观察深度方向，所以也对准深度方向的位置(S420)。也就是说，如果深度方向未对准，就可以看到光标比对象点上浮或者下沉。在此情况下，若有对准深度方向的刻度盘，则可利用它们在对象点的上方对准光标位置。

该光标位置调整作业实质上和左右图像的位置调整相同，但因为是一边立体观看，一边进行，所以与没有错误并且可靠。也就是说，即使特征很少的地方，也能够进行左右图像的位置对准。并且，如果左图像的特征点和右图像的特征点一致并且OK，，则利用鼠标的钮等来确定位置，读取坐标位置(S422)。

当选择半自动测量模式时，开始按半自动测量模式的测量位置指定的处理(S430)。在半自动测量模式中，看显示装置60的同时进行。在半自动测量模式中，对应点搜索部43转移到自动搜索模式(S432)。并且，若操作员用鼠标来指示左图像上的测量点(S434)，则对应点搜索部43在右图像上搜索与左图像上的测量点相同的测量点(S436)。而且，利用该对应点搜索部43在右图像上搜索与左图像上的测量点相同的测量点的做法，与用对应点决定的S226说明的内容完全一样。并且，确认右图像的搜索位置是否OK(S438)。

如果右图像的搜索位置与左图像上的测量点不同，那么与手动模式一样利用对应点指示部45的鼠标来指示希望测量的位置(S440)。这时，操作员能够在显示装置60上同时观察深度方向和图像平面方向，所以使深度方向的位置也一致(S442)。并且，如果左图像的特征点和右图像的特征点一致而OK，那么，利用鼠标的钮等来确定位置，读取坐标位置(S444)。这时，在显示装置60上的对应的右图像的位置进行OK显示即可。并且，若是立体图像显示，则OK显示也可以通过改变光标的颜色、形状等来进行确认。但实际上是否对准也可以通过本人的眼睛来确认。

当选择自动测量模式时，开始自动测量模式的测量位置指定的处理(S450)。在自动测量模式中，能够成批测量已指定的区域的三维坐标值。因此，对希望测量的区域进行指定的测量区域指定处理(S452)。也就是说，指示作为测量区域最外侧的左右图像的边界点。例如，在希望成批测量大致矩形画面整个区域的情况下，如图21所示地指示成为对应边界的边界点的4点。操作员在显示装置60上参照边界点的显示，判断指示左右图像的边界点的点是否适当(S454)，如果弄错指定的边界点，没有注意到就返回S452，重新指示。

如果左右图像的边界点的指定是适当的，对各指定点进行连线，用立体图像显示来明确测量区域(S456)。于是，立体图像显示成为对形成对应边界的边界点进行连线的显示。并且，操作员参照边界点和连线显示，确认测量区域的指定是否适当(S458)。在不适当的情况下清除与不适当的指示点相对应的连线(S460)，返回到S452重新指示。如果测量区域的指定是适当，确定为测量区域(S462)。这样，如果决定测量区域，在该区域内左右图像的对应点决定无误，所以能够确实地成批测量。并且，在成批测量中，如果利用这些左右图像的对应点，那么能够提高速度和可靠性。

然后，对于测量区域指定的区域内的对应点，利用对应点搜索部43自动地成批处理对应点检测(S464)。在此，通过图像相关处理来进行。例如，利用先前说明的相互相关系数法，将左图像作为模板、右图像作为其搜索区域，进行各点的对应点检测即可。如图19所示，例如是在左图像上设定模板图像T，在右图像上搜索同一核线EP上的处理，对此用全图像中I来进行并求出左右图像的对应点的处理。而且，作为图像相关处理，也可以采用粗密搜索相关法、或者作为其他图像相关处理使用的通常的处理方法。

[图像显示]

返回到图4，对于进行测量位置指定的区域，利用对应部40(提取部41、基准点设定部42、对应点搜索部43、标准部44等)的功能，来进行立体测量(S50)，利用三维坐标数据运算部51的运算处理，求出测量对象物1的三维坐标(S55)。根据由三维坐标数据运算部51求出的三维坐标、或者从三维坐标数据存储部53读取的三维坐标，利用立体的二维图像形成部54来制作测量对象物1的立体二维图像，利用立体的二维图像存储部55来存储立体的二维图像。

然后，图像对应部56利用由标定部44求出的对应点关系，使测量对象物1的立体图像(摄影图像或模型图像)、和利用三维坐标数据由立体的二维图像形成部54形成的立体的二维图像对应。立体的二维图像显示部57利用由图像对应部56对应的立体图像，在显示装置60上显示测量对象物1的带立体感结构的图像等的立体二维图像。该立体二维图像的画面是能够表示在任意方向的斜视状态的测量对象物1的立体二维图像，也能够利用线框架面和结构匹配显示图像。所谓结构匹配是指在测量对象物1的二维图像上粘贴表现立体感的结构物。并且，也可以显示摄像机摄影位置和基准点位置。

这样，进行面的自动测量，求出测量对象物1的三维坐标，在显示装置60上显示立体图像。

并且，当操作者利用鼠标和键盘等，通过姿势指示部58指示测量对象物1的显示方向时，图像变换部59将显示在显示装置60上的测量对象物1的显示方向坐标变换为由姿势指示部58指示的方向加以显示。利用这种能够任意指定测量对象物1的显示方向的功能，从所有角度使视点位置变化，在显示装置60上显示测量结果和测量对象物1，这样，操作者能够视觉地确认测量对象物1。

像以上那样，图像的立体对选择、被选择的立体对内的对应点搜索、标定、面测量用的立体匹配区决定、面测量等，利用带彩色代码标板CT，自动、半自动、手动中的任一种均可。

[第2实施方式]

也可以取代带彩色代码标板CT的粘贴，或者与带彩色代码标板CT的粘贴并用而通过投影装置12将基准图形投影到测量对象物1。

图23是第2实施方式中的三维测量系统100A的整体构成例的方框图。与第1实施方式(参见图2)中的三维测量系统100相比，增加了投影装置12和计算处理部49，其他结构与第1实施方式相同。投影装置12将位置检测用图形等各种图形投影到测量对象物1上，用图像摄影装置10拍摄被投影的各种图形，用于标定和三维测量。计算处理部49接收图像数据后检测各种图形，并且，产生各种图形，从投影装置12进行投影。

图24表示投影到摄影对象物1上的基准图形的例子。图24(b)是点状的图形，图24(c)是格子状的图形。格子的直交的纵横线按等间隔配置，点配置在相当于格子的交点的位置上。图24(a)表示将图24(b)的基准图形投影到摄影对象物1上的例子。在本实施方式中，在点的位置或格子的位置上配置有例如反向标板(包括上彩色的)或带彩色代码标板CT(例如彩色代码的单位区域为3处)的图形，投影到测量对象物1上。

在图24(a)中，10是作为图像摄影装置的立体摄像机，12是投影装置(投影仪)、49是计算处理部。计算处理部49具有：图形检测部491，从图像摄影装置10输入摄影图像，检测测量对象物1的特征点和粘贴的标板等图形；图形形成部492，形成基准图形、参考点RF、线框架图形等投影图形；以及图形投影部493，从投影装置12来投影由图形形成部492形成的投影图形。并且，还有包括对摄影图像和投影图形的色彩进行校正的色彩校正部494的装置。色彩校正部494具有根据带彩色代码标板CT的基准色来利用该基准色校正各立体对图像间的颜色的功能。计算处理部49追加到对应部40内，但是此情况下，图形检测部491能够利用提取部41、基准点设定部42、对应点搜索部43、标定部44、识别代码判断部46、排列部47的功能(有时具有这些功能)，所以也可以不增加计算处理部49，但在基准图形和参考点RF等使用特别图形的情况下，若增加该计算处理部，则比较方便。并且，色彩校正部494也能够利用色彩校正部312的功能，所以相同。

立体摄像机10和投影仪12可以按以下方法使用。

(a)利用投影仪12对用摄像机拍摄的范围进行照明并调整为利用立体摄像机10拍摄该范围。

(b)利用投影仪12来投射结构用照明(仅照明)光，利用摄像机10拍摄立体对图像作为一个模型图像的结构用图像(测量对象物的图像)。

(c)作为测量前准备，从投影仪12投影基准图形等图形。对其进行立体拍摄。例如，将圆的图形照射成格子状，或者格子状的线图形等，只要是测量对象物1的形状能够以目视或通过计算处理可知的图形，则均可。确认以目视或计算处理来进行。在圆形图形和格子图形的情况下，随测量对象物1的形状而变形，所以通过确认图形的变形点，能够掌握测量对象物1的形状的概况。在计算处理的情况下，用图形检测部491检测图形。例如，将配置成格子状的点不是等间隔的部位等作为变形点检测出来即可。并且，可以同时拍摄参考点RF和带彩色代码标板CT，也可以拍摄其他形状的图形。

图形变形点的检查方法，也有对该区域进行大概测量的办法。将投影图像送到图形检测部491，进行标定计算。再者，在测量点数少时等，也可以将投影的标定点作为测量点结束测量处理。

对测量前准备中已知的变形点，也可以采取粘贴参考点RF、或者增加图形等措施。也可粘贴用于决定投影范围的带彩色代码标板CT。并且，可以计算标定点的大小、数量、配置等，反映到正式的图形投影中。

(d)在标定处理中，从投影仪12投射带彩色代码标板CT和参考点RF。在此，在照射了带彩色代码标板CT的位置粘贴。在前准备中粘贴的情况下，粘贴在除此以外的点上。在根据被投射的图形进行测量的情况下，不需要粘贴。对其进行立体摄影，用于标定处理。

(e)在三维测量中，从投影仪12照射测量用的图形。在此情况下，例如为立体匹配(三维测量)用而照射随机图形等。测量用图形先利用摄像机条件来计算必要精度，照射出适合其精度的大小的测量用图形。对其进行立体摄影，用于三维测量。

(f)当移动到下一个摄影位置时，也可以利用投影仪12来对下一个摄影位置大致上进行导航。

而且，也能够使以上处理全自动化。在此情况下，不进行粘贴作业，全部仅利用投影仪投射的图形来测量。

投影装置12和计算处理部49以外的结构、以及上述以外的工艺与第1实施方式相同，产生同样的效果。

[第3实施方式]

在本实施方式中说明使用彩色反向标板作为位置检测用图形P1的例子。

本实施方式采用利用(4)上彩色的位置检测用图形的方法作为标板位置提取的搜索方法。

(4)使用于带彩色代码标板CT的3角的反向标板具有不同的颜色，使各反向标板反射的颜色不同。使3个角的反向标板具有不同的颜色，所以容易判断出属于一个带彩色代码标板的各个反向标板。在反向标板分组处理中，使用多个反向标板的情况下，也是用不同色的反向标板来选择距离最近的，这样处理变得简单。

在利用多个反向标板作为参考点RF的情况下，带彩色代码标板CT的反向标板和单个的反向标板混杂，所以将带彩色代码标板CT的反向标板作为上彩色的反向标板，若将单个的反向标板做成白色，则容易判断。

关于重心位置的检测，参见图8的说明。

而且，也可以使用单个或多个彩色反向标板作为位置检测用标识，以取代带彩色代码标板CT。例如，增加配色的种类或者随机配置彩色等，这样，容易搜索相对于基准点的对应点、立体图像对。并且，也能够组合使用多个彩色反向标板P8。例如，图25所示，将3个彩色反向标板归纳为一个标识，改变该配色的组合，这样，容易搜索相对于基准点的对应点、立体图像对。

而且，带彩色代码标板以外与第1实施方式相同，具有同样的效果。

若采用由上述实施例说明的本发明的三维测量系统，则通过使用带代码标识(标板)，能够使大范围的非接触三维测量提高效率，实现自动化。

以下说明作为各种变形例的带彩色代码标板CT2～CT11。

图1(b)是彩色代码部P3为6处的带彩色代码标板CT2。将图1(a)中的带彩色代码标板CT1的彩色代码部P3的3个单位图形以对角线分离，单位图形形成6处，所以带彩色代码标板CT的区域和方向的检测方法，与图1(a)的情况一样，利用对由各重心点构成的三角形的内侧进行扫描时的色的变化，能够进行反向标板的标示处理。也就是说，在R1周围产生2次色变化，在R2和R3周围不发生色变化。并且，在6处增加彩色代码部P3的读取处理。若将用于彩色代码的色设为6色，则代码数可以表现6×5×4×3×2×1＝720代码。最后的彩色代码部(最后的×1的部分)不影响代码数，但为了相对比较是必要的，再者，在识别色代码部时也可以用作错误识别的检查。

图1(c)的带彩色代码标板CT3使彩色代码部P3的单位图形减小，将彩色代码部P3的单位图形设为9处。

因此，在带彩色代码标板CT3的区域和方向检测时，由于在R1的周围出现2次色变化；在R2和R3的周围出现1次色变化，从而能够识别。并且，通过检测与白色部P4的位置关系，能够确认R1、R2、R3。并且，在9处增加彩色代码部P3的读取处理。若将用于彩色代码的色定为9色，则代码数能够表现9的阶乘＝362880代码。除此以外，能与图1(a)一样地处理。

图26的带彩色代码标板CT4是在图1(a)的带彩色代码标板CT1的外侧增加了黑色的黑区域部P5的图形。利用黑区域部P5能够抑制测量物的色和图案的影响。

图26的带彩色代码标板CT4，仅在图1(a)的带彩色代码标板CT1的外侧形成了黑区域部P5，所以处理和图1(a)的带彩色代码标板CT1相同。图1(a)以外的带彩色代码标板也能够形成黑区域部P5。

图27的带彩色代码标板CT5，取消了图1(b)的带彩色代码标板CT2的基准色部P2，增大了反向标板部P1的一个。

图27的带彩色代码标板CT5相当于R1的部分的反向标板增大，所以，与各反向标板部的R1、R2、R3相对应的标示处理，能检测出反向标板的尺寸即可。但是，相当于R1的部分的反向标板增大的部分，没有基准色部P2，所以很难判断彩色代码。

作为这时的对策，例如将用于彩色代码的色定为6色，若设置不重复使用相同色的限制，则在彩色代码部P3出现所有的代码色。这样，仅使各彩色代码部P3的色与6色的代码色相对应即可，而且，通过相对比较，能够进行彩色代码部P3的相互色。代码数与图1(b)的带彩色代码标板CT2一样能够表现720代码。

图28的带彩色代码标板CT6在图1(a)的带彩色代码标板CT1的反向标板部P1的R2、R3的部分和白色部P4配置基准色部P2，也用作带彩色代码标板的区域和方向的检测。反向标板部P1是R1部分一处。在图1(a)的带彩色代码标板CT1的基准色部P2部分可以配置彩色代码图形P3，增加一个彩色代码图形。

在将基准色部P2用于区域和方向的检测时，求出四边的图形的重心，用基准色光来检测亮度差，这样，精度比反向标板差，但与反向标板一样能够检测重心点。

图29的带彩色代码标板CT7使图1(a)的带彩色代码标板CT1的彩色代码部P3的区域减小，而且，将反向标板部P1的图形形成在R1的部分1处，将彩色代码图形形成在4处的小型的标板。在该带彩色代码标板CT7中也将基准色部P2用作区域和方向的检测。

图30的带彩色代码标板CT8是将图29的带彩色代码标板CT7的白色部P4置换为彩色代码部P3，将彩色代码图形形成5处的小型的标板。

图31的带彩色代码标板CT9是在图1(a)的带彩色代码标板CT1的单位图形之间形成了黑色的分离区域部P6的标板。这样，在区域和彩色的判断时能够减少错误。

图32的带彩色代码标板CT10是取代图1(a)的带彩色代码标板CT1的反向标板P1置换为模板图形P7的标板，以便能够与模板匹配检测相对应。与反向标板一样能够高精度地检测重心点。

图33的带彩色代码标板CT11是将图1(a)的带彩色代码标板CT1的反向标板P1作为彩色反向标板P8的标板。

在带彩色代码标板的方向决定中，利用由反向标板形成的三角形的内角的色数的不同来决定方向，但也可以考虑使带彩色代码标板的3个角的反向标板具有颜色、使各个反向标板反射的色不同的方法。例如，若变更为使用于带彩色代码标板的左上的反向标板返回红色反射光、右上的反向标板返回蓝色反射光、左下的反向标板返回绿色反射光，则通过判断该反射光的颜色，能够简单地处理带彩色代码标板的方向决定。

以上说明的涉及本发明的三维测量系统或带彩色代码标识，也可以按以下方法使用。

例如，在三维测量系统100中，具有：模型图像形成部48A，从一对投影图像根据由标定部标定的标定要素，来形成假定了坐标系的一对模型图像；以及模型图像存储部48B，存储一对模型图像；模型图像形成部48A对一连串的摄影图像根据由标定部44进行标定的标定要素来形成一连串模型图像；排列部47将一连串模型图像排列成由相邻的模型图像共有的带代码标识CT的识别代码一致，标定部44对涉及测量对象物1的一连串模型图像依次进行标定，使得对于已排列的一连串模型图像，由相邻的模型图像共有的带代码标识CT的基准点或对应点的坐标一致；模型图像形成部48A也可以根据由标定部44新标定的标定要素形成新的一连串模型图像。

若采用这样的结构，则能够使立体图像之间的核线在水平上成为相同的高度，所以容易进行标定。

例如，在三维测量系统100中，也可以由标定部44对一连串模型进一步进行采用线束法的标定，模型图像形成部48A根据由标定部44标定的标定要素形成新的一连串模型图像。

若采用这样的结构，则在整个图像上进行位置坐标调整，所以，能够使由标定产生的误差微小。

例如，在三维测量系统100中，也可以由标定部44重复进行标定处理，来形成新的一连串模型图像。

在此，最好交替地反复进行相互标定和采用线束法的标定。但也可以反复进行各种标定，标定处理的顺序是任意的。若采用这样的结构，则能够提高标定精度。

例如，在三维测量系统100中，也可以具有图像对应部56，使涉及测量对象物1的三维坐标数据和投影图像或模型图像，利用由标定部44求出的标定要素对应起来。

若采用这种结构，则能够获得高精度的三维图像。而且，希望三维图像数据用绝对坐标系来进行，但也可以使用相对坐标系。

例如，在三维测量系统100中，也可以由对应点搜索部43，对一对摄影图像或一对模型图像自动地设定搜索范围，以便至少包括4个带代码标识CT，来进行匹配处理。

若采用这种结构，则能够自动地设定立体匹配范围，能够使三维测量自动化。

例如在三维测量系统100中，带彩色代码标板CT在面内具有施加了作为色彩的基准用的多种色彩的基准色图形P2，也可以具有将施加在基准色图形P2的色彩作为基准对彩色代码图形P3的色彩进行校正的色彩校正部312。

在此，典型地采用红、绿、蓝作为基准色，只要能够识别不限于此。若采用这样的结构，则通过色校正来提高彩色代码识别的精度。

例如，在三维测量系统100中，提取部41将施加在基准色图形P2上的色彩和由图像投影装置10拍摄的测量对象物1的图像的色彩进行比较，也可以判断彩色代码图形P3。

若采用这种结构，由于使用基准色，所以能够提高彩色代码图形的判断精度。

例如，在三维测量系统100中，也可以是色彩校正部312以施加在基准色图形P2的色彩为基准，对由图像摄影装置拍摄的测量对象物1的图像的色彩进行校正。

若采用这种结构，则能够高精度地校正测量对象物的图像的色彩。

例如，在三维测量系统100中，也具有对带彩色代码标识CT进行投影的投影装置12。

若采用这种结构，则不粘贴带彩色代码标板，能够使投影自动化。

在带彩色代码标识中，也可以是位置检测用图形P1的形状和尺寸相同的结构。若采用这样的结构，则通过标准化很容易且确实地提取位置检测用图形。

在带彩色代码标识中，也可以是位置检测用图形P1在中心具有圆形图形的结构。若采用这样的结构，则能够高精度地检测出位置检测用图形的重心位置。

在带彩色代码标识中，也可以是在未配置位置检测用图形P1的一个角上配置与检测用图形P1不同的图形P4的结构。若采用这样的结构，则有助于确认位置检测用图形。

在带彩色代码标识中，也可以是3个位置检测用图形P1的色彩不同的结构。若采用这样的结构，则位置检测用图形本身能够兼用于基准色图形或彩色代码图形。

在带彩色代码标识中，也可以是彩色代码图形P3由形状和尺寸相同、色彩不同的多个单位图形构成的结构。在此，形状相同的图形中也包括旋转图形和反转图形。若采用这样的结构，则通过标准化能够容易且确实地提取彩色代码图形。并且，容易判断彩色代码。

在带彩色代码标识中，也可以是基准色图形2由形状和尺寸相同、色彩不同的多个单位图形构成的结构。若采用这样的结构，则通过标准化能够容易且确实地提取基准色图形。

在带彩色代码标识中，也可以是在一个位置检测用图形P1的周围，配置有基准色图形P2、在其他位置检测用图形P1的周围配置有上述彩色代码图形的结构。若采用这样的结构，则容易提取基准色图形。

在带彩色代码标识中，也可以是在一个位置检测用图形P1的周围配置的基准色图形的数量和在其它位置检测用图形的周围配置的彩色代码图形的数量不同。若采用这样的结构，则通过扫描位置检测用图形的周围，容易提取应测量的位置检测用图形。

在带彩色代码标识中，也可以是基准色图形P2中的单位图形的色彩全部包含在彩色代码图形P3中的单位图形的色彩中。若采用这样的结构，则容易进行彩色代码图形的颜色判断和图像的色校正。

带彩色代码标识图章(seal)可以用作对带彩色代码标识CT进行描绘的带彩色代码标识图章。若采用这样的结构，通过将带彩色代码标识粘贴在测量对象物上使用，一目了然，能够容易识别标识，能够促进三维测量的高效率和自动化。

再者，将多个带彩色代码标识图章进行组合来构成带彩色代码标识图章组合，在一组带彩色代码标识图章组合中，各带彩色代码标识图章的彩色代码图形P3的形状和尺寸相同，配色全部不同。在此，配色全都不同是指比较图章组合中的某2个标识的情况下，在相当于彩色代码图形内的相同位置的至少1个以上单位图形中色彩不同。若采用这样的结构，则由于使用带彩色代码标识图章组合，即使使用多个带彩色代码标识CT也一目了然，能够容易识别标识，有助于三维测量自动化。

作为带彩色代码标识提取装置，也可以是具有：提取部41，从包括带彩色代码标识CT的测量对象物的图像中提取带彩色代码标识CT；识别代码判断部46，根据提取出的带彩色代码标识CT的彩色代码图形P3，判断带彩色代码标识CT的识别编号；以及标识信息存储部150，使提取出的带彩色代码标识CT的位置检测用图形P1的位置坐标和由识别代码判断部46判断的识别编号相关联进行存储。若采用这样的结构，则能够提供可以判断带彩色代码标识CT的代码的带彩色代码标识提取装置。

作为三维测量系统，具有：图像摄影装置(或摄像部)10，拍摄包括带彩色代码标识的测量对象物；提取部41，从由图像摄影装置10拍摄的测量对象物的图像中，提取带彩色代码标识CT；识别代码判断部46，根据提取出的带彩色代码标板CT的位置检测用图形P1和彩色代码图形P3，判断带彩色代码标识CT的识别代码；标识信息存储部150，使提取出的带彩色代码标识CT的位置检测用图形P1的位置坐标和由识别代码判断部48判断的识别代码相关联进行存储；以及三维测量部50，根据利用多个带彩色代码标识CT测量的带彩色代码标识CT的位置，来测量测量对象物的三维坐标或三维形状。若采用这样的结构，则由于对带彩色代码标识的代码进行判断利用，所以能够提供有利于高效率、自动化的三维测量装置。

并且，也可以作为可由计算机读取的程序来实现，使计算机执行本发明的三维测量方法。程序也可以存储在对应部40或显示图像形成部50的内部存储器中使用，也可以存储在系统以外的存储装置内使用，也可以从互联网上下载使用。并且，也可以作为记录该程序的记录媒体来实现。

以上说明了本发明的实施方式，但是很清楚本发明并不仅限于上述实施方式，在不脱离本发明的宗旨的范围内能够对实施方式进行各种变更。例如在以上的实施方式中，说明了用立体摄像机来拍摄一对图像的例子，但也可以使摄像机位置仅偏移少许拍摄一对图像。并且，关于标定说明了互相标定和采用线束法进行标定的例子，但也可以交替地重复这些标定提高标定精度，也可以反复各种标定来提高标定精度。并且，以上说明了对立体图像的匹配采用相互相关系数法的例子，但是也可以采用残差按序检测法或最小二次方匹配法。

并且，在上述实施方式中，说明了不进行三维位置数据测量而进行标定，进行运算处理而求出测量对象物的三维坐标的例子，但也可以在标定前预先进行三维测量，利用该数据来进行标定，也可以这样更改工序的顺序。并且，在上述实施方式中，由立体二维图像形成部根据三维坐标数据来形成立体的二维图像，由图像对应部利用由标定部求出的标定要素，使三维坐标数据和投影图像或模型图像对应；但也可以使立体二维图像形成部吸收图像对应部的功能而一并处理。并且，也可以在立体二维图像的显示中，利用线框架显示和结构匹配使立体显示容易理解。并且，带彩色代码标识的图形也可以有许多图形，作为参考图形，也可以是除反向标板以外的图形，例如黑底除白的圆、或者与此相反白底除黑的圆，大地色或将除去颜色设为蓝、红、黄等其他色，也可以是◎、+、□、☆等符号。

并且，在以上的实施方式中主要说明了单位图形为正方形的带彩色代码标识的例子。但也可以是棒状图形、圆形图形等其他形状，并且也可以是组合条码等和色彩形成彩色代码。

再者，也可以取代粘贴带彩色代码标板CT、或者与粘贴带彩色代码标板CT并用，利用投影装置将带彩色代码标板CT投影到测量对象物上使用。并且，也可适当变更彩色代码提取单元的结构、带彩色代码标板的提取流程。

与本发明的说明(尤其关于权利要求项目)关联使用的名词和同样的指示语的使用，在本说明书中，没有特别指出或不与文理明显矛盾的情况下，可以解释为涉及到单数和复数两者。语句“具有”“有”“包含”“含有”“包括”在没有特别说明的情况下，应解释为无限制词汇(即“包括…但不限定”的意思)。本说明书中的数值范围的详细叙述，只要在本说明书中没有特别指出，就仅仅表示具有用来提及相当于该范围内的各个值的概述的作用，如在本说明书分别列举那样，各个值均包括在说明书中。本说明书中说明的所有方法，只要在本说明书中没有特别指出、或者不与文理明显矛盾，就可以按各种适当的顺序来进行。在本说明书中使用的所有例子或例示的说法(例如“等”)，只要没有特别主张，就只是为了更好地说明本发明，并非对本发明的范围进行限制。本说明书中的任何说法，均不得解释为表示本发明的实施所不可缺少的、权利要求项目中未叙述的要素。

在本说明书中，为了实施本发明，说明了包括本发明人已知的最佳方式的本发明最佳实施方式。对于本领域技术人员，在阅读上述说明后，能够清楚这些最佳实施方式的变形。本发明人希望熟练人员适当地使用这样的变形，预定用在本说明书中具体说明以外的方法来实施本发明。因此，本发明像依据法允许的那样，包括附加在本说明书的权利要求项目所述的全部内容的修改和等同物。再者，只要本说明书中没有特别指出，或者不与文理明显矛盾，所有变形中的上述要素的任一组合均包含在本发明内。

产业上的可利用性

本发明能够作为以非接触方式来对对象物进行三维测量、以及作为以非接触方式来对对象物进行三维测量的标识来使用。

Claims (10)

1.一种三维测量系统，其特征在于，具有：

图像数据存储部，存储从2个方向拍摄成包括带代码标识的测量对象物的一对摄影图像，上述带代码标识在面内具有用于表示测量位置的位置检测用图形、和用于识别标识的代码图形；

提取部，从上述一对摄影图像中提取上述带代码标识的位置检测用图形和代码图形；

识别代码判断部，根据由上述提取部提取出的带代码标识的代码图形，判断上述带代码标识的识别代码；

基准点设定部，对上述一对摄影图像中的一个，根据由上述提取部提取出的带代码标识的位置检测用图形，设定上述带代码标识的基准点；

对应点搜索部，对上述一对摄影图像中的另一个，根据由上述提取部提取出的带代码标识的位置检测用图形，利用由上述识别代码判断部判断出的识别代码来搜索与上述基准点相对应的对应点；以及

标定部，根据上述基准点和上述对应点，对上述一对摄影图像进行标定处理。

2.如权利要求1所述的三维测量系统，其特征在于，上述代码图形是施加了多种色彩的彩色代码图形，上述带代码标识是带彩色代码标识。

3.如权利要求1或2所述的三维测量系统，其特征在于，具有排列部，该排列部对由图像摄影装置拍摄成各摄影图像至少包括3个上述带代码标识、而且在相邻的摄影图像之间至少共有2个上述带代码标识的一连串摄影图像，将上述一连串摄影图像的排列设定成使得由相邻的摄影图像共有的带代码标识的识别代码一致。

4.如权利要求3所述的三维测量系统，其特征在于，上述标定部对与上述测量对象物有关的一连串摄影图像依次进行标定，以使对于上述一连串摄影图像，与由相邻的摄影图像上述共有的带代码标识有关的基准点或对应点的坐标一致。

5.如权利要求1或2所述的三维测量系统，其特征在于，具有标识信息存储部，该标识信息存储部将上述提取出的带彩色代码标识的位置检测用图形的位置坐标、以及由上述识别代码判断部判断出的识别代码相关联起来进行存储。

6.一种三维测量方法，其特征在于，具有：

摄影工序，从2个方向拍摄测量对象物以便包括带代码标识，上述带代码标识在面内具有用于表示测量位置的位置检测用图形、和用于识别标识的代码图形；

图像数据存储工序，存储通过上述摄影工序拍摄的上述测量对象物的一对摄影图像；

提取工序，从上述一对摄影图像中提取上述带代码标识的位置检测用图形和代码图形；

识别代码判断工序，根据通过上述提取工序提取出的带代码标识的代码图形，判断上述带代码标识的识别代码；

基准点设定工序，对上述一对摄影图像中的一个，根据由上述提取部提取出的带代码标识的位置检测用图形，设定上述带代码标识的基准点；

对应点搜索工序，对上述一对摄影图像中的另一个，根据由上述提取部提取出的带代码标识的位置检测用图形，利用由上述识别代码判断部判断出的识别代码，搜索与上述基准点相对应的对应点；以及

标定工序，根据上述基准点和上述对应点，对上述一对摄影图像进行标定处理。

7.如权利要求6所述的三维测量方法，其特征在于，上述代码图形是施加了多种色彩的彩色代码图形，上述带代码标识是带彩色代码标识。

8.一种带彩色代码标识，其特征在于，

在面内具有用于表示测量位置的位置检测用图形以及彩色代码图形，该彩色代码图形配置成相对于上述位置检测用图形具有预定的位置关系并施加了用于识别标识的多种色彩。

9.如权利要求8所述的带彩色代码标识，其特征在于，

在上述面内具有施加了作为色彩的基准使用的多种色彩的基准色图形。

10.如权利要求8或9所述的带彩色代码标识，其特征在于，

上述位置检测用图形配置在四边形的3个角。

Images