CN111521127A - 测量方法、测量装置以及记录介质 - Google Patents

测量方法、测量装置以及记录介质 Download PDF

Info

Publication number
CN111521127A
CN111521127A CN202010075382.XA CN202010075382A CN111521127A CN 111521127 A CN111521127 A CN 111521127A CN 202010075382 A CN202010075382 A CN 202010075382A CN 111521127 A CN111521127 A CN 111521127A
Authority
CN
China
Prior art keywords
image
region
display
point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075382.XA
Other languages
English (en)
Other versions
CN111521127B (zh
Inventor
坂本阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN111521127A publication Critical patent/CN111521127A/zh
Application granted granted Critical
Publication of CN111521127B publication Critical patent/CN111521127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种测量方法、测量装置以及记录介质，能够在多个图像中设定测量所使用的多个点。在测量装置中，显示控制部在显示器的第一区域显示一张第一图像。在所述第一图像中设定第一点之后，所述显示控制部将所述第一区域内的所述第一图像设为非显示，并且将一张第二图像显示于所述第一区域。设定部在所述第一图像中设定所述第一点，在所述第二图像中设定第二点。生成部基于摄像机在生成各图像时的位置和姿势，来生成被摄体的三维形状。测量部至少基于所述第一点、所述第二点以及所述三维形状来测量所述被摄体的大小。

Description

测量方法、测量装置以及记录介质
技术领域
本发明涉及一种测量方法、测量装置以及记录介质。
背景技术
正在开发一种使用按互不相同的多个视点获得的多个图像来重建被摄体的三维形状的技术。在本说明书中，将该技术称为SfM(Structure from Motion：运动恢复结构)。通过使用该技术，能够基于运动图像或多个静止图像重建被摄体的三维形状，并且能够测量被摄体的大小。
在通过使用该技术执行了三维形状的重建(3D重建)的情况下，在原理上重建出不具有绝对尺寸而具有相对比例的三维形状。因此，通过对所得到的三维形状设定已知的尺寸，由此能够执行绝对尺寸(长度的量纲)下的测量。例如，在专利文献1和专利文献2中公开了以下内容：通过将SfM与绝对尺寸输入组合，来执行3D重建和测量。
在专利文献1中公开了如下一种方法：通过将SfM与已知的摄像机的运动组合，来执行绝对尺寸下的3D重建和测量。在专利文献2中公开了如下一种方法：基于用户在图像上指定的已知的被摄体尺寸，来执行绝对尺寸下的3D重建和测量。
现有技术文献
专利文献
专利文献1：日本特许第3347385号公报
专利文献2：日本特开2005-189055号公报
发明内容
发明要解决的问题
在使用SfM对被摄体进行的3D重建中，与以往的立体测量相比较，存在能够扩展3D重建的范围的优点。在立体测量中，使用左右两张图像，但是在SfM中能够使用三张以上的图像。由于具有这个优点，因此即使是被摄体具有进入不到一张图像的视场中那样的大尺寸的情况，也能够通过由摄像机在接近被摄体的状态下以多个视点获取图像，来维持测量精度并执行测量。在对这种进入不到一张图像的视场中那样的大尺寸进行测量的情况下，需要在以互不相同的多个视点获得的多个图像中指定用于进行尺寸测量的测量点和用于决定已知的成为基准的长度的基准点。测量点表示被摄体上的测量位置。基准点表示被摄体上的基准尺寸的位置。
然而，在专利文献1和专利文献2中，没有假定将进入不到一张图像的视场中那样的存在于远离的两个位置处的点设定为测量点或基准点的情况。例如，在专利文献1中，没有公开与用于实际执行测量的用户的操作过程和用户接口有关的事项。在专利文献2中，仅假定了在一个图像上设定多个点的状况。
本发明的目的在于提供一种能够在多个图像中设定测量所使用的多个点的测量方法、测量装置以及程序。
用于解决问题的方案
本发明是一种测量方法，具有以下步骤：第一图像显示步骤，显示控制部在显示器的第一区域显示一张作为被摄体的二维图像的第一图像；第一设定步骤，设定部在显示于所述第一区域的所述第一图像中设定第一点；第二图像显示步骤，在所述第一图像中设定所述第一点之后，所述显示控制部将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；第二设定步骤，所述设定部在显示于所述第一区域的所述第二图像中设定第二点；生成步骤，生成部基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及测量步骤，测量部至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
本发明的测量方法的特征在于，还具有第三图像显示步骤，在所述第三图像显示步骤中，在所述第一区域显示着所述第一图像的期间，所述显示控制部在所述显示器的与所述第一区域不同的第二区域显示至少两张第三图像，各个所述第三图像与多个所述第二图像中包括的某一张所述第二图像对应，在接收到选择显示于所述第二区域的所述至少两张所述第三图像中的一张所述第三图像的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将与所选择的所述第三图像对应的所述第二图像显示于所述第一区域。
在本发明的测量方法中，其特征在于，所述第一区域内的所述第一图像的面积比所述第二区域内的所述第二图像的面积大。
在本发明的测量方法中，其特征在于，在所述第三图像显示步骤中，所述显示控制部在所述第二区域内强调显示与所述第一图像对应的第四图像。
在本发明的测量方法中，其特征在于，在所述第二图像显示步骤中，所述显示控制部对与显示于所述第一区域的所述第二图像对应的所述第三图像进行强调显示。
在本发明的测量方法中，其特征在于，在所述第三图像显示步骤中，所述显示控制部将所述至少两张所述第三图像在所述第二区域内按基于各图像的视场的关系的顺序排列。
在本发明的测量方法中，其特征在于，在多个所述第二图像中包括的两张所述第二图像的视场彼此重叠的大小超过规定量的情况下，在所述第三图像显示步骤中，所述显示控制部在所述第二区域显示仅与所述两张所述第二图像中的一方对应的所述第三图像。
在本发明的测量方法中，其特征在于，在所述第三图像显示步骤中，所述显示控制部在所述第三图像上强调显示在所述第一图像的视场中不包括且在与所述至少两张所述第三图像对应的所述第二图像中的两张以上所述第二图像的视场中共同包括的区域。
在本发明的测量方法中，其特征在于，在所述第二图像显示步骤中，所述显示控制部在所述第三图像上强调显示在显示于所述第一区域的所述第二图像的视场中不包括且在与所述至少两张所述第三图像对应的所述第二图像中的两张以上所述第二图像的视场中共同包括的区域。
在本发明的测量方法中，其特征在于，在所述第二图像显示步骤和所述第三图像显示步骤中的至少一个步骤中，所述显示控制部在所述第三图像上强调显示仅在与所述至少两张所述第三图像对应的所述第二图像中的一张所述第二图像的视场中包括的区域。
在本发明的测量方法中，其特征在于，在所述第三图像显示步骤中，所述显示控制部在所述第一图像上强调显示仅在所述第一图像的视场中包括的区域。
在本发明的测量方法中，其特征在于，在所述第二图像显示步骤中，所述显示控制部在显示于所述第一区域的所述第二图像上强调显示仅在显示于所述第一区域的所述第二图像的视场中包括的区域。
在本发明的测量方法中，其特征在于，还具有点显示步骤，在所述点显示步骤中，所述显示控制部在所述第三图像上放大显示包括与所述第一点或所述第二点对应的第三点的区域。
在本发明的测量方法中，其特征在于，在所述第一图像中设定所述第一点并且接收到视场的移动方向的指示之后，所述显示控制部将所述第一区域内的所述第一图像设为非显示，并且将具有从所述第一图像的视场沿所述移动方向移动后的视场的所述第二图像显示于所述第一区域。
本发明的测量方法的特征在于，还具有以下步骤：合成步骤，合成部通过将多个所述第二图像进行粘贴来生成合成图像；以及合成图像显示步骤，所述显示控制部在所述显示器的与所述第一区域不同的第二区域显示所述合成图像，其中，在所述第一图像中设定所述第一点并且接收到指定所述合成图像上的区域的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将包括所指定的所述区域的所述第二图像显示于所述第一区域。
本发明的测量方法的特征在于，还具有三维图像显示步骤，在所述三维图像显示步骤中，所述显示控制部在所述显示器的与所述第一区域不同的第二区域显示表示所述三维形状的三维图像，还包括：在所述第一图像中设定所述第一点并且接收到指定所述三维图像上的区域的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将包括与所指定的所述区域对应的区域的所述第二图像显示于所述第一区域。
本发明的测量方法的特征在于，还具有以下步骤：第四图像显示步骤，在设定所述第二点之后，所述显示控制部将所述第一区域内的所述第二图像设为非显示，将所述第一图像显示于所述第一区域，并且在所述第一图像上强调显示所述第一点；以及修正步骤，在对所述第一点进行强调显示之后，所述设定部对在所述第一图像中设定的所述第一点的位置进行修正。
在本发明的测量方法中，其特征在于，所述图像组中包括的各图像为立体图像，所述立体图像包括从第一视点观看到的所述被摄体的图像及从与所述第一视点不同的第二视点观看到的所述被摄体的图像。
本发明是一种测量装置，具有：显示控制部，其在显示器的第一区域显示一张作为被摄体的二维图像的第一图像，在所述第一图像中设定第一点之后，将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；设定部，其在显示于所述第一区域的所述第一图像中设定所述第一点，在显示于所述第一区域的所述第二图像中设定第二点；生成部，其基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及测量部，其至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
本发明是一种记录介质，记录有程序，该程序用于使计算机执行以下步骤：第一图像显示步骤，在显示器的第一区域显示一张作为被摄体的二维图像的第一图像；第一设定步骤，在显示于所述第一区域的所述第一图像中设定第一点；第二图像显示步骤，在所述第一图像中设定所述第一点之后，将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；第二设定步骤，在显示于所述第一区域的所述第二图像中设定第二点；生成步骤，基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及测量步骤，至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
发明的效果
根据本发明，测量方法、测量装置以及程序能够在多个图像中设定测量所使用的多个点。
附图说明
图1是示出本发明的第一实施方式的测量装置的硬件结构的框图。
图2是示出本发明的第一实施方式的测量装置所具有的CPU的功能结构的框图。
图3是示出本发明的第一实施方式的测量装置执行的处理过程的流程图。
图4是示出本发明的第一实施方式的测量装置执行的处理过程的流程图。
图5是示出在本发明的第一实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图6是示出在本发明的第一实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图7是示出在本发明的第一实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图8是示出本发明的第一实施方式中的各图像及其视场的图。
图9是示出本发明的第一实施方式中的各图像及其视场的图。
图10是示出在本发明的第一实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图11是示出在本发明的第一实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图12是示出本发明的第一实施方式中的图像获取的状况的示意图。
图13是示出本发明的第一实施方式中的用于生成三维模型的处理过程的流程图。
图14是示出在本发明的第一实施方式的第一变形例的测量装置所具有的显示器上显示的图像的例子的图。
图15是示出在本发明的第一实施方式的第一变形例的测量装置所具有的显示器上显示的图像的例子的图。
图16是示出本发明的第一实施方式的第二变形例的测量装置执行的处理过程的流程图。
图17是示出在本发明的第一实施方式的第二变形例的测量装置所具有的显示器上显示的图像的例子的图。
图18是示出本发明的第二实施方式的测量装置所具有的CPU的功能结构的框图。
图19是示出本发明的第二实施方式的测量装置执行的处理过程的流程图。
图20是示出本发明的第二实施方式的测量装置执行的处理过程的流程图。
图21是示出本发明的第二实施方式中的各图像的视场的图。
图22是示出本发明的第二实施方式中的各图像的视场的图。
图23是示出在本发明的第二实施方式中在两张以上的图像的视场中共同包括的区域的图。
图24是示出本发明的第二实施方式中的各图像的视场的图。
图25是示出在本发明的第二实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图26是示出在本发明的第二实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图27是示出在本发明的第二实施方式的变形例的测量装置所具有的显示器上显示的图像的例子的图。
图28是示出在本发明的第二实施方式的变形例的测量装置所具有的显示器上显示的图像的例子的图。
图29是示出本发明的第三实施方式的测量装置所具有的CPU的功能结构的框图。
图30是示出本发明的第三实施方式的测量装置执行的处理过程的流程图。
图31是示出在本发明的第三实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图32是示出本发明的第三实施方式的变形例的测量装置执行的处理过程的流程图。
图33是示出在本发明的第三实施方式的变形例的测量装置所具有的显示器上显示的图像的例子的图。
图34是示出本发明的第四实施方式的测量装置所具有的CPU的功能结构的框图。
图35是示出本发明的第四实施方式的测量装置执行的处理过程的流程图。
图36是示出本发明的第四实施方式的测量装置执行的处理过程的流程图。
图37是示出本发明的第五实施方式的测量装置执行的处理过程的流程图。
图38是示出在本发明的第五实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图39是示出在本发明的第五实施方式的测量装置所具有的显示器上显示的图像的例子的图。
图40是示出在本发明的第五实施方式的变形例的测量装置所具有的显示器上显示的图像的例子的图。
图41是示出在本发明的第五实施方式的变形例的测量装置所具有的显示器上显示的图像的例子的图。
图42是示出本发明的第六实施方式的测量系统的结构的框图。
图43是示出本发明的第六实施方式的测量装置的硬件结构的框图。
图44是示出本发明的第六实施方式的测量装置所具有的CPU的功能结构的框图。
图45是示出本发明的第六实施方式的3D模型生成装置的硬件结构的框图。
图46是示出本发明的第六实施方式的3D模型生成装置所具有的CPU的功能结构的框图。
图47是示出本发明的第六实施方式的测量装置执行的处理过程的流程图。
图48是示出本发明的第六实施方式的3D模型生成装置执行的处理过程的流程图。
附图标记说明
1、1d：测量装置；2：测量系统；3：3D模型生成装置；10：图像输入装置；11、31：硬盘；12、32：操作部；12a、32a：鼠标；12b、32b：键盘；13、13a、13b、13c、13d、33：CPU；14、34：存储器；15、35：显示器；16、30：通信装置；20：图像再现部；21、21d：3D模型获取部；22、22a、22b、22c：测量处理部；200：图像存储控制部；201：图像再现控制部；202：基准图像选择部；210：图像提取部；211、331：3D模型生成部；212、330：通信控制部；220：基准点设定部；221：显示控制部；222：基准长度设定部；223：显示图像选择部；224：测量点设定部；225：坐标变换部；226：测量部；227：区域检测部；228：合成部。
具体实施方式
下面，参照附图说明本发明的实施方式。本发明的各实施方式的测量装置为PC(Personal Computer：个人计算机)那样的装置。PC的种类不限，可以是桌上电脑(desktop)、笔记本电脑(laptop)以及平板电脑(tablet)中的任一种。测量装置也可以是被安装于特定的装置或系统的嵌入设备。测量装置也可以处于云端的环境。被摄体为工业产品。
(第一实施方式)
对本发明的第一实施方式进行说明。图1示出第一实施方式的测量装置1的硬件结构。图1所示的测量装置1具有图像输入装置10、硬盘11、操作部12、CPU(CentralProcessing Unit：中央处理单元)13、存储器14以及显示器15。
图像输入装置10从外部装置接收图像。例如，图像输入装置10利用线缆或无线来与外部装置连接。例如，外部装置为硬盘或存储器那样的存储装置。存储装置中所存储的图像被输入到图像输入装置10。外部装置可以为LAN(Local Area Network：局域网)或因特网那样的网络上的设备。图像输入装置10可以与该设备之间执行通信并且从该设备接收图像。
硬盘11存储由图像输入装置10接收到的图像。测量装置1也可以是具有SSD(SolidState Drive：固态驱动器)来取代硬盘。
操作部12为用户接口(输入接口)。操作部12具有鼠标12a和键盘12b。用户通过对鼠标12a和键盘12b进行操作，来输入测量点及基准点等信息。操作部12也可以包括按钮、开关、键、操纵杆、触摸板、跟踪球以及触摸面板中的至少一个。
CPU 13执行用于被摄体的三维形状的生成(重建)和测量的处理。参照图2在后面记述CPU 13的功能。
存储器14为易失性或非易失性的存储器。例如，存储器14为RAM(Random AccessMemory：随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、SRAM(Static Random Access Memory：静态随机存取存储器)、ROM(Read Only Memory：只读存储器)、EPROM(Erasable Programmable Read Only Memory：可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)以及快闪存储器中的至少一个。存储器14存储由图像输入装置10接收到的图像或由CPU 13进行处理得到的图像。
显示器15为液晶显示器等那样的监视器。显示器15也可以为触摸面板显示器。在该情况下，操作部12和显示器15被一体化。
图2示出CPU 13的功能结构。通过图像再现部20、3D模型获取部21以及测量处理部22来构成CPU 13的功能。
图像再现部20具有图像存储控制部200、图像再现控制部201以及基准图像选择部202。
图像存储控制部200将由图像输入装置10接收到的时间序列图像存储到硬盘11或存储器14。时间序列图像(图像组)包括由摄像机生成的至少三张图像。时间序列图像中包括的各图像为被摄体的二维图像。时间序列图像中包括的各图像与时间序列图像中包括的其它图像按时间序列的顺序进行关联。例如，时间序列图像为运动图像。时间序列图像也可以是附加有时间戳的连续静止图像组。运动图像或静止图像的扩展名不被限定。
图像再现控制部201对时间序列图像进行再现，并且将时间序列图像显示于显示器15。图像再现控制部201包括快进、暂停以及后退等基本的图像再现功能。
基准图像选择部202选择生成表示被摄体的三维形状的3D模型所使用的基准图像。在显示了希望指定测量点或基准点的图像时，用户对操作部12进行操作来输入3D模型生成开始指示。基准图像选择部202从操作部12接收3D模型生成开始指示。基准图像选择部202在接收到3D模型生成开始指示时，将显示于显示器15的图像选择为基准图像。
3D模型获取部21具有图像提取部210和3D模型生成部211。
图像提取部210基于由基准图像选择部202选择的基准图像，来从时间序列图像中提取至少三张图像。在下面的例子中，至少三张图像包括由基准图像选择部202选择的基准图像。
3D模型生成部211估计摄像机在生成由图像提取部210提取出的各图像时的位置和姿势。3D模型生成部211基于所估计出的位置和姿势，生成被摄体的3D模型。3D模型(三维坐标组)包括被摄体的三维坐标的数据。3D模型也可以仅包括由用户指定的至少两个点的三维坐标的数据。例如，也可以是，在图像中设定了后述的基准点和测量点之后，3D模型生成部211基于设定有各点的图像来生成仅包括各点的三维坐标的数据的3D模型。
所生成的3D模型可以被显示于显示器15。或者，所生成的3D模型也可以不被显示于显示器15。本发明的实施方式不受是否显示所生成的3D模型影响。
测量处理部22具有基准点设定部220、显示控制部221、基准长度设定部222、显示图像选择部223、测量点设定部224、坐标变换部225以及测量部226。
用户对操作部12进行操作来输入表示基准尺寸的位置的基准点的位置信息(坐标)。基准点设定部220从操作部12接收基准点的位置信息。基准点设定部220在接收到基准点的位置信息时，在显示于显示器15的图像中设定基准点。在位置信息所表示的图像上的位置处设定基准点。基准点的位置信息被存储到硬盘11或存储器14。通过将基准点与特定的图像进行关联，来设定基准点。
用户对操作部12进行操作来输入表示基准尺寸的基准长度。基准长度设定部222从操作部12接收基准长度。基准长度是为了使3D模型与实际的被摄体的比例一致而使用的。基准长度设定部222在接收到基准长度时，在显示于显示器15的图像中设定基准长度。基准长度被存储到硬盘11或存储器14。通过将基准长度与特定的图像进行关联，来设定基准长度。
下面，假定基于来自用户的指示设定基准点和基准长度的情况。也可以自动设定基准点和基准长度。例如，用户预先指定的基准点和基准长度的信息被存储到硬盘11或存储器14。该信息也可以表示在过去执行测量时所设定的基准点和基准长度。基于该信息来设定基准点和基准长度。
用户对操作部12进行操作来输入表示测量位置的测量点的位置信息(坐标)。测量点设定部224从操作部12接收测量点的位置信息。测量点设定部224在接收到测量点的位置信息时，在显示于显示器15的图像中设定测量点。在位置信息所表示的图像上的位置处设定测量点。测量点的位置信息被存储到硬盘11或存储器14。通过将测量点与特定的图像进行关联，来设定测量点。为了执行测量，需要至少两个测量点。
测量点或基准点的指定是指用户对测量装置1指示测量点或基准点。用户通过指定图像上的位置，来指定测量点或基准点。测量点的设定是指测量点设定部224将测量点与图像进行关联。基准点的设定是指基准点设定部220将基准点与图像进行关联。
下面，有时将指定测量点和基准点中的任意一方而在图像中设定的点记载为指定点。指定点是包括测量点和基准点的表达。为使说明易于理解，也存在使用测量点或基准点而不使用指定点的情况。
在本说明书中，为了方便，使用了“点”这个词，但是指定点不需要是与画面上的一个像素对应的一个点。指定点可以包括任意大小的区域。指定点也可以包括能够以子像素为单位指定的区域。
显示控制部221将由图像提取部210提取出的至少三张图像中的一张图像显示于显示器15。在生成3D模型之后，显示控制部221将由基准图像选择部202选择的基准图像(第一图像)显示于显示器15。在基于用户输入的指定点的位置信息来在基准图像中设定了指定点之后，显示控制部221切换显示器15所显示的图像。也就是说，显示控制部221将基准图像设为非显示，并且将除基准图像以外的其它图像(第二图像)显示于显示器15。基于用户输入的指定点的位置信息，来在该图像中设定指定点。在执行测量之后，显示控制部221将测量结果显示在图像上。
用户对操作部12进行操作来输入图像切换指示。显示图像选择部223从操作部12接收图像切换指示。显示图像选择部223在接收到图像切换指示时，从由图像提取部210提取出的至少三张图像中选择一张图像。显示控制部221将由显示图像选择部223选择的图像显示于显示器15。
坐标变换部225通过使用基准点和基准长度来执行坐标变换。具体地说，坐标变换部225将由3D模型生成部211生成的3D模型变换为具有长度的量纲的3D模型。在执行坐标变换之前，3D模型不具有长度的量纲，没有确定3D模型上的长度。该3D模型与实际的被摄体的大小仅具有相似关系。
测量部226基于至少两个测量点和3D模型，来计算与各测量点对应的三维坐标。测量部226基于与各测量点对应的三维坐标，来测量被摄体的三维的尺寸。生成3D模型所使用的图像上的位置与其在3D模型上的位置被相互关联。在图像上指定了测量点之后，测量部226能够获取与该测量点对应的三维坐标。同样地，在图像上指定了基准点之后，坐标变换部225能够获取与该基准点对应的三维坐标。
图2所示的CPU 13内的模块中的至少一个模块可以由与CPU 13不同的电路构成。CPU 13内的各部可以由处理器和逻辑电路中的至少一个构成。例如，处理器为CPU、DSP(Digital Signal Processor：数字信号处理器)以及GPU(Graphics Processing Unit：图形处理单元)中的至少一个。例如，逻辑电路为ASIC(Application Specific IntegratedCircuit：专用集成电路)和FPGA(Field-Programmable Gate Array：现场可编程门阵列)中的至少一个。CPU 13内的各部能够包括一个或多个处理器。CPU 13内的各部能够包括一个或多个逻辑电路。
CPU 13也可以读入程序并且执行所读入的程序。该程序包括对CPU 13的动作进行规定的命令。也就是说，CPU 13的功能也可以通过软件来实现。该程序例如可以通过如快闪存储器那样的“计算机可读记录介质”来提供。该程序也可以是从保持该程序的计算机经由传输介质、或利用传输介质中的传输波被传输到测量装置1。传输程序的“传输介质”为具有传输信息的功能的介质。具有传输信息的功能的介质包括因特网等网络(通信网)及电话线路等通信线路(通信线)。上述的程序也可以实现上述功能的一部分。并且，上述的程序也可以是差分文件(差分程序)。已经记录于计算机的程序与差分程序的组合也可以实现上述的功能。
在第一实施方式中，为了方便，假定由用户指定执行测量所需要的最小数量的指定点的情况。最小的数量为4个。即使在指定点的数量超过4个的情况下，测量方法也与指定4个点的情况基本相同。因此，省略对指定超过4个指定点的情况的说明。
下面，指定两个基准点，并且指定两个基准点间的基准长度。下面，指定两个测量点。
参照图3和图4说明为了进行3D模型的生成和测量而执行的处理过程。图3和图4示出CPU 13执行的处理过程。
图像存储控制部200对图像输入装置10进行控制，接收包括多个图像的时间序列图像(步骤S101)。在步骤S101之后，图像存储控制部200将时间序列图像存储到硬盘11或存储器14中(步骤S102)。在步骤S102之后，图像再现控制部201从硬盘11或存储器14读出时间序列图像，并且将时间序列图像中包括的各图像按顺序显示于显示器15(步骤S103)。
在显示图像之后，用户通过使用基本的图像再现功能，来确认时间序列图像中包括的各图像。用户确认在被摄体上是否存在测量对象。在用户确认出在被摄体上存在测量对象的情况下，用户对操作部12进行操作来输入3D模型生成开始指示。基准图像选择部202从操作部12接收3D模型生成开始指示，并且将显示于显示器15的图像选择为基准图像(步骤S104)。
图5示出在步骤S104中显示于显示器15的图像的例子。在显示器15的画面上显示有图像SI100、菜单ME1以及进度条BA1。
图像SI100为时间序列图像中包括的一张静止图像。菜单ME1向用户提供时间序列图像的再现功能。进度条BA1表示图像SI100在时间序列图像中的位置。
在菜单ME1上显示按钮BT10、按钮BT11以及按钮BT12。按钮BT10为用于指示再现时间序列图像的按钮。按钮BT11是用于暂停时间序列图像的再现的按钮。按钮BT12是用于输入3D模型生成开始指示的按钮。用户能够通过操作部12来按下各按钮。在显示器15为触摸面板的情况下，用户能够在画面上按下各按钮。
用户通过按下按钮BT10或按钮BT11，来对时间序列图像的再现进行控制。用户在进行这种操作的期间内，确认在时间序列图像的各图像中是否存在测量对象。在显示了拍摄到测量对象的图像SI100时，用户按下按钮BT11来暂停时间序列图像的再现。用户按下按钮BT12来输入3D模型生成开始指示。
在输入了3D模型生成开始指示之后，用户对操作部12进行操作来输入表示用于生成被摄体的3D模型的条件的信息。3D模型生成部211基于所输入的信息，来接收用于生成被摄体的3D模型的条件(步骤S105)。具体地说，该条件包括摄像机的内部参数、摄像机的畸变校正参数以及设定值等。在用于生成3D模型的各种处理中使用设定值。不需要由用户来指定这些条件的全部。CPU 13也可以自动地设定这些条件中的至少一个。3D模型生成部211接收到的信息被存储到硬盘11或存储器14中。
在步骤S105之后，图像提取部210从时间序列图像中提取至少三张图像(步骤S106)。至少三张图像包括由基准图像选择部202选择的基准图像。图像提取部210将在步骤S106中提取出的至少三张图像存储到硬盘11或存储器14中(步骤S107)。
例如，图像提取部210从时间序列图像中提取具有处于基准图像所具有的时刻之后的规定期间内的时刻的图像。也可以是，图像提取部210从时间序列图像中提取具有处于基准图像所具有的时刻之前的规定期间内的时刻的图像，并且从时间序列图像中提取具有处于基准图像的时刻之后的规定期间内的时刻的图像。也可以是，图像提取部210从时间序列图像中仅提取具有处于基准图像所具有的时刻之前的规定期间内的时刻的图像。
也可以是，图像提取部210从时间序列图像中提取具有处于基准图像所具有的时刻之后的时刻的规定张数的图像。也可以是，图像提取部210从时间序列图像中提取具有处于基准图像所具有的时刻之前的时刻的规定张数的图像，并且从时间序列图像中提取具有处于基准图像所具有的时刻之后的时刻的规定张数的图像。也可以是，图像提取部210从时间序列图像中仅提取具有处于基准图像所具有的时刻之前的时刻的规定张数的图像。
图像提取部210从时间序列图像中提取至少三张图像的方法不限于上述的方法。由图像提取部210提取出的至少三张图像不需要包括基准图像。
在步骤S107之后，3D模型生成部211估计摄像机在生成由图像提取部210提取出的各图像时的位置和姿势。3D模型生成部211基于所估计出的位置和姿势，生成被摄体的3D模型(步骤S108)。所生成的3D模型被存储到硬盘11或存储器14。
在步骤S108之后，显示控制部221将由图像提取部210提取出的至少三张图像中的一张图像显示于显示器15的第一区域。具体地说，显示控制部221将由基准图像选择部202选择的基准图像显示于显示器15的第一区域(步骤S109)。
图6示出在步骤S109中显示于显示器15的图像的例子。在显示器15的画面上显示有基准图像SI101、菜单ME2以及8个按钮BT20。
在显示器15的第一区域151显示基准图像SI101。8个按钮BT20为用于切换第一区域151所显示的图像的按钮。用户能够通过操作部12来按下各按钮BT20。在显示器15为触摸面板的情况下，用户能够在画面上按下各按钮BT20。各按钮BT20表示在切换图像时视场移动的方向。在后面记述在用户按下各按钮BT20的情况下执行的处理。
菜单ME2向用户提供测量功能。在菜单ME2上显示有测量模式MD20、基准长度设定RL20以及测量结果MR20。测量模式MD20表示两点间距离测量、线基准测量以及面基准测量等中的某一个。在图6所示的例子中，测量模式MD20表示两点间距离测量。用户能够通过对操作部12进行操作来变更测量模式MD20的设定。基准长度设定RL20表示由用户输入的基准长度。用户能够通过对操作部12进行操作来在基准长度设定RL20中输入基准长度。在图6所示的例子中，由于还未输入基准长度，因此没有显示基准长度。测量结果MR20表示由测量部226测量出的尺寸。在图6所示的例子中，由于还未执行测量，因此没有显示尺寸。
在基准图像SI101被显示于显示器15之后，用户指定基准点、基准长度以及测量点。下面，说明用户对两个基准点、基准长度以及两个测量点按该顺序进行指定的例子。该顺序没有限制，可以更换顺序。
用户对操作部12进行操作来在显示于显示器15的基准图像SI101上指定第一基准点和第二基准点。基准点设定部220从操作部12接收由用户指定的第一基准点和第二基准点。基准点设定部220在基准图像SI101中设定由用户指定的第一基准点和第二基准点(步骤S110)。在显示器15为触摸面板的情况下，用户能够通过触摸显示器15中的各基准点的位置来指定各基准点。
在指定两个基准点之后，用户对操作部12进行操作来指定表示两个基准点间的距离的基准长度。用户将自己已经掌握的长度以数值进行指定。基准长度设定部222从操作部12接收由用户指定的基准长度。基准长度设定部222在基准图像SI101中设定由用户指定的基准长度(步骤S111)。
在步骤S111之后，坐标变换部225将在步骤S108中生成的3D模型变换为具有长度的量纲的3D模型(步骤S112)。此时，坐标变换部225使用在步骤S110中设定的两个基准点和在步骤S111中设定的基准长度。
基准长度的输入不是必须的。例如，在两个基准点间的距离被标准化为“1”或“100％”的情况下，能够进行相对尺寸的测量。例如，在基准长度被设定为2mm的情况下，能够进行具有长度的量纲的绝对尺寸的测量。
图7示出在步骤S111中设定了基准长度之后在显示器15显示的图像的例子。省略与图6所示的部分相同的部分的说明。
在基准图像SI101上显示第一基准点Pr21和第二基准点Pr22。在图像上显示表示各基准点的标记。下面，将该标记称为基准点。在基准长度设定RL20中显示由用户指定的基准长度(2mm)。
下面，假定用户想要指定的测量点没有拍摄在基准图像SI101中的情况。用户通过对操作部12进行操作来按下8个按钮BT20中的一个按钮。由此，用户输入图像切换指示。在步骤S112之后，显示图像选择部223从操作部12接收到图像切换指示(步骤S113)。
在步骤S113之后，显示图像选择部223从在步骤S106中提取出的至少三张图像中选择在由用户按下的按钮BT20所表示的方向上具有视场的一张图像(步骤S114)。
参照图8说明在步骤S114中执行的处理的例子。图8示出各图像及其视场。图像SI300至SI304是在步骤S106中提取出的5张图像。5张图像按时间序列的顺序排列。摄像机按图像SI300、图像SI301、图像SI302、图像SI303以及图像SI304的顺序生成图像。图像SI300为基准图像。
在图8所示的各图像的下侧示出拍摄到各图像时的视场。图像SI301的视场F101相较于图像SI300的视场F100向右方向DR101移动。图像SI302的视场F102相较于图像SI301的视场F101向右方向DR102移动。图像SI303的视场F103相较于图像SI302的视场F102向上方向DR103移动。图像SI304的视场F104相较于图像SI303的视场F103向左上方向DR104移动。
例如，显示图像选择部223将按时间序列顺序相邻的两张图像间的视场的移动方向与各图像进行关联。在用户按下按钮BT20时，显示图像选择部223选择在被按下的按钮BT20所表示的方向上具有视场的一张图像。
例如，在图8所示的图像SI300被显示于显示器15的情况下，仅表示右的按钮BT20为有效，并且除此以外的按钮BT20为无效。另一方面，在图8所示的图像SI302被显示于显示器15的情况下，仅表示上的按钮BT20和表示左的按钮BT20为有效，并且除这些以外的按钮BT20为无效。
将视场的移动方向与各图像进行关联的方法不限于上述的方法。例如，也可以是，显示图像选择部223将任意的两张图像间的视场的移动方向与各图像进行关联。任意的两张图像不限于按时间序列顺序相邻的图像。
参照图9说明将任意的两张图像间的视场的移动方向与各图像进行关联的处理的例子。图9示出各图像及其视场。图像SI310至SI314是在步骤S106中提取出的5张图像。5张图像按时间序列的顺序排列。摄像机按图像SI310、图像SI311、图像SI312、图像SI313以及图像SI314的顺序生成图像。
在图9所示的各图像的下侧示出拍摄到各图像时的视场。图像SI311的视场F111相较于图像SI310的视场F110向右方向DR111移动。图像SI312的视场F112相较于图像SI311的视场F111向上方向DR112移动。图像SI313的视场F113相较于图像SI312的视场F112向左方向DR113移动。图像SI314的视场F114相较于图像SI313的视场F113向下方向DR114移动。
显示图像选择部223对图像SI310与其它的图像之间的视场的移动方向进行分析。图像SI311的视场F111相较于图像SI300的视场F100向右方向移动。图像SI312的视场F112相较于图像SI300的视场F100向右上方向移动。图像SI313的视场F113和图像SI314的视场F114相较于图像SI300的视场F100向上方向移动。在图像SI310被显示于显示器15的情况下，仅表示右的按钮BT20、表示右上的按钮BT20以及表示上的按钮BT20为有效，并且除这些以外的按钮BT20为无效。
只要测量装置1能够使用表示两张图像间的视场的移动方向的信息，该信息可以通过任何方法生成。
能够使用光流(optical flow)或模板匹配那样的周知的图像处理技术来检测视场的移动方向。在上述的例子中，在显示器15显示有表示8个方向的8个按钮BT20。用于指定视场的移动方向的按钮的数量不限于8个。也可以是在显示器15显示有表示4个方向的4个按钮或表示16个方向的16个按钮。也可以显示滚动条等来取代按钮。只要用户能够切换显示器15所显示的图像，显示器15上的用户接口可以是任何的部件。
在步骤S114之后，显示控制部221将基准图像设为非显示，并且将在步骤S114中选择的图像显示于显示器15的第一区域(步骤S115)。
图10示出在步骤S115中在显示器15显示的图像的例子。省略与图7所示的部分相同的部分的说明。
图7所示的基准图像SI101对应于图8所示的图像SI300。在由用户指定了图7所示的第一基准点Pr21和第二基准点Pr22且按下了一个按钮BT20时，显示控制部221将图10所示的图像SI102显示于显示器15的第一区域151。此时，图7所示的基准图像SI101变为非显示。图像SI102对应于图8所示的图像SI302。在图10所示的例子中，假定了表示右的按钮BT20被按下了两次的情况。
也可以不是基准图像SI101整体变为非显示。也可以是包括第一基准点Pr21和第二基准点Pr22的基准图像SI101的一部分区域变为非显示并在该区域显示图像SI102。也可以是显示基准图像SI101的除了变为非显示的区域以外的剩余的区域。
在图像切换之后，用户对操作部12进行操作来在显示于显示器15的图像上指定第一测量点和第二测量点。测量点设定部224从操作部12接收由用户指定的第一测量点和第二测量点。测量点设定部224在显示于显示器15的图像中设定由用户指定的第一测量点和第二测量点(步骤S116)。在显示器15为触摸面板的情况下，用户能够通过触摸显示器15中的各测量点的位置来指定各测量点。
在步骤S116之后，测量部226检测3D模型上的与第一测量点和第二测量点分别对应的点。测量部226基于检测出的各点的三维坐标，来测量由用户指定的两个测量点规定的尺寸(步骤S117)。
在步骤S117之后，显示控制部221将在步骤S117中测量出的尺寸作为测量结果显示于显示器15(步骤S118)。例如，测量结果被叠加在显示于显示器15的图像。在执行了步骤S118时，图3和图4所示的处理结束。
图11示出在步骤S118中在显示器15显示的图像的例子。省略与图10所示的部分相同的部分的说明。
在图像SI102上显示第一测量点Pm21和第二测量点Pm22。在图像上显示表示各测量点的标记。下面，将该标记称为测量点。第一测量点Pm21和第二测量点Pm22没有拍摄在图7所示的基准图像SI101中。第一测量点Pm21与第二测量点Pm22之间的距离被显示为测量结果MR20。
CPU 13执行的处理的顺序不限于图3和图4所示的顺序。例如，只要在执行步骤S112之前执行步骤S108，可以在步骤S107与步骤S117之间的任意的定时执行步骤S108。
可以重复执行步骤S113至步骤S116。在步骤S116中，设定至少一个测量点。因而，可以在两张以上的图像中的各个图像上设定至少一个测量点。
对3D模型生成部211在步骤S108中执行的具体的处理过程进行说明。3D模型生成部211使用由图像提取部210提取出的至少三张图像和在步骤S105中接收到的条件。下面，对3D模型生成部211使用两张图像的例子进行说明。在拍摄两张图像时，摄像机的两个视点互不相同。即使是使用三张以上的图像的情况，基本原理也与使用两张图像的情况相同。下面说明的方法也能够应用于使用三张以上的图像的情况。
图12示意性地示出获取被摄体的两张图像的情况下的图像获取的状况。如图12所示，最初在摄像机的摄像状态c1下获取图像I1。接着，在摄像机的摄像状态c2下获取图像I2。在摄像状态c1与摄像状态c2中，摄像位置和摄像姿势中的至少一个是不同的。在图12中，在摄像状态c1与摄像状态c2中，摄像位置和摄像姿势两方均不同。
在本发明的各实施方式中，假定由相同的摄像机获取图像I1和图像I2的情况。另外，在本发明的各实施方式中，假定摄像机的物镜光学系统的参数不变。物镜光学系统的参数为焦距、畸变像差以及图像传感器的像素尺寸等。下面，为了方便，将物镜光学系统的参数简记为内部参数。在假定了像这样的条件时，描述摄像机的光学系统的特性的内部参数能够与摄像机的位置和姿势无关地共通地使用。在本发明的各实施方式中，假定在出厂时获取内部参数。另外，在本发明的各实施方式中，假定在获取图像时内部参数是已知的。
在本发明的各实施方式中，假定通过一个摄像机来获取两张以上的图像。但是，本发明不限于此。例如，使用由多个摄像机获取到的多个图像来复原3D模型的情况也能够应用本发明。在该情况下，只要图像I1和图像I2使用互不相同的摄像机来获取并保持有每个摄像机各自的内部参数即可。即使内部参数是未知的，也能够将内部参数作为变量来进行计算。因此，不会根据内部参数是否为已知而使以后的过程有很大不同。
参照图13说明用于基于获取到的两张图像来计算被摄体的三维坐标的过程。图13示出用于生成3D模型的处理过程。
首先，3D模型生成部211执行特征点检测处理(步骤S108a)。3D模型生成部211在特征点检测处理中检测所获取到的两张图像各自的特征点。特征点是指拍摄于图像的被摄体信息中的图像亮度梯度大的角落及边缘等。作为检测该特征点的方法，使用SIFT(Scale-invariant Feature Transform：尺度不变特征变换)及FAST(Features from AcceleratedSegment Test：加速分割检测特征)等。通过使用这种方法，能够检测图像内的特征点。
图12示出从图像I1检测出特征点m1且从图像I2检测出特征点m2的例子。在图12中，仅显示了各图像的一个特征点，但是实际上在各图像中检测出多个特征点。在各图像中检测出的特征点的数量有可能是不同的。从各图像检测出的各特征点被变换为特征量这样的数据。特征量是表示特征点的特征的数据。
在步骤S108a之后，3D模型生成部211执行特征点关联处理(步骤S108b)。在特征点关联处理中，3D模型生成部211在图像之间针对通过特征点检测处理(步骤S108a)检测出的各特征点比较特征量的相关性。在比较特征量的相关性并在各图像中找到了特征量接近的特征点的情况下，3D模型生成部211将该信息保持在硬盘11或存储器14中。由此，3D模型生成部211将各图像的特征点相互关联起来。另一方面，在没有找到特征量接近的特征点的情况下，3D模型生成部211舍弃该特征点的信息。
在步骤S108b之后，3D模型生成部211从硬盘11或存储器14读出相互关联起来的两张图像的特征点(特征点对)的坐标。3D模型生成部211基于所读出的坐标，执行位置和姿势的计算处理(步骤S108c)。在位置和姿势的计算处理中，3D模型生成部211计算摄像机的获取到图像I1的摄像状态c1与摄像机的获取到图像I2的摄像状态c2之间的相对的位置和姿势。更具体地说，3D模型生成部211通过求解利用了极线约束的下面的方程式(1)，来计算矩阵E。
[数1]
Figure BDA0002378372790000241
矩阵E被称为基本矩阵。基本矩阵E是保持了摄像机的获取到图像I1的摄像状态c1与摄像机的获取到图像I2的摄像状态c2之间的相对的位置和姿势的矩阵。在方程式(1)中，矩阵p1为包括从图像I1检测出的特征点的坐标的矩阵。矩阵p2为包括从图像I2检测出的特征点的坐标的矩阵。基本矩阵E包括与摄像机的相对的位置和姿势有关的信息，因此相当于摄像机的外部参数。基本矩阵E能够使用周知的算法来求解。
如图12所示，在摄像机的位置变化量为t且摄像机的姿势变化量为R的情况下，式(2)和式(3)成立。
[数2]
t＝(tx，ty，tz)…(2)
Figure BDA0002378372790000242
在式(2)中，x轴方向的移动量表示为tx，y轴方向的移动量表示为ty，并且z轴方向的移动量表示为tz。在式(3)中，绕x轴的旋转量α表示为Rx(α)，绕y轴的旋转量β表示为Ry(β)，并且绕z轴的旋转量γ表示为Rz(γ)。在计算出基本矩阵E之后，也可以执行光束法平差(Bundle Adjustment)这样的最优化处理以提高三维坐标的复原精度。
在步骤S108c之后，3D模型生成部211基于在步骤S108c中计算出的摄像机的相对的位置和姿势(位置变化量t和姿势变化量R)，执行被摄体的三维形状的复原处理(步骤S108d)。3D模型生成部211在三维形状的复原处理中生成被摄体的3D模型。作为复原被摄体的三维形状的方法，列举PMVS(Patch-based Multi-view Stereo：基于面片的三维多视角立体视觉)以及基于平行双目立体(平行化ステレオ)的匹配处理等。但是，对方法并不特别地进行限定。在执行了步骤S108d时，图13所示的处理结束。
在上述的例子中，假定测量装置1对时间序列图像进行处理。测量装置1进行处理的图像不需要是时间序列图像。例如，测量装置1可以使用没有附加时间戳的多个图像来执行与上述的处理同样的处理。在不存在时间戳的情况下，图像再现控制部201无法将多个图像按时间序列的顺序排列。因此，例如也可以是图像再现控制部201在将多个图像按文件名的顺序排列之后，按照该顺序来再现图像。
本发明的各方式的测量方法具有第一图像显示步骤、第一设定步骤、第二图像显示步骤、第二设定步骤、生成步骤以及测量步骤。在第一图像显示步骤(步骤S109)中，显示控制部221将一张第一图像显示于显示器15的第一区域151。第一图像为被摄体的二维图像。在图6所示的例子中，显示控制部221将基准图像SI101显示于第一区域151。在第一设定步骤(步骤S110)中，基准点设定部220在显示于第一区域151的第一图像中设定第一点。第一点与图7所示的第一基准点Pr21和第二基准点Pr22中的至少一个对应。
在第一图像中设定第一点之后，在第二图像显示步骤(步骤S115)中，显示控制部221将第一区域151中的第一图像设为非显示，并且将多个第二图像中包括的一张第二图像显示于第一区域151。多个第二图像为被摄体的二维图像。在图10所示的例子中，显示控制部221将图像SI102显示于第一区域151。图像组的各图像的视场的一部分与图像组的其它图像的视场的一部分重叠。图像组包括第一图像以及多个第二图像。在第二设定步骤(步骤S116)中，测量点设定部224在显示于第一区域151的第二图像中设定第二点。第二点与图11所示的第一测量点Pm21和第二测量点Pm22中的至少一个对应。
3D模型生成部211基于摄像机在生成图像组的各图像时的位置和姿势，生成被摄体的三维形状(3D模型)。在测量步骤(步骤S112和步骤S117)中，坐标变换部225和测量部226至少基于第一点、第二点以及三维形状来测量被摄体的大小。
图像组包括第一图像以及多个第二图像。图像组包括在步骤S106中提取出的至少三张图像。第一图像与图6和图7所示的基准图像SI101对应。多个第二图像中包括的一张第二图像与图10和图11所示的图像SI102对应。
在生成3D模型时使用图像组。为了按照图12所示的原理生成3D模型，需要各图像的视场的至少一部分与除该图像以外的至少一张图像各自的视场的至少一部分是共通的。第一图像的视场(第一视场)和一张第二图像的视场(第二视场)包括共通区域。第一视场中除共通区域以外的区域与第二视场中除共通区域以外的区域是互不相同的。
第一图像上的设定第一点的区域与第二图像上的设定第二点的区域不包括在上述的共通区域中。第一图像上的设定第一点的区域与第二图像上的除了设定第二点的区域以外的区域是共通的。第二图像上的设定第二点的区域与除设定第二点的第二图像以外的第二图像上的区域是共通的。
在第一图像中设定第一点且接收到视场的移动方向的指示之后，显示控制部221在步骤S115中将第一区域151中的第一图像设为非显示。并且，显示控制部221将具有从第一图像的视场沿上述移动方向移动后的视场的第二图像显示于第一区域151。在图7和图10所示的例子中，在按下了一个按钮BT20时，接收到视场的移动方向的指示。
在第一实施方式中，将第一图像显示于显示器15的第一区域151。在第一图像中设定了第一基准点Pr21和第二基准点Pr22之后，第一图像变为非显示，并且将一张第二图像显示于第一区域151。在第二图像中设定第一测量点Pm21和第二测量点Pm22。测量装置1能够在多个图像中设定测量所使用的多个点。
有时用于三维测量的两个指定点彼此远离而进入不到一张图像的视场中。测量装置1将拍摄有各指定点的图像按顺序显示，以切换显示器15所显示的图像。用户能够对各图像上的指定点进行指定。因此，在测量中用户的操作性提高。
用户能够通过按下表示一个方向的按钮BT20来将具有沿该方向移动后的视场的图像显示于第一区域151。由于用于切换图像的操作简单，因此在测量中用户的操作性提高。
(第一实施方式的第一变形例)
对本发明的第一实施方式的第一变形例进行说明。在第一实施方式所示的例子中，在第一图像中设定两个基准点，并且在第二图像中设定两个测量点。本发明的实施方式不限于该例。只要在第一图像中设定至少一个指定点且在第二图像中设定与在第一图像中设定的指定点不同的至少一个指定点即可。在第一图像中设定的指定点可以是基准点和测量点中的任一方。在第二图像中设定的指定点可以是基准点和测量点中的任一方。
图14和图15示出显示于显示器15的图像的例子。省略与图7所示的部分相同的部分的说明。
图14所示的第一基准点Pr21、第二基准点Pr22以及第一测量点Pm21是由用户指定且在基准图像SI101中设定的。在设定了三个点之后，按下按钮BT20。取代基准图像SI101而在显示器15的第一区域151中显示图15所示的图像SI102。第二测量点Pm22是由用户指定且在图像SI102中设定的。图14和图15所示的情况也包括在本发明的实施方式中。
基准图像SI101上的第一测量点Pm21和图像SI102上的第一测量点Pm21是被摄体上的相同的点。在显示了图像SI102时，与基准图像SI101上的第一测量点Pm21相同的第一测量点Pm21被显示在图像SI102上。因此，在测量中用户的操作性提高。在图像SI102上显示第一测量点Pm21不是必须的。
(第一实施方式的第二变形例)
对本发明的第一实施方式的第二变形例进行说明。第一实施方式的第二变形例的测量装置1具有指定点的修正功能。测量装置1存储图像的显示历史记录。测量装置1基于显示历史记录，再次显示已变为非显示的图像。在用户想要对显示器15上没有显示的指定点的位置进行修正的情况下，用户能够使设定有该指定点的图像再次显示，并且对该指定点的位置进行修正。
图4所示的处理被变更为图16所示的处理。参照图16，对为了测量而执行的处理过程进行说明。图16示出CPU 13执行的处理过程。省略与图4所示的处理相同的处理的说明。
在步骤S116之后，显示控制部221判断是否接收到修正指示(步骤S121)。例如，在步骤S115中在显示器15上显示用于输入修正指示的按钮。用户通过操作部12按下该按钮来输入修正指示。显示控制部221在步骤S121中判断是否从操作部12接收到修正指示。
在显示控制部221判断为没有接收到修正指示的情况下，执行步骤S117。在显示控制部221判断为接收到修正指示的情况下，显示控制部221基于硬盘11或存储器14中所存储的显示历史记录，判断要在显示器15上显示的图像。显示历史记录包括表示已经在显示器15显示过的图像的信息。显示历史记录包括在执行步骤S115之前所显示的基准图像的信息。因此，显示控制部221将显示器15上的图像设为非显示，并且将基准图像显示于显示器15。并且，显示控制部221在基准图像上显示在步骤S110中设定的第一基准点和第二基准点(步骤S122)。
在再次显示了基准图像之后，用户对操作部12进行操作来对显示于显示器15的基准图像上的第一基准点和第二基准点中的至少一个基准点的位置进行修正。例如，用户通过使基准点在基准图像上移动，来修正基准点的位置。基准点设定部220从操作部12接收由用户修正后的至少一个基准点。基准点设定部220在基准图像中设定由用户修正后的至少一个基准点(步骤S123)。
在修正了第一基准点的位置的情况下，在步骤S110中所设定的第一基准点的位置信息(坐标)被更新。在修正了第二基准点的位置的情况下，在步骤S110中所设定的第二基准点的位置信息(坐标)被更新。
图17示出在步骤S122中显示于显示器15的图像的例子。省略与图7所示的部分相同的部分的说明。
在输入修正指示之前，在显示器15显示有图11所示的图像SI102。在输入了修正指示时，显示控制部221将图17所示的基准图像SI101显示于显示器15的第一区域151。此时，图像SI102变为非显示。
也可以不是图像SI102的整体变为非显示。可以是包括第一测量点Pm21和第二测量点Pm22的图像SI102的一部分区域变为非显示并在该区域显示基准图像SI101。也可以是显示图像SI102的除了变为非显示的区域以外的剩余的区域。
在基准图像SI101上显示第一基准点Pr21和第二基准点Pr22。在用户希望修正第二基准点Pr22的情况下，用户对操作部12进行操作，来使第二基准点Pr22移动到希望位置。例如，用户使第二基准点Pr22移动到第二基准点Pr23。
在步骤S123之后执行步骤S124。步骤S124与步骤S111是同样的。在步骤S124之后执行步骤S125。步骤S125与步骤S112是同样的。在步骤S125之后执行步骤S117。
也可以是对在步骤S116中所设定的第一测量点和第二测量点中的至少一个测量点进行修正。测量点的修正方法与图17所示的方法是同样的。
本发明的各方式的测量方法也可以具有第四图像显示步骤和修正步骤。在设定了第二点(第一测量点或第二测量点)之后，显示控制部221在第四图像显示步骤(步骤S122)中将显示器15的第一区域151中的第二图像(图像SI102)设为非显示。显示控制部221在第四图像显示步骤(步骤S122)中将第一图像(基准图像SI101)显示于第一区域151，并且在第一图像上强调显示第一点(第一基准点或第二基准点)。在对第一点进行强调显示之后，基准点设定部220在修正步骤(步骤S123)中对第一图像中所设定的第一点的位置进行修正。
在图17所示的例子中，显示控制部221通过将第二基准点Pr22的标记显示在基准图像SI101上来对第一点进行强调显示。只要用户能够在第一图像上识别出第一点即可，对第一点进行强调显示的方法不限于上述的方法。
在第一实施方式的第二变形例中，再次显示已变为非显示的图像。基准点设定部220基于来自用户的指示，来修正在该图像上强调显示的指定点的位置。测量装置1能够提供指定点的修正功能。
(第二实施方式)
对本发明的第二实施方式进行说明。在第一实施方式中，在用户想要将图像切换为其它的图像的情况下，用户按下图7所示的按钮BT20。然而，存在用户不清楚要按下哪个按钮BT20才能显示拍摄有期望的指定点的图像的可能性。或者，存在用户不清楚要将按钮BT20按下几次才可以的可能性。因此，存在用户搜索拍摄有期望的指定点的图像花费时间的可能性。
在第二实施方式中，在显示器15的第一区域显示由基准图像选择部202选择的基准图像，并且在显示器15的第二区域显示由图像提取部210提取出的图像。用户选择一张显示于显示器15的第二区域的图像。此时，第一区域上的基准图像变为非显示，并且由用户选择的一张图像被显示于第一区域。因此，用户能够将第一区域上的图像容易地切换为其它的图像。
图2所示的CPU 13被变更为图18所示的CPU 13a。图18示出CPU 13a的功能结构。省略与图2所示的结构相同的结构的说明。图18所示的模块中的至少一个模块可以由与CPU13a不同的电路构成。
图18所示的各部可以由处理器和逻辑电路中的至少一个构成。图18所示的各部能够包括一个或多个处理器。图18所示的各部能够包括一个或多个逻辑电路。
图2所示的测量处理部22被变更为测量处理部22a。测量处理部22a具有基准点设定部220、显示控制部221、基准长度设定部222、显示图像选择部223、测量点设定部224、坐标变换部225、测量部226以及区域检测部227。
显示控制部221将由图像提取部210提取出的至少三张图像显示于显示器15的第二区域。用户输入用于选择显示于第二区域的至少三张图像中的一张图像的指示。此时，显示控制部221将显示器15的第一区域上的图像设为非显示，并且将所选择的图像显示于第一区域。
区域检测部227对由图像提取部210提取出的至少三张图像进行处理。区域检测部227检测多个图像之间的视场相互重叠的区域。能够执行该区域的测量。区域检测部227检测只在一张图像的视场中包括的区域。该区域不包括在其它图像的视场中。不能执行该区域的测量。区域检测部227检测测量精度低的区域。显示控制部221将由区域检测部227检测出的至少一个区域显示在图像上。
图4所示的处理被变更为图19所示的处理。参照图19，对为了测量而执行的处理过程进行说明。图19示出CPU 13a执行的处理过程。省略与图4所示的处理相同的处理的说明。
在步骤S109之后，显示控制部221将在步骤S106中提取出的至少三张图像显示于显示器15的第二区域(步骤S131)。显示器15的第二区域与显示基准图像的第一区域不同。例如，在步骤S106中提取出的至少三张图像全部被显示于显示器15的第二区域。也可以是至少三张图像中的仅一部分被显示于显示器15的第二区域。
例如，区域检测部227计算至少三张图像中包括的两张图像的视场彼此重叠的大小。区域检测部227针对两张图像的所有组合计算视场重叠的大小。在视场重叠的大小超过规定量的情况下，显示控制部221在步骤S131中仅将视场彼此重叠的两张图像中的一方显示于显示器15的第二区域。下面，说明至少三张图像全部被显示于显示器15的第二区域的例子。
在步骤S131之后，区域检测部227检测共通区域(步骤S132)。在显示于显示器15的第一区域的基准图像的视场中不包括共通区域。在显示于显示器15的第二区域的至少三张图像中的两张以上的图像的视场中共同包括共通区域。共通区域没有拍摄在基准图像中，并且拍摄在显示于显示器15的第二区域的至少三张图像中的两张以上的图像中。能够执行所检测出的区域的测量。
参照图20说明在步骤S132中执行的处理的例子。图20示出用于检测能够执行测量的区域的处理过程。下面，对使用图8所示的图像SI300至SI304的例子进行说明。
在步骤S131之后，区域检测部227通过在步骤S106中提取出的至少三张图像的全部来制作图像对(步骤S132a)。图像对为两张图像的组合。例如，区域检测部227通过使用全部5张图像来制作10组图像对。
在步骤S132a之后，区域检测部227选择所制作出的多个图像对中的一个图像对。区域检测部227检测所选择的图像对的两张图像之间彼此重叠的视场中包括的区域(步骤S132b)。
图21的(a)和图21的(b)表示图像的视场。在图21的(a)中示出图像SI300的视场F120a和图像SI301的视场F120b。在视场F120a和视场F120b中共同包括区域R120ab。在图21的(b)中示出图像SI300的视场F120a和图像SI302的视场F120c。在视场F120a和视场F120c中共同包括区域R120ac。区域检测部227在步骤S132b中检测区域R120ab和区域R120ac。区域检测部227针对其它的图像对也执行与上述同样的处理。
在步骤S132b之后，区域检测部227判断是否针对所有的图像对完成了步骤S132b中的处理(步骤S132c)。在区域检测部227判断为存在没有完成步骤S132b中的处理的图像对的情况下，执行步骤S132b。此时，使用除了在步骤S132b的处理中使用过的图像对以外的其它的图像对。
在区域检测部227判断为针对所有的图像完成了步骤S132b中的处理的情况下，区域检测部227检测共通区域(步骤S132d)。区域检测部227在步骤S132d中检测能够执行测量的区域。
图22示出图像的视场。在图22中示出图像SI300的视场F120a、图像SI301的视场F120b、图像SI302的视场F120c、图像SI303的视场F120d以及图像SI304的视场F120e。图像SI300为基准图像，并且被显示于显示器15的第一区域。图像SI301、图像SI302、图像SI303以及图像SI304被显示于显示器15的第二区域。
区域检测部227在步骤S132d中检测共通区域R120bcde。共通区域R120bcde为图22所示的用粗线包围的区域。在视场F120a中不包括共通区域R120bcde。在视场F120b、视场F120c、视场F120d以及视场F120e中的至少两个视场中共同包括共通区域R120bcde。
图23的(a)和图23的(b)示出在两张以上的图像的视场中共同包括的共通区域R120bcde。共通区域R120bcde包括视场F120b的区域R120b和视场F120c的区域R120c。另外，共通区域R120bcde包括视场F120d的区域R120d和视场F120e的区域R120e。共通区域R120bcde的任意的位置包括在区域R120b、区域R120c、区域R120d以及区域R120e中的至少两个区域内。
区域检测部227可以通过下面的方法来检测共通区域R120bcde。区域检测部227使用图像SI300至SI304制作图像对。区域检测部227对各图像对的两张图像之间彼此重叠的视场中包括的区域计算逻辑和。区域检测部227通过从该逻辑和减去图像SI300的视场F120a中包括的区域，来检测共通区域R120bcde。
在步骤S132d之后，区域检测部227检测只在显示于显示器15的一张图像的视场中包括的区域(步骤S132e)。区域检测部227在步骤S132e中检测不能执行测量的区域。
图24示出图像的视场。在5张图像SI300至SI304的图像的视场中共同包括区域R120abcde。区域R120abcde为图24所示的用粗线包围的区域。在视场F120a、视场F120b、视场F120c、视场F120d以及视场F120e中的至少两个视场中共同包括区域R120abcde。
区域检测部227在步骤S132e中通过从各图像的视场减去与区域R120abcde重叠的区域，来检测只在一张图像的视场中包括的区域。具体地说，区域检测部227检测区域R120Na、区域R120Nc、区域R120Nd以及区域R120Ne。区域R120Na仅包括在视场F120a中。区域R120Nc仅包括在视场F120c中。区域R120Nd仅包括在视场F120d中。区域R120Ne仅包括在视场F120e中。
在步骤S132e之后，区域检测部227在显示于显示器15的第一区域的基准图像和显示于显示器15的第二区域的至少三张图像中分别检测测量精度低的区域(步骤S132f)。例如，区域检测部227基于将3D模型上的点再次投影为二维图像时在二维图像上的坐标与理想的直线(极线)之差(再投影误差)，来检测测量精度低的区域。区域检测部227也可以基于二维图像上的点的物距来检测测量精度低的区域。区域检测部227也可以基于作为使用两张二维图像的匹配处理的中间产物而获得的相关值来检测测量精度低的区域。检测测量精度低的区域的方法不限于这些方法。
在步骤S132f之后，显示控制部221在显示器15的第二区域的图像上显示在步骤S132d中检测出的共通区域(步骤S133)。在步骤S133中，显示控制部221在显示器15的第二区域的图像上显示能够执行测量的区域。
在步骤S133之后，显示控制部221在显示器15的第一区域的图像上和显示器15的第二区域的图像上显示在步骤S132e中检测出的区域(步骤S134)。在步骤S134中，显示控制部221在显示器15的第一区域的图像上和显示器15的第二区域的图像上显示不能执行测量的区域。
在步骤S134之后，显示控制部221在显示器15的第一区域的图像上和显示器15的第二区域的图像上显示在步骤S132f中检测出的区域(步骤S135)。在步骤S135中，显示控制部221在显示器15的第一区域的图像上和显示器15的第二区域的图像上显示测量精度低的区域。在步骤S135之后执行步骤S110。
图25示出在步骤S110中设定了两个基准点之后在显示器15显示的图像的例子。省略与图7所示的部分相同的部分的说明。
在显示器15的画面上显示有基准图像SI110、图像SI200、图像SI201、图像SI202、图像SI203、图像SI204以及菜单ME2。在显示器15的第一区域151显示基准图像SI110。在基准图像SI101上显示第一基准点Pr21和第二基准点Pr22。
图像SI200、图像SI201、图像SI202、图像SI203以及图像SI204与在步骤S106中提取出的至少三张图像对应。这些图像各自的视场与在步骤S106中提取出的各图像的视场相同。这些图像被显示于显示器15的第二区域152。
第二区域152与第一区域151不同。第一区域151为显示用于用户指定基准点和测量点的图像的区域。第二区域152为用于用户确认多个图像之间是否有视场重叠的区域。第二区域152配置在第一区域151的下面。在第二区域152中，将5张图像沿横向排成一列。
第一区域151中的基准图像SI110的面积比第二区域152中的各图像的面积大。换言之，基准图像SI110的面积比显示于第二区域152的任何图像的面积都大。例如，显示于第二区域152的5张图像分别为在步骤S106中提取出的各图像的缩略图。图像SI200与基准图像SI110对应。
在基准图像SI110上显示区域R130Na和区域R130Wa。在图像SI200上显示区域R131Na和区域R131Wa。在图像SI201上显示区域R131b和区域R131Wb。在图像SI202上显示区域R131c、区域R131Nc以及区域R131Wc。在图像SI203上显示区域R131d、区域R131Nd以及区域R131Wd。在图像SI204上显示区域R131e和区域R131Ne。
区域R131b、区域R131c、区域R131d以及区域R131e为在步骤S132d中检测出的区域。能够执行这些区域的测量。在基准图像SI110的视场中不包括这些区域。这些区域中的各个区域被显示于第二区域152的两张以上的图像(除了图像SI200以外)的视场共同包括。用户能够在显示于第二区域152的图像中确认能够指定测量点的区域。
在第二区域152的图像上强调显示这些区域。例如，通过表示能够执行测量的颜色来显示这些区域。只要用户能够识别能够执行测量的区域即可，对该区域进行强调显示的方法不限于上述的方法。
区域R130Na、区域R131Na、区域R131Nc、区域R131Nd以及区域R131Ne为在步骤S132e中检测出的区域。不能执行这些区域的测量。这些区域中的各个区域只被显示于第一区域151或第二区域152的一张图像的视场包括。用户能够在显示于第一区域151的基准图像SI110中确认无法指定基准点的区域。用户能够在显示于第二区域152的图像中确认无法指定测量点的区域。
在第一区域151的图像上和第二区域152的图像上强调显示这些区域。例如，通过表示不能执行测量的颜色来显示这些区域。只要用户能够识别不能执行测量的区域即可，对该区域进行强调显示的方法不限于上述的方法。
区域R130Wa、区域R131Wa、区域R131Wb、区域R131Wc以及区域R131Wd为在步骤S132f中检测出的区域。这些区域的测量精度低。用户能够在显示于第一区域151的基准图像SI110或显示于第二区域152的图像中确认得到精度低的测量结果的区域。
在第一区域151的图像上和第二区域152的图像上强调显示这些区域。例如，通过表示测量精度低的颜色来显示这些区域。只要用户能够识别测量精度低的区域即可，对该区域进行强调显示的方法不限于上述的方法。
在菜单ME2上显示有显示顺序设定OR20。显示顺序设定OR20表示在第二区域152中图像进行排列的顺序。用户能够通过对操作部12进行操作来在显示顺序设定OR20中输入图像排列的顺序。用户能够按照用户的喜好切换图像排列的顺序。
在图25所示的例子中，将5张图像按视场的顺序排列。在步骤S131中，显示控制部221将5张图像按基于各图像的视场的关系的顺序在第二区域152中排列。显示控制部221通过执行与图4所示的步骤S114同样的处理，能够得到各图像的视场的关系。在第二区域152中相邻的两张图像的视场彼此重叠。
也可以将5张图像按时间序列的顺序排列。在显示顺序设定OR20中输入了时间序列的顺序的情况下，在步骤S131中，显示控制部221将5张图像按基于与各图像相关联的时刻的关系的顺序在第二区域152中排列。例如，将5张图像在第二区域152中按各图像被获取到的时刻的顺序排列。也可以与视场和时刻都无关地排列5张图像。
在图像SI200上显示有标记MK20。标记MK20表示与显示于第一区域151的图像相同的图像。标记MK20与运动图像再现被暂停时显示的标记相同。因此，用户易于将显示于第一区域151的图像与显示于第二区域152的图像进行关联。
在步骤S131中，显示控制部221在第二区域152中强调显示与显示于第一区域151的基准图像SI110对应的图像SI200。在图25所示的例子中，显示控制部221将标记MK20显示在图像SI200上。只要用户能够将显示于第一区域151的基准图像SI110与显示于第二区域152的图像SI200进行关联即可，对图像SI200进行强调显示的方法不限于上述的方法。
也可以是，用户能够在第一设定与第二设定之间切换。在第一设定中，显示标记MK20。在第二设定中，不显示标记MK20。
图像SI200为基准图像。用粗线包围图像SI200，以表示图像SI200为基准图像。在步骤S131中，显示控制部221在第二区域152中强调显示与基准图像SI110对应的图像SI200。在图25所示的例子中，显示控制部221用粗线包围图像SI200。只要用户能够将显示于第二区域152的图像SI200与基准图像SI110进行关联即可，对图像SI200进行强调显示的方法不限于上述的方法。
也可以是，用户能够在第一设定与第二设定之间切换。在第一设定中，用粗线包围图像SI200。在第二设定中，不用粗线包围图像SI200。
在图25所示的例子中，在第二区域152显示与显示于第一区域151的图像相同的图像。不需要在第二区域152显示与显示于第一区域151的图像相同的图像。也可以是，用户能够在第一设定与第二设定之间切换。在第一设定中，在第二区域152显示与显示于第一区域151的图像相同的图像。在第二设定中，在第二区域152不显示与显示于第一区域151的图像相同的图像。
下面，假定在用户指定了第一基准点Pr21、第二基准点Pr22以及基准长度之后想要指定图像SI202上的两个测量点的情况。
用户通过对操作部12进行操作，来选择显示于第二区域152的5张图像中的一张图像。具体地说，用户选择图像SI202。由此，用户输入图像切换指示。图像切换指示包括由用户选择的一张图像的信息。在步骤S112之后，显示图像选择部223从操作部12接收图像切换指示(步骤S136)。在显示器15为触摸面板的情况下，用户能够通过触摸显示于第二区域152的5张图像中的一张图像来选择一张图像。
在步骤S136之后，显示图像选择部223从在步骤S106中提取出的至少三张图像中选择由用户选择的一张图像(步骤S137)。在步骤S137之后，在步骤S115中，显示控制部221将第一区域151上的图像设为非显示，并且将由显示图像选择部223选择的图像显示于第一区域151。
在上述的例子中，用户选择显示于第二区域152的至少三张图像中的一张图像。用户不需要在第二区域152上选择图像。例如，用户也可以通过使用声音或手势等来选择图像。
图26示出在步骤S118中在显示器15显示的图像的例子。省略与图25所示的部分相同的部分的说明。
在用户选择了图像SI202时，显示控制部221将图像SI111显示于显示器15的第一区域151。此时，图25所示的基准图像SI110变为非显示。图像SI111与显示于显示器15的第二区域152的图像SI202对应。在图像SI111上显示第一测量点Pm21和第二测量点Pm22。第一测量点Pm21与第二测量点Pm22之间的距离被显示为测量结果MR20。
在图像SI111上显示有区域R132Nc和区域R132Wc。在图像SI200上显示有区域R133a、区域R131Na以及区域R131Wa。在图像SI201上显示有区域R133b和区域R131Wb。在图像SI202上显示有区域R131Nc和区域R131Wc。在图像SI203上显示有区域R133d、区域R131Nd以及区域R131Wd。在图像SI204上显示有区域R133e和区域R131Ne。在图像SI202上显示有标记MK20。
区域R133a、区域R133b、区域R133d以及区域R133e为能够执行测量的区域。在图像SI111的视场中不包括这些区域。这些区域中的各个区域被显示于第二区域152的两张以上的图像(除了图像SI202以外)的视场共同包括。区域检测部227通过执行与步骤S132d同样的处理，由此能够检测能够执行测量的区域。
区域R132Nc、区域R131Na、区域R131Nc、区域R131Nd以及区域R131Ne为不能执行测量的区域。这些区域中的各个区域只被显示于第一区域151或第二区域152的一张图像的视场包括。区域检测部227通过执行与步骤S132e同样的处理，由此能够检测不能执行测量的区域。
区域R132Wc、区域R131Wa、区域R131Wb、区域R131Wc以及区域R131Wd为测量精度低的区域。区域检测部227通过执行与步骤S132f同样的处理，由此能够检测测量精度低的区域。
CPU 13a执行的处理的顺序不限于图3、图19以及图20所示的顺序。例如，只要在执行步骤S112之前执行步骤S108即可，可以在步骤S107与步骤S117之间的任意的定时执行步骤S108。
可以重复执行步骤S136至步骤S116。在步骤S116中，设定至少一个测量点。因而，可以在两张以上的图像中的各个图像上设定至少一个测量点。在用户想要将图26所示的图像SI111切换为其它的图像来设定测量点的情况下，用户能够参考能够执行测量的区域等来切换图像。
本发明的各方式的测量方法也可以具有第三图像显示步骤。在显示器15的第一区域151显示着第一图像的期间，在第三图像显示步骤(步骤S131)中，显示控制部221将至少两张第三图像显示于显示器15的第二区域152。各个第三图像与多个第二图像中包括的某一张第二图像对应。在接收到选择显示于第二区域152的至少两张第三图像中的一张图像的指示之后，在第二图像显示步骤(步骤S115)中，显示控制部221将第一区域151上的第一图像设为非显示，并且将与所选择的第三图像对应的第二图像显示于第一区域151。
第一图像与基准图像SI110对应。多个第二图像与在步骤S106中提取出的图像对应。至少两张第三图像与图像SI201、图像SI202、图像SI203以及图像SI204对应。在图25和图26所示的例子中，在步骤S115中，显示控制部221将基准图像SI110设为非显示，并且将与所选择的图像SI202对应的图像SI111显示于第一区域151。
在步骤S131中，显示控制部221在第二区域152中强调显示与基准图像SI110(第一图像)对应的图像SI200(第四图像)。在图25所示的例子中，显示控制部221将标记MK20显示在图像SI200上。
在步骤S115中，显示控制部221对与显示于第一区域151的图像SI111(第二图像)对应的图像SI202(第三图像)进行强调显示。在图26所示的例子中，显示控制部221将标记MK20显示在图像SI202上。
在步骤S133中，显示控制部221在第三图像上强调显示在基准图像SI110(第一图像)的视场中不包括且在至少两张第二图像中的两张以上的图像的视场中共同包括的区域。在图25所示的例子中，显示控制部221在第二区域152的各图像上显示区域R131b、区域R131c、区域R131d以及区域R131e。
在步骤S115中，显示控制部221在第三图像上强调显示在显示于第一区域151的图像SI111(第二图像)的视场中不包括且在至少两张第二图像中的两张以上的图像的视场中共同包括的区域。在图26所示的例子中，显示控制部221在第二区域152的各图像上显示区域R133a、区域R133b、区域R133d以及区域R133e。
在步骤S134和步骤S115中，显示控制部221在第三图像上强调显示只在至少两张第二图像中的一张图像的视场中包括的区域。在图25和图26所示的例子中，显示控制部221在第二区域152的各图像上显示区域R131Na、区域R131Nc、区域R131Nd以及区域R131Ne。
在步骤S134中，显示控制部221在基准图像SI110上强调显示只在基准图像SI110(第一图像)的视场中包括的区域。在图25所示的例子中，显示控制部221在基准图像SI110上显示区域R130Na。
在步骤S115中，显示控制部221在显示于第一区域151的图像SI111上强调显示只在显示于第一区域151的图像SI111(第二图像)的视场中包括的区域。在图26所示的例子中，显示控制部221在图像SI111上显示区域R132Nc。
在步骤S135和步骤S115中，显示控制部221在第三图像上强调显示测量精度低的区域。在图25和图26所示的例子中，显示控制部221在第二区域152的各图像上显示区域R131Wa、区域R131Wb、区域R131Wc以及区域R131Wd。
在步骤S135中，显示控制部221在基准图像SI110(第一图像)上强调显示测量精度低的区域。在图25所示的例子中，显示控制部221在基准图像SI110上显示区域R130Wa。
在步骤S115中，显示控制部221在显示于第一区域151的图像SI111上强调显示测量精度低的区域。在图26所示的例子中，显示控制部221在图像SI111上显示区域R132Wc。
在第二实施方式中，在显示器15的第一区域151显示第一图像，并且在显示器15的第二区域152显示至少两张第三图像。在第一图像中设定第一基准点Pr21和第二基准点Pr22，并且接收用于选择显示于第二区域152的至少两张第三图像中的一张图像的指示。之后，第一图像变为非显示，并且在第一区域151显示与所选择的第三图像对应的第二图像。在第二图像中设定第一测量点Pm21和第二测量点Pm22。用户能够从显示于第二区域152的至少两张第三图像中容易地选择想要在指定点的指定中使用的图像。因此，测量中的用户的操作性提高。
在第二区域152的第三图像上显示能够执行测量的区域。用户能够确认显示于第二区域152的第三图像中能够指定指定点的区域。
在第一区域151的第一图像上或第一区域151的第二图像上显示不能执行测量的区域。用户能够确认显示于第一区域151的第一图像或第二图像中无法指定指定点的区域。
在第二区域152的第三图像上显示不能执行测量的区域。用户能够确认显示于第二区域152的第三图像中无法指定指定点的区域。
在第一区域151的第一图像上、第一区域151的第二图像上、或第二区域152的第三图像上显示测量精度低的区域。用户能够在各图像中确认测量精度低的区域。
(第二实施方式的变形例)
对本发明的第二实施方式的变形例进行说明。在第二实施方式中，生成3D模型所使用的至少三张图像在显示器15的第二区域中沿横向排成一列。将至少三张图像沿横向排列不是必须的。例如，也可以将至少三张图像沿纵向排列。也可以是将至少三张图像中的一部分沿横向排列，将剩余部分沿纵向排列。也可以是将至少三张图像排列在显示器15的第一区域的周边。例如，基于以显示于第一区域的图像为基准的视场的移动方向来决定至少三张图像被配置的位置。
下面，对两种情况进行说明。在第一种情况中，将至少三张图像沿横向和纵向排列。在第二种情况中，将至少三张图像基于视场的移动方向而排列在第一区域的周边。
图27示出在第一种情况中显示于显示器15的图像的例子。省略与图25所示的部分相同的部分的说明。
在显示器15的画面上显示有基准图像SI110、图像SI200、图像SI201、图像SI202、图像SI203、图像SI204以及菜单ME2。在显示器15的第一区域151显示基准图像SI110。在显示器15的第二区域152显示图像SI200、图像SI201以及图像SI202。在显示器15的第三区域153显示图像SI200、图像SI203以及图像SI204。
第三区域153与第一区域151及第二区域152中的任一个都不同。第三区域153配置于第一区域151的左侧。第二区域152的长轴方向与第三区域153的长轴方向正交。在第二区域152中，将3张图像沿横向排成一列。在第三区域153中，将3张图像沿纵向排成一列。
对在第二区域152和第三区域153中排列各图像的方法进行说明。显示控制部221执行与图4所示的步骤S114同样的处理，检测显示于第一区域151的基准图像与由图像提取部210提取出的至少3张图像之间的视场的移动方向。显示控制部221基于所检测出的移动方向，将至少3张图像分配给第二区域152和第三区域153。具体地说，显示控制部221对第二区域152分配具有从基准图像的视场向左或右移动后的视场的图像。显示控制部221对第三区域153分配具有从基准图像的视场向上或下移动后的视场的图像。
在对第二区域152分配了至少两张图像的情况下，显示控制部221将这些图像按视场的顺序或时间序列顺序排列，并在第二区域152中显示。在对第二区域152分配了1张图像的情况下，显示控制部221在第二区域152中显示该图像。另外，显示控制部221在第二区域152中显示与基准图像相同的图像。
在对第三区域153分配了至少2张图像的情况下，显示控制部221将这些图像按视场的顺序或时间序列顺序排列，并在第三区域153中显示。在对第三区域153分配了1张图像的情况下，显示控制部221在第三区域153中显示该图像。另外，显示控制部221在第三区域153中显示与基准图像相同的图像。
在图27中，没有显示能够执行测量的区域，但是也可以显示该区域。在图27中，没有显示不能执行测量的区域，但是也可以显示该区域。在图27中，没有显示测量精度低的区域，但是也可以显示该区域。下面，在示出显示于显示器15的图像的图中省略这些区域的显示。也可以是在所有的图中都显示这些区域。
生成3D模型所使用的各图像具有从基准图像的视场沿纵向(上或下)或横向(左或右)移动后的视场。在图27所示的例子中，各图像被配置于与两个方向中的某一个方向相关联的区域。因此，用户易于理解显示于第二区域152或第三区域153的图像与显示于第一区域151的基准图像之间的视场的关系。用户能够指定显示于第二区域152和第三区域153的至少3张图像中的期望的图像。
图28示出在第二种情况中显示于显示器15的图像的例子。省略与图27所示的部分相同的部分的说明。
除了第二区域152和第三区域153以外，在第一区域151的周围还配置有第四区域154和第五区域155。第四区域154与第一区域151、第二区域152以及第三区域153中的任一个都不同。第四区域154配置于第一区域151的右侧。第二区域152的长轴方向与第四区域154的长轴方向正交。在第四区域154显示图像SI201。第五区域155与第一区域151、第二区域152、第三区域153以及第四区域154中的任一个都不同。第五区域155配置于第一区域151的上侧。第二区域152的长轴方向与第五区域155的长轴方向平行。在第五区域155显示图像SI203。
对在第二区域152、第三区域153、第四区域154以及第五区域155中排列各图像的方法进行说明。显示控制部221执行与图4所示的步骤S114同样的处理，检测显示于第一区域151的基准图像与由图像提取部210提取出的至少3张图像之间的视场的移动方向。显示控制部221基于所检测出的移动方向，将至少3张图像分配给第一区域151的周围的四个区域。具体地说，显示控制部221对第二区域152分配具有从基准图像的视场向下移动后的视场的图像。显示控制部221对第三区域153分配具有从基准图像的视场向左移动后的视场的图像。显示控制部221对第四区域154分配具有从基准图像的视场向右移动后的视场的图像。显示控制部221对第五区域155分配具有从基准图像的视场向上移动后的视场的图像。
图像SI201具有从基准图像SI110的视场向右移动后的视场。因此，图像SI201被显示在第四区域154中。图像SI203具有从基准图像SI110的视场向上移动后的视场。因此，在第五区域155中显示图像SI203。
图27所示的图像SI202的视场位于比图像SI201的视场靠右的位置。在图28中，在第一区域151中显示着与图像SI200对应的基准图像SI110时，不显示图像SI202。图27所示的图像SI204的视场位于比图像SI203的视场靠上的位置。在图28中，在第一区域151中显示着与图像SI200对应的基准图像SI110时，不显示图像SI204。
生成3D模型所使用的各图像具有从基准图像的视场向上、下、左以及右四个方向中的任一个方向移动后的视场。在图28所示的例子中，各图像被配置于与四个方向中的某一个方向相关联的区域。因此，用户易于理解显示于四个区域中的各个区域的图像与显示于第一区域151的基准图像之间的视场的关系。用户能够指定显示于四个区域的图像中的期望的图像。
(第三实施方式)
对本发明的第三实施方式进行说明。在第二实施方式中，在显示器15的第二区域显示具有局部相互重叠的视场的多个图像。因此，有时显示器15的画面的利用效率低。
在第三实施方式中，在显示器15的第二区域显示基于由图像提取部210提取出的至少三张图像生成的合成图像。用户指定显示于显示器15的第二区域的合成图像上的区域。此时，显示器15的第一区域上的基准图像变为非显示，并且在显示器15的第一区域显示包括由用户指定的区域的图像。因此，能够有效地使用显示器15的画面。
图2所示的CPU 13被变更为图29所示的CPU 13b。图29示出CPU 13b的功能结构。省略与图2所示的结构相同的结构的说明。图29所示的模块中的至少一个模块可以由与CPU13b不同的电路构成。
图29所示的各部可以由处理器和逻辑电路中的至少一个构成。图29所示的各部能够包括一个或多个处理器。图29所示的各部能够包括一个或多个逻辑电路。
图2所示的测量处理部22被变更为测量处理部22b。测量处理部22b具有基准点设定部220、显示控制部221、基准长度设定部222、显示图像选择部223、测量点设定部224、坐标变换部225、测量部226以及合成部228。
合成部228生成合成图像。显示控制部221在显示器15的第二区域显示合成图像。用户输入用于指定合成图像上的区域的指示。此时，显示控制部221将显示器15的第一区域上的图像设为非显示，并且将包括所指定的区域的图像显示于第一区域。
图4所示的处理被变更为图30所示的处理。参照图30说明为了测量而执行的处理过程。图30示出CPU 13b执行的处理过程。省略与图4所示的处理相同的处理的说明。
在步骤S109之后，合成部228基于在步骤S106中提取出的至少三张图像生成合成图像(步骤S141)。一般地，合成图像被称为全景图像、粘贴图像、或拼接图像等。为了生成合成图像而能够使用周知的技术手段。
在步骤S141之后，显示控制部221将由合成部228生成的合成图像显示于显示器15的第二区域(步骤S142)。显示器15的第二区域与显示基准图像的第一区域不同。
下面，假定用户想要指定的测量点没有拍摄在第一区域上的基准图像中的情况。用户对操作部12进操作来指定显示于第二区域的合成图像上的关注区域。由此，用户输入图像切换指示。图像切换指示包括由用户指定的关注区域的信息。在步骤S112之后，显示图像选择部223从操作部12接收图像切换指示(步骤S143)。
例如，用户通过指定矩形等区域来指定关注区域。也可以是，用户通过指定点，来指定具有包括该点的规定大小的关注区域。在显示器15为触摸面板的情况下，用户能够通过触摸合成图像上的关注区域的位置来指定关注区域。
在步骤S143之后，显示图像选择部223从在步骤S106中提取出的至少三张图像中选择一张包括由用户指定的关注区域的图像(步骤S144)。
在至少两张图像包括关注区域的情况下，显示图像选择部223选择一张对于指定测量点而言适当的图像。例如，也可以是，显示图像选择部223选择关注区域的对比度最高的图像。也可以是，显示图像选择部223选择关注区域的分辨率最高的图像。也可以是，显示图像选择部223选择关注区域的面积最大的图像。只要选择包括由用户指定的关注区域的至少一部分的图像即可，选择图像的方法不限于上述的方法。
在步骤S144之后，在步骤S115中，显示控制部221将第一区域上的图像设为非显示，并且将由显示图像选择部223选择的图像显示于第二区域。
图31示出在步骤S111中设定了基准长度之后在显示器15显示的图像的例子。省略与图7所示的部分相同的部分的说明。
在菜单ME3上显示测量模式MD20、基准长度设定RL20以及测量结果MR20。在菜单ME3上的第二区域152a显示合成图像CI30。由合成部228生成的合成图像的全部或一部分被显示为合成图像CI30。
在合成图像CI30上显示区域R140。区域R140为合成图像CI30上的与基准图像SI101对应的区域。在步骤S142中，显示控制部221在合成图像CI30上强调显示区域R140。在图31所示的例子中，显示控制部221用粗线包围区域R140。只要用户能够将合成图像CI30上的区域R140与基准图像SI101关联起来即可，对区域R140进行强调显示的方法不限于上述的方法。
用户在合成图像CI30上指定关注区域R141。可以在合成图像CI30上显示关注区域R141。或者，也可以在合成图像CI30上不显示关注区域R141。
在合成图像CI30上显示第一基准点Pr31和第二基准点Pr32。第一基准点Pr31与在基准图像SI101上指定的第一基准点Pr21对应。第二基准点Pr32与在基准图像SI101上指定的第二基准点Pr22对应。在步骤S110中，显示控制部221对第一基准点Pr31和第二基准点Pr32进行强调显示。在图31所示的例子中，显示控制部221在合成图像CI30上显示各基准点的标记。只要用户能够将显示于第一区域151的基准图像SI101上的指定点与显示于第二区域152a的合成图像CI30上的点关联起来即可，对合成图像CI30上的点进行强调显示的方法不限于上述的方法。
CPU 13b执行的处理的顺序不限于图3和图30所示的顺序。例如，只要在执行步骤S112之前执行步骤S108即可，可以在步骤S107与步骤S117之间的任意的定时执行步骤S108。
也可以是在步骤S107与步骤S110之间的定时执行步骤S141。只要在执行步骤S141之后执行步骤S142即可，可以在步骤S107与步骤S143之间的任何定时执行步骤S142。
可以重复执行步骤S143至步骤S116。在步骤S116中，设定至少一个测量点。因而，可以在两张以上的图像中的各个图像上设定至少一个测量点。
本发明的各方式的测量方法也可以具有合成步骤和合成图像显示步骤。在合成步骤(步骤S141)中，合成部228通过将多个第二图像进行粘贴来生成合成图像。在合成图像显示步骤(步骤S142)中，显示控制部221将合成图像CI30显示于显示器15的第二区域152a。在第一图像中设定第一点并且接收到用于指定合成图像CI30上的关注区域R141的指示之后，在步骤S115中，显示控制部221将显示器15的第一区域151上的第一图像设为非显示，并且将包括所指定的关注区域R141的第二图像显示于第一区域151。
第一图像与基准图像SI101对应。多个第二图像与在步骤S106中提取出的图像对应。多个第二图像可以包括基准图像SI101，也可以不包括基准图像SI101。第一点与图31所示的第一基准点Pr21和第二基准点Pr22中的至少一个对应。
本发明的各方式的测量方法也可以还具有点显示步骤。在点显示步骤中，显示控制部221在合成图像CI30上强调显示与第一点或第二点对应的第三点。在图31所示的例子中，在步骤S110中，显示控制部221在合成图像CI30上显示第一基准点Pr31和第二基准点Pr32。
第二点与在步骤S116中所设定的第一测量点和第二测量点中的至少一个对应。也可以是，在步骤S116中，显示控制部221在合成图像CI30上显示第一测量点和第二测量点。
在第三实施方式中，在显示器15的第二区域152a显示合成图像CI30。因此，能够有效地使用显示器15的画面。例如，能够使图31所示的第一区域151大于图25所示的第一区域151。
在显示于第一区域151的图像上指定了指定点之后，在合成图像CI30上显示与该指定点对应的点。用户能够在合成图像CI30上确认指定点在生成3D模型所使用的至少三张图像中的位置。
(第三实施方式的变形例)
对本发明的第三实施方式的变形例进行说明。在显示器15的第二区域显示由3D模型生成部211生成的3D模型的图像(3D图像)。用户指定显示于显示器15的第二区域的3D图像上的区域。此时，显示器15的第一区域上的基准图像变为非显示，并且在显示器15的第一区域显示包括由用户指定的区域的图像。
第三实施方式的变形例的测量装置1具有图2所示的CPU 13。
图4所示的处理被变更为图32所示的处理。参照图32说明为了测量而执行的处理过程。图32示出CPU 13执行的处理过程。省略与图4所示的处理相同的处理的说明。
在步骤S109之后，显示控制部221将3D模型的图像(3D图像)显示于显示器15的第二区域(步骤S151)。显示器15的第二区域与显示基准图像的第一区域不同。在步骤S151之后执行步骤S110。
下面，假定用户想要指定的测量点没有拍摄在第一区域上的基准图像中的情况。用户对操作部12进行操作来指定显示于第二区域的3D图像上的关注区域。由此，用户输入图像切换指示。图像切换指示包括由用户指定的关注区域的信息。在步骤S112之后，显示图像选择部223从操作部12接收图像切换指示(步骤S152)。
在步骤S152之后，显示图像选择部223从在步骤S106中提取出的至少三张图像中选择一张包括与由用户指定的关注区域对应的区域的图像(步骤S153)。生成3D模型所使用的图像上的位置与其在3D模型上的位置被相互关联。在步骤S153中，显示图像选择部223选择包括与在3D模型上指定的关注区域相关联的区域的图像。
在步骤S153之后，在步骤S115中，显示控制部221将第一区域上的图像设为非显示，并且将由显示图像选择部223选择的图像显示于第二区域。
图33示出在步骤S111中设定了基准长度之后在显示器15显示的图像的例子。省略与图31所示的部分相同的部分的说明。
在菜单ME3上的第二区域152a显示3D图像I50。由3D模型生成部211生成的3D模型的全部或一部分图像被显示为3D图像I50。
在3D图像I50上显示区域R150。区域R150为3D图像I50上的与基准图像SI101对应的区域。在步骤S151中，显示控制部221在3D图像I50上强调显示区域R150。在图33所示的例子中，显示控制部221用粗线包围区域R150。只要用户能够将3D图像I50上的区域R150与基准图像SI101关联起来即可，对区域R150进行强调显示的方法不限于上述的方法。
用户指定3D图像I50上的关注区域R151。也可以是在用户指定关注区域R151之前按照来自用户的指示对3D图像I50执行放大、缩小、旋转、或平行移动等。也可以是在3D图像I50上显示关注区域R151。或者，也可以是在3D图像I50上不显示关注区域R151。
在3D图像I50上显示第一基准点Pr41和第二基准点Pr42。第一基准点Pr41与在基准图像SI101上指定的第一基准点Pr21对应。第二基准点Pr42与在基准图像SI101上指定的第二基准点Pr22对应。在步骤S110中，显示控制部221对第一基准点Pr41和第二基准点Pr42进行强调显示。在图33所示的例子中，显示控制部221在3D图像I50上显示各基准点的标记。只要用户能够将显示于第一区域151的基准图像SI101上的指定点与显示于第二区域152a的3D图像I50上的点关联起来即可，对3D图像I50上的点进行强调显示的方法不限于上述的方法。
CPU 13执行的处理的顺序不限于图3和图32所示的顺序。例如，只要在执行步骤S112之前执行步骤S108即可，可以在步骤S107与步骤S117之间的任何定时执行步骤S108。也可以是在步骤S108与步骤S152之间的任何定时执行步骤S151。
可以重复执行步骤S152至步骤S116。在步骤S116中，设定至少一个测量点。因而，可以在两张以上的图像中的各个图像上设定至少一个测量点。
本发明的各方式的测量方法也可以具有三维图像显示步骤。在三维图像显示步骤(步骤S151)中，显示控制部221在显示器15的第二区域152a显示表示被摄体的三维形状的3D图像I50(三维图像)。在第一图像中设定第一点并且接收到用于指定3D图像I50上的关注区域R151的指示之后，在步骤S115中，显示控制部221将显示器15的第一区域151上的第一图像设为非显示，并且将包括与所指定的关注区域R151对应的区域的第二图像显示于第一区域151。
第一图像与基准图像SI101对应。多个第二图像与在步骤S106中提取出的图像对应。多个第二图像可以包括基准图像SI101，也可以不包括基准图像SI101。第一点与图33所示的第一基准点Pr21和第二基准点Pr22中的至少一个对应。
本发明的各方式的测量方法也可以还具有点显示步骤。在点显示步骤中，显示控制部221在3D图像I50上强调显示与第一点或第二点对应的第三点。在图33所示的例子中，在步骤S110中，显示控制部221在3D图像I50上显示第一基准点Pr41和第二基准点Pr42。
第二点与在步骤S116中所设定的第一测量点和第二测量点中的至少一个对应。也可以是，在步骤S116中，显示控制部221在3D图像I50上显示第一测量点和第二测量点。
在第三实施方式的变形例中，在显示器15的第二区域152a显示3D图像I50。因此，能够有效地使用显示器15的画面。例如，能够使图33所示的第一区域151大于图25所示的第一区域151。
在显示于第一区域151的图像上指定了指定点之后，在3D图像I50上显示与该指定点对应的点。用户能够在3D图像I50上确认指定点在生成3D模型所使用的至少三张图像中的位置。
(第四实施方式)
对本发明的第四实施方式进行说明。在上述的各实施方式中，假定测量装置1使用通过单眼获取到的图像执行SfM的情况。在第四实施方式中，图像组中包括的各图像为包括从第一视点观看到的被摄体的图像及从与第一视点不同的第二视点观看到的被摄体的图像的立体图像。图像组包括由图像提取部210提取出的至少三张图像。在第四实施方式中，测量装置1基于至少三张立体图像、摄像机的位置以及摄像机的姿势生成3D模型。测量装置1通过求解Perspective n Point问题(PnP(n点透视)问题)，来估计摄像机的位置和姿势。
图2所示的CPU 13被变更为图34所示的CPU 13c。图34示出CPU 13c的功能结构。省略与图2所示的结构相同的结构的说明。图34所示的模块中的至少一个模块可以由与CPU13c不同的电路构成。
图34所示的各部可以由处理器和逻辑电路中的至少一个构成。图34所示的各部能够包括一个或多个处理器。图34所示的各部能够包括一个或多个逻辑电路。
图2所示的测量处理部22被变更为测量处理部22c。测量处理部22c具有显示控制部221、显示图像选择部223、测量点设定部224以及测量部226。测量处理部22c不具有图2所示的基准点设定部220、基准长度设定部222以及坐标变换部225。
图4所示的处理被变更为图35和图36所示的处理。参照图35和图36说明为了进行测量而执行的处理过程。图35和图36示出CPU 13c执行的处理过程。省略与图4所示的处理相同的处理的说明。
在步骤S107之后，3D模型生成部211估计摄像机在生成由图像提取部210提取出的各图像时的位置和姿势。3D模型生成部211通过使用周知的技术(例如开放源码软件(OpenSource Software)等)求解PnP问题，由此能够估计摄像机的位置和姿势。3D模型生成部211基于所估计出的摄像机的位置和姿势来生成3D模型(步骤S161)。在步骤S161之后执行步骤S109。
在第四实施方式中，3D模型生成部211使用立体图像。因此，3D模型生成部211不使用SfM，而能够基于一张立体图像内的两张图像来容易地计算各像素的三维坐标。3D模型生成部211通过将包括在步骤S106中提取出的至少三张图像的各像素的三维坐标的3D模型接合，来获得广范围的3D模型。
在第四实施方式中，由于使用立体图像，因此不需要基准点和基准长度。因此，不执行图4所示的步骤S111和步骤S112。
下面，假定用户指定两个测量点并且测量部226执行两点间距离测量的情况。
在显示器15显示基准图像之后，用户对操作部12进行操作来在显示于显示器15的图像上指定第一测量点。测量点设定部224从操作部12接收由用户指定的第一测量点。测量点设定部224在显示于显示器15的基准图像中设定由用户指定的第一测量点(步骤S162)。在步骤S162之后执行步骤S113。由于在基准图像中没有拍摄到用户想要指定的第二测量点，因此执行步骤S113至S115，来切换显示器15的第一区域上的图像。
在图像切换之后，用户对操作部12进行操作来在显示于显示器15的图像上指定第二测量点。测量点设定部224从操作部12接收由用户指定的第二测量点。测量点设定部224在显示于显示器15的图像中设定由用户指定的第二测量点(步骤S163)。在步骤S163之后执行步骤S117。
可以重复执行步骤S113至步骤S163。因而，可以在两张以上的图像中的各个图像中设定测量点。
在第四实施方式以外的实施方式中，也可以使用立体图像。
在第四实施方式中，测量装置1能够在多个立体图像中设定进行测量所使用的多个点。有时用于三维测量的两个指定点彼此远离而进入不到一张立体图像的视场中。测量装置1将拍摄有各指定点的立体图像按顺序显示，来切换显示于显示器15的立体图像。用户能够对各立体图像上的指定点进行指定。因此，在测量中用户的操作性提高。
(第五实施方式)
对本发明的第五实施方式进行说明。用户在显示于显示器15的第一区域的图像上指定指定点。在第五实施方式中，测量装置1在显示器15的第二区域上的图像中显示与指定点对应的点。此时，测量装置1显示将该点的周边放大后的图像。
在用户没有指定指定点时，在显示器15的第二区域显示用于生成3D模型的各图像中的视场的整体。用户能够在第二区域上的图像中确认显示于第一区域的图像中不包括的区域。在由用户指定了指定点时，与该指定点对应的点的周边被放大，并且被显示于第二区域。用户能够只对指定点的周边详细地进行确认。
第五实施方式的测量装置1具有图18所示的CPU 13a。
图19所示的处理被变更为图37所示的处理。参照图37，对为了测量而执行的处理过程进行说明。图37示出CPU 13a执行的处理过程。省略与图19所示的处理相同的处理的说明。
在步骤S131之后，基准点设定部220判断测量装置1是否处于等待基准点的输入的状态(步骤S171)。例如，在用户按下了用于指示基准点的输入开始的按钮的情况下，测量装置1处于等待基准点的输入的状态。
在基准点设定部220判断为测量装置1不处于等待基准点的输入的状态的情况下，基准点设定部220重复执行步骤S171。在该情况下，也可以是用户使光标在显示于显示器15的第一区域的图像上移动，并显示图像的RGB值。或者，也可以是用户通过使用鼠标12a执行点击动作来使图像放大或缩小。用户能够详细地确认是否存在缺陷。
在基准点设定部220判断为测量装置1处于等待基准点的输入的状态的情况下，用户能够指定基准点。用户对操作部12进行操作来在显示于显示器15的第一区域的基准图像上指定第一基准点。基准点设定部220从操作部12接收由用户指定的第一基准点。基准点设定部220在显示于显示器15的第一区域的基准图像中设定由用户指定的第一基准点(步骤S172)。
在步骤S172之后，显示控制部221在显示于显示器15的第二区域的至少三张图像中检测对应点。该对应点与在步骤S172中设定的第一基准点对应。显示控制部221在显示器15的第二区域显示将所检测出的对应点的周边放大后的图像(步骤S173)。
在设定了第一基准点之后，用户对操作部12进行操作来在显示于显示器15的第一区域的基准图像上指定第二基准点。基准点设定部220从操作部12接收由用户指定的第二基准点。基准点设定部220在显示于显示器15的第一区域的基准图像中设定由用户指定的第二基准点(步骤S174)。
在步骤S174之后，显示控制部221在显示于显示器15的第二区域的至少三张图像中检测对应点。该对应点与在步骤S174中设定的第二基准点对应。显示控制部221在显示器15的第二区域显示将对应点的周边放大后的图像(步骤S175)。在步骤S175之后执行步骤S111。
图38示出在步骤S131中显示于显示器15的图像的例子。省略与图25相同部分的说明。
在显示器15的画面上显示基准图像SI120、图像SI220、图像SI221、图像SI222、图像SI223以及菜单ME4。在显示器15的第一区域151显示基准图像SI120。
图像SI220、图像SI221、图像SI222以及图像SI223与在步骤S106中提取出的至少三张图像对应。这些图像各自的视场与在步骤S106中提取出的各图像的视场相同。这些图像被显示于显示器15的第二区域152。图像SI221与基准图像SI120对应。在用户指定指定点之前，显示图像SI220、图像SI221、图像SI222以及图像SI223各自的视场的整体。
在菜单ME4上显示按钮BT30。按钮BT30为用于输入用于开始指定基准点的指示的按钮。用户能够通过操作部12来按下按钮BT30。在显示器15为触摸面板的情况下，用户能够在画面上按下按钮BT30。在用户按下按钮BT30的情况下，测量装置1成为等待基准点的输入的状态。
图39示出在步骤S173中显示于显示器15的图像的例子。省略与图38相同部分的说明。
在基准图像SI120上显示第一基准点Pr51。在步骤S173中，显示控制部221在图像SI220、图像SI221、图像SI222以及图像SI223中的各个图像中检测对应点。图像SI221与基准图像SI120相同，因此检测处于与基准图像SI120上的第一基准点Pr51的坐标相关联的坐标处的对应点。显示控制部221使用各个图像SI220、图像SI222以及图像SI223与基准图像SI120执行匹配处理。显示控制部221获得处于各个图像SI220、图像SI222以及图像SI223中的对应点来作为匹配处理的结果。
显示控制部221在检测出对应点的情况下，生成将对应点的周边放大后的图像。例如，从第二区域152上的各图像中提取对应点的周边区域并进行放大。对应点的周边区域以对应点为中心并具有规定的大小。也可以是，用户通过操作部12来变更放大率的设定。
显示控制部221将图像SI220设为非显示，并且将图像SI220a显示于第二区域152。图像SI220a为将在图像SI220中检测出的对应点的周边放大后的图像。在图像SI220a上显示对应点Pr52。
显示控制部221将图像SI221设为非显示，并且将图像SI221a显示于第二区域152。图像SI221a为将在图像SI221中检测出的对应点的周边放大后的图像。在图像SI221a上显示对应点Pr53。
显示控制部221将图像SI222设为非显示，并且将图像SI222a显示于第二区域152。图像SI222a为将在图像SI222中检测出的对应点的周边放大后的图像。在图像SI222a上显示对应点Pr54。
图像SI220a、图像SI221a以及图像SI222a分别是将在步骤S106中提取出的图像的一部分放大后的图像。在图像SI223上不存在与基准图像SI120上的第一基准点Pr51对应的点。因此，显示控制部221向用户通知在图像SI223上不存在对应点。例如，将图像SI223灰化显示。
用户在被放大的图像上确认对应点。用户通过确认与基准图像SI120对应的图像SI221a上的对应点Pr53，由此能够判断第一基准点Pr51是否被设定在期望的位置处。用户通过确认图像SI220a上的对应点Pr52和图像SI222a上的对应点Pr54，由此能够判断在各个图像SI220a和图像SI222a中是否正确地检测出对应点。
也可以是，在指定了第一基准点Pr51时，在图38所示的图像SI220、图像SI221以及图像SI222上显示对应点。在该情况下，也可以是不将对应点的周边的图像放大。用户易于基于各图像上的对应点的位置理解各图像的视场的关系。
在步骤S112之后，显示控制部221使显示于显示器15的第二区域的图像的放大率复原(步骤S176)。在第二区域显示着放大图像的期间，用户无法确认对应点的周边以外的区域。因此，用户难以在显示于第二区域的图像上搜索测量点。由于图像的放大率复原，因此用户易于搜索测量点。在步骤S176之后执行步骤S136。
在步骤S115之后，测量点设定部224判断测量装置1是否处于等待测量点的输入的状态(步骤S177)。例如，在用户按下了用于指示测量点的输入开始的按钮的情况下，测量装置1处于等待测量点的输入的状态。
在测量点设定部224判断为测量装置1不处于等待测量点的输入的状态的情况下，测量点设定部224重复执行步骤S177。
在测量点设定部224判断为测量装置1处于等待测量点的输入的状态的情况下，用户能够指定测量点。用户对操作部12进行操作来在显示于显示器15的第一区域的图像上指定第一测量点。测量点设定部224从操作部12接收由用户指定的第一测量点。测量点设定部224在显示于显示器115的第一区域的图像中设定由用户指定的第一测量点(步骤S178)。
在步骤S178之后，显示控制部221在显示于显示器15的第二区域的至少三张图像中检测对应点。该对应点与在步骤S178中设定的第一测量点对应。显示控制部221在显示器15的第二区域显示将所检测出的对应点的周边放大后的图像(步骤S179)。
在设定了第一测量点之后，用户对操作部12进行操作来在显示于显示器15的第一区域的测量图像上指定第二测量点。测量点设定部224从操作部12接收由用户指定的第二测量点。测量点设定部224在显示于显示器115的第一区域的图像中设定由用户指定的第二测量点(步骤S180)。
在步骤S180之后，显示控制部221在显示于显示器15的第二区域的至少三张图像中检测对应点。该对应点与在步骤S180中设定的第二测量点对应。显示控制部221在显示器15的第二区域显示将对应点的周边放大后的图像(步骤S181)。在步骤S181之后执行步骤S117。
在显示器15的第一区域上的图像中显示用于指定指定点的光标的情况下，显示控制部221也可以定期地检测光标的位置。即使光标正在图像上移动，显示控制部221也可以将检测出的光标的位置视为指定点。显示控制部221也可以在显示于显示器15的第二区域的各图像中检测对应点。该对应点与光标的位置对应。显示控制部221也可以在显示器15的第二区域显示将对应点的周边放大后的图像。在用户正在移动光标的期间，放大图像被持续更新。也可以是，在光标正在移动的期间内，不将第二区域上的图像放大，仅在光标停止时将第二区域上的图像放大。
在图37中，省略图19所示的步骤S132至S135。图37所示的处理也可以包括步骤S132至S135。
CPU 13a执行的处理的顺序不限于图3和图37所示的顺序。例如，只要在执行步骤S112之前执行步骤S108即可，可以在步骤S107与步骤S117之间的任意的定时执行步骤S108。
可以重复执行步骤S136至步骤S181。因而，可以在两张以上的图像中的各个图像上设定测量点。
本发明的各方式的测量方法也可以具有点显示步骤。在点显示步骤(步骤S173、步骤S175、步骤S179以及步骤S181)中，显示控制部221在第三图像上放大显示包括与第一点或第二点对应的第三点的区域。
第一点与第一基准点和第二基准点中的至少一个对应。第二点与第一测量点和第二测量点中的至少一个对应。在图39所示的例子中，显示控制部221在图像SI220a上显示对应点Pr52，在图像SI221a上显示对应点Pr53，在图像SI222a上显示对应点Pr54。对应点Pr52、对应点Pr53以及对应点Pr54分别与第三点对应。图像SI220a、图像SI221a以及图像SI222a分别与第三图像对应。
在第五实施方式中，在显示器15的第一区域上的图像中设定指定点，并且在显示器15的第二区域内显示将与指定点对应的点放大后的图像。用户能够判断指定点是否被设定在期望的位置。另外，用户能够判断是否正确地检测出对应点。
对第二区域152上的图像的放大率进行控制。在用户未指定指定点的情况下，第二区域上的图像不被放大。用户能够确认第二区域上的图像的整体。用户能够在第二区域上的图像中确认显示于第一区域的图像中不包括的区域。在用户指定指定点的情况下，第二区域上的图像被放大。用户能够只对指定点的周边详细地进行确认。
(第五实施方式的变形例)
对本发明的第五实施方式的变形例进行说明。也可以是，测量装置1从用户接收指示，并且对显示于显示器15的第二区域的图像上的对应点的位置进行修正。用户能够通过操作部12来修正对应点的位置。
下面，对两种情况进行说明。在第一种情况中，用户对具有与显示器15的第一区域上的图像的视场相同的视场的图像上的对应点的位置进行修正。在对应点的位置已被修正时，对显示于第一区域的图像上的指定点的位置进行修正。用户能够精确地指定指定点。在第二种情况中，用户对具有与显示器15的第一区域上的图像的视场不同的视场的图像上的对应点的位置进行修正。在对应点的位置已被修正时，再次计算摄像机的位置和姿势，并且再次生成3D模型。在该情况下，测量的误差变小。
图40示出在第一种情况中显示于显示器15的图像的例子。省略与图39所示的部分相同的部分的说明。
在基准图像SI120上显示第一基准点Pr61。在图像SI221a上显示对应点Pr62。图像SI221a为将与基准图像SI120对应的图像SI221(图38)的一部分放大后的图像。用户确认对应点Pr62。下面，假定用户认为对应点Pr62与期望的位置不同并且希望修正对应点Pr62的位置的情况。在该情况下，用户对操作部12进行操作来使对应点Pr62在图像SI221a上移动。在图40所示的例子中，对应点Pr62移动并且显示为对应点Pr62a。
基准图像SI120上的坐标与图像SI221上的坐标相互进行关联。因此，基准图像SI120上的坐标与图像SI221a上的坐标相互进行关联。显示控制部221将基准图像SI120上的第一基准点Pr61修正为与图像SI221a上的对应点Pr62a相同的位置。在图40所示的例子中，第一基准点Pr61移动并且显示为第一基准点Pr61a。
图41示出在第二种情况中显示于显示器15的图像的例子。省略与图39所示的部分相同的部分的说明。
在基准图像SI120上显示第一基准点Pr63。在图像SI220a上显示对应点Pr64，并且在图像SI222a上显示对应点Pr65。用户确认对应点Pr64和对应点Pr65。下面，假定用户认为对应点Pr64及对应点Pr65与第一基准点Pr63不同并且希望修正对应点Pr64和对应点Pr65的位置的情况。在该情况下，用户对操作部12进行操作来使对应点Pr64在图像SI220a上移动，并且使对应点Pr65在图像SI222a上移动。在图41所示的例子中，对应点Pr64移动并且显示为对应点Pr64a。另外，对应点Pr65移动并且显示为对应点Pr65a。
在对应点的修正完成之后，用户对操作部12进行操作来按下菜单ME4上的按钮BT31。按钮BT31为用于再次执行摄像机的位置和姿势的计算的按钮。在按钮BT31被按下时，3D模型生成部211基于修正后的对应点的信息，再次计算摄像机的位置和姿势。3D模型生成部211基于所计算出的摄像机的位置和姿势，再次生成3D模型。
在第五实施方式的变形例中，测量装置1对具有与显示器15的第一区域上的图像的视场相同的视场的图像上的对应点的位置进行修正。用户通过操作部12来修正对应点的位置，由此能够精确地指定指定点。测量装置1对具有与显示器15的第一区域上的图像的视场不同的视场的图像上的对应点的位置进行修正。用户通过操作部12来修正对应点的位置，由此能够减小测量的误差。
(第六实施方式)
对本发明的第六实施方式进行说明。在第六实施方式中，两个装置进行协作。第一装置从用户接收指示来执行处理，并且向用户通知处理结果。第一装置执行与图像的显示及指定点的设定等有关的处理。第二装置执行与3D模型的生成等有关的处理。例如，第一装置的便携性好，但是第一装置的计算资源小。第二装置的便携性不好，但是第二装置的计算资源丰富。在第六实施方式中，有效利用两个装置的优点。在难以搬运大型的装置等的现场中，存在要求使用图像进行测量的状况。在这样的状况中，第六实施方式是有效的。
图42示出第六实施方式的测量系统2的结构。图42所示的测量系统2具有测量装置1d和3D模型生成装置3。
图43示出测量装置1d的硬件结构。省略与图1所示的结构相同的结构的说明。图43所示的测量装置1d具有图像输入装置10、硬盘11、操作部12、CPU13d、存储器14、显示器15以及通信装置16。
通信装置16与3D模型生成装置3之间执行通信。例如，通信装置16利用线缆或无线来与3D模型生成装置3连接。通信装置16与3D模型生成装置3之间的通信也可以经由LAN或因特网来执行。
图44示出CPU 13d的功能结构。省略与图2所示的结构相同的结构的说明。图44所示的模块中的至少一个模块可以由与CPU 13d不同的电路构成。
图44所示的各部可以由处理器和逻辑电路中的至少一个构成。图44所示的各部能够包括一个或多个处理器。图44所示的各部能够包括一个或多个逻辑电路。
图2所示的3D模型获取部21被变更为3D模型获取部21d。3D模型获取部21d具有图像提取部210和通信控制部212。通信控制部212通过对通信装置16进行控制，来与3D模型生成装置3之间执行通信。通信控制部212将用于生成3D模型的条件和用于生成3D模型的至少三张图像发送到3D模型生成装置3。通信控制部212从3D模型生成装置3接收3D模型。
图45示出3D模型生成装置3的硬件结构。图45所示的3D模型生成装置3具有通信装置30、硬盘31、操作部32、CPU 33、存储器34以及显示器35。
通信装置30与测量装置1d之间执行通信。硬盘31存储通过通信装置30接收到的至少三张图像。3D模型生成装置3也可以具有SSD来取代硬盘。
操作部32为用户接口(输入接口)。操作部32具有鼠标32a和键盘32b。
CPU 33执行用于被摄体的三维形状的生成(重建)的处理。参照图46在后面记述CPU 33的功能。
存储器34为易失性或非易失性的存储器。存储器34存储由通信装置16接收到的至少三张图像或由CPU 33处理后的图像。显示器35为液晶显示器等那样的监视器。
图46示出CPU 33的功能结构。图46所示的模块中的至少一个模块可以由与CPU 33不同的电路构成。
图46所示的各部可以由处理器和逻辑电路中的至少一个构成。图46所示的各部能够包括一个或多个处理器。图46所示的各部能够包括一个或多个逻辑电路。
通过通信控制部330和3D模型生成部331来构成CPU 33的功能。通信控制部330通过对通信装置30进行控制，来与测量装置1d之间执行通信。通信控制部330从测量装置1d接收用于生成3D模型的条件和用于生成3D模型的至少三张图像。通信控制部330将3D模型发送到测量装置1d。3D模型生成部331具有与图2所示的3D模型生成部211同样的功能。
参照图47和图48说明为了进行3D模型的生成和测量而执行的处理过程。图47示出测量装置1d的CPU 13d执行的处理过程。图48示出3D模型生成装置3的CPU 33执行的处理过程。省略与图3所示的处理相同的处理的说明。
在步骤S107之后，测量装置1d的通信控制部212将在步骤S105中接收到的条件和在步骤S106中提取出的至少三张图像发送到3D模型生成装置3(步骤S181)。在步骤S181之后，测量装置1d的通信控制部212从3D模型生成装置3接收3D模型(步骤S182)。所接收到的3D模型被存储到硬盘11或存储器14。在步骤S182之后执行图4所示的处理。
3D模型生成装置3的通信控制部330从测量装置1d接收用于生成3D模型的条件和至少三张图像(步骤S201)。所接收到的信息被存储到硬盘31或存储器34。
在步骤S201之后，3D模型生成部331估计摄像机在生成由图像提取部210提取出的各图像时的位置和姿势。3D模型生成部331基于所估计出的位置和姿势，生成被摄体的3D模型(步骤S202)。步骤S202与图3所示的步骤S108是同样的。
在步骤S202之后，通信控制部330将在步骤S202中所生成的3D模型发送到测量装置1d(步骤S203)。在执行了步骤S203时，图48所示的处理结束。
在上述的例子中，多个处理分散在两个装置之间。装置的数量没有限制，并且各装置执行的处理没有限制。例如，也可以是多个3D模型生成装置3执行花费时间的处理。
也可以是，第一用户负责测量装置1d的操作，并且第二用户负责3D模型生成装置3的操作。例如，也可以是，第二用户使用3D模型生成装置3来指定指定点。也可以是，3D模型生成装置3基于指定点的信息和3D模型执行测量，并将测量结果发送到测量装置1d。
在第六实施方式中，多个装置相协作地执行处理。多个装置中的至少一个装置具有便携性好但计算资源小的特征。多个装置中的至少一个装置具有便携不好但计算资源丰富这样的特征。测量系统2能够有效利用多个装置的优点来执行测量。
以上说明了本发明的优选的实施方式，但是本发明不限定于这些实施方式及其变形例。在不脱离本发明的宗旨的范围内，能够进行结构的添加、省略、置换以及其它变更。另外，本发明不受上述的说明所限定，仅通过添附的权利要求书来限定。

Claims (20)

1.一种测量方法，具有以下步骤：
第一图像显示步骤，显示控制部在显示器的第一区域显示一张作为被摄体的二维图像的第一图像；
第一设定步骤，设定部在显示于所述第一区域的所述第一图像中设定第一点；
第二图像显示步骤，在所述第一图像中设定所述第一点之后，所述显示控制部将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；
第二设定步骤，所述设定部在显示于所述第一区域的所述第二图像中设定第二点；
生成步骤，生成部基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及
测量步骤，测量部至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
2.根据权利要求1所述的测量方法，其特征在于，
还具有第三图像显示步骤，在所述第三图像显示步骤中，在所述第一区域显示着所述第一图像的期间，所述显示控制部将至少两张第三图像显示于所述显示器的与所述第一区域不同的第二区域，各个所述第三图像与多个所述第二图像中包括的某一张所述第二图像对应，
在接收到选择显示于所述第二区域的所述至少两张所述第三图像中的一张所述第三图像的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将与所选择的所述第三图像对应的所述第二图像显示于所述第一区域。
3.根据权利要求2所述的测量方法，其特征在于，
所述第一区域内的所述第一图像的面积比所述第二区域内的所述第二图像的面积大。
4.根据权利要求2或3所述的测量方法，其特征在于，
在所述第三图像显示步骤中，所述显示控制部在所述第二区域内强调显示与所述第一图像对应的第四图像。
5.根据权利要求2至4中的任一项所述的测量方法，其特征在于，
在所述第二图像显示步骤中，所述显示控制部对与显示于所述第一区域的所述第二图像对应的所述第三图像进行强调显示。
6.根据权利要求2至5中的任一项所述的测量方法，其特征在于，
在所述第三图像显示步骤中，所述显示控制部将所述至少两张所述第三图像在所述第二区域内按基于各图像的视场的关系的顺序排列。
7.根据权利要求2至6中的任一项所述的测量方法，其特征在于，
在多个所述第二图像中包括的两张所述第二图像的视场彼此重叠的大小超过规定量的情况下，在所述第三图像显示步骤中，所述显示控制部在所述第二区域显示仅与所述两张所述第二图像中的一方对应的所述第三图像。
8.根据权利要求2至7中的任一项所述的测量方法，其特征在于，
在所述第三图像显示步骤中，所述显示控制部在所述第三图像上强调显示在所述第一图像的视场中不包括且在与所述至少两张所述第三图像对应的所述第二图像中的两张以上所述第二图像的视场中共同包括的区域。
9.根据权利要求2至8中的任一项所述的测量方法，其特征在于，
在所述第二图像显示步骤中，所述显示控制部在所述第三图像上强调显示在显示于所述第一区域的所述第二图像的视场中不包括且在与所述至少两张所述第三图像对应的所述第二图像中的两张以上所述第二图像的视场中共同包括的区域。
10.根据权利要求8或9所述的测量方法，其特征在于，
在所述第二图像显示步骤和所述第三图像显示步骤中的至少一个步骤中，所述显示控制部在所述第三图像上强调显示仅在与所述至少两张所述第三图像对应的所述第二图像中的一张所述第二图像的视场中包括的区域。
11.根据权利要求8至10中的任一项所述的测量方法，其特征在于，
在所述第三图像显示步骤中，所述显示控制部在所述第一图像上强调显示仅在所述第一图像的视场中包括的区域。
12.根据权利要求8至11中的任一项所述的测量方法，其特征在于，
在所述第二图像显示步骤中，所述显示控制部在显示于所述第一区域的所述第二图像上强调显示仅在显示于所述第一区域的所述第二图像的视场中包括的区域。
13.根据权利要求2至12中的任一项所述的测量方法，其特征在于，
还具有点显示步骤，在所述点显示步骤中，所述显示控制部在所述第三图像上放大显示包括与所述第一点或所述第二点对应的第三点的区域。
14.根据权利要求1所述的测量方法，其特征在于，
在所述第一图像中设定所述第一点并且接收到视场的移动方向的指示之后，所述显示控制部将所述第一区域内的所述第一图像设为非显示，并且将具有从所述第一图像的视场沿所述移动方向移动后的视场的所述第二图像显示于所述第一区域。
15.根据权利要求1所述的测量方法，其特征在于，还具有以下步骤：
合成步骤，合成部通过将多个所述第二图像进行粘贴来生成合成图像；以及
合成图像显示步骤，所述显示控制部在所述显示器的与所述第一区域不同的第二区域显示所述合成图像，
其中，在所述第一图像中设定所述第一点并且接收到指定所述合成图像上的区域的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将包括所指定的所述区域的所述第二图像显示于所述第一区域。
16.根据权利要求1所述的测量方法，其特征在于，
还具有三维图像显示步骤，在所述三维图像显示步骤中，所述显示控制部在所述显示器的与所述第一区域不同的第二区域显示表示所述三维形状的三维图像，
还包括：在所述第一图像中设定所述第一点并且接收到指定所述三维图像上的区域的指示之后，在所述第二图像显示步骤中，所述显示控制部将所述第一图像设为非显示，并且将包括与所指定的所述区域对应的区域的所述第二图像显示于所述第一区域。
17.根据权利要求1至16中的任一项所述的测量方法，其特征在于，还具有以下步骤：
第四图像显示步骤，在设定所述第二点之后，所述显示控制部将所述第一区域内的所述第二图像设为非显示，将所述第一图像显示于所述第一区域，并且在所述第一图像上强调显示所述第一点；以及
修正步骤，在对所述第一点进行强调显示之后，所述设定部对在所述第一图像中设定的所述第一点的位置进行修正。
18.根据权利要求1至17中的任一项所述的测量方法，其特征在于，
所述图像组中包括的各图像为立体图像，所述立体图像包括从第一视点观看到的所述被摄体的图像及从与所述第一视点不同的第二视点观看到的所述被摄体的图像。
19.一种测量装置，具有：
显示控制部，其在显示器的第一区域显示一张作为被摄体的二维图像的第一图像，在所述第一图像中设定第一点之后，将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；
设定部，其在显示于所述第一区域的所述第一图像中设定所述第一点，在显示于所述第一区域的所述第二图像中设定第二点；
生成部，其基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及
测量部，其至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
20.一种记录介质，记录有程序，该程序用于使计算机执行以下步骤：
第一图像显示步骤，在显示器的第一区域显示一张作为被摄体的二维图像的第一图像；
第一设定步骤，在显示于所述第一区域的所述第一图像中设定第一点；
第二图像显示步骤，在所述第一图像中设定所述第一点之后，将所述第一区域内的所述第一图像设为非显示，并且将多个作为所述被摄体的二维图像的第二图像中包括的一张所述第二图像显示于所述第一区域，由所述第一图像和多个所述第二图像构成的图像组的各图像的视场的一部分与所述图像组的其它图像中的至少一张图像的视场的一部分重叠；
第二设定步骤，在显示于所述第一区域的所述第二图像中设定第二点；
生成步骤，基于摄像机在生成所述图像组的各图像时的位置和姿势，来生成所述被摄体的三维形状；以及
测量步骤，至少基于所述第一点、所述第二点以及所述三维形状，来测量所述被摄体的大小。
CN202010075382.XA 2019-02-01 2020-01-22 测量方法、测量装置以及记录介质 Active CN111521127B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-017376 2019-02-01
JP2019017376A JP7179633B2 (ja) 2019-02-01 2019-02-01 計測方法、計測装置、およびプログラム

Publications (2)

Publication Number Publication Date
CN111521127A true CN111521127A (zh) 2020-08-11
CN111521127B CN111521127B (zh) 2023-04-07

Family

ID=71837790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075382.XA Active CN111521127B (zh) 2019-02-01 2020-01-22 测量方法、测量装置以及记录介质

Country Status (3)

Country Link
US (1) US11250640B2 (zh)
JP (1) JP7179633B2 (zh)
CN (1) CN111521127B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580022B (zh) * 2023-07-07 2023-09-29 杭州鄂达精密机电科技有限公司 工件尺寸检测方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264764A1 (en) * 2003-04-25 2004-12-30 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
JP2010256252A (ja) * 2009-04-27 2010-11-11 Topcon Corp 三次元計測用画像撮影装置及びその方法
WO2016135856A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 ３次元形状計測システムおよびその計測方法
CN109255844A (zh) * 2017-07-12 2019-01-22 通用电气公司 用于使用视频检查设备测量特征的尺寸的图形叠加层

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347385B2 (ja) 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JP4369221B2 (ja) 2003-12-25 2009-11-18 株式会社日立製作所 画像計測方法及び装置
US7542050B2 (en) * 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
JP5880752B2 (ja) * 2015-03-09 2016-03-09 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP6825292B2 (ja) * 2016-09-30 2021-02-03 株式会社ニデック 眼底画像観察プログラム
JP6708529B2 (ja) * 2016-10-07 2020-06-10 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
US10346978B2 (en) * 2017-08-04 2019-07-09 Capsovision Inc. Method and apparatus for area or volume of object of interest from gastrointestinal images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
US20040264764A1 (en) * 2003-04-25 2004-12-30 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
JP2010256252A (ja) * 2009-04-27 2010-11-11 Topcon Corp 三次元計測用画像撮影装置及びその方法
WO2016135856A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 ３次元形状計測システムおよびその計測方法
CN109255844A (zh) * 2017-07-12 2019-01-22 通用电气公司 用于使用视频检查设备测量特征的尺寸的图形叠加层

Also Published As

Publication number Publication date
JP2020126358A (ja) 2020-08-20
US11250640B2 (en) 2022-02-15
JP7179633B2 (ja) 2022-11-29
CN111521127B (zh) 2023-04-07
US20200250895A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US10230907B2 (en) Thermal imaging device and normative photographing method for thermal image
CN111932664B (zh) 图像渲染方法、装置、电子设备及存储介质
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP5644461B2 (ja) 画像処理装置及びプログラム
JP5871705B2 (ja) 画像表示装置、方法及びプログラム
JP7361251B2 (ja) 採寸装置及び採寸方法
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US11100699B2 (en) Measurement method, measurement device, and recording medium
KR20130015664A (ko) 이미지 변환 장치 및 방법
EP3222036B1 (en) Method and apparatus for image processing
CN111521127B (zh) 测量方法、测量装置以及记录介质
CN108886562A (zh) 图像处理系统、图像处理方法及程序
EP3825649A1 (en) Ranging camera
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
CN111625210B (zh) 一种大屏控制方法、装置及设备
US20180225883A1 (en) Non-transitory computer-readable storage medium, display control method, and display control apparatus
WO2021176877A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20180068477A1 (en) Display method, display device, and non-transitory computer-readable recording medium
JP6575221B2 (ja) 表示制御方法、情報処理装置及び表示制御プログラム
CN111553842B (zh) 拼接图片显示方法、装置、电子设备及存储介质
WO2023112441A1 (ja) 画像表示装置、画像表示方法、プログラム及び記憶媒体
JP6624880B2 (ja) 画像処理方法および画像処理装置
JP7242367B2 (ja) 包装材データ算出装置および包装材データ算出方法
KR20180031510A (ko) 디스플레이 장치 및 그 입력 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220816

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

GR01 Patent grant
GR01 Patent grant