CN113167568B - 坐标计算装置、坐标计算方法和计算机可读记录介质 - Google Patents

坐标计算装置、坐标计算方法和计算机可读记录介质 Download PDF

Info

Publication number
CN113167568B
CN113167568B CN201980078773.2A CN201980078773A CN113167568B CN 113167568 B CN113167568 B CN 113167568B CN 201980078773 A CN201980078773 A CN 201980078773A CN 113167568 B CN113167568 B CN 113167568B
Authority
CN
China
Prior art keywords
image
images
specific portion
dimensional
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980078773.2A
Other languages
English (en)
Other versions
CN113167568A (zh
Inventor
山下喜宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of CN113167568A publication Critical patent/CN113167568A/zh
Application granted granted Critical
Publication of CN113167568B publication Critical patent/CN113167568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

坐标计算装置(10)包括：图像选择单元(11)，用于当在对象上指定了特定位置时，从通过拍摄对象而获得的图像中选择包括特定位置的两个或更多个图像；三维坐标计算单元(12)，用于在每个所选择的图像中指定特定位置处的对应的点的位置，并且使用在每个图像中指定的点的位置以及针对每个图像预先计算的相机矩阵，来计算特定位置的三维坐标；以及三维模型显示单元(13)，用于使用对象的点云数据在屏幕上显示对象的三维模型，并且还基于计算出的三维坐标在三维模型上显示所指定的特定位置。

Description

坐标计算装置、坐标计算方法和计算机可读记录介质
技术领域
本发明涉及一种用于在点云数据上计算对象的特定部分的坐标的坐标计算装置和坐标计算方法，并且还涉及一种其中记录有用于实现该坐标计算装置和坐标计算方法的程序的计算机可读记录介质。
背景技术
近年来，在诸如桥梁之类的结构的外观中出现的缺陷已根据结构的图像来进行检测。例如，专利文献1公开了一种用于从由相机拍摄的结构的图像中检测诸如在结构的表面上生成的细裂纹之类的缺陷的装置。
具体地，专利文献1中所公开的装置对由相机拍摄的图像执行图像分析，检测在结构的表面上产生的缺陷，然后通过使用测距仪来测量到缺陷的距离。随后，专利文献1中所公开的装置使用与图像相关联的坐标数据和测量到的距离来在全局坐标系中计算检测到的缺陷的坐标。
因此，根据专利文献1中所公开的装置，能够从结构的图像中检测出在结构的表面上产生的缺陷，并且可以计算缺陷在全局坐标系中的坐标。因此，结构的管理者可以掌握缺陷的位置。
相关技术文献列表
专利文献
专利文献1：国际公开第2017/103982号
发明内容
本发明要解决的问题
然而，缺陷的位置仅由坐标(即，数值)表示，并且实际结构中未附加有坐标轴，因此，管理者不容易指定确定出缺陷的实际位置。
本发明的目的的一个示例是提供可以解决上述问题并从示出了对象的特定部分的二维图像中指定特定部分在三维模型上的位置的坐标计算装置、坐标计算方法和计算机可读记录介质。
解决问题的手段
为了实现上述目的，本发明的一个方面中的第一坐标计算装置包括：
图像选择单元，被配置为当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
三维坐标计算单元，被配置为针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
三维模型显示单元，被配置为使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
为了实现上述目的，本发明的一方面的第二坐标计算装置包括：
特征点提取单元，被配置为当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
三维坐标计算单元，被配置为通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
三维模型显示单元，被配置为使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
为了实现上述目的，本发明的一方面的第一坐标计算方法包括以下步骤：
(a)当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
(b)针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
为了实现上述目的，本发明的一方面的第二坐标计算方法包括以下步骤：
(a)当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
(b)通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
为了实现上述目的，本发明的一方面的第一计算机可读记录介质是包括在其上记录的程序的计算机可读记录介质，
所述程序包括使得计算机执行如下步骤的指令：
(a)当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
(b)针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
为了实现上述目的，本发明的一方面的第二计算机可读记录介质是包括在其上记录的程序的计算机可读记录介质，
所述程序包括使得计算机执行如下操作的指令：
(a)当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
(b)通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
本发明的有益效果
如上所述，根据本发明，可以从示出了缺陷部分等的二维图像中指定缺陷部分等在三维模型上的位置。
附图说明
图1是示出了根据本发明的第一示例实施例的坐标计算装置的示意性配置的框图。
图2是示出了在本发明的第一示例实施例中要计算其坐标的对象的示例的透视图。
图3A和图3B是示出了由本发明的第一示例实施例中的三维坐标计算单元执行的处理的说明图，并且各自示出了一系列处理。
图4是示出了在图3A和图3B中所示的处理之后由三维坐标计算单元执行的处理的说明图。
图5是示出了根据本发明的第一示例实施例的坐标计算装置的操作的流程图。
图6是示出了根据本发明的第二示例实施例的坐标计算装置的示意性配置的框图。
图7是具体示出了根据本发明的第二示例实施例的坐标计算装置的配置的框图。
图8是示出了由本发明的第二示例实施例中的特征点提取单元执行的处理的说明图。
图9是示出了根据本发明的第二示例实施例的坐标计算装置的操作的流程图。
图10是示出了为生成点云数据而选择的一对图像的示例的示图。
图11是示出了根据相机矩阵获得的初始的一对图像的相机的三维坐标和旋转矩阵的示例的示图。
图12是示出了在选择了初始的一对图像之后新选择的图像和从该图像中提取的一对特征点的示例的示图。
图13是示出了存在于特定区域中的特征物的三维模型的示例的示图。
图14是示出了图13中所示的特征物的一个详细的三维模型的示例的示图。
图15是示出了实现本发明的第一实施例和第二实施例中的坐标计算装置的计算机的一个示例的框图。
具体实施方式
第一示例实施例
以下，将参考图1至图6来描述本发明的第一示例实施例中的坐标计算装置、坐标计算方法和程序。
[装置配置]
首先，将参考图1来描述第一示例实施例中的坐标计算装置的示意性配置。图1是示出了根据本发明的第一示例实施例的坐标计算装置的示意性配置的框图。
图1中所示的根据第一示例实施例的坐标计算装置10是计算在对象上所指定的特定部分的位置并在对象的三维模型上显示计算出的位置的装置。如图1中所示，坐标计算装置10包括图像选择单元11、三维坐标计算单元12和三维模型显示单元13。
当在对象中指定了特定部分时，图像选择单元11从对象的图像(二维图像)中选择包括该特定部分的两个或更多个图像。首先，三维坐标计算单元12针对每个所选择的图像指定在特定部分处彼此对应的点的位置。然后，三维坐标计算单元12通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所指定的特定部分的三维坐标。
三维模型显示单元13使用对象的点云数据在屏幕上显示对象的三维模型。并且，三维模型显示单元13基于计算出的三维坐标在三维模型上显示所指定的特定部分。
对象的点云数据是由存在于对象的表面上的特征点的三维坐标的集合组成的数据。可以通过使用从对象50的多个图像中的每个图像中提取的每个提取到的特征点来构造点云数据。
如上所述，在第一示例实施例中，通过使用相机矩阵来根据包括特定部分的多个图像计算特定部分的三维坐标，并且基于计算出的三维坐标在对象的三维模型上显示特定部分。即，根据第一示例实施例，可以根据示出了对象的特定部分的二维图像，指定特定部分在三维模型上的位置。
接下来，将参考图2至图4具体地描述第一示例实施例中的坐标计算装置的配置和功能。图2是示出了在本发明的第一示例实施例中要计算其坐标的对象的示例的透视图。图3A和图3B是示出了由本发明的第一示例实施例中的三维坐标计算单元执行的处理的说明图，并且各自示出了一系列处理。图4是示出了在图3A和图3B中所示的处理之后由三维坐标计算单元执行的处理的说明图。
如图2中所示，在第一示例实施例中，对象50是建筑物。在图2的示例中，示出了对象50的图像。在第一示例实施例中，图像选择单元11预先获取拍摄了对象50的大量图像的图像数据。然后，图像选择单元11接收在对象50中所指定的特定部分的输入，并且选择包括了接收到的特定部分的一对图像。
例如，假设对象50的管理者等如图2中所示在终端装置的屏幕上显示对象50的图像，并且在显示的图像上指定特定部分。在这种情况下，终端装置将所指定的特定部分的图像数据输入到图像选择单元11。图2中所指定的特定部分由虚线表示。
当输入了所指定的特定部分的图像数据时，图像选择单元11接收该输入；从预先获取的大量图像中指定包括所指定的特定部分的例如两个图像；以及然后，选择这两个所指定的图像作为一对图像。
特定部分可以由其他装置自动指定。例如，其他装置可以通过机器学习来学习对象50的缺陷部分，并且可以将学习到的缺陷部分作为特定部分输入到图像选择单元11。
在第一示例实施例中，当选择了一对图像时，三维坐标计算单元12执行图3A至图3B中所示的处理，以计算一对图像中的特定部分的三维坐标。
以下将对此进行详细描述。
如图3A中所示，首先，三维坐标计算单元12在一对图像中的一个图像中，例如在图像A中，指定所指定的部分的中心的坐标(xt，yt)；以及进一步提取位于从中心起r1到r2的范围内的环形区域中的三个特征点。在图3A中，从图像A中提取的每个特征点的坐标分别是(x0，y0)、(x1，y1)和(x2，y2)。要提取的特征点的数量不限于三个。
接下来，如图3B中所示，三维坐标计算单元12从作为一对图像中的另一个图像的图像B中提取与在图像A中提取的特征点相对应的特征点。在图3B中，从图像B中提取的每个特征点的坐标分别是(x′0，y′0)、(x′1，y′1)和(x′2，y′2)。
然后，三维坐标计算单元12计算满足以下等式1的旋转矩阵J(J＝(Jx，Jy，Jz))和平移矩阵t(t＝(tx，ty，tz))，作为用于将从图像A中提取的每个特征点转换为从图像B中提取的每个特征点的相关变换矩阵。另外，i＝0，1，2。
(等式1)
(x’i，y’i)＝J(xi，yi)+t
然后，三维坐标计算单元12根据上述等式1将计算出的旋转矩阵R乘以图像A中的特定部分的中心的坐标(xt，Yt)，并且将平移矩阵t与所获得的值相加。结果是，计算出图像B中的特定部分的中心的坐标(x′t，y′t)。在本示例实施例中，可以通过除上述计算方法之外的方法来计算图像B中的特定部分的中心的坐标。
在上述示例中，提取了特定部分的中心的三维坐标作为一对图像中的每个图像的特定部分的三维坐标，然而第一示例实施例不限于该方面。在第一示例实施例中，可以计算除特定部分的中心之外的点的三维坐标。
接下来，如图4中所示，三维坐标计算单元12通过使用图像A中的特定部分的中心点的坐标、图像B中的特定部分的中心点的坐标、以及针对图像A计算的相机矩阵P和针对图像B计算的相机矩阵P′，来计算特定部分的中心点的三维坐标X。
具体地，三维坐标计算单元12通过求解以下等式2来计算三维坐标X。此外，等式2中的矩阵A由等式3表示。在等式3中，piT是相机矩阵P的行且p′iT是相机矩阵P′的行。
(等式2)
AX＝0
(等式3)
Figure GDA0003089444520000081
[装置操作]
接下来，将参考图5来描述第一示例实施例中的坐标计算装置10的操作。图5是示出了根据本发明的第一示例实施例的坐标计算装置的操作的流程图。在以描述中将根据需要来参考图1至图5。此外，在第一示例实施例中，通过使得坐标计算装置进行操作来实现坐标计算方法。因此，对坐标计算装置的操作的以下描述代替了对第一示例实施例中的坐标计算方法的描述。
如图5中所示，首先，当在对象50中指定了特定部分时，图像选择单元11接收所指定的特定部分的输入(步骤A1)。
接下来，图像选择单元11从拍摄了对象50的大量图像中选择包括了在步骤A1中接收其输入的特定部分的一对图像(步骤A2)。所选择的图像不限于一对，并且可以是三个或更多个。此外，在步骤A2中，图像选择单元11将所选择的图像的图像数据输入到三维坐标计算单元12。
接下来，三维坐标计算单元12针对在步骤A2中选择的一对图像中的每个图像，指定在特定部分处彼此对应的特征点(步骤A3)。具体地，在步骤A3中，如图3A和图3B中所示，三维坐标计算单元12在一对图像中的一个图像中指定特定部分的中心点的坐标(xt，yt)，并且根据该坐标(xt，yt)来计算一对图像中的另一个图像的特定部分的中心点的坐标(x′t，y′t)。
接下来，三维坐标计算单元12通过使用一对图像中的每个图像的特定部分的中心点的坐标和针对一对图像中的每个图像计算的相机矩阵，来计算特定部分的中心点的三维坐标X(步骤A4)。具体地，在步骤A4中，三维坐标计算单元12通过求解上述等式3来计算三维坐标X。
接下来，三维模型显示单元13通过使用对象50的点云数据在显示装置等的屏幕上显示对象50的三维模型，并且基于在步骤4中计算的三维坐标X在三维模型上显示所指定的特定部分(步骤A5)。
[第一示例实施例的效果]
如上所述，在第一示例实施例中，根据示出了所指定的特定部分的多个图像来计算特定部分的三维坐标，并且在对象的三维模型上显示计算出的三维坐标。因此，当对象是结构并指定了已发生缺陷的部分时，结构的管理者可以容易地在结构的三维模型上掌握发生缺陷的位置。
[程序]
第一示例实施例中的程序只要是使得计算机执行图5中所示的步骤A1至A5的程序就足够了。通过将该程序安装在计算机上并执行该程序，可以实现第一示例实施例中的坐标计算装置和坐标计算方法。在这种情况下，计算机的处理器用作图像选择单元11、三维坐标计算单元12和三维模型显示单元13并执行处理。
而且，本示例实施例中的程序可以由计算机系统执行，该计算机系统由多个计算机形成。在这种情况下，例如，计算机可以各自用作图像选择单元11、三维坐标计算单元12和三维模型显示单元13之一。
第二示例实施例
首先，将描述第二示例实施例中的坐标计算装置的示意性配置。图6是示出了根据本发明的第二示例实施例的坐标计算装置的示意性配置的框图。
类似于图1中所示的根据第一示例实施例的坐标计算装置10，图6中所示的根据第二示例实施例的坐标计算装置20也计算在对象上指定的特定部分的位置，并且在对象的三维模型上显示坐标位置。如图6中所示，坐标计算装置20包括特征点提取单元21、三维坐标计算单元22和三维模型显示单元23。
当在对象中指定了特定部分时，特征点提取单元21从包括对象的多个图像中提取特征点，该特征点包括在两个或更多个图像中且与所指定的特定部分相关。三维坐标计算单元22通过使用对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中对象的点云数据是通过使用多个图像而构造的。
三维模型显示单元23具有与图1中所示的三维模型显示单元13相同的功能。三维模型显示单元23通过使用对象的点云数据在显示装置或其他终端装置的屏幕上显示对象的三维模型。此外，三维模型显示单元23基于计算出的三维坐标在三维模型上显示所指定的特定部分。
如第一示例实施例中所描述的那样，对象的点云数据是由存在于对象的表面上的特征点的三维坐标的集合组成的数据。
如上所述，在第二示例实施例中，通过使用对象的点云数据来计算特定部分的三维坐标，并且基于计算出的三维坐标来在对象的三维模型上显示特定部分。即，同样在第二示例实施例中，类似于第一示例实施例，可以根据示出了对象的特定部分的二维图像，指定特定部分在三维模型上的位置。
接下来，将参考图7至图10更具体地描述根据第二示例实施例的坐标计算装置20的配置和功能。图7是具体示出了根据本发明的第二示例实施例的坐标计算装置的配置的框图。图8是示出了由本发明的第二示例实施例中的特征点提取单元执行的处理的说明图。
首先，同样在第二示例实施例中，假设对象是建筑物(参见图2)。此外，如图7中所示，除了上述的特征点指定单元21、三维坐标计算单元22和三维模型显示单元23以外，第二示例实施例中的坐标计算装置20还包括用于生成对象的点云数据的点云数据生成单元24。
首先，在包括对象的多个图像中的每个图像中提取了与除该图像之外的图像相对应的特征点的情况下，点云数据生成单元24从提取了特征点的图像中选择一对图像。接下来，点云数据生成单元24在所选择的一对图像中的每个图像中，根据针对已拍摄该图像的相机预先计算的相机矩阵，获取已拍摄该图像的相机的位置的三维坐标和旋转矩阵。
接下来，点云数据生成单元24通过使用相机位置的三维坐标和旋转矩阵，来计算与所选择的一对图像中的两个图像均对应的特征点的三维坐标。然后，点云数据生成单元24通过使用计算了三维坐标的特征点来生成点云数据。
在第二示例实施例中，特征点提取单元21首先接收在对象50中指定的特定部分的输入。具体地，类似于第一示例实施例中的图像选择单元11，当从管理者等的终端装置或其他外部装置输入了所指定的特定部分的图像数据时，特征点提取单元21接收该输入。
接下来，特征点提取单元21从用于生成点云数据的多个图像中选择包括所输入的特定部分的两个或更多个图像，并且从该两个或更多个所选择的图像中的每个图像中提取与特定部分相关的特征点。具体地，例如，如图8中所示，特征点提取单元21提取存在于距特定部分的中心点一定距离内的、具有最大特征量的特征点，作为与特定部分相关的特征点。这种情况下的中心点是用于提取特征点的基础，并且该基础可以是除中心点之外的点。
在第二示例实施例中，三维坐标计算单元22将由特征点提取单元21提取的特征点与构成由点云数据生成单元24生成的点云数据的每个特征点进行比较。然后，三维坐标计算单元22在构成点云数据的特征点之中指定与由特征点提取单元21提取的特征点一致的特征点，并且将所指定的特征点的三维坐标设置为由特征点提取单元21提取的特征点的三维坐标。
接下来，三维坐标计算单元22计算由特征点提取单元21提取的特征点的三维坐标。
[装置操作]
接下来，将参考图9来描述第二示例实施例中的坐标计算装置20的操作。图9是示出了根据本发明的第二示例实施例的坐标计算装置的操作的流程图。在以下描述中，将适当地参考图7和图8。此外，在第二示例实施例中，通过操作坐标计算装置20来执行坐标计算方法。因此，对第二示例实施例中的坐标计算方法的描述将用对坐标计算装置20的操作的以下描述代替。
如图9中所示，首先，点云数据生成单元24通过使用示出了对象的多个图像来生成点云数据(步骤B1)。步骤B1可以在稍后将描述的步骤B2之前执行，并且在步骤B1的执行时间与步骤B2的执行时间之间可以存在一定的时间段。
接下来，当在对象50时旨定了特定部分时，特征点提取单元21接收所指定的特定部分的输入(步骤B2)。
接下来，特征点提取单元21从用于生成点云数据的多个图像中选择包括所输入的特定部分的两个或更多个图像，并且从该两个或更多个所选择的图像中的每个图像中提取与特定部分相关的特征点(步骤B3)。
接下来，三维坐标计算单元22将在步骤B3中提取的特征点与构成由点云数据生成单元24生成的点云数据的每个特征点进行比较。然后，三维坐标计算单元22在构成点云数据的特征点之中指定与由特征点提取单元21提取的特征点一致的特征点，并且将所指定的特征点的三维坐标设置为在步骤B3中提取的特征点的三维坐标(步骤B4)。
然后，由于在步骤B4中获得的三维坐标是与特定部分相关的特征点的三维坐标，因此三维坐标计算单元22提取在步骤B4中获得的三维坐标作为特定部分的三维坐标(步骤B5)。
接下来，三维模型显示单元23通过使用对象50的点云数据在显示装置等的屏幕上显示对象的三维模型，并且还基于在步骤B5中计算的坐标在三维模型上显示所指定的特定部分(步骤B6)。
在此，将参考图10至图12具体地描述点云数据生成单元24的点云数据生成处理(步骤B1)。图10是示出了为生成点云数据而选择的一对图像的示例的示图。图11是示出了根据相机矩阵获得的初始的一对图像的相机的三维坐标和旋转矩阵的示例的示图。图12是示出了在选择了初始的一对图像之后新选择的图像和从该图像中提取的一对特征点的示例的示图。
如图10中所示，点云数据生成单元24选择图像31和图像32作为第一对图像(初始的一对图像)。在这种情况下，从图像31中提取的特征点(m1至m5)对应于从图像32中提取的特征点(m′1至m′5)。m1和m′1、m2和m′2、m3和m′3、m4和m′4、以及m5和m′5分别是特征点对。此外，在图10的示例中，图像31是由相机41拍摄的，并且图像32是由相机42拍摄的。在图3中，M(M1至M5)是与每个特征点相对应的对象上的三维坐标。
接下来，点云数据生成单元24使用从初始的一对图像中的每个图像中提取的特征点对(m1至m5、m′1至m′5)来计算拍摄了图像31的相机41的相机矩阵P和拍摄了图像32的相机42的相机矩阵P′。此外，在相机41的位置作为原点的情况下，相机矩阵P和相机矩阵P′可以分别由以下等式4和等式5表示。
(等式4)
P＝[I|0]
(等式5)
P’＝[R|t]
在上述等式4中，“I”是相机41的旋转矩阵。如图11中所示，由于相机41的位置是原点，因此I＝(1，1，1)。此外，在上述等式12中，“R”是相机42的旋转矩阵(R＝(Rx，Ry，Rz))。如上所述，“t”是平移矩阵，并且对应于相机42的位置的三维坐标(t＝(tx，ty，tz))。
因此，在这种情况下，可以通过从相机矩阵P和相机矩阵P′反向计算来计算“R”和“t”。
具体地，点云数据生成单元24通过使用每个特征点的坐标求解以下等式6至等式8中所示的方程式，来计算“R”和“t”。在等式6至等式8中，
Figure GDA0003089444520000141
是通过对m(m1至m5)进行归一化而获得的图像A上的坐标。类似地，
Figure GDA0003089444520000142
是通过对m′(m′1至m′5)进行归一化而获得的图像B上的坐标。“E”是本质矩阵，并且“K”是相机校准矩阵。
(等式6)
E＝[t]MR＝R[RTt]M
(等式7)
Figure GDA0003089444520000146
(等式8)
Figure GDA0003089444520000143
此外，可以根据以下等式9和等式10获得校准矩阵K。注意，ox和oy是相机的中心坐标。
(等式9)
Figure GDA0003089444520000144
(等式10)
Figure GDA0003089444520000145
接下来，点云数据生成单元24通过使用每个相机的位置的三维坐标和旋转矩阵来计算提取到的特征点的三维坐标M(M1至M5)。具体地，点云数据生成单元24通过求解第一示例实施例中所示的上述等式2来计算三维坐标M。在这种情况下，X被解读为M。在这种情况下，等式2中的矩阵A也由等式3表示。
接下来，如图12中所示，点云数据生成单元24从除初始的一对图像之外的图像中新选择一个图像33，并且将新选择的图像33和初始的一对图像中的一个图像设置为新的一对图像。图像33由相机43拍摄。
然后，点云数据生成单元24指定与图像32的特征点相对应的图像33的特征点(m″1至m″3)，并且将图像32的特征点和图像33的特征点设置为特征点对。然后，点云数据生成单元24计算已拍摄图像33的相机43的相机矩阵Pn。相机矩阵Pn可以由以下等式11表示。
(等式11)
Pn＝[Rn|tn]
具体地，点云数据生成单元24通过使用图像33的指定特征点求解以下等式12中所示的方程式，来计算相机43的相机矩阵Pn的“Rn”和“tn”。
(等式12)
Figure GDA0003089444520000151
在等式12中，“Mi”是新选择的图像33中的与图像32共通的特征点的三维坐标。“mihat”是新选择的图像33中的特征点的归一化的坐标。如以下等式13中所示，“di”指示拍摄了图像53的相机43与“mi hat”之间的距离。
(等式13)
Figure GDA0003089444520000152
接下来，点云数据生成单元24通过使用相机43的相机矩阵Pn的计算出的“Rn”和“tn”，来计算图像33的指定特征点(m″1至m″3)的三维坐标Mi。具体地，点云数据生成单元24通过求解上述等式2来计算特征点的三维坐标M(M1至M3)。根据上述处理，点云数据生成单元24可以生成对象的点云数据。
[第二示例实施例的效果]
如上所述，同样在第二示例实施例中，根据示出了所指定的特定部分的多个图像来计算特定部分的三维坐标，并且在对象的三维模型上显示计算出的三维坐标。因此，当对象是结构并指定了已发生缺陷的位置时，结构的管理者可以容易地在结构的三维模型上掌握发生缺陷的位置。
[程序]
第一示例实施例中的程序只要是使得计算机执行图9中所示的步骤B1至B6的程序就足够了。通过将该程序安装在计算机上并执行该程序，可以实现第二示例实施例中的坐标计算装置和坐标计算方法。在这种情况下，计算机的处理器用作特征点提取单元21、三维坐标计算单元22、三维模型显示单元23和点云数据生成单元24并执行处理。
而且，本示例实施例中的程序可以由计算机系统执行，该计算机系统由多个计算机形成。在这种情况下，例如，计算机可以各自用作特征点提取单元21、三维坐标计算单元22、三维模型显示单元23和点云数据生成单元24之一。
应用示例
接下来，将参考图13和图14来描述上述第一示例实施例和第二示例实施例的应用示例。图13是示出了存在于特定区域中的特征物的三维模型的示例的示图。图14是示出了图13中所示的特征物的一个详细的三维模型的示例的示图。该应用示例说明了将图13中所示的三维模型与图14中所示的三维模型结合的示例。
如图13中所示，构造了存在于区域60中的大量特征物61至69的三维模型(在下文中，被称为“宽范围三维模型”)。此外，通过根据包括整个区域60的大量图像来生成点云数据，从而构造该宽范围三维模型。
如图14中所示，在图13中所示的特征物61至69之中，关于特征物61，三维模型被构造为比图13中所示的三维模型更详细(在下文中，被称为“详细三维模型”)。通过仅根据特征物61的大量图像生成点云数据，来构建图14中所示的特征物61的详细三维模型。
当存在图13中所示的三维模型和图14中所示的三维模型时，可以通过根据上述的第一示例实施例和第二示例实施例的坐标计算装置将后者与前者相结合。将在下面对此进行详细描述。
首先，如图13中所示，坐标计算装置从用于生成宽范围三维模型的大量图像中，选择示出了特征物61的一对图像。接下来，坐标计算装置从所选择的一对图像中，提取3个以上且n个以下的特征物61的特征点对。“n”是3或更大的自然数。
在图13的示例中，提取了三个特征点对(x10，y10)(x′10，y′10)、(x11，y11)(x′11，y′11)和(x12，y12)(x′12，y′12)。然后，坐标计算装置通过使用提取到的特征点对，来计算特征物61上的每个特征点的三维坐标X10、X11和X12。
接下来，如图14中所示，坐标计算装置从用于生成特征物61的详细三维模型的大量图像中，选择包括与在图13中提取的特征点相同的点的一对图像。接下来，坐标计算装置从所选择的一对图像中提取与在图13中提取的特征点相同的点，作为一对对应的点。
在图14的示例中，提取了三对对应的点(x20，y20)(x′20，y′20)、(x21，y21)(x′21，y′21)和(x22，y22)(x′22，y′22)。然后，坐标计算装置通过使用提取到的一对对应的点来计算特征物61上的每个对应的点的三维坐标X20、X21和X22。
接下来，坐标计算装置求解等式14中所示的联立方程式，并且计算满足根据宽范围三维模型计算出的三维坐标和根据详细三维模型计算出的三维坐标的旋转矩阵R和平移矩阵t。
(等式14)
X10＝RX20+t
X11＝RX21+t
X12＝RX22+t
之后，通过使用计算出的旋转矩阵R和平移矩阵t，坐标计算装置将作为详细三维模型的基础的点云数据的坐标系转换为作为宽范围三维模型的基础的点云数据的坐标系。这使得可以将详细三维模型与宽范围三维模型结合。
物理配置
在此，将参考图15来描述通过执行第一示例实施例和第二示例实施例中的程序来实现坐标计算装置的计算机。图15是示出了实现本发明的第一实施例和第二实施例中的坐标计算装置的计算机的一个示例的框图。
如图15中所示，计算机110包括中央处理单元(CPU)111、主存储器112、存储设备113、输入接口114、显示控制器115、数据读/写器116和通信接口117。这些组件经由总线121连接，从而能够互相执行数据通信。注意，除了CPU 111以外或代替CPU 111，计算机110还可以包括图形处理单元(GPU)或现场可编程门阵列(FPGA)。
CPU 111将存储在存储设备113中的本示例实施例中的程序(代码)加载到主存储器112上，并且通过以预定顺序执行这些代码来执行各种计算。主存储器112通常是易失性存储设备，诸如动态随机存取存储器(DRAM)等。此外，本示例实施例中的程序在使得该程序存储在计算机可读记录介质120中的状态下提供。注意，本示例实施例中的程序也可以是在互联网上分发的程序，计算机110经由通信接口117连接到该互联网。
另外，除了硬盘驱动器以外，存储设备113的具体示例还包括诸如闪存的半导体存储设备。输入接口114对CPU 111与诸如键盘和鼠标的输入设备118之间的数据传输进行中介。显示控制器115连接到显示设备119，并且控制由显示设备119执行的显示。
数据读/写器116对CPU 111与记录介质120之间的数据传输进行中介，并且从记录介质120读取程序以及将计算机110中的处理的结果写入到记录介质120。通信接口117对CPU 111与其他计算机之间的数据传输进行中介。
此外，记录介质120的具体示例包括诸如CompactFlash(注册商标，CF)卡或安全数字(SD)卡之类的通用半导体存储设备、诸如软盘的磁记录介质、以及诸如高密度盘只读存储器(CD-ROM)的光学记录介质。
注意，本示例实施例中的坐标计算装置也可以通过使用与各个单元相对应的硬件来实现，而不是通过使用其上安装有程序的计算机来实现。此外，可以通过使用程序来实现坐标计算装置的一部分，并且可以通过使用硬件来实现坐标计算装置的剩余部分。
虽然可以通过以下所描述的(补充说明1)至(补充说明12)来表示上述示例实施例的一部分或全部，但是本发明不限于以下描述。
(补充说明1)
一种坐标计算装置，包括：
图像选择单元，被配置为当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
三维坐标计算单元，被配置为针对每个所选择的图像中指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
三维模型显示单元，被配置为使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明2)
根据补充说明1所述的坐标计算装置，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
(补充说明3)
一种坐标计算装置，包括：
特征点提取单元，被配置为当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
三维坐标计算单元，被配置为通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
三维模型显示单元，被配置为使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明4)
根据补充说明3所述的坐标计算装置，还包括：
点云数据生成单元，用于生成所述对象的点云数据，
在包括对象的多个图像中的每个图像中提取了与图像相对应的特征点的情况下，所述点云数据生成单元从提取了所述特征点的图像中选择一对图像，
所述点云数据生成单元在所选择的一对图像中的每个图像中，根据针对已拍摄该图像的相机预先计算的相机矩阵，获得已拍摄该图像的相机的位置的三维坐标和旋转矩阵，
所述点云数据生成单元通过使用相机位置的三维坐标和旋转矩阵，来计算与所选择的一对图像中的两个图像均对应的特征点的三维坐标，
所述点云数据生成单元通过使用计算了三维坐标的所述特征点，来生成点云数据。
(补充说明5)
一种坐标计算方法，包括以下步骤：
(a)当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
(b)针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明6)
根据补充说明5所述的坐标计算方法，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
(补充说明7)
一种坐标计算方法，包括以下步骤：
(a)当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
(b)通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明8)
根据补充说明7所述的坐标计算方法，还包括以下步骤：
(d)生成所述对象的点云数据，
在步骤(d)中，在包括对象的多个图像中的每个图像中提取了与图像相对应的特征点的情况下，从提取了所述特征点的图像中选择一对图像，
在所选择的一对图像中的每个图像中，根据针对已拍摄该图像的相机预先计算的相机矩阵，获得已拍摄该图像的相机的位置的三维坐标和旋转矩阵，
通过使用相机位置的三维坐标和旋转矩阵，来计算与所选择的一对图像中的两个图像均对应的特征点的三维坐标。
通过使用计算了三维坐标的所述特征点，来生成点云数据。
(补充说明9)
一种计算机可读记录介质，包括在其上记录的程序，
所述程序包括使得计算机执行如下步骤的指令：
(a)当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
(b)针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明10)
根据补充说明9所述的计算机可读记录介质，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
(补充说明11)
一种计算机可读记录介质，包括在其上记录的程序，
所述程序包括使得计算机执行如下步骤的指令：
(a)当在对象中指定了特定部分时，从包括所述对象的多个图像中提取特征点，所述特征点包括在两个或更多个图像中且与所指定的特定部分相关；
(b)通过使用所述对象的点云数据来获得提取到的特征点的三维坐标，并且将所获得的三维坐标设置为所指定的特定部分的三维坐标，其中所述对象的点云数据是通过使用所述多个图像而构造的；
(c)使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分。
(补充说明12)
根据补充说明11所述的计算机可读记录介质，还包括以下步骤：
(d)生成所述对象的点云数据，
在步骤(d)中，在包括对象的多个图像中的每个图像中提取了与图像相对应的特征点的情况下，从提取了所述特征点的图像中选择一对图像，
在所选择的一对图像中的每个图像中，根据针对已拍摄该图像的相机预先计算的相机矩阵，获得已拍摄该图像的相机的位置的三维坐标和旋转矩阵，
通过使用相机位置的三维坐标和旋转矩阵，来计算与所选择的一对图像中的两个图像均对应的特征点的三维坐标。
通过使用计算了三维坐标的所述特征点，来生成点云数据。
在上面已参考示例实施例描述了本发明，但是本发明不限于上述示例实施例。在本发明的范围内，可以被本领域技术人员理解的各种改变可以应用于本发明的配置和细节。
本申请基于并要求于2018年11月29日递交的日本申请No.2018-224015的优先权，其公开内容通过引用整体并入本文中。
工业实用性
如上所述，根据本发明，可以从示出了缺陷部分等的二维图像中指定缺陷部分等在三维模型上的位置。本发明可以用于结构的维护和管理、在特定区域中的搜索等。
附图标记列表
10  坐标计算装置(实施例1)
11  图像选择单元
12  三维坐标计算单元
20  坐标计算装置(实施例2)
21  特征点提取单元
22  三维坐标计算单元
23  三维模型显示单元
24  点云数据生成单元
31、32、33  图像
41、42、43  相机
50  对象
60  区域
61-69  特征物
110  计算机
111  CPU
112  主存储器
113  存储设备
114  输入接口
115  显示控制器
116  数据读/写器
117  通信接口
118  输入设备
119  显示设备
120  记录介质
121  总线。

Claims (6)

1.一种坐标计算装置，包括：
图像选择单元，被配置为当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
三维坐标计算单元，被配置为针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
三维模型显示单元，被配置为使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分，其中，
所述三维坐标计算单元被配置为：
在所选择的图像中的一个图像中，指定所述特定部分的中心，在距离所述中心的距离为设定范围的环形区域中提取设定数量的特征点，
在所选择的图像中的另一个图像中进一步提取与所提取的特征点相对应的特征点，并求出用于将从第一个所选择的图像中提取的特征点转换为从所述另一个图像中提取的特征点的相关变换矩阵，
通过使用所述相关变换矩阵，来计算在所述另一个图像中的与所指定的中心的坐标相对应的坐标，
通过使用所指定的中心的坐标、与其相对应的坐标、第一个所选择的图像的相机矩阵、以及所述另一个图像的相机矩阵，来计算所述中心的三维坐标，并将其作为所述特定部分的三维坐标。
2.根据权利要求1所述的坐标计算装置，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
3.一种坐标计算方法，包括：
步骤a、当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
步骤b、针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
步骤c、使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分，其中，
在所述步骤b中：
在所选择的图像中的一个图像中，指定所述特定部分的中心，在距离所述中心的距离为设定范围的环形区域中提取设定数量的特征点，
在所选择的图像中的另一个图像中进一步提取与所提取的特征点相对应的特征点，并求出用于将从第一个所选择的图像中提取的特征点转换为从所述另一个图像中提取的特征点的相关变换矩阵，
通过使用所述相关变换矩阵，来计算在所述另一个图像中的与所指定的中心的坐标相对应的坐标，
通过使用所指定的中心的坐标、与其相对应的坐标、第一个所选择的图像的相机矩阵、以及所述另一个图像的相机矩阵，来计算所述中心的三维坐标，并将其作为所述特定部分的三维坐标。
4.根据权利要求3所述的坐标计算方法，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
5.一种非暂时性计算机可读记录介质，包括在其上记录的程序，
所述程序包括使得计算机执行如下步骤的指令：
步骤a、当在对象中指定了特定部分时，从所述对象的图像中选择包括所述特定部分的两个或更多个图像；
步骤b、针对每个所选择的图像指定在所述特定部分处彼此对应的点的位置，并且通过使用针对每个图像指定的点的位置和针对每个图像预先计算的相机矩阵，来计算所述特定部分的三维坐标；
步骤c、使用所述对象的点云数据在屏幕上显示所述对象的三维模型，并且基于计算出的三维坐标在所述三维模型上显示所指定的特定部分，其中，
在所述步骤b中：
在所选择的图像中的一个图像中，指定所述特定部分的中心，在距离所述中心的距离为设定范围的环形区域中提取设定数量的特征点，
在所选择的图像中的另一个图像中进一步提取与所提取的特征点相对应的特征点，并求出用于将从第一个所选择的图像中提取的特征点转换为从所述另一个图像中提取的特征点的相关变换矩阵，
通过使用所述相关变换矩阵，来计算在所述另一个图像中的与所指定的中心的坐标相对应的坐标，
通过使用所指定的中心的坐标、与其相对应的坐标、第一个所选择的图像的相机矩阵、以及所述另一个图像的相机矩阵，来计算所述中心的三维坐标，并将其作为所述特定部分的三维坐标。
6.根据权利要求5所述的非暂时性计算机可读记录介质，其中：
通过从所述对象的多个图像中的每个图像中提取特征点并使用提取到的每个特征点，来构造所述点云数据。
CN201980078773.2A 2018-11-29 2019-11-27 坐标计算装置、坐标计算方法和计算机可读记录介质 Active CN113167568B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018224015 2018-11-29
JP2018-224015 2018-11-29
PCT/JP2019/046420 WO2020111139A1 (ja) 2018-11-29 2019-11-27 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN113167568A CN113167568A (zh) 2021-07-23
CN113167568B true CN113167568B (zh) 2023-04-28

Family

ID=70853014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078773.2A Active CN113167568B (zh) 2018-11-29 2019-11-27 坐标计算装置、坐标计算方法和计算机可读记录介质

Country Status (4)

Country Link
US (1) US11922659B2 (zh)
JP (1) JP7188798B2 (zh)
CN (1) CN113167568B (zh)
WO (1) WO2020111139A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187732B (zh) * 2022-09-05 2022-12-23 江西省云眼大视界科技有限公司 一种图像数据采集与传输装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
EP2272501B1 (en) * 2002-01-09 2013-03-20 Emisphere Technologies, Inc. Polymorphs of sodium 4-((4-chloro-2-hydroxybenzoyl) amino) butanoate
US7280685B2 (en) * 2002-11-14 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. Object segmentation from images acquired by handheld cameras
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP4743538B2 (ja) 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
CA2678156C (en) * 2007-02-16 2013-10-08 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US7697125B2 (en) * 2007-05-11 2010-04-13 Rosemount Aerospace Inc. Scanning ladar with adjustable operational parameters
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
JP4832596B2 (ja) * 2008-08-29 2011-12-07 三菱電機株式会社 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
WO2014002725A1 (ja) 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
CN105190229B (zh) 2013-04-19 2018-07-31 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
JP6403115B2 (ja) * 2014-12-24 2018-10-10 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
WO2016103621A1 (ja) 2014-12-24 2016-06-30 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
WO2017103982A1 (ja) 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム

Also Published As

Publication number Publication date
CN113167568A (zh) 2021-07-23
JPWO2020111139A1 (ja) 2021-10-07
US11922659B2 (en) 2024-03-05
WO2020111139A1 (ja) 2020-06-04
JP7188798B2 (ja) 2022-12-13
US20220005223A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US9251582B2 (en) Methods and systems for enhanced automated visual inspection of a physical asset
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
JP6487493B2 (ja) 画像処理システム
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
CN110163087B (zh) 一种人脸姿态识别方法及系统
US10318102B2 (en) 3D model generation from 2D images
US11080833B2 (en) Image manipulation using deep learning techniques in a patch matching operation
JP6757690B2 (ja) 検査支援装置、検査支援方法及びプログラム
TW201616451A (zh) 點雲套索選取系統及方法
JP2018511874A (ja) ３次元モデリング方法及び装置
JP2014137756A5 (zh)
TW201616450A (zh) 點雲畫筆選取系統及方法
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
EP3633606A1 (en) Information processing device, information processing method, and program
EP3300025A1 (en) Image processing device and image processing method
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20180247430A1 (en) Display control method and display control apparatus
JP2016110290A (ja) 情報処理装置及び情報処理方法
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
TWI468849B (zh) 建築物紋理擷取裝置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant