CN113518893A - 位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示装置 - Google Patents

位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示装置 Download PDF

Info

Publication number
CN113518893A
CN113518893A CN202080018030.9A CN202080018030A CN113518893A CN 113518893 A CN113518893 A CN 113518893A CN 202080018030 A CN202080018030 A CN 202080018030A CN 113518893 A CN113518893 A CN 113518893A
Authority
CN
China
Prior art keywords
dimensional model
displacement detection
image
objects
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018030.9A
Other languages
English (en)
Inventor
吉川哲史
杉尾敏康
松延彻
福田将贵
寺西研翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113518893A publication Critical patent/CN113518893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种位移检测方法，检测第1三维模型和第2三维模型的位移，所述第1三维模型和所述第2三维模型是同一区域的三维模型且彼此时刻不同，所述位移检测方法使用第1三维模型所包含的多个第1对象物以及第2三维模型所包含的多个第2对象物的属性信息来检测第1三维模型以及第2三维模型所包含的对应点(S401)，使用检测出的对应点来进行第1三维模型与第2三维模型的位置对齐(S402)，检测位置对齐后的第1三维模型以及第2三维模型的位移(S403)。

Description

位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示 装置
技术领域
本公开涉及位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示装置。
背景技术
通过使用由相机拍摄到的图像来生成三维模型，与激光计量相比能够简单地生成三维地图等。该方法例如在施工现场的测量等中被利用。另外，如果使用基于相机图像的三维模型生成，则能够进行施工现场等有变化的某被摄体的进展管理等。
在专利文献1中，公开了根据灾害前后的三维模型的差分来求出灾害发生时的受灾量的方法。
现有技术文献
专利文献
专利文献1：日本特开2002-328021号公报
发明内容
发明要解决的课题
在检测三维模型间的位移时，期望提高位移检测的精度。本发明的目的在于提供一种能够提高位移检测的精度的位移检测方法、拍摄指示方法、位移检测装置或拍摄指示装置。
用于解决课题的手段
本公开的一个方式的位移检测方法是检测第1三维模型和第2三维模型的位移的位移检测方法，所述第1三维模型和所述第2三维模型是同一区域的三维模型，且彼此时刻不同，其中，所述位移检测方法使用所述第1三维模型所包含的多个第1对象物以及所述第2三维模型所包含的多个第2对象物的属性信息来检测所述第1三维模型以及所述第2三维模型所包含的对应点，使用检测出的所述对应点，进行所述第1三维模型与所述第2三维模型的位置对齐，检测位置对齐后的所述第1三维模型和所述第2三维模型的位移。
本公开的一个方式的三维数据拍摄指示方法是指示三维模型的生成中使用的图像的拍摄的拍摄指示方法，其中，确定所生成的三维模型中的点稀疏的区域，向用户指示，以便拍摄所确定的所述区域的图像。
发明效果
本公开能够提供能够提高位移检测的精度的位移检测方法、拍摄指示方法、位移检测装置或拍摄指示装置。
附图说明
图1是表示本实施方式的三维模型处理系统的结构的图。
图2是本实施方式的终端装置的框图。
图3是本实施方式的三维模型生成装置的框图。
图4是本实施方式的位移检测装置的框图。
图5是本实施方式的三维模型处理系统的序列图。
图6是示出本实施方式的再拍摄提示的一例的图。
图7是示出本实施方式的再拍摄提示的一例的图。
图8是示出本实施方式的再拍摄提示的一例的图。
图9是示出本实施方式的再拍摄提示的一例的图。
图10是示出本实施方式的再拍摄提示的一例的图。
图11是示出本实施方式的位移区域提示的一例的图。
图12是本实施方式的三维模型生成处理的流程图。
图13是本实施方式的位移检测处理的流程图。
图14是示出本实施方式的位置对齐以及尺寸匹配处理的一例的图。
图15是示出本实施方式的用户界面的显示例的图。
图16是本实施方式的位移检测处理的流程图。
图17是本实施方式的拍摄指示处理的流程图。
具体实施方式
本公开的一个方式的位移检测方法是检测第1三维模型和第2三维模型的位移的位移检测方法，所述第1三维模型和所述第2三维模型是同一区域的三维模型，且彼此时刻不同，其中，所述位移检测方法使用所述第1三维模型所包含的多个第1对象物以及所述第2三维模型所包含的多个第2对象物的属性信息来检测所述第1三维模型以及所述第2三维模型所包含的对应点，使用检测出的所述对应点，进行所述第1三维模型与所述第2三维模型的位置对齐，检测位置对齐后的所述第1三维模型和所述第2三维模型的位移。
由此，该位移检测方法通过使用属性信息来检测对应点，从而能够提高位移检测的精度。
例如，也可以是，在所述对应点的检测中，基于所述属性信息，优先使用所述多个第1对象物以及所述多个第2对象物中的人造物，检测所述对应点。
由此，该位移检测方法通过使用与自然物相比计时变化较少的人造物所包含的对应点来进行位置对齐，从而能够提高位置对齐的精度。因此，该位移检测方法能够提高位移检测的精度。
例如，也可以是，在所述对应点的检测中，基于用户的操作，从所述多个第1对象物中选择第1选择对象物，从所述多个第2对象物中选择具有与所述第1选择对象物相同的属性信息的第2选择对象物，使用所述第1选择对象物和所述第2选择对象物检测所述对应点。
由此，该位移检测方法通过根据具有相同的属性信息的对象物检测对应点，从而能够提高对应点检测的精度。因此，该位移检测方法能够提高位置对齐的精度，能够提高位移检测的精度。
例如，也可以是，在所述第2选择对象物的选择中，显示供用户从所述多个第2对象物中选择所述第2选择对象物的用户界面，基于经由所述用户界面的所述用户的操作，从所述多个第2对象物中选择所述第2选择对象物，在所述用户界面中，仅能够选择所述多个第2对象物中的、具有与所述第1选择对象物相同的属性信息的第2对象物。
由此，该位移检测方法能够提高用户对对应点的检测精度。因此，该位移检测方法能够提高位置对齐的精度，能够提高位移检测的精度。
例如，也可以是，在所述第2选择对象物的选择中，显示供用户从所述多个第2对象物中选择所述第2选择对象物的用户界面，基于经由所述用户界面的所述用户的操作，从所述多个第2对象物中选择所述第2选择对象物，在所述用户界面中，所述多个第2对象物中的、具有与所述第1选择对象物相同的属性信息的第2对象物比具有与所述第1选择对象物不同的属性信息的第2对象物被更强调显示。
由此，该位移检测方法能够提高用户对对应点的检测精度。因此，该位移检测方法能够提高位置对齐的精度，能够提高位移检测的精度。
本公开的一个方式的拍摄指示方法是指示三维模型的生成中使用的图像的拍摄的拍摄指示方法，确定所生成的三维模型中的点稀疏的区域，向用户指示，以便拍摄所确定的所述区域的图像。
由此，该拍摄指示方法能够使用拍摄到的图像来提高三维模型的精度。因此，该拍摄指示方法能够提高位移检测的精度。
例如，也可以是，在所述指示中，向用户指示对所确定的所述区域的图像进行拍摄的路径。
由此，该拍摄指示方法例如能够一并指示在三维模型的生成中使用的多个静止图像或运动图像的拍摄。
例如，也可以是，在所述指示中，在所述三维模型的俯视图上显示所述路径。
由此，该拍摄指示方法对用户适当地进行指示。
例如，也可以是，在所述指示中，在所述俯视图上显示所述路径内的拍摄地点处的拍摄方向。
由此，该拍摄指示方法对用户适当地进行指示。
另外，本公开的一个方式的位移检测装置是检测第1三维模型和第2三维模型的位移的位移检测装置，所述第1三维模型和所述第2三维模型是同一区域的三维模型，且彼此时刻不同，其中，所述位移检测装置具备：处理器；以及存储器，所述处理器使用所述存储器，使用所述第1三维模型所包含的多个第1对象物以及所述第2三维模型所包含的多个第2对象物的属性信息来检测所述第1三维模型以及所述第2三维模型所包含的对应点，使用检测出的所述对应点，进行所述第1三维模型与所述第2三维模型的位置对齐，检测位置对齐后的所述第1三维模型和所述第2三维模型的位移。
由此，该位移检测装置通过使用属性信息来检测对应点，从而能够提高位移检测的精度。
另外，本公开的一个方式的拍摄指示装置是指示在三维模型的生成中使用的图像的拍摄的拍摄指示装置，所述拍摄指示装置具备：处理器；以及存储器，所述处理器使用所述存储器，确定所生成的三维模型中的点稀疏的区域，向用户指示，以便拍摄所确定的所述区域的图像。
由此，该拍摄指示装置能够使用拍摄到的图像来提高三维模型的精度。因此，该拍摄指示装置能够提高位移检测的精度。
以下，参照附图对实施方式进行具体说明。此外，以下说明的实施方式均表示本公开的一个具体例。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一例，并非旨在限定本公开。另外，关于以下的实施方式中的构成要素中的、独立技术方案中没有记载的构成要素，作为任意的构成要素进行说明。
(实施方式)
首先，说明本实施方式的三维模型处理系统的结构。图1是表示本实施方式的三维模型处理系统100的结构的图。该三维模型处理系统100包括多个终端装置101和三维模型处理装置102。
终端装置101具有摄像图像(静止图像或运动图像)的功能。另外，终端装置101具有向三维模型处理装置102发送拍摄到的图像的发送功能、以及显示从三维模型处理装置102输出的UI信息的显示功能中的至少一个。三维模型处理装置102具备三维模型生成装置111、模型保存部112、位移检测装置113以及UI部114。
三维模型生成装置111从1个以上的终端装置101取得由终端装置101拍摄到的图像，通过使用了所取得的图像的图像处理来生成三维模型(例如点群数据)。具体而言，三维模型生成装置111使用某时刻的图像群来生成该时刻的三维模型。另外，三维模型生成装置111使用相互不同的时刻的多个图像群，生成相互不同的时刻的多个三维模型。另外，三维模型生成装置111将所生成的多个三维模型保存于模型保存部112。
另外，在存在多个终端装置101的情况下，也可以通过利用各装置的时间戳来实现同步拍摄。由此，即使在各终端装置101中共同拍摄的被摄体运动的情况下，也能够生成每个时刻的三维模型。
位移检测装置113从模型保存部112取得2个以上的三维模型，对这些三维模型进行比较，由此检测三维模型间的位移(变化)。位移检测装置113将位移的检测结果交接给UI部114。
模型保存部112保存由三维模型生成装置111生成的多个三维模型，根据位移检测装置113的请求，将所存放的三维模型提供给位移检测装置113。另外，模型保存部112也可以将三维模型经由因特网存档在Web上，从Web取得存档后的三维模型。
另外，模型保存部112所存放的多个三维模型不需要是由三维模型生成装置111生成的三维模型，也可以包含根据通过LiDAR(Light Detection and Ranging)等激光计量得到的数据等生成的三维模型。
UI部114将由位移检测装置113检测出的三维模型上的位移部位视觉化并向用户提示。
由此，例如，用户能够在砂土灾害的前后，在视觉上判别在哪个区域堆积了砂土等。另外，通过利用三维模型的信息，能够估算堆积的砂土量等。
另外，例如，通过在施工现场等定期地生成三维模型，能够容易地进行施工的进展管理等。
图2是终端装置101的框图。该终端装置101具备摄像部121、控制部122、图像处理部123、UI部124、图像保存部125、发送部126、三维信息保存部127以及接收部128。
摄像部121例如是相机等摄像装置，取得图像(静止图像或运动图像)，将所取得的图像保存在图像保存部125中。控制部122进行终端装置101的控制。
图像处理部123使用保存在图像保存部125中的多个图像来估计相机位置以及姿势。另外，图像处理部123生成摄像范围的三维模型。另外，图像处理部123在三维信息保存部127中保存相机位置以及姿势的信息、以及三维模型。例如，图像处理部123也可以通过进行SLAM(Simultaneous Localization and Mapping：即时定位与地图构建)等图像处理来同时进行相机位置以及姿势的估计和三维模型的生成。或者，在终端装置101具有各种传感器(GPS以及加速度传感器等)的情况下，图像处理部123也可以使用来自传感器的信息来计算相机位置以及姿势，并使用SfM(Structure from Motion：运动结构)来生成三维模型。在前者中，能够使用由相机等摄像装置拍摄到的图像来实现处理。在后者中，能够减少图像处理部123的处理量。
UI部124从三维信息保存部127取得相机位置以及姿势的信息、以及三维模型的信息，并且将所取得的信息向用户提示。图像保存部125保管由终端装置101拍摄到的图像。
发送部126从图像保存部125取得图像，并将所取得的图像发送至三维模型处理装置102。另外，发送部126也可以从摄像部121直接取得图像，在将所取得的图像保存在图像保存部125中的同时进行流(streaming)发送。
三维信息保存部127存放相机(摄像部121)摄像图像的定时的相机的三维位置以及姿势的信息、以及所生成的三维模型。接收部128接收从三维模型处理装置102发送的三维模型以及其他信息，并将接收到的三维模型以及信息交接给UI部124。
另外，终端装置101不需要具有图2所示的全部功能。例如，终端装置101也可以是具备摄像部121、控制部122、图像保存部125以及发送部126的以摄像功能为主体的相机等终端。另外，终端装置101也可以是具备UI部124以及接收部128的显示专用的显示器等终端。
图3是三维模型生成装置111的框图。该三维模型生成装置111具备图像接收部131、相机参数估计部132、三维模型生成部133、三维模型发送部134、图像保存部135、相机参数保存部136以及三维模型保存部137。
图像接收部131接收从终端装置101发送的图像，并将接收到的图像保存在图像保存部135中。
相机参数估计部132使用保存在图像保存部135中的图像来估计表示各图像中的相机的三维位置以及姿势的相机参数。相机参数估计部132将所得到的相机参数保存在相机参数保存部136中。例如，相机参数估计部132通过进行SLAM或SfM等图像处理来估计相机参数。或者，在终端装置101具有各种传感器(GPS和加速度传感器)并且能够从终端装置101接收由该传感器得到的信息的情况下，相机参数估计部132可以使用由传感器得到的信息来计算相机的位置以及姿势。另外，相机参数估计部132也可以综合由多个传感器(相机、GPS以及加速度传感器等)得到的信息来估计相机参数。例如，相机参数估计部132使用通过GPS得到的相机位置作为初始值，进行SLAM等图像处理，由此能够高效且高精度地估计相机参数。
三维模型生成部133利用从图像保存部135取得的图像以及从相机参数保存部136取得的相机参数，生成三维模型。三维模型生成部133将生成的三维模型保存于三维模型保存部137。例如，三维模型生成部133使用视体积交叉法或MVS(Multi-View Stereo)等图像处理来生成三维模型。此外，三维模型生成部133在除了图像以外还能够取得深度传感器的结果的情况下，也可以使用由图像以及深度传感器得到的深度信息来生成三维模型。
三维模型发送部134向模型保存部112发送所生成的三维模型。另外，三维模型发送部134向终端装置101发送所生成的三维模型。
图像保存部135存放从1个以上的终端装置101取得的多个图像。相机参数保存部136存放从1个以上的终端装置101取得的多个图像各自的相机参数。三维模型保存部137存放所生成的三维模型。此外，三维模型处理装置102也可以不具备模型保存部112。在该情况下，三维模型生成装置111也可以不具备三维模型保存部137。
图4是位移检测装置113的框图。该位移检测装置113具备三维模型取得部141、位移区域检测部142、区域信息发送部143、三维模型保存部144和位移信息保存部145。
三维模型取得部141从模型保存部112取得三维模型，将所取得的三维模型保存于三维模型保存部144。
位移区域检测部142从三维模型保存部144取得2个以上的三维模型，将所取得的三维模型间不同的区域作为位移区域进行检测。位移区域检测部142将表示检测出的位移区域的位移区域信息保存于位移信息保存部145。另外，位移区域检测部142在多个三维模型的坐标空间不同的情况下实施位置对齐或尺寸匹配等处理，使用处理后的三维模型来检测位移区域。
区域信息发送部143发送UI部114用于向用户提示信息所需的信息。具体而言，该信息也可以包括三维模型、位移区域信息、以及位移区域所附带的表示位移区域的体积等的附加信息。
三维模型保存部144存放所取得的三维模型。此外，三维模型处理装置102也可以不具备模型保存部112。在该情况下，位移检测装置113也可以不具备三维模型保存部144。位移信息保存部145存放所生成的位移区域的三维信息以及其附带的表示位移区域的体积等的附加信息。
图5是表示三维模型处理系统100中的信息的交换等的序列图。此外，在图5中，示出终端装置101为1个的例子，但终端装置101也可以存在多个。在该情况下，处理开始后的拍摄开始信号被发送至多个终端装置，三维模型处理装置102利用从多个终端装置101发送的图像信息进行处理。
在三维模型处理系统100中，三维模型处理装置102在产生了用户的指示时进行处理。具体而言，三维模型处理装置102的UI部114基于用户的指示进行开始处理(S101)。由此，UI部114向终端装置101发送拍摄开始信号。例如，用户通过点击显示于PC(个人计算机)的显示器的“开始”按钮来进行开始处理。
接受了拍摄开始信号的终端装置101的摄像部121通过实施拍摄来生成图像。另外，终端装置101将所生成的图像发送至终端装置101内的图像处理部123以及三维模型生成装置111。例如，终端装置101也可以如流发送那样，与拍摄同时地发送图像。或者，终端装置101也可以在终端装置101由于用户的操作而停止拍摄之后，一并发送拍摄到的图像。在前者中，能够在三维模型生成装置111中适当地生成三维模型，因此能够减少三维模型生成的待机时间。在后者中，三维模型生成装置111能够活用拍摄到的全部信息，因此能够生成高精度的三维模型。
接着，三维模型生成装置111使用从终端装置101发送的图像来生成三维模型(S102)。另外，三维模型生成装置111在取得到的图像是通过后述的再拍摄而生成的图像的情况下，例如利用与之前拍摄到的图像一起新取得到的图像来新生成三维模型。或者，三维模型生成装置111也可以根据再拍摄到的图像生成新的三维模型，将生成的新的三维模型与根据以前拍摄到的图像生成的三维模型综合起来。另外，三维模型生成装置111也可以废弃根据以前拍摄到的图像生成的三维模型，根据再拍摄到的图像新生成三维模型。
接着，三维模型生成装置111解析在S102中生成的三维模型中是否存在缺损或稀疏的部分等，判定是否需要再拍摄(S103)。例如，三维模型生成装置111判定在三维模型所包含的各对象物内三维点的密度的偏差是否大于预先确定的阈值，在密度的偏差大于阈值的情况下，判定为需要再拍摄。另外，三维模型生成装置111也可以向用户提示三维模型，基于用户的操作来判定是否需要再拍摄。
接着，终端装置101的图像处理部123使用由终端装置101拍摄到的图像来生成三维模型(S104)。例如，图像处理部123为了抑制处理量，生成与在S102中生成的三维模型相比稀疏的三维模型。此外，在终端装置101的处理性能足够高的情况下，图像处理部123也可以生成与在S102中生成的三维模型相同程度的三维模型。在S104中，也与S102同样地取得了再拍摄到的图像的情况下，图像处理部123既可以活用以前拍摄到的图像以及以前生成的三维模型，也可以不活用以前拍摄到的图像以及以前生成的三维模型。
接着，图像处理部123解析在S104中生成的三维模型中是否存在缺损或稀疏的部分等，判定是否需要再拍摄(S105)。例如，图像处理部123与S103同样地基于三维点的密度的偏差进行判定。或者，终端装置101也可以向用户提示三维模型，基于用户的操作进行判定。
在S103或S105中判定为需要再拍摄的情况下(S103或S105中“是”)，UI部124向用户提示需要再拍摄(S106)。例如，UI部124提示需要再拍摄的信息。或者，UI部124也可以在通过解析而知晓稀疏的部分的情况下，表示所生成的三维模型上的稀疏的区域并且提示再拍摄。另外，在S103中由用户进行了判定的情况下，三维模型处理装置102也可以发送指定再拍摄位置的信息，UI部124将再拍摄位置提示给终端装置101的用户。
在S105或S103中判定为实施再拍摄的情况下(步骤S107中“是”)，UI部124向摄像部121发送拍摄开始指示。然后，接收到拍摄开始指示的摄像部121实施拍摄。此外，在步骤S107中，也可以由终端装置101或三维模型处理装置102的用户进行是否进行再拍摄的判定。
另一方面，在不进行再拍摄的情况下(S107中“否”)，三维模型处理装置102转移到三维模型生成后的处理序列。首先，位移检测装置113取得在S102中生成的三维模型和保存于模型保存部112的其他时刻的相同区域的三维模型，估计在所取得的三维模型间进行了位移的区域即位移区域(S108)。
最后，UI部114向用户提示在S108中估计出的三维模型的位移区域及其附带信息(S109)。此外，三维模型处理装置102也可以将位移区域及其附带信息发送至终端装置101，终端装置101将接收到的位移区域及其附带信息经由UI部124向用户提示。
图6～图10是表示再拍摄提示(S106)的一例的示意图。在图6所示的例子中，显示所生成的三维模型的俯视图，进行指示再拍摄的显示。在图7所示的例子中，在所生成的三维模型的俯视图中示出了稀疏的区域。在图8所示的例子中，示出了所生成的三维模型的俯视图和推荐拍摄方向。
另外，在图6～图10中，在显示部的下区域显示用于用户操作是否进行再拍摄的操作区域(“是”/“否”的选项)。另外，用于用户操作的界面不限于此，只要用户能够指定是否进行再拍摄即可。
另外，在此，通过向各终端装置101的显示进行了再拍摄的提示，但也可以准备显示专用的终端装置。例如，显示专用的终端装置具备如电子公告板那样大型的显示器，在该显示器进行显示。由此，能够对多个用户一并进行提示。另外，由此，即使在终端装置101是仅具有小型显示器的相机等的情况下，也能够向用户通知推荐的拍摄方向或拍摄部位，因此能够实施高效的拍摄。
在图9所示的例子中，显示所生成的三维模型的俯视图，并提示估计为能够高效地生成三维模型的推荐路径。例如，用户一边在该推荐路径上移动，一边通过终端装置101进行运动图像的拍摄或多张静止图像的拍摄。
在图10所示的例子中，显示所生成的三维模型的俯视图，并提示估计为能够高效地生成三维模型的推荐路径以及拍摄方向。此外，也可以提示推荐路径上的多个地点各自的拍摄方向。或者，也可以基于终端装置101的位置信息，提示终端装置101存在的地点处的拍摄方向。
此外，终端装置101也可以由图像处理部123逐次进行相机位置以及姿势估计，在所得到的结果与推荐拍摄路径以及拍摄方向偏离了一定值以上的情况下，向用户通知该意思。由此，能够与用户的能力无关地稳定地实现适当的拍摄。
另外，三维模型处理装置102也可以依次进行终端装置101的相机位置以及姿势估计，在得到的结果与终端装置101的推荐拍摄路径以及推荐拍摄姿势偏离一定值以上的情况下，向用户发出该意思的通知。例如，三维模型处理装置102可以通过邮件等传递方法向终端装置101通知该通知，也可以使用在大型显示器等提示1个以上的终端装置101的位置而多人能够同时确认的方法。
图11是表示位移区域提示(S108)的一例的示意图。例如，三维模型处理装置102的UI部114具备显示器。该显示器显示所生成的三维模型即生成三维模型、从生成三维模型中成为基准的三维模型即参照三维模型增加或减少的区域即增加区域及减少区域、以及增加区域及减少区域的体积的估计值。在图11中，示出了设想了塌方的环境中的砂土量的估计的例子。
在此，参照三维模型是预先在以前拍摄相同的范围并根据所得到的图像等生成的三维模型。在该例子中，产生了塌方的斜面表示为减少区域，坍塌的砂土表示为增加区域。
图12是由三维模型生成装置111所包含的三维模型生成部133进行的三维模型生成处理(S102)的流程图。首先，三维模型生成部133从图像保存部135取得多个图像(S201)。
接着，三维模型生成部133取得多个图像的、包含相机的三维位置、方向以及镜头信息等的相机参数(S202)。例如，三维模型生成部133通过对在S201中取得的图像实施SLAM或SfM等图像处理来取得相机参数。另外，例如，在相机的位置被固定的情况下，也可以预先将相机参数存放在相机参数保存部136中，三维模型生成部133取得存放在相机参数保存部136中的相机参数。
接着，三维模型生成部133进行利用在S201中取得的图像和在S202中取得的相机参数来生成三维模型的三维重构处理(S203)。例如，作为处理，能够使用视体积交叉法或SfM的处理。
最后，三维模型生成部133将在S203中生成的三维模型存放在三维模型保存部137中(S204)。
此外，三维模型生成部133也可以在S201中读入全部时刻量的图像序列，对全部时刻量的图像进行后段处理(S202～S204)。或者，三维模型生成部133也可以在S201中如流那样逐次取得图像，对所取得的图像反复实施后段处理(S202～S204)。在前者中，通过利用全部时刻量的信息，能够提高精度。在后者中，由于能够进行逐次的处理，因此能够确保固定长度的输入延迟，能够削减三维模型的生成所花费的等待时间。
另外，三维模型生成部133既可以在完成相机参数取得处理(S202)之后开始三维重构处理(S203)，也可以在取得了一部分相机的相机参数的时间点，开始使用所取得的相机参数的处理，从而并行地进行处理。
由此，在前者中，在通过图像处理来估计相机参数的情况下，通过实施整体的最优化，能够估计精度更高的相机参数。在后者中，能够逐次地实施处理，因此能够缩短三维模型的生成所花费的处理时间。
此外，由终端装置101所包含的图像处理部123进行的三维模型生成处理(S104)的处理流程也与S102相同。另外，不需要在终端装置101和三维模型生成装置111中进行完全相同的处理。例如，由终端装置101进行的处理也可以是处理量比由三维模型生成装置111进行的处理少的处理。另外，由三维模型生成装置111进行的处理也可以是比由终端装置101进行的处理能够生成更高精度的三维模型的处理。
图13是位移检测处理(S108)的流程图。首先，位移检测装置113取得参照三维模型(S301)。接着，位移检测装置113取得生成三维模型(S302)。另外，S301和S302的顺序也可以相反。
接下来，位移检测装置113进行使在S301中取得的参照三维模型与在S302中取得的生成三维模型的坐标空间对齐的处理(位置对齐以及尺寸匹配)(S303)。
接着，位移检测装置113提取通过S303对齐了坐标空间的两个三维模型间的差分，由此在生成三维模型中提取从参照三维模型增减或减少的区域(S304)。
接下来，位移检测装置113生成表示在S304中提取出的区域的信息以及与该区域相关的信息，并输出所生成的信息(差分信息)(S305)。例如，与区域相关的信息是区域的体积或颜色信息等。
此外，在S303中进行的位置对齐以及尺寸匹配中，参照三维模型和生成三维模型的至少一方具有与尺寸相关的正确的尺度值即可。例如，参照三维模型和生成三维模型在不同的设备或时间生成，在参照三维模型在尺度上可靠度低的情况下，位移检测装置113能够通过以生成三维模型为基准使两个三维模型的尺寸一致来取得正确的尺度。
此外，在双方都不能保证正确的尺度值的情况下，位移检测装置113也可以识别已知的大小的对象，通过使两个三维模型的尺度与该对象匹配，来估计或修正尺度值。例如，位移检测装置113也可以基于道路标识或信号灯等规格已决定的物体的尺寸来修正三维模型的尺度值。
图14是示意性地表示位置对齐以及尺寸匹配处理(S304)的一例的图。位移检测装置113在位置对齐处理中，反复进行参照三维模型和生成三维模型中对应的三维点即对应点的提取和坐标变换这2个步骤。
位移检测装置113在对应点提取处理中，提取在参照三维模型和生成三维模型中表示同一对象物的对应点。例如，如图14所示，标识的数字的点或者道路上的白线的角等点被用作对应点。此时，位移检测装置113不是从草木以及岩石等自然物提取对应点，而是从标识以及桥梁等刚体的人造物提取对应点。由此，能够将基于时间的位移少的点用作对应点。这样，位移检测装置113也可以优先选择质量高的人造物中包含的点作为对应点。
例如，位移检测装置113也可以通过使用三维模型所包含的三维点进行物体识别来生成标识以及桥等的属性信息。或者，位移检测装置113也可以通过使用图像进行物体识别来生成属性信息，并通过使用相机几何将生成的属性信息投影到三维模型来生成三维模型所包含的对象物的属性信息。
另外，位移检测装置113在坐标变换中，例如计算将生成三维模型的坐标轴(x’，y’，z’)变换为参照三维模型的坐标轴(x，y，z)的变换矩阵，并使用计算出的变换矩阵进行坐标变换，使得在对应点提取处理中提取出的多个对应点间的距离变小。此外，位移检测装置113也可以在对应点为N组的情况下，从N组的对应点提取M组(N＞M)的对应点，使用M组的对应点计算变换矩阵，进行反复处理，使得剩余的N-M组的对应点间的距离成为最小。由此，位移检测装置113能够导出高精度的变换矩阵。
此外，在对应点提取处理中，位移检测装置113可以向用户提示使用了对象物的属性信息的用户界面。图15是表示该用户界面的显示例的图。
例如，如图15所示，由用户选择参照三维模型内的一个树。在该情况下，位移检测装置113将生成三维模型内的多个树作为选择候选进行强调显示。用户从生成三维模型内的被更强调显示的多个树中，选择与参照三维模型内的被选择的树对应的树。
另外，在图15中，作为强调显示的例子，示出了强调选择物(树)的例子，但也可以通过使选择物以外的对象物模糊显示来相对地强调选择物。例如，也可以半透明地显示选择物以外的对象物。
此外，位移检测装置113不仅可以强调显示选择物，而且可以将选择物设为可选择状态，并且将除了选择物以外的对象物设为不可选择状态。
另外，在此叙述了选择对象物(一个树)的例子，但也可以选择对象物内的部分或点(树的末端等)。另外，在此，示出了选择参照三维模型内的对象物，选择与所选择的对象物对应的生成三维模型内的对象物的例子，但也可以选择生成三维模型内的对象物，选择与所选择的对象物对应的参照三维模型内的对象物。
另外，选择物不限于树。即，位移检测装置113可以强调显示具有与选择物相同的属性的对象物。
另外，在此，叙述了由用户进行对应点的选择的例子，但这些处理的一部分也可以由位移检测装置113自动地进行。例如，位移检测装置113也可以进行选择参照三维模型内的对象物的处理、以及选择与选择物对应的生成三维模型内的对象物的处理中的至少一方。位移检测装置113在进行选择与选择物对应的生成三维模型内的对象物的处理的情况下，例如，对具有与选择物相同的属性的对象物缩小搜索范围来进行对应物(对应点)的搜索。
另外，属性信息也可以具有阶层结构。例如，作为上位的分类，可以存在自然物和人造物，作为自然物的下位的分类(细致的分类)，可以存在树、岩石等。另外，该分类也可以是2个阶层以上。在该情况下，位移检测装置113例如首先使用下位的属性进行显示或搜索范围的缩小，在其中不存在对应点的情况下，以上位的分类进行显示或搜索范围的缩小。
或者，位移检测装置113也可以根据阶层来变更强调显示的程度以及可否选择。例如，在选择物是树的情况下，位移检测装置113可以强调显示树，通常显示除树之外的自然物，并且模糊显示除树之外的对象物。另外，位移检测装置113也可以将树以及树以外的自然物设定为可选择，将除此以外的对象物设定为不可选择。
这样，本公开的一个方式的三维模型处理系统能够提供在利用了相机图像的三维模型生成中，能够通过移动体相机取得不同时刻的同一被摄体的差分信息的系统。另外，在无法设置固定相机的环境中也能够实现施工现场的进展管理或砂土灾害的砂土量的估计等三维信息的变化部位的提取。
如上所述，本实施方式的位移检测装置进行图16所示的处理。位移检测装置检测第1三维模型(例如参照三维模型)与第2三维模型(例如生成三维模型)的位移，所述第1三维模型与第2三维模型是同一区域的三维模型，且彼此时刻不同。首先，位移检测装置使用第1三维模型所包含的多个第1对象物以及第2三维模型所包含的多个第2对象物的属性信息来检测第1三维模型以及第2三维模型所包含的对应点(S401)。
接着，位移检测装置使用检测出的对应点，进行第1三维模型与第2三维模型的位置对齐(坐标变换以及尺寸匹配)(S402)。接下来，位移检测装置检测位置对齐后的第1三维模型以及第2三维模型的位移(差分)(S403)。
由此，位移检测装置通过使用属性信息来检测对应点，能够提高位移检测的精度。
例如，位移检测装置在对应点的检测(S401)中，基于属性信息，优先使用多个第1对象物以及多个第2对象物中的人造物，检测对应点。例如，优先使用是指使用多个对象物中的人造物。或者，优先使用是指使用多个对象物中的人造物来检测对应点，在无法检测对应点的情况下，或者在检测出的对应点的数量少的情况下，使用人造物以外的对象物来检测对应点。
由此，位移检测装置通过使用与自然物相比计时变化较少的人造物所包含的对应点来进行位置对齐，从而能够提高位置对齐的精度。因此，位移检测装置能够提高位移检测的精度。
例如，位移检测装置在对应点的检测(S401)中，基于用户的操作，从多个第1对象物中选择第1选择对象物，从多个第2对象物中选择具有与第1选择对象物相同的属性信息的第2选择对象物，使用第1选择对象物和第2选择对象物来检测对应点。
由此，位移检测装置通过根据具有相同的属性信息的对象物检测对应点，能够提高对应点检测的精度。因此，位移检测装置能够提高位置对齐的精度，能够提高位移检测的精度。
例如，如图15所示，位移检测装置在第2选择对象物的选择中，显示用户用于从多个第2对象物中选择第2选择对象物的用户界面，基于用户经由用户界面的操作，从多个第2对象物中选择第2选择对象物。在用户界面中，仅能够选择多个第2对象物中的、具有与第1选择对象物相同的属性信息的第2对象物。
由此，位移检测装置能够提高用户对对应点的检测精度。因此，位移检测装置能够提高位置对齐的精度，能够提高位移检测的精度。
例如，在用户界面中，多个第2对象物中的、具有与第1选择对象物相同的属性信息的第2对象物比具有与第1选择对象物不同的属性信息的第2对象物被更强调显示。
由此，位移检测装置能够提高用户对对应点的检测精度。因此，位移检测装置能够提高位置对齐的精度，能够提高位移检测的精度。
例如，位移检测装置具备处理器和存储器，处理器使用存储器进行上述处理。
另外，本实施方式的拍摄指示装置进行图17所示的处理。这里，拍摄指示装置例如是终端装置101或三维模型生成装置111。
拍摄指示装置指示用于三维模型的生成的图像的拍摄。首先，拍摄指示装置确定所生成的三维模型中的点稀疏的区域(S411)。在此，所生成的三维模型例如是使用过去拍摄到的多个图像而生成的三维模型。
接着，拍摄指示装置指示用户拍摄所确定的区域的图像(S412)。例如，使用在此拍摄到的图像和过去拍摄到的图像，生成新的三维模型(或者，更新三维模型)。
由此，拍摄指示装置能够使用拍摄到的图像来提高三维模型的精度。因此，拍摄指示装置能够提高位移检测的精度。
例如，如图9所示，在指示(S412)中，拍摄指示装置向用户指示对所确定的区域的图像进行拍摄的路径。由此，拍摄指示装置例如能够一并指示在三维模型的生成中使用的多个静止图像或运动图像的拍摄。
例如，如图9所示，拍摄指示装置在指示(S412)中，在三维模型的俯视图上显示路径。据此，拍摄指示装置能够对用户适当地进行指示。
例如，如图10所示，拍摄指示装置在指示(S412)中，在俯视图上显示路径内的拍摄地点处的拍摄方向。据此，拍摄指示装置能够对用户适当地进行指示。
例如，拍摄指示装置具备处理器和存储器，处理器使用存储器进行上述处理。
以上，对本公开的实施方式的位移检测装置以及拍摄指示装置等进行了说明，但本公开并不限定于该实施方式。
另外，上述实施方式的位移检测装置以及拍摄指示装置等所包含的各处理部典型地作为集成电路即LSI来实现。它们可以单独地进行1个芯片化，也可以以包含一部分或全部的方式进行1个芯片化。
另外，集成电路化不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用能够在LSI制造后编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接、设定的可重构处理器。
另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。
另外，本公开也可以作为由位移检测装置以及拍摄指示装置等执行的位移检测方法以及拍摄指示方法等来实现。
另外，框图中的功能块的分割是一例，也可以将多个功能块实现为一个功能块，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。另外，也可以由单一的硬件或软件并行或分时地处理具有类似的功能的多个功能块的功能。
另外，执行流程图中的各步骤的顺序是为了具体说明本公开而例示的，也可以是上述以外的顺序。另外，上述步骤的一部分也可以与其他步骤同时(并行)执行。
以上，基于实施方式对一个或多个方式的位移检测装置以及拍摄指示装置等进行了说明，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式实施本领域技术人员想到的各种变形而得到的方式、组合不同的实施方式中的构成要素而构建的方式也可以包含在一个或多个方式的范围内。
产业上的可利用性
本公开能够应用于位移检测装置以及拍摄指示装置。
附图标记说明
100 三维模型处理系统
101 终端装置
102 三维模型处理装置
111 三维模型生成装置
112 模型保存部
113 位移检测装置
114 UI部
121 摄像部
122 控制部
123 图像处理部
124 UI部
125 图像保存部
126 发送部
127 三维信息保存部
128 接收部
131 图像接收部
132 相机参数估计部
133 三维模型生成部
134 三维模型发送部
135 图像保存部
136 相机参数保存部
137 三维模型保存部
141 三维模型取得部
142 位移区域检测部
143 区域信息发送部
144 三维模型保存部
145 位移信息保存部

Claims (11)

1.一种位移检测方法，检测第1三维模型和第2三维模型的位移，所述第1三维模型和所述第2三维模型是同一区域的三维模型，且彼此时刻不同，其中，所述位移检测方法为，
使用所述第1三维模型所包含的多个第1对象物以及所述第2三维模型所包含的多个第2对象物的属性信息来检测所述第1三维模型以及所述第2三维模型所包含的对应点，
使用检测出的所述对应点，进行所述第1三维模型与所述第2三维模型的位置对齐，
检测位置对齐后的所述第1三维模型和所述第2三维模型的位移。
2.根据权利要求1所述的位移检测方法，其中，
在所述对应点的检测中，基于所述属性信息，优先使用所述多个第1对象物以及所述多个第2对象物中的人造物，检测所述对应点。
3.根据权利要求1所述的位移检测方法，其中，
在所述对应点的检测中，
基于用户的操作，从所述多个第1对象物中选择第1选择对象物，
从所述多个第2对象物中选择具有与所述第1选择对象物相同的属性信息的第2选择对象物，
使用所述第1选择对象物和所述第2选择对象物检测所述对应点。
4.根据权利要求3所述的位移检测方法，其中，
在所述第2选择对象物的选择中，
显示供用户从所述多个第2对象物中选择所述第2选择对象物的用户界面，
基于经由所述用户界面的所述用户的操作，从所述多个第2对象物中选择所述第2选择对象物，
在所述用户界面中，仅能够选择所述多个第2对象物中的、具有与所述第1选择对象物相同的属性信息的第2对象物。
5.根据权利要求3所述的位移检测方法，其中，
在所述第2选择对象物的选择中，
显示供用户从所述多个第2对象物中选择所述第2选择对象物的用户界面，
基于经由所述用户界面的所述用户的操作，从所述多个第2对象物中选择所述第2选择对象物，
在所述用户界面中，所述多个第2对象物中的、具有与所述第1选择对象物相同的属性信息的第2对象物比具有与所述第1选择对象物不同的属性信息的第2对象物被更强调显示。
6.一种拍摄指示方法，指示三维模型的生成中使用的图像的拍摄，其中，
确定所生成的三维模型中的点稀疏的区域，
向用户指示，以便拍摄所确定的所述区域的图像。
7.根据权利要求6所述的拍摄指示方法，其中，
在所述指示中，向用户指示对所确定的所述区域的图像进行拍摄的路径。
8.根据权利要求7所述的拍摄指示方法，其中，
在所述指示中，在所述三维模型的俯视图上显示所述路径。
9.根据权利要求8所述的拍摄指示方法，其中，
在所述指示中，在所述俯视图上显示所述路径内的拍摄地点处的拍摄方向。
10.一种位移检测装置，检测第1三维模型和第2三维模型的位移，所述第1三维模型和所述第2三维模型是同一区域的三维模型，且彼此时刻不同，其中，所述位移检测装置具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
使用所述第1三维模型所包含的多个第1对象物以及所述第2三维模型所包含的多个第2对象物的属性信息来检测所述第1三维模型以及所述第2三维模型所包含的对应点，
使用检测出的所述对应点，进行所述第1三维模型与所述第2三维模型的位置对齐，
检测位置对齐后的所述第1三维模型和所述第2三维模型的位移。
11.一种拍摄指示装置，指示三维模型的生成中使用的图像的拍摄，其中，所述拍摄指示装置具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
确定所生成的三维模型中的点稀疏的区域，
向用户指示，以便拍摄所确定的所述区域的图像。
CN202080018030.9A 2019-03-05 2020-02-19 位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示装置 Pending CN113518893A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962814046P 2019-03-05 2019-03-05
US62/814,046 2019-03-05
PCT/JP2020/006393 WO2020179439A1 (ja) 2019-03-05 2020-02-19 変位検出方法、撮影指示方法、変位検出装置及び撮影指示装置

Publications (1)

Publication Number Publication Date
CN113518893A true CN113518893A (zh) 2021-10-19

Family

ID=72337874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018030.9A Pending CN113518893A (zh) 2019-03-05 2020-02-19 位移检测方法、拍摄指示方法、位移检测装置以及拍摄指示装置

Country Status (5)

Country Link
US (2) US11956532B2 (zh)
EP (1) EP3936816A4 (zh)
JP (2) JP7450166B2 (zh)
CN (1) CN113518893A (zh)
WO (1) WO2020179439A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917096B1 (ja) 2020-12-25 2021-08-11 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
US20230073587A1 (en) * 2021-09-09 2023-03-09 The Boeing Company Automated volumetric image capture of an object to support general visual inspection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
CN101484360A (zh) * 2006-07-05 2009-07-15 空中客车德国有限公司 用于监控结构部件的状态的方法以及装置
CN105115442A (zh) * 2015-07-28 2015-12-02 中国神华能源股份有限公司 巷道的内部表面形态的检测方法、装置和系统
CN107990841A (zh) * 2017-11-20 2018-05-04 中国科学院长春光学精密机械与物理研究所 一种用于三维扫描测量的辅助装置
JP2018129682A (ja) * 2017-02-08 2018-08-16 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030098352A1 (en) * 2000-11-24 2003-05-29 Metrologic Instruments, Inc. Handheld imaging device employing planar light illumination and linear imaging with image-based velocity detection and aspect ratio compensation
US7164810B2 (en) * 2001-11-21 2007-01-16 Metrologic Instruments, Inc. Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
CA2763573C (en) * 2009-06-10 2017-03-14 Intergraph Technologies Company Ontological filtering using spatial boundary of 3d objects
JP5705073B2 (ja) * 2011-09-16 2015-04-22 三菱電機株式会社 写真計測システムおよび写真計測用写真撮影条件決定方法
US9460520B2 (en) * 2014-02-24 2016-10-04 Vricon Systems Ab Method and arrangement for identifying a difference between a first 3D model of an environment and a second 3D model of the environment
JP6073429B2 (ja) 2015-08-31 2017-02-01 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
JP6358996B2 (ja) 2015-10-26 2018-07-18 セコム株式会社 警備シミュレーション装置
US9971956B2 (en) * 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models
WO2018043225A1 (ja) 2016-09-01 2018-03-08 パナソニックＩｐマネジメント株式会社 多視点撮像システム、三次元空間再構成システム、及び三次元空間認識システム
JP6660622B2 (ja) 2019-03-15 2020-03-11 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
CN101484360A (zh) * 2006-07-05 2009-07-15 空中客车德国有限公司 用于监控结构部件的状态的方法以及装置
CN105115442A (zh) * 2015-07-28 2015-12-02 中国神华能源股份有限公司 巷道的内部表面形态的检测方法、装置和系统
JP2018129682A (ja) * 2017-02-08 2018-08-16 キヤノン株式会社 撮像装置およびその制御方法
CN107990841A (zh) * 2017-11-20 2018-05-04 中国科学院长春光学精密机械与物理研究所 一种用于三维扫描测量的辅助装置

Also Published As

Publication number Publication date
US11956532B2 (en) 2024-04-09
WO2020179439A1 (ja) 2020-09-10
EP3936816A4 (en) 2022-05-04
JPWO2020179439A1 (zh) 2020-09-10
JP7450166B2 (ja) 2024-03-15
US20210400189A1 (en) 2021-12-23
EP3936816A1 (en) 2022-01-12
JP2024061721A (ja) 2024-05-08
US20240155224A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2024061721A (ja) 撮影指示方法及び撮影指示装置
US20090303348A1 (en) Metadata adding apparatus and metadata adding method
US9704255B2 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2016138788A (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JPWO2019065536A1 (ja) 再構成方法および再構成装置
JP2019175383A (ja) 入力装置および入力装置の入力方法、ならびに、出力装置および出力装置の出力方法
CN111815781A (zh) 增强现实数据呈现方法、装置、设备和计算机存储介质
JP2016039390A (ja) 画像生成方法および装置
JP2016138826A (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN115336250A (zh) 摄影指示方法、摄影方法、摄影指示装置及摄影装置
JP2023029441A (ja) 計測装置、計測システムおよび車両
JP2007188117A (ja) 崩壊地抽出方法、装置及びプログラム
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN110827340B (zh) 地图的更新方法、装置及存储介质
JPWO2020145004A1 (ja) 撮影ガイド装置
CN116228974A (zh) 三维模型构建方法、装置、计算机设备以及存储介质
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
JP2004260591A (ja) 立体映像表示装置
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination