CN113544462A - 物量计算装置以及物量计算方法 - Google Patents

物量计算装置以及物量计算方法 Download PDF

Info

Publication number
CN113544462A
CN113544462A CN202080018282.1A CN202080018282A CN113544462A CN 113544462 A CN113544462 A CN 113544462A CN 202080018282 A CN202080018282 A CN 202080018282A CN 113544462 A CN113544462 A CN 113544462A
Authority
CN
China
Prior art keywords
dimensional model
difference
attribute information
amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018282.1A
Other languages
English (en)
Inventor
福田将贵
杉尾敏康
松延彻
吉川哲史
寺西研翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113544462A publication Critical patent/CN113544462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物量计算装置具备：获得部(模型获得部(302d))，获得表示规定的空间的第1三维模型、以及表示该规定的空间且与第1三维模型不同的第2三维模型；对位部(302e)，根据第1三维模型以及第2三维模型分别具有的属性信息，对第1三维模型与第2三维模型进行对位；以及计算部(差异计算部(302f))，计算出第1三维模型与第2三维模型的差分的量，输出该差分具有的属性信息以及表示该差分的量的差分信息。

Description

物量计算装置以及物量计算方法
技术领域
本公开涉及物量计算装置以及物量计算方法。
背景技术
有以下的一种技术，测量与位于规定的空间的物体有关的体积或重量等的量(例如，参照专利文献1)。
在专利文献1所公开的技术中，对崩塌现场的崩塌发生前后的图像进行比较，来进行该图像的对位，并且，使用对位后的该图像生成三维模型，根据生成的三维模型来计算崩塌现场的受灾量。
(现有技术文献)
(专利文献)
专利文献1：日本特开2002-328021号公报
关于计算上述受灾量等位于规定的空间的物体的量的处理，希望能够缩短处理时间。
发明内容
本公开提供能够缩短计算物体的量的处理时间的物量计算装置等。
本公开的一个形态所涉及的物量计算装置具备：获得部，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；对位部，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，对所述第1三维模型与所述第2三维模型进行对位；以及计算部，计算出由所述对位部进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
并且，本公开的一个形态所涉及的物量计算方法包括：获得步骤，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；对位步骤，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，进行所述第1三维模型与所述第2三维模型的对位；以及计算步骤，计算出所述对位步骤中进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
另外，本公开也可以作为使计算机执行上述物量计算方法中包括的步骤的程序实现。并且，本公开也可以作为由记录了该程序的计算机能够读取的CD-ROM等的非暂时性的记录介质实现。并且，本公开也可以作为表示该程序的信息、数据或信号实现。而且，也可以经由互联网等的通信网络分发那些程序、信息、数据以及信号。
通过本公开，能够提供能够缩短计算物体的量的处理时间的物量计算装置等。
附图说明
图1是用于说明实施例所涉及的泥沙量测量系统的概要的图。
图2是用于说明实施例所涉及的泥沙量测量系统执行的提取属性信息的处理的概要的图。
图3是用于说明实施例所涉及的泥沙量测量系统执行的泥沙量的计算处理的概要的图。
图4是表示实施例所涉及的泥沙量测量系统的结构的方框图。
图5是表示实施例所涉及的泥沙量测量系统具备的摄像装置的结构的方框图。
图6是表示实施例所涉及的泥沙量测量系统具备的控制装置的结构的方框图。
图7是表示实施例所涉及的泥沙量测量系统具备的泥沙量计算装置的结构的方框图。
图8是表示实施例所涉及的泥沙量测量系统执行的三维模型的对位的处理的流程图。
图9是用于说明对位部执行的2个三维模型的对位的图。
图10是表示实施例所涉及的泥沙量测量系统的处理的序列图。
图11是表示实施例所涉及的泥沙量测量系统执行的泥沙量的计算处理的流程图。
图12是表示实施例所涉及的泥沙量测量系统具备的用户界面进行2个三维模型的对位时提示的图像的一个例子的图。
图13是表示实施例所涉及的泥沙量测量系统具备的用户界面提示的差异信息的一个例子的图。
具体实施方式
(本公开的概要)
本公开的一个形态所涉及的物量计算装置具备：获得部，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；对位部，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，对所述第1三维模型与所述第2三维模型进行对位；以及计算部，计算出由所述对位部进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
以往，例如，有以下的方法，测量(计算)由于泥沙灾害现场等的崩塌等的影响流入到规定的空间的泥沙量。在基于激光测量的泥沙量的计算中，虽然能够高精度地计算泥沙量，但是存在对计算需要花费时间以及成本的问题。于是，在本公开所涉及的物量计算装置中，例如，在规定的空间中，对表示想要计算泥沙等的量的物体不存在的状态下的该规定的空间的三维模型(第1三维模型)与表示该物体存在的状态下的该规定的空间的三维模型(第2三维模型)进行比较。据此，通过对第1三维模型与第2三维模型适当地进行对位，从而能够简便地计算第1三维模型与第2三维模型的差分。因此，通过本公开所涉及的物量计算装置，能够缩短计算物体的量的处理时间。
并且，例如，本公开的一个形态所涉及的物量计算装置还具备生成部，所述生成部，根据分别表示所述规定的空间的多个图像生成所述第1三维模型以及所述第2三维模型中的至少一方。
据此，能够通过用于生成图像的摄像头等的简便的结构来计算差分的量。
并且，例如，所述计算部，在所述差分包括互不相同的多个属性信息的情况下，通过将所述多个属性信息按每个类别分类并输出，从而按每个所述类别将所述多个属性信息一并显示在显示装置。
据此，将差分中包括的物体的类别分类来显示在显示装置，因此，能够使要确认该显示装置的用户容易理解差分中包括的类别。
并且，例如，所述计算部按每个所述类别计算出所述差分中包括的量。
据此，将差分中包括的物体的每个类别的量显示在显示装置，因此，能够使要确认该显示装置的用户容易理解差分中包括的每个类别的量。
并且，例如，所述差分的量是所述差分的体积以及重量的至少一方。
据此，本公开所涉及的物量计算装置，能够计算差分的量以及体积的至少一方。
并且，例如，所述对位部，从所述第1三维模型以及所述第2三维模型中分别提取具有所述第1三维模型与所述第2三维模型分别共通的属性信息的部分模型，以提取的各个所述部分模型的对应的位置的坐标一致的方式，通过使各个所述部分模型移动来进行对位后，按照各个所述部分模型的移动使所述第1三维模型以及所述第2三维模型移动，从而对所述第1三维模型与所述第2三维模型进行对位。
据此，本公开所涉及的物量计算装置，即使不进行通过比较三维模型的形状来进行对位等的需要花费处理时间的处理，也能够对第1三维模型与第2三维模型进行对位。因此，据此，能够更缩短本公开所涉及的物量计算装置的处理时间。
并且，本公开的一个形态所涉及的物量计算方法包括：获得步骤，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；对位步骤，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，进行所述第1三维模型与所述第2三维模型的对位；以及计算步骤，计算出所述对位步骤中进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
据此，通过对第1三维模型与第2三维模型适当地进行对位，从而能够简便地计算第1三维模型与第2三维模型的差分。因此，通过本公开所涉及的物量计算方法，能够缩短计算物体的量的处理时间。
并且，例如，在所述获得步骤中，获得表示泥沙流入前的所述规定的空间的所述第1三维模型以及表示所述泥沙流入后的所述规定的空间的所述第2三维模型，在所述计算步骤中，计算出所述泥沙的量，以作为所述差分的量。
据此，通过对表示泥沙流入到规定的空间那样的灾害前后的该规定的空间的三维模型适当地进行对位，从而能够简便地计算成为差分的泥沙的量。因此，通过本公开所涉及的物量计算方法，能够缩短计算泥沙的量的处理时间。
以下，利用附图详细说明本公开的各个实施方式。另外，以下将要说明的各个实施方式均为示出本公开的一个具体例子。因此，以下的各个实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子，其主旨并非是限定本公开。
并且，各个图为示意图，并非严谨的图示。并且，在各个图中，对于实质上相同的构成赋予相同的编号，并有时省略或简化重复的说明。
(实施方式)
[概要]
图1是用于说明实施例所涉及的泥沙量测量系统的概要的图。
实施方式所涉及的泥沙量测量系统1000(例如，参照图4)具备，用于对规定的三维空间A1(以下，也称为空间A1)内进行摄像(以下，也称为拍摄)的多台摄像头100。作为具体例子，空间A1是泥沙21堆积的道路20上的空间。作为其他的具体例子，空间A1是泥沙21或流木等堆积的河上的空间。泥沙量测量系统1000是本公开所涉及的物量计算装置的一个例子。
多台摄像头100的每一个被配置在互不相同的位置，并且分别对共通的三维空间(例如，空间A1)进行摄像。因此，空间A1内的多台摄像头100的摄像对象的区域，在至少一部分具有重复的区域。例如，多台摄像头100，以包围包含道路20上的泥沙21的空间A1的一部分的方式，被设置在互不相同的位置。并且，多台摄像头100分别成为互不相同的姿势。而且，在多台摄像头100的摄像对象的区域中，至少一部分重复。摄像对象的区域中至少一部分重复，这是因为，用于根据通过摄像而得到的影像数据，生成(重构)空间A1的三维模型(例如，点群数据)的缘故。
另外，关于成为摄像的对象的区域，可以由多台摄像头100之中的一部分的摄像头100重复，也可以由多台摄像头100的全部重复。
并且，多台摄像头100也可以是由同一摄像头在不同时刻进行摄像的摄像头即移动摄像头。因此，若摄像头100是移动摄像头，则摄像头100有1个以上即可，个数没有限定。
在以三维重构进行的处理(生成空间A1的三维模型的处理)中，使用如此由多台摄像头100分别得到的多个影像(以下，也将影像称为图像)，计算(生成)表示空间A1的三维模型22。在以三维重构进行的处理中，例如，将从多台摄像头100分别得到的多个图像建立对应，根据得到的对应关系进行几何计算，从而计算三维模型22。
在此，三维模型是一种数据，表示规定的三维空间(在本实施方式中，空间A1)的几何形状。用于表示三维形状的模型是例如由多个三维点构成的点群。并且，三维模型，可以以体素表示，也可以以网格表示。
另外，这些三维模型的表示是一个例子，并不限定三维模型的表示方法。
并且，用于生成三维模型的基础的数据，也可以不是图像，没有特别限定。例如，用于生成三维模型的基础的数据也可以是由LiDAR等的计测仪器获得的数据。
LiDAR是用于测量与物体的距离的传感器。通过针对规定的区域使LiDAR进行扫描(移动以及测量)，从而能够计算位于该规定的区域的物体的位置。
LiDAR等的这种计测仪器，通过发出电磁波，并且获得发出的电磁波在测量对象反射的反射波，从而生成三维模型。具体而言，计测仪器，对从发出电磁波后到该电磁波在测量对象反射并返回到计测仪器为止所需要的时间进行测量，使用测量出的时间以及电磁波的波长，计算计测仪器与测量对象的表面上的点之间的距离。
例如，计测仪器，从该计测仪器的基准点向预先决定的辐射状的多个方向发出电磁波。例如，计测仪器，围绕水平方向以第1角度间隔发出电磁波，围绕垂直方向以第2角度间隔发出电磁波。因此，计测仪器，通过计算该计测仪器的周围的多个方向各自的与测量对象间的距离，从而能够计算测量对象上的多个点的三维坐标。
计测仪器，例如，照射作为电磁波的激光。或者，计测仪器，例如，通过射出作为电磁波的毫米波，从而对与测量对象之间的距离进行测量。
图2是用于说明实施例所涉及的泥沙量测量系统1000执行的提取属性信息的处理的概要的图。具体而言，图2的(a)是表示对空间A1进行摄像来生成的图像的一个例子的图。图2的(b)是表示，示出空间A1的三维模型的图。图2的(c)是放大表示具有图2的(a)所示的图像中的“树”的属性信息的像素的图。
泥沙量测量系统1000，使用由多台摄像头100对空间A1进行摄像的多个图像数据或重构空间A1的三维模型，来进行属性信息的提取。
在此，属性信息是表示识别图像或三维模型中的特定的区域具有怎样的意义的结果的信息。属性信息是表示例如图像的任意的区域中包括的物体是“树”这样的属性的信息。并且，作为其他的例子，属性信息是表示以点群表示的三维模型中的任意的部分点群是“树”这样的属性的信息。也就是说，“树”、“流木”、“泥沙”、“房屋”等分别是属性信息的一个例子。如此，例如，三维模型，按每个区域具有属性信息。关于该区域，可以是三维模型中的预先决定的范围，也可以是构成三维模型的每个三维点，没有特别限定。并且，该区域也可以是每个后述的部分模型。也就是说，三维模型也可以按每个后述的部分模型具有属性信息。
提取属性信息的处理是，例如进行语义分段来实现的。语义分段是一种处理，针对像素或三维模型的最小构成单位，使用该像素或三维模型的最小构成单位的周边的信息赋予有意义的标签。
具体而言，例如，语义分段是，如图2的(c)所示，向对存在于规定的三维空间的“树”进行摄像的各个像素赋予“树”的标签的处理。通过参照周边像素的信息，从而能够向各个像素赋予标签。周边像素的信息，可以是R(Red)G(Green)B(Blue)的值，也可以是亮度值，也可以是像素值的分布，也可以是梯度。据此，例如，能够将赋予了“树”的属性信息的点群的集合即部分模型作为具有“树”的属性信息的部分模型。
属性信息的提取是，例如，通过基于表示预先决定的“树”等的数据的模式识别等进行的。用户对后述的用户界面400(参照图4)进行操作，从而能够将属性信息与图像或三维模型中包括的物体建立对应。
图3是用于说明实施例所涉及的泥沙量测量系统1000执行的泥沙量的计算处理的概要的图。具体而言，图3的(a)是表示灾害前的空间A1的三维模型的图。并且，图3的(b)是表示灾害后的空间A1的三维模型的图。并且，图3的(c)是表示泥沙量测量系统1000执行的计算差异信息的处理的图。图3的(d)是表示泥沙量测量系统1000输出的差异信息的一个例子的图。
泥沙量测量系统1000，通过使用重构空间A1的灾害前的三维模型(以下，也称为第1三维模型)以及灾害后的三维模型(以下，也称为第2三维模型)来计算差异，从而提取泥沙21的信息(差异信息)。
泥沙量测量系统1000，在2个三维模型中，提取灾害前与灾害后的变化更明显的部分。将差异的计算结果，作为差异信息提示给用户。
在此，差异信息是，例如，在三维网格模型中，灾害前的三维模型与灾害后的三维模型之间的面不重叠或不交叉的三维部分区域的体积。如此计算出的差异的量是，例如，在灾害后在规定的三维空间中堆积的泥沙的量。
并且，差异信息也可以包括混合物的信息，其中包括2个三维模型中灾害前与灾害后的变化更明显的部分中的通过属性信息的提取而得到的例如泥沙21中包括的流木或瓦砾等的比例那样的互不相同的多个属性信息。
混合物是，例如，具有互不相同的属性信息的多个部分模型的集合。在上述的例子中，混合物是泥沙。并且，混合物(即，泥沙)是，由具有表示“流木”的属性信息的部分模型(第1部分模型)、与具有表示“瓦砾”的属性信息的部分模型(第2部分模型)构成的三维模型。差异信息，例如，包括混合物中包括的1个以上的属性信息，将该混合物的体积作为差异的量包括，并且，包括表示该混合物的体积中的第1部分模型所占的比例以及第2部分模型所占的比例的信息。
并且，也可以按属性信息的每个类别将混合物分类为多个。例如，假设混合物由具有表示“流木”的属性信息的部分模型(第1部分模型)、具有表示“瓦砾”的属性信息的部分模型(第2部分模型)、具有表示“路标”的属性信息的部分模型(第3部分模型)以及具有表示“红绿灯”的属性信息的部分模型(第4部分模型)构成。在此情况下，也可以将混合物分类为由自然物构成的第1部分模型和第2部分模型所构成的混合物(第1混合物)以及由人造物构成的第3部分模型和第4部分模型所构成的混合物(第2混合物)。并且，在此情况下，差异信息也可以包括表示混合物的体积中的第1混合物所占的比例以及第2混合物所占的比例的信息。
如上所述，差异信息包括，例如，表示2个三维模型的差分的量的差分信息以及该差分具有的属性信息。差分的量是，例如，该差分的体积以及重量的至少一方。
另外，上述是，差异信息的一个例子，并不限定差异信息。
并且，关于三维模型的尺度，也可以将2个三维模型中的灾害前以及灾害后的任意一方的三维模型调整为所希望的尺度。例如，也可以将2个三维模型中的灾害前以及灾害后的任意一方的三维模型调整为空间A1的尺度。并且，关于2个三维模型中的灾害前以及灾害后的任意一方的三维模型，也可以根据从泥沙量测量系统1000的外部提供的尺度的信息调整尺度。以使三维模型的尺度相同的方式进行调整，从而能够对灾害前的三维模型以及灾害后的三维模型以相同的尺度进行差异的计算。据此，能够以空间A1的尺度计算泥沙量。
另外，泥沙量测量系统1000是本公开所涉及的物量计算装置的一个例子。关于上述的计算差异信息的方法，可以用于泥沙以外的对象例如仓库的库存量的计算，也可以用于施工工作时的工作地方的施工部件等的计算。
[结构]
<泥沙量测量系统>
接着，对泥沙量测量系统1000的结构进行详细说明。
图4是表示实施例所涉及的泥沙量测量系统1000的结构的方框图。
泥沙量测量系统1000具备，多个摄像装置10a至10n(例如，摄像装置10a、摄像装置10b至摄像装置10n的n(2个以上的整数)台)、控制装置200、泥沙量计算装置300以及用户界面400。摄像装置10a至10n与控制装置200连接成能够通信。并且，泥沙量计算装置300以及用户界面400与控制装置200连接成能够通信。
另外，摄像装置10a至10n与控制装置200，可以连接成能够进行有线通信，也可以连接成能够进行无线通信。并且，泥沙量计算装置300以及用户界面400与控制装置200，可以连接成能够进行有线通信，也可以连接成能够进行无线通信。
用户界面400是用于接受来自用户的操作的接受设备。用户界面400，例如，由与控制装置200连接的显示装置、触摸屏、触控板、键盘、鼠标、其他的控制器类或其组合实现。并且，用户界面400是，用于显示本公开所涉及的物量计算装置计算出的属性信息以及差分信息的显示装置的一个例子。
<摄像装置>
图5是表示实施例所涉及的泥沙量测量系统1000具备的摄像装置的结构的方框图。另外，以后，图4所示的摄像装置10a至10n的结构，在本实施方式中彼此相同，因此，在对泥沙量测量系统1000具备的多个摄像装置10a至10n之中的一台摄像装置进行说明的情况下，说明摄像装置10a。也就是说，以后说明摄像装置10a的部分，与其他的摄像装置10b至10n同样。
多个摄像装置10a至10n分别是具备相当于用于对空间A1进行摄像的图1所示的摄像头100的摄像头的装置。多个摄像装置10a至10n分别能够采用的结构是例如相互共通的。
另外，在此，空间A1是多台摄像头100各自的摄像区域的并集。
摄像装置10a至10n分别也可以具有摄像头100，并且具备支架110。
摄像头100具备存储部101、控制部102、光学系统103以及图像传感器104。
在存储部101中存储由控制部102读出并执行的程序。并且，在存储部101中，暂时存储使用图像传感器104进行摄像的摄像区域的影像数据、赋予给该影像数据的时间戳等的元信息、摄像头100的摄像头参数、以及适用中的帧率或分辨率等的拍摄设定。
这样的存储部101是，例如，使用闪存等的能够重写的非易失性的半导体存储器实现的。并且，也能够按照保存的数据的重写的是否需要或必要的保存期间等，将不能重写的ROM(Read-Only Memory)或易失性的RaM(Random access Memory)用于存储部101。
另外，泥沙量测量系统1000具备的摄像装置的个数，没有特别限定。例如，泥沙量测量系统1000具备的摄像装置的个数也可以是多个。并且，泥沙量测量系统1000具备的各个摄像装置10a至10n的特性也可以不是共通的。并且，各个摄像装置10a至10n分别具备的摄像头100，并不限于非立体摄像头，也可以是立体摄像头。
并且，关于泥沙量测量系统1000具备的摄像装置的个数，若该摄像装置能够变更位置以及姿势来从多个视点对空间A1进行摄像，则也可以是1个。
例如，控制部102是使用CPU(Central Processing Unit)来实现的，控制部102，通过读出并执行存储部101中存储的程序，从而将摄像头100具备的各个构成要素控制成发挥摄像功能以及其他的功能。
另外，控制部102也可以，由将摄像头100具备的各个构成要素控制成发挥摄像功能以及其他的功能的专用电路实现。也就是说，控制部102，也可以由软件实现，也可以由硬件实现。
光学系统103是使来自摄像区域的光成像在图像传感器104上的构成要素，使用包括透镜的光学元件来实现光学系统103。并且，光学系统103也可以是能够变更焦点距离以及视角的结构。并且，对于光学系统103，也可以使用像广角透镜、或鱼眼透镜之类的超广角透镜。例如，在本公开所涉及的物量计算装置具备的摄像头进行摄像的影像用于监视系统的情况下，有时为了获得广泛的摄像区域而使用广角透镜。
图像传感器104，通过在受光面接受由光学系统103收集的光，并且将该接受的光变换为表示图像的电信号的CCD(Charge Coupled Devices)图像传感器、CMOS(Complementary Metal Oxide Semiconductor)图像传感器、或MOS(Metal OxideSemiconductor)图像传感器等的固体摄像元件来实现。
支架110是用于将正在通过进行摄像来生成用于泥沙量的计算的映像的摄像头100固定并支撑在规定的位置的构成要素，支架110由例如三脚架实现。
另外，为了调整摄像头100的固定位置作为该摄像的准备，而能够调整支架110的脚部分的长度以及角度。
并且，在支架110也可以具备为了将摄像头100摇拍或倾斜而使云台旋转的机构以及用于向上下移动的升降机构等。或者，支架110也可以包括小车、或吊车等将摄像头100支撑且移动的机构。
另外，并不一定需要固定摄像装置10a至10n。因此，摄像装置10a至10n也可以是不具有支架110的结构。
另外，泥沙量测量系统1000具备的摄像装置10a，若是多个固定摄像头、1个以上的移动摄像头或其组合，则个数不特别限定。并且，并不限于非立体摄像头，也可以包括像立体摄像头之类的复眼摄像头。
<控制装置>
图6是表示实施例所涉及的泥沙量测量系统1000具备的控制装置200的结构的方框图。
控制装置200具备存储部201、控制部202以及计时器203。
控制装置200进行摄像装置10a至10n的控制以及向用户界面400的输入输出。并且，控制装置200，对泥沙量计算装置300进行与从各个摄像装置10a至10n接受的数据对应的泥沙量计算指令。
这些控制装置200是例如计算机。在此情况下，存储部201是该计算机的存储装置，由硬盘驱动器或各种半导体存储器、或其组合实现。并且，控制部202由该计算机的CPU实现。
计时器203是由实现控制部202的CPU参照的、控制装置200具备的计时器。
在存储部201中存储由控制部202读出并执行的程序。并且，在存储部201中，存储从摄像装置10a至10n接受的数据，即作为控制部202的处理的对象的数据。
控制部202，通过读出并执行存储部201存储的程序，从而进行上述的摄像装置10a至10n以及泥沙量计算装置300的控制。
并且，控制部202执行针对与这些控制以及处理有关的来自用户的指令的处理。作为这些处理的其中之一，可以举出摄像装置10a至10n分别具备的多台摄像头100的同步影像的拍摄的控制。并且，作为这些处理的其中之一，也可以包括泥沙量计算指令。
控制部202，在功能上，包括摄像控制部202a、用户指示获得部202b以及泥沙量计算指令部202c。
控制部202中包括的用户指示获得部202b是，控制部202执行用于获得来自用户的指示的程序来实现的功能性构成要素。
并且，控制部202中包括的泥沙量计算指令部202c是，控制部202执行用于泥沙量计算指令的程序来实现的功能性构成要素。
另外，控制部202的摄像控制部202a、用户指示获得部202b以及泥沙量计算指令部202c，也可以由发挥摄像控制、用户指示获得、泥沙量计算指令以及泥沙量计算处理等的专用电路实现。也就是说，控制部202，可以由软件实现，也可以由硬件实现。
摄像控制部202a，使多个摄像装置10a至10n的每一个，以不同多个定时对摄像区域即空间A1进行摄像。摄像控制部202a，在多个摄像装置10a至10n的每一个位于预先决定的位置，并且处于朝向预先决定的方向的姿势的状态下，使多个摄像装置10a至10n对摄像区域进行摄像。
用户指示获得部202b，将从摄像装置10a至10n提供的摄像状况信息发送给用户界面400，来获得来自用户的输入。来自用户的输入是，进行泥沙量的计算的对象的数据的选择结果、泥沙量计算处理的可否或其组合。用户指示获得部202b，在来自用户的输入是泥沙量计算处理的可否的情况下，将泥沙量计算处理的可否输出到例如泥沙量计算指令部202c。
泥沙量计算指令部202c，根据从用户指示获得部202b获得的泥沙量计算处理的可否等，使泥沙量计算装置300执行泥沙量计算处理。并且，泥沙量计算指令部202c也可以，根据进行泥沙量的计算的对象的数据的选择结果，使泥沙量计算装置300执行泥沙量计算处理。对于泥沙量计算指令部202c的处理，将在后面说明具体例子。
<泥沙量计算装置>
图7是表示实施例所涉及的泥沙量测量系统1000具备的泥沙量计算装置300的结构的方框图。
泥沙量计算装置300具备存储部301以及处理部302。
泥沙量计算装置300，对经由控制装置200接受的数据进行处理。具体而言，泥沙量计算装置300，对各个摄像装置10a至10n具备的摄像头100进行摄像的空间A1内存在的泥沙21执行泥沙量计算处理。
泥沙量计算装置300执行泥沙量计算处理的对象是，例如，灾害后的空间A1。据此，通过计算与灾害前的空间A1的三维模型的差异，从而能够求出在空间A1堆积的泥沙21的量(泥沙量)。
并且，泥沙量计算装置300执行泥沙量计算处理的对象也可以，不是紧接在灾害之后的空间A1，而是例如泥沙撤去工作中的空间A1。据此，泥沙量计算装置300，依次计算泥沙量，从而能够计算泥沙撤去工作的进展程度。
另外，泥沙量计算装置300执行泥沙量计算处理的对象，也可以不是灾害前后的空间A1，没有特别限定。
这样的泥沙量计算装置300是例如计算机。在此情况下，存储部301是，该计算机的存储装置，由硬盘驱动器或各种半导体存储器、或其组合实现。并且，处理部302由该计算机的CPU实现。另外，泥沙量计算装置300也可以由与控制装置200相同的计算机实现。
在存储部301中存储由处理部302读出并执行的程序。并且，在存储部301中，存储经由控制装置200从摄像装置10a至10n接受的数据、以及从外部的装置获得的三维模型的数据、即作为处理部302的处理的对象的数据。也就是说，在存储部301中，可以存储三维重构结果，也可以存储属性信息提取结果。并且，作为三维重构结果，可以存储灾害前的三维模型，也可以存储灾害后的三维模型。
处理部302，读出并执行存储部301中存储的程序，从而进行从摄像装置10a至10n接受的数据的处理。作为该处理的其中之一，可以举出空间A1的三维重构。
处理部302具有，图像获得部302a、三维重构部302b、属性信息提取部302c、模型获得部302d、对位部302e以及差异计算部302f。
图像获得部302a，获得由多个摄像装置10a至10n分别进行摄像的多个图像。图像获得部302a，进一步，在获得多个图像的同时，获得与该多个图像分别对应且表示对该多个图像分别进行摄像的摄像头100的摄像头标签。图像获得部302a也可以，例如，通过获得赋予了摄像头标签的图像，从而获得多个图像以及摄像头标签。多个图像的每一个，可以是静止图像，也可以是运动图像。
另外，优选的是，用于校正处理(三维重构处理)的多个图像分别是，在某对应的一个定时(即，在该时刻)由多个摄像装置10a至10n进行摄像而得到的图像。图像获得部302a获得的多个图像由存储部301存储。并且，图像获得部302也可以，在从控制装置200接受泥沙量计算指令之前，预先将图像以及摄像头标签存储到存储部301。据此，泥沙量计算装置300能够，在判断为需要计算泥沙量时，开始泥沙量计算处理。
三维重构部302b，根据分别表示空间A1的多个图像生成第1三维模型以及第2三维模型中的至少一方。更具体而言，三维重构部302b，针对空间A1，使用由多个摄像装置10a至10n拍摄的多个图像来计算空间A1的三维形状。例如，三维重构部302b使用第1时刻的图像组来生成该第1时刻的空间A1的三维模型。并且，三维重构部302b使用与该第1时刻不同的时刻的图像组来生成空间A1的三维模型。如此，三维重构部302b，生成作为同一区域的三维模型的、时刻互不相同的第1三维模型以及第2三维模型。
三维重构部302b，例如，将由多个摄像装置10a至10n拍摄的多个图像建立对应，根据对应关系进行几何计算，从而计算空间A1的三维形状。用于表示三维形状的模型，可以以点群表示，也可以以体素表示，也可以以网格表示。
另外，这些三维模型的表示是一个例子。三维模型的表示方法，并非受上述所限。
属性信息提取部302c，对由多个摄像装置10a至10n分别进行摄像的多个图像、由三维重构部302b重构的三维模型、或由后述的模型获得部302d获得的三维模型，进行属性信息的提取。属性信息提取部302c，例如，针对三维点群，根据周围的点的信息估计各个点的属性，计算估计的属性，以作为属性信息。并且，属性信息提取部302c，例如，针对图像数据，根据周围的像素的信息估计各个图像的拍摄的物体的属性信息，将估计的属性信息与重构的三维模型的各个最小构成单位相关联。
并且，属性信息提取部302c，可以获得由三维重构部302b重构的三维模型，也可以从存储部301获得由多个摄像装置10a至10n分别进行摄像的多个图像，也可以获得从存储部301获得的三维模型，也可以从后述的模型获得部302d获得三维模型。
模型获得部302d，从三维重构部302b以及存储部301获得三维模型。模型获得部302d，例如，从存储部301获得重构灾害前的空间A1的模型，并且，从三维重构部302b获得重构灾害后的空间A1的模型。
另外，模型获得部302d也可以，从存储部301获得2个以上的三维模型。例如，模型获得部302d，获得表示空间A1的第1三维模型、以及表示空间A1且与该第1三维模型不同的第2三维模型。具体而言，模型获得部302d，获得表示第1时刻的空间A1的第1三维模型、以及表示与该第1时刻不同的第2时刻的空间A1的第2三维模型。在本实施方式中，模型获得部302d，从存储部301获得空间A1中的灾害前后的2个三维模型(即，表示灾害前(第1时刻)的空间A1的第1三维模型、以及表示灾害后(第2时刻)的空间A1的第2三维模型)。据此，即使在三维重构部302b中不进行三维重构处理，也能够计算模型间的差异。
模型获得部302d获得的三维模型，可以是在泥沙量测量系统1000的外部根据图像数据计算出的模型，也可以是在泥沙量测量系统1000的外部通过激光测量来计算出的模型。
另外，获得的三维模型的表示方法，也可以是体素数据，也可以是网格数据，也可以是点群数据。
对位部302e，进行以下的处理，使用由模型获得部302d获得的2个以上的三维模型以及由属性信息提取部302c计算出的属性信息，将三维模型间的坐标系统一，即将三维模型彼此对位。也就是说，对位部302e，根据第1三维模型以及第2三维模型分别具有的属性信息，进行第1三维模型与第2三维模型的对位。具体而言，对位部302e，通过根据属性信息，对包括具有相同的属性信息的三维模型的空间A1的一部分即部分区域进行比较，从而能够有效地进行模型的比较。
对位部302e，一边在具有相同的属性信息的部分模型内改变组合一边将部分模型彼此建立对应。
接着，对位部302e，在具有至少1个以上的相同的属性信息的部分模型间进行最小构成单位的比较，例如，若是以点群表示的三维模型，则进行三维点的比较。
在此，部分模型是表示三维模型的一部分或全部的区域的最小构成单位的集合。
对位部302e，搜索在部分模型间彼此最近邻的点并建立对应，以各个点的位置的差变小的方式来调整坐标系的位置姿势。对位部302e，通过一边变更上述的部分模型的对应建立、以及点的对应建立一边反复计算，从而计算差变得最小的坐标系，并且计算被坐标转换为计算出的该坐标系的三维模型。
如上所述，对位部302e根据属性信息进行对位(坐标变换以及调整尺寸)。例如，对位部302e，在多个三维模型中，将具有相同的属性信息的三维模型(部分模型)从多个三维模型中分别提取。对位部302e对提取的三维模型进行比较并对位。进一步，对位部302e，按照通过对位而变化后的部分模型使三维模型整体发生变化。也就是说，对位部302e，将具有第1三维模型与第2三维模型的每一个的共通的属性信息的部分模型，从第1三维模型以及第2三维模型的每一个中提取，以提取的各个部分模型的对应的位置的坐标一致的方式，在使各个部分模型移动来对位后，按照各个部分模型的移动，使第1三维模型以及第2三维模型移动，从而对第1三维模型以及第2三维模型进行对位。
据此，对位部302e，与对三维模型整体同时进行对位的情况相比，能够更有效地进行三维模型的对位。
也可以将变换后的模型存储到存储部301。
关于部分模型的对应建立以及最小构成单位的对应建立，可以是随机的，也可以是基于特征量的选择方法。并且，关于部分模型的对应建立以及最小构成单位的对应建立，并不限于上述的方法。另外，在彩色模型彼此的对位中，也可以将颜色的差分信息用于对位。
并且，关于三维模型的尺度，也可以将灾害前以及灾害后的任意一方的三维模型调整为所希望的尺度。例如，也可以调整为空间A1的尺度。并且，也可以根据从泥沙量测量系统1000的外部获得的尺度的信息，调整三维模型的尺度。通过调整三维模型的尺度，从而能够对灾害前的三维模型以及灾害后的三维模型以相同的尺度进行差异的计算。据此，能够以空间A1的尺度计算泥沙量。
差异计算部302f，计算第1三维模型与第2三维模型的差分的量，并输出差分具有的属性信息以及表示差分的量的差分信息。具体而言，差异计算部302f，计算由对位部302e统一了坐标系的2个以上的三维模型间的差异信息。差异计算部302f，例如，计算在相同的坐标系的网格模型中面不重叠或不交叉的、由面覆盖的三维区域的体积。
差异计算部302f计算的差异信息中也可以包括，差异明显的区域的属性信息，例如，泥沙中包括的混合物的信息。另外，上述的差异信息是一个例子，并不是限定本公开的主旨。
差异计算部302f，例如，将计算出的差异信息输出到用户界面400。据此，用户，操作用户界面400，从而能够确认差异信息(即，差分的量即泥沙21的量以及属性)。
并且，例如，差异计算部302f，在差分包括互不相同的多个属性信息的情况下，将该多个属性信息按每个类别分类并输出，从而按每个类别将多个属性信息一并显示在显示装置(例如，用户界面400)。在此情况下，例如，差异计算部302f，按每个类别计算差分中包括的量。
[处理顺序]
<对位处理>
图8是表示实施例所涉及的泥沙量测量系统1000执行的三维模型的对位的处理的流程图。图9是用于说明对位部302e执行的2个三维模型的对位的图。
本实施方式的泥沙量计算装置300具备的对位部302e，首先，针对至少2个以上的三维模型，将具有相同的属性信息的部分模型彼此建立对应，例如，将赋予了“房屋”的标签的部分模型彼此建立对应(S31)。也就是说，在此情况下，例如，2个三维模型都包括具有表示“房屋”的属性信息的部分模型。
例如，如图9的(a)所示，计算第1三维模型500与第2三维模型510的差分。在此情况下，对位部302e，首先，提取第1三维模型500以及第2三维模型510的双方中包括的具有属性信息的部分模型。在此，假设对位部302e，提取了第1三维模型500中包括的具有“房屋”的属性信息的第1部分模型501、以及第2三维模型510中包括的具有“房屋”的属性信息的第2部分模型511。接着，如图9的(b)所示，对位部302e将第1部分模型501与第2部分模型511建立对应。具体而言，对位部302e，提取第1部分模型501中包括的1个以上的特征点以及第2部分模型511中包括的1个以上的特征点，将提取的第1部分模型501的特征点与提取的第2部分模型511的特征点建立对应。在此，提取的特征点也可以是任意的。例如，特征点是部分模型的角部。对位部302e，将第1部分模型501的特征点与提取的第2部分模型511的特征点的相同的特征彼此建立对应。例如，对位部302e，将第1部分模型501的特征点520与提取的第2部分模型511的特征点521建立对应。
再次，参照图8，在步骤S31之后，对位部302e，在具有至少1个以上的相同的属性信息的部分模型间进行最小构成单位的比较，例如，若是以点群表示的三维模型，则进行三维点的比较，搜索在部分模型间的各个点中彼此最近邻的点并建立对应(S32)。
接着，对位部302e，以步骤S32中建立了对应的各个点的位置的差变小的方式，调整部分模型的坐标系的位置以及姿势(S33)。例如，如图9的(c)所示，对位部302e，以对应的特征点位于彼此相同的坐标的方式，使第1部分模型501以及第2部分模型511的至少一方发生变化。例如，对位部302e，以对应的各个特征点即特征点520以及特征点521分别位于相同的坐标的方式，使第1部分模型501以及第2部分模型511的至少一方移动。并且，对位部302e，按照部分模型的变更，变更三维模型整体。据此，对位部302e，以第1三维模型500以及第2三维模型510中表示相同的物体的模型以相同的位置以及姿势存在的方式进行变更。
另外，对位部302e也可以，在位置以及姿势的调整时调整三维模型的尺度。并且，关于尺度，可以以与两个三维模型的任意一方一致的方式来调整尺度，也可以根据从外部获得的尺度的信息来调整两个三维模型的双方的尺度。
再次，参照图8，在步骤S33之后，对位部302e，判断步骤S33中执行的部分模型(例如，图9所示的第1部分模型501以及第2部分模型511的至少一方)的位置以及姿势的变化是否少(S34)。若位置以及姿势的调整时的变化大，则进入步骤S32，若变化小，则进入步骤S35。
在此，作为基准的变化量也可以是预先任意决定的。例如，对位部302e，在调整部分模型的位置以及姿势时的调整前后的变化量为预先任意决定的基准变化量以上的情况下，接着执行步骤S32。另一方面，例如，对位部302e，在调整部分模型的位置以及姿势时的调整前后的变化量小于上述基准变化量的情况下，接着执行步骤S35。变化量是例如各个点的移动量。在使部分模型整体相对于某基准点旋转的情况下，变化量也可以是基于该旋转的旋转角度。
接着，对位部302e，根据位置以及调整的结果比较三维模型的整体，判断整体的差是否大(S35)。若整体的差大，则进入步骤S36，若差小，则进入步骤S37。
在此，作为基准的整体的差也可以是预先任意决定的。例如，对位部302e，在调整三维模型整体的位置以及姿势时的调整前后的差为预先任意决定的基准差以上的情况下，接着执行步骤S36。另一方面，例如，对位部302e，在调整三维模型整体的位置以及姿势时的调整前后的变化的差小于上述基准差的情况下，接着执行步骤S37。在此，差是，例如，2个三维模型中的各个三维点的坐标不一致的点的量。
接着，对位部302e，判断是否对步骤S31以及步骤S32中可取的所有的组合进行比较(S36)。若所有的组合结束，则进入步骤S37，若没有结束，则进入步骤S31。在此，例如，在进入步骤S31的情况下，对位部302e，例如，将第1三维模型500与第2三维模型510中还没有进行比较的部分模型提取并建立对应。
另外，图8所示的步骤以及步骤的顺序仅仅是一个例子，没有特别限定。例如，也可以是步骤S33结束后，进入步骤S36的结构。并且，也可以是不包括步骤S34以及步骤S35的结构。
最后，对位部302e，输出整体的差最小的坐标系、以及坐标变换后的三维模型(S37)。
<序列图>
图10是表示实施例所涉及的泥沙量测量系统1000的处理的序列图。
泥沙量测量系统1000，在有用户的处理指示时，开始泥沙量计算处理。
控制装置200，向摄像装置10a至10n(在图10中仅表示摄像装置10a)发送摄像指示，将从摄像装置10a至10n接受的摄像影像作为摄像信息发送给用户界面400，将摄像信息提示给用户(S41)。摄像信息是例如空间A1的图像。
用户，通过对用户界面400进行操作，从而确认摄像信息，并且，判断摄像装置10a至10n是否适当地对所希望的空间进行摄像、以及是否是为了开始处理而足够的摄像信息等，进行处理的指示(S42)。具体而言，用户，对用户界面400进行操作，从而让用户界面400将表示上述处理的指示的信息发送给控制装置200。
经由用户界面400发送的用户处理指示是，表示是否开始泥沙量计算处理、或摄像装置10a至10n是否继续进行摄像的信息或信号。另外，用户处理指示中也可以包括，确定将哪个摄像信息用于泥沙量计算处理的信息、或指定想要输出的结果的信息。
接着，控制装置200，根据从用户界面400接收的表示用户的处理指示的信息，判断是否执行泥沙量计算处理、或摄像装置10a至10n是否继续进行摄像(S43)。控制装置200，在判断为开始泥沙量计算处理的情况下(S43的“是”)，将泥沙量计算指令以及摄像影像发送给泥沙量计算装置300。
另一方面，控制装置200，在判断为摄像装置10a至10n继续进行摄像的情况下(S43的“否”)，向摄像装置10a至10n发送表示继续进行摄像的指示，使摄像装置10a至10n继续进行摄像。
接着，泥沙量计算装置300，在接收到表示从控制装置200接收的泥沙量计算指令的信息的情况下，根据该信息，使用摄像影像执行泥沙量计算处理(S44)。步骤S44是，例如，图9所示的步骤S31至步骤S37的处理。泥沙量计算装置300，在泥沙量计算处理完成后，将表示处理结果的信息发送给控制装置200。
接着，控制装置200，根据用户处理指示整理从泥沙量计算装置300接受的处理结果，向用户界面400输出(发送)差异信息(S45)。
用户界面400将从控制装置200接收的差异信息提示给用户(S46)。对于提示给用户的差异信息的具体例子，将在后面进行说明。
<处理顺序的总括>
图11是表示实施例所涉及的泥沙量测量系统1000执行的泥沙量的计算处理的流程图。
在本实施方式的泥沙量计算装置300的泥沙量的计算处理中，首先，图像获得部302a，获得由多个摄像装置10a至10n分别进行摄像的多个图像(S51)。
接着，三维重构部302b使用多个图像执行三维重构处理(S52)。例如，三维重构部302b，生成表示空间A1且按每个区域具有属性信息的第1三维模型、以及表示空间A1且按每个区域具有属性信息的第2三维模型，第2三维模型与第1三维模型不同(例如，时刻不同)。
接着，模型获得部302d，从三维重构部302b或存储部301获得2个以上的三维模型(S53)。另外，可以从三维重构部302b获得1个以上，并且从存储部301获得1个以上，也可以从存储部301获得2个以上。
接着，属性信息提取部302c，从由摄像装置10a至10n分别进行摄像的多个图像、或三维模型中提取属性信息(S54)。另外，步骤S54，也可以在步骤S53之前进行，也可以在步骤S53之后进行，或者，也可以在其双方进行。
接着，对位部302e，根据2个以上的三维模型以及属性信息进行统一坐标的处理(S55)。具体而言，对位部302e，根据第1三维模型以及第2三维模型分别具有的属性信息，进行第1三维模型与第2三维模型的对位。例如，对位部302e，根据第1三维模型以及第2三维模型分别具有的属性信息，检测成为第1三维模型以及第2三维模型的相同的点的对应点，使用检测出的对应点来进行第1三维模型与第2三维模型的对位。对位部302e，通过比较三维模型中具有相同的属性信息的各个区域(即，具有彼此相同的属性信息的各个部分模型)，从而能够有效且高精度地进行对位。
接着，差异计算部302f，计算由对位部302e统一了坐标系的(即，由对位部302e对位的)2个以上的模型间的差异信息(S56)。差异信息中包括例如表示差分的量的差分信息以及差分具有的属性信息。并且，差异计算部302f，例如将计算出的差异信息向用户界面400(更具体而言，经由控制装置200向用户界面400)输出。用户界面400，将获得的差异信息提示(更具体而言，显示)给用户。
[输出例]
图12是表示实施例所涉及的泥沙量测量系统1000具备的用户界面400进行2个三维模型的对位时提示的图像600的一个例子的图。
用户界面400是，例如使用具有触摸屏显示器等的显示装置以及输入装置的智能手机、平板终端等的移动终端来实现的。
另外，也可以用户使用图12所示的平板型的移动终端来任意选择用于对位的属性。
例如，图像600包括三维图像601、对象选择部602以及决定部603。
三维图像601是表示灾害后的三维模型的图像。
对象选择部602是，用于接受具有由对位部302e优先建立对应的属性信息的部分模型的选择的图像。用户，例如，触摸三维图像601或对象选择部602中的、想要使对位部302e优先建立对应的属性信息或具有该属性信息的部分模型。用户界面400，例如将表示由用户触摸的属性信息或具有该属性信息的部分模型的信息，例如在图10所示的步骤S42之后与表示用户处理指示的信息一起发送给控制装置200。控制装置200，例如，将表示由用户触摸的属性信息或具有该属性信息的部分模型的信息与泥沙量计算指令以及摄像信息一起发送给泥沙量计算装置300。对位部302e，例如，在步骤S31中，首先，根据表示由用户触摸的属性信息或具有该属性信息的部分模型的信息，将部分模型选择并建立对应。
图13是表示实施例所涉及的泥沙量测量系统1000具备的用户界面400提示的差异信息的一个例子的图。
用户界面400，使用图13所示的平板型的移动终端，显示作为计算出的差分的量的一个例子的泥沙量的结果。用户界面400也可以，除了泥沙量的体积以外，还将估计重量作为计算结果显示。
并且，用户界面400也可以使用由属性信息提取部302c获得的属性信息显示符合泥沙的部分的混合物。据此，能够有效地获得泥沙以及混合物的撤去所需要的信息。并且，混合物的显示方法，并不限于文字，也可以进行三维模型或图像上的该部分的着色来实现。
例如，用户界面400，通过显示图像610，从而将差异信息提示给用户。例如，图像610包括，三维图像611、强调线612、差分量信息图像613以及属性信息图像614。
三维图像611是表示灾害后的三维模型的图像。
强调线612是，用于在三维图像611中表示与灾害前的三维模型的差分的位置、区域等的线。在图13中，为了说明而以虚线的圆表示强调线612，但是，强调线612也可以是任意的实线、虚线、粗线、与其他的部分不同的颜色的彩色线、矩形、多边形等。
差分量信息图像613是用于将差分量提示给用户的图像。差分量信息图像613中包括例如表示差分的体积以及泥沙的估计重量的信息。
属性信息图像614是用于向用户提示差分中包括的部分模型具有的属性信息的图像。例如，属性信息图像614中包括作为差分中包括的部分模型的属性信息的、表示“泥沙”、“流木”、“路标”、“红绿灯”等的信息。并且，在本例子中，属性信息图像614中包括差分整体的、属性信息所示的部分的体积或重量的比例。如此，也可以按每个属性显示差分的量。
并且，在本例子中，属性信息图像614包括第1类别图像615以及第2类别图像616。
第1类别图像615是用于将差分中包括的多个属性之中的满足第1条件的属性一并提示的图像。
第2类别图像616是用于将差分中包括的多个属性之中的满足第2条件的属性一并提示的图像。
如上所述，用户界面也可以按属性的每个类别一并显示属性信息以及具有该属性信息的部分模型的量。
另外，在本例子中，第1条件是自然物，第2条件是人造物。关于这些条件，也可以预先任意决定，没有特别限定。
[效果等]
如上说明，本公开的一个形态所涉及的物量计算装置(例如，泥沙量测量系统1000，具体而言，泥沙量算出装置300)具备：获得部(例如，模型获得部302d)，获得第1三维模型以及与该第1三维模型不同的第2三维模型，第1三维模型以及第2三维模型分别是表示相同的规定的空间(例如，空间A1)且按每个区域(例如，每个部分模型或构成三维模型构的每个三维点)具有属性信息的三维模型；对位部302e，根据由所述对位部进行了对位的第1三维模型以及第2三维模型分别具有的属性信息，对第1三维模型与第2三维模型进行对位；以及计算部(例如，差异计算部302f)，计算出第1三维模型与第2三维模型的差分的量，并且输出差分具有的属性信息与差分的量。
以往，例如，有以下的方法，测量(计算)由于泥沙灾害现场等的崩塌等的影响流入到规定的空间的泥沙量。在基于激光测量的泥沙量的计算中，虽然能够高精度地计算泥沙量，但是存在对计算需要花费时间以及成本的问题。于是，在本公开所涉及的物量计算装置中，例如，在规定的空间中，对表示想要计算泥沙等的量的物体不存在的状态下的该规定的空间的三维模型(第1三维模型)与表示该物体存在的状态下的该规定的空间的三维模型(第2三维模型)进行比较。据此，通过对第1三维模型与第2三维模型适当地进行对位，从而能够简便地计算第1三维模型与第2三维模型的差分。因此，通过本公开所涉及的物量计算装置，能够缩短计算物体的量的处理时间。
并且，例如，本公开所涉及的物量计算装置还具备生成部(例如，三维重构部302b)，根据分别表示规定的空间的多个图像生成第1三维模型以及第2三维模型中的至少一方。
据此，能够通过用于生成图像的摄像头等的简便的结构来计算差分的量。
并且，例如，计算部(例如，用户界面400)，在差分包括互不相同的多个属性信息的情况下，通过将该多个属性信息按每个类别分类并输出，从而按每个类别将多个属性信息一并显示在显示装置(例如，用户界面400)。
据此，将差分中包括的物体的类别分类来显示在显示装置，因此，能够使要确认该显示装置的用户容易理解差分中包括的类别。
并且，例如，计算部按每个类别计算出差分中包括的量。
据此，将差分中包括的物体的每个类别的量显示在显示装置，因此，能够使要确认该显示装置的用户容易理解差分中包括的每个类别的量。
并且，例如，差分的量是差分的体积以及重量的至少一方。
据此，本公开所涉及的物量计算装置，能够计算差分的量以及体积的至少一方。
并且，例如，对位部，从第1三维模型以及第2三维模型中分别提取具有第1三维模型与第2三维模型分别共通的属性信息的部分模型，以提取的各个部分模型的对应的位置的坐标一致的方式，通过使各个部分模型移动来进行对位后，按照各个部分模型的移动使第1三维模型以及第2三维模型移动，从而对第1三维模型与第2三维模型进行对位。
据此，本公开所涉及的物量计算装置，即使不进行通过比较三维模型的形状来进行对位等的需要花费处理时间的处理，也能够对第1三维模型与第2三维模型进行对位。因此，据此，能够更缩短本公开所涉及的物量计算装置的处理时间。
并且，本公开的一个形态所涉及的物量计算方法包括：获得步骤(例如，步骤S53)，获得第1三维模型以及与第1三维模型不同的第2三维模型，第1三维模型以及第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；对位步骤(例如，步骤S55)，根据第1三维模型以及第2三维模型分别具有的属性信息，进行第1三维模型与第2三维模型的对位；以及计算步骤(例如，步骤S56)，计算出第1三维模型与第2三维模型的差分的量，并且输出差分具有的属性信息与表示差分的量的差分信息。
据此，通过对第1三维模型与第2三维模型适当地进行对位，从而能够简便地计算第1三维模型与第2三维模型的差分。因此，通过本公开所涉及的物量计算方法，能够缩短计算物体的量的处理时间。
并且，例如，在上述获得步骤中，获得表示泥沙流入前的规定的空间的第1三维模型以及表示该泥沙流入后的规定的空间的第2三维模型，在上述计算步骤中，计算出所述泥沙的量，以作为所述差分的量。
据此，通过对表示泥沙流入到规定的空间那样的灾害前后的该规定的空间的三维模型适当地进行对位，从而能够简便地计算成为差分的泥沙的量。因此，通过本公开所涉及的物量计算方法，能够缩短计算泥沙的量的处理时间。
(其他的实施方式)
以上，对于本公开所涉及的物量计算装置等，根据上述实施方式进行了说明，但是，本公开并不限于上述实施方式。
例如，在上述实施方式中说明了，物量计算装置等具备的处理部，由CPU以及控制程序实现。例如，该处理部的构成要素也可以分别由1个或多个电子电路构成。1个或多个电子电路的每一个，可以是通用的电路，也可以是专用的电路。1个或多个电子电路也可以包括例如半导体装置、IC(Integrated Circuit)、或LSI(Large Scale Integration)等。IC或LSI，可以集成在1个芯片，也可以集成在多个芯片。在此，虽然称为IC或LSI，但是，根据集成的程度名称不同，有可能称为系统LSI、VLSI(Very Large Scale Integration)、或ULSI(Ultra Large Scale Integration)。并且，也能够将制造LSI后能够编程的FPGA(FieldProgrammable Gate Array)在相同的目的上使用。
并且，本公开的总括或具体的形态，也可以通过系统、装置、方法、集成电路、或计算机程序来实现。或者，也可以通过存储了该计算机程序的光盘、HDD(Hard Disk Drive)或半导体存储器等的计算机可读取的非暂时性记录介质来实现。并且，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
并且，方框图中的功能块的分割为一个例子，多个功能块可以作为一个功能块来实现，一个功能块也可以分割为多个，一部分的功能也可以移动到其他的功能块。并且，具有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间分割处理。
并且，关于流程图中的各个步骤的执行顺序，是为了对本公开进行具体说明而举出的例子，也可以是上述以外的顺序。并且，上述步骤的一部分也可以与其他的步骤同时(并行)执行。
另外，在对上述实施方式执行本领域技术人员所能够想到的各种变形而得到的形态、或在不脱离本公开的主旨的范围内对实施方式的构成要素以及功能进行任意地组合而实现的形态均包括在本公开内。
本公开，能够适用于根据三维模型计算差分的物量计算装置，能够适用于例如计算物体的量的装置等。
符号说明
10a、10b、10n 摄像装置
20 道路
21 泥沙
22 三维模式
100 摄像头
101、201、301 存储部
102、202 控制部
103 光学系统
104 图像传感器
110 支架
200 控制装置
202a 摄像控制部
202b 用户指示获得部
202c 泥沙量计算指令部
203 计时器
300 泥沙量计算装置
302 处理部
302a 图像获得部
302b 三维重构部
302c 属性信息提取部
302d 模型获得部
302e 对位部
302f 差异计算部
400 用户界面
500 第1三维模型
501 第1部分模型
510 第2三维模型
511 第2部分模型
520、521 特征点
600、610 图像
601、611 三维图像
602 对象选择部
603 决定部
612 强调线
613 差分量信息图像
614 属性信息图像
615 第1类别图像
616 第2类别图像
1000 泥沙量测量系统
A1 三维空间(空间)。

Claims (8)

1.一种物量计算装置，具备：
获得部，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；
对位部，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，对所述第1三维模型与所述第2三维模型进行对位；以及
计算部，计算出由所述对位部进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
2.如权利要求1所述的物量计算装置，
所述物量计算装置还具备生成部，
所述生成部，根据多个图像生成所述第1三维模型以及所述第2三维模型中的至少一方，所述多个图像分别表示所述规定的空间。
3.如权利要求1或2所述的物量计算装置，
所述计算部，在所述差分包括互不相同的多个属性信息的情况下，通过将所述多个属性信息按每个类别分类并输出，从而按每个所述类别将所述多个属性信息一并显示在显示装置。
4.如权利要求3所述的物量计算装置，
所述计算部按每个所述类别计算出所述差分中包括的量。
5.如权利要求1至4的任一项所述的物量计算装置，
所述差分的量是所述差分的体积以及重量的至少一方。
6.如权利要求1至5的任一项所述的物量计算装置，
所述对位部，从所述第1三维模型以及所述第2三维模型中分别提取具有所述第1三维模型与所述第2三维模型分别共通的属性信息的部分模型，以提取的各个所述部分模型的对应的位置的坐标一致的方式，通过使各个所述部分模型移动来进行对位后，按照各个所述部分模型的移动使所述第1三维模型以及所述第2三维模型移动，从而对所述第1三维模型与所述第2三维模型进行对位。
7.一种物量计算方法，包括：
获得步骤，获得第1三维模型以及与所述第1三维模型不同的第2三维模型，所述第1三维模型以及所述第2三维模型分别是表示相同的规定的空间且按每个区域具有属性信息的三维模型；
对位步骤，根据所述第1三维模型以及所述第2三维模型分别具有的属性信息，进行所述第1三维模型与所述第2三维模型的对位；以及
计算步骤，计算出所述对位步骤中进行了对位的所述第1三维模型与所述第2三维模型的差分的量，并且输出所述差分具有的属性信息与所述差分的量。
8.如权利要求7所述的物量计算方法，
在所述获得步骤中，获得表示泥沙流入前的所述规定的空间的所述第1三维模型以及表示所述泥沙流入后的所述规定的空间的所述第2三维模型，
在所述计算步骤中，计算出所述泥沙的量，以作为所述差分的量。
CN202080018282.1A 2019-03-04 2020-02-19 物量计算装置以及物量计算方法 Pending CN113544462A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962813351P 2019-03-04 2019-03-04
US62/813,351 2019-03-04
PCT/JP2020/006390 WO2020179438A1 (ja) 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法

Publications (1)

Publication Number Publication Date
CN113544462A true CN113544462A (zh) 2021-10-22

Family

ID=72338521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018282.1A Pending CN113544462A (zh) 2019-03-04 2020-02-19 物量计算装置以及物量计算方法

Country Status (5)

Country Link
US (1) US20210390717A1 (zh)
EP (1) EP3936815A4 (zh)
JP (2) JP7457971B2 (zh)
CN (1) CN113544462A (zh)
WO (1) WO2020179438A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105841A (ja) * 1999-10-29 2000-04-11 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2007172393A (ja) * 2005-12-22 2007-07-05 Keyence Corp ３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2010112729A (ja) * 2008-11-04 2010-05-20 Omron Corp ３次元モデルの作成方法および物体認識装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
US20170270386A1 (en) * 2016-03-21 2017-09-21 International Business Machines Corporation Detection and presentation of differences between 3d models

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0930484A (ja) * 1995-07-17 1997-02-04 Mitsubishi Precision Co Ltd 海上物件揚収移載装置
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP2017062748A (ja) * 2015-09-25 2017-03-30 富士通株式会社 位置合わせ装置、位置合わせ方法および位置合わせプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105841A (ja) * 1999-10-29 2000-04-11 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2007172393A (ja) * 2005-12-22 2007-07-05 Keyence Corp ３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2010112729A (ja) * 2008-11-04 2010-05-20 Omron Corp ３次元モデルの作成方法および物体認識装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
US20170270386A1 (en) * 2016-03-21 2017-09-21 International Business Machines Corporation Detection and presentation of differences between 3d models

Also Published As

Publication number Publication date
WO2020179438A1 (ja) 2020-09-10
EP3936815A4 (en) 2022-05-04
EP3936815A1 (en) 2022-01-12
JP7457971B2 (ja) 2024-03-29
JP2024052979A (ja) 2024-04-12
JPWO2020179438A1 (zh) 2020-09-10
US20210390717A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP7105246B2 (ja) 再構成方法および再構成装置
JP5711039B2 (ja) 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP7058277B2 (ja) 再構成方法および再構成装置
US8045791B2 (en) System and method for measuring digital images of a workpiece
JPWO2012141235A1 (ja) 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
JP2021520008A (ja) 車両検査システムとその方法
US20220366673A1 (en) Point cloud data processing apparatus, point cloud data processing method, and program
JP2023029441A (ja) 計測装置、計測システムおよび車両
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
CN111524086A (zh) 运动物体检测装置、运动物体检测方法、存储介质
Moreno et al. Unsynchronized structured light
EP3496042A1 (en) System and method for generating training images
JP3965894B2 (ja) 画像処理装置および画像処理方法
CN113544462A (zh) 物量计算装置以及物量计算方法
JPWO2020153264A1 (ja) 校正方法および校正装置
JP2021189600A (ja) モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法
WO2023042604A1 (ja) 寸法計測装置、寸法計測方法及びプログラム
CN116433769B (zh) 空间校准方法、装置、电子设备和存储介质
CN109565544B (zh) 位置指定装置及位置指定方法
EP4169479A1 (en) Method and system for two dimensional imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination