CN115104128A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN115104128A
CN115104128A CN202180013765.7A CN202180013765A CN115104128A CN 115104128 A CN115104128 A CN 115104128A CN 202180013765 A CN202180013765 A CN 202180013765A CN 115104128 A CN115104128 A CN 115104128A
Authority
CN
China
Prior art keywords
image
image processing
images
dimensional model
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180013765.7A
Other languages
English (en)
Inventor
与那霸诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115104128A publication Critical patent/CN115104128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G06Q50/163—Real estate management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的一个实施方式提供一种能够基于拍摄建筑物所得的图像容易地处理建筑物的三维模型及损伤信息的图像处理装置、图像处理方法及图像处理程序。在一个方式中，图像处理装置具备：处理器：以及存储器，其存储有拍摄建筑物所得的多个图像和确定了构成建筑物的部件的建筑物的三维模型，该存储器将多个图像和部件相关联地存储，处理器进行：提取处理，基于多个图像提取建筑物的损伤信息；选择处理，按照指定的基准，从多个图像中选择与指定的部件对应的图像；以及输出处理，将指定的部件、选择的图像以及损伤信息相关联地输出。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及处理拍摄建筑物所得的图像、建筑物的三维模型及损伤信息的技术。
背景技术
关于处理建筑物的三维模型及损伤信息的技术，例如在专利文献1中记载了创建桥梁等结构物(建筑物、建筑)的管理用图的装置。
以往技术文献
专利文献
专利文献1：日本特开2011-192270号公报
发明内容
发明要解决的技术课题
本公开的技术所涉及的一个实施方式提供一种能够容易地处理拍摄建筑物所得的图像、建筑物的三维模型及损伤信息的图像处理装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
本发明的第一方式所涉及的图像处理装置具备：处理器；以及存储器，其存储拍摄建筑物所得的多个图像和确定了构成造物的部件的建筑物的三维模型的存储器，该存储器将多个图像和部件相关联地存储，处理器进行：提取处理，基于多个图像提取建筑物的损伤信息；选择处理，按照指定的基准，从多个图像中选择与指定的部件对应的图像；以及输出处理，将指定的部件、选择的图像以及损伤信息相关联地输出。
第二方式所涉及的图像处理装置在第一方式中，处理器进行：生成处理，基于多个图像生成建筑物的三维模型；确定处理，在生成的三维模型中，确定构成建筑物的部件；以及存储控制处理，将三维模型与多个图像和确定的部件相关联地存储到存储器中。
第三方式所涉及的图像处理装置在第二方式中，处理器不依赖于用户确定部件的操作而进行确定处理。
第四方式所涉及的图像处理装置在第一至第三方式中的任一项中，处理器进行接受基准的指定的接受处理。
第五方式所涉及的图像处理装置在第一至第四方式中的任一项中，处理器在提取处理中提取损伤的种类、数量、大小、损伤程度及时间变化中的至少一个作为损伤信息。
第六方式所涉及的图像处理装置在第一至第五方式中的任一项中，处理器在选择处理中针对每个损伤的种类选择图像。
第七方式所涉及的图像处理装置在第一至第六方式中的任一项中，处理器在选择处理中选择指定数量的图像。
第八方式所涉及的图像处理装置在第一至第七方式中的任一项中，处理器进行将选择的图像配置到在指定格式的文档中被指定为图像区域的区域的图像配置处理。
第九方式所涉及的图像处理装置在第八方式中，处理器进行将损伤信息输入到在文档中被指定为信息区域的区域的信息输入处理。
第十方式所涉及的图像处理装置在第一至第九方式中的任一项中，处理器进行：第一显示处理，将三维模型和表示选择的图像在三维模型中的位置的位置信息相关联地显示在显示装置上；以及第二显示处理，对于显示的位置信息中被指定的位置信息，使选择的图像显示在显示装置上。
第十一方式所涉及的图像处理装置在第一至第十方式中的任一项中，处理器进行：第一显示处理，将三维模型和表示选择的图像在三维模型中的位置的位置信息相关联地显示在显示装置上；以及第三显示处理，对于显示的位置信息，使选择的图像显示在显示装置上。
第十二方式所涉及的图像处理装置在第十或第十一方式中，处理器至少在第一显示处理中，以与损伤信息对应的方式识别显示位置信息。
第十三方式所涉及的图像处理装置在第十至第十二方式中的任一项中，处理器至少在第一显示处理中，合成多个图像中与确定的部件对应的图像，将合成的图像映射到确定的部件上并显示在显示装置上。
第十四方式所涉及的图像处理装置在第十至第十三方式中的任一项中，处理器至少在第一显示处理中，将损伤信息强调显示在三维模型上。
第十五方式所涉及的图像处理装置在第一至第十四方式中的任一项中，处理器进行：获取处理，获取拍摄建筑物所得的多个图像、即拍摄日期时间与存储在存储器中的多个图像不同的多个图像；以及关联处理，将获取的多个图像与存储在存储器中的三维模型的部件相关联。
第十六方式所涉及的图像处理装置在第十五方式中，处理器基于获取的多个图像与存储在存储器中的多个的相互关系进行关联处理。
本发明的第十七方式所涉及的图像处理方法是由图像处理装置执行的图像处理方法，所述图像处理装置具备：处理器；以及存储器，其存储有拍摄建筑物所得的多个图像和建筑物的三维模型，该存储器将多个图像和在三维模型中构成建筑物的部件相关联地存储，处理器进行的处理包括：提取工序，基于多个图像提取建筑物的损伤信息；选择工序，按照指定的基准，从多个图像中选择与在三维模型中指定的部件对应的图像；以及输出工序，将指定的部件、选择的图像以及损伤信息相关联地输出。第十七方式所涉及的图像处理方法也可以进一步具有与第二至第十六方式同样的结构。
本发明的第十八方式所涉及的图像处理程序使计算机执行第十七方式所涉及的图像处理方法。记录了第十八方式所涉及的图像处理程序的计算机可读取的代码的非暂时性记录介质也可作为本发明的方式举出。
附图说明
图1是表示第一实施方式所涉及的图像处理系统的概略结构的图。
图2是表示处理部的功能结构的图。
图3是表示存储在存储装置中的信息的图。
图4是表示图像处理方法的处理的流程图。
图5是表示获取图像组的情形的图。
图6是表示三维点云数据的例子的图。
图7是表示三维模型的例子的图。
图8是表示损伤信息的例子的图。
图9是表示设定代表图像的选择基准的情形的图。
图10是表示设定处理结果的输出方式的情形的图。
图11是表示将代表图像及损伤信息输入到二维点检记录中的情形的图。
图12是表示三维模型上的位置信息的显示情形的图。
图13是表示显示指定的位置的代表图像的情形的图。
图14是表示从一开始就显示代表图像的情形的图。
图15是表示显示二维点检记录中包括指定的位置的代表图像的部分的情形的图。
图16是表示将合成图像映射在三维模型上的情形的图。
具体实施方式
本发明所涉及的图像处理装置、图像处理方法及图像处理程序的一个实施方式如下所述。在说明中，根据需要来参照附图。
[第一实施方式]
[图像处理系统的结构]
图1是表示图像处理系统1(图像处理装置)的概略结构的框图。图像处理系统1具备图像处理装置10(图像处理装置)和显示装置20(显示装置、监视器)，是对分镜头拍摄被摄体所获取的多个图像进行损伤信息的提取、三维模型的创建、二维点检记录的创建辅助等的系统。图像处理系统1可使用个人计算机、平板终端、智能手机等设备(信息终端)构成。图像处理系统1的各要素可以收纳在一个框体中，也可以收纳在独立的框体中。另外，各要素也可以配置于远程位置并经由网络连接。
[图像处理装置的结构]
图像处理装置10具备处理部100、存储装置200及操作部300，这些各部相互连接以收发必要的信息。
[处理部的结构]
图2是表示处理部100(处理器)的结构的图。处理部100具备输入处理部102、获取处理部103、提取处理部104、生成处理部105、确定处理部106、关联处理部107、选择处理部108、存储控制处理部109、接受处理部110、图像配置处理部112、信息输入部114、显示处理部116及通信控制部118，进行摄影图像的获取、三维模型的创建、二维点检记录的创建辅助等。这些各部进行的处理的详情将在后文中描述。
上述的处理部100的功能可使用各种处理器(processor)及记录介质实现。各种处理器还包括例如执行软件(程序)以实现各种功能的通用处理器即CPU(CentralProcessing Unit)、图像处理专用的处理器即GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。
各功能可以由一个处理器来实现，也可以由同种或不同种的多个处理器(例如，多个FPGA、或者CPU和FPGA的组合、或CPU和GPU的组合)来实现。另外，也可以用一个处理器实现多个功能。更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。
在上述的处理器或者电路执行软件(程序)时，将执行的软件的计算机(例如，构成处理部100的各种处理器或电路和/或它们的组合)可读取的代码预先存储到ROM等非暂时性记录介质(存储器)中，计算机参照该软件。在执行时，根据需要使用存储在存储装置中的信息。另外，在执行时，例如可将RAM(Random Access Memory；存储器)用作暂时性存储区域。
此外，也可以是，由网络上的服务器实现处理部100的功能的一部分或全部，图像处理装置10进行数据的输入、通信控制、结果显示等。在该情况下，构建包括网络上的服务器的Application Service Provider型系统。
[存储部的结构]
存储装置200(存储装置、存储器)由CD(Compact Disk)、DVD(Digital VersatileDisk)、硬盘(Hard Disk)、各种半导体存储器等非暂时性记录介质及其控制部构成，图3所示的信息相互关联地存储。摄影图像202是拍摄建筑物所得的多个图像，合成图像204是由摄影图像合成的、与确定部件对应的图像(的集合)。三维模型数据206(三维模型)是基于摄影图像创建的建筑物的三维模型，确定了构成建筑物的部件。此外，三维模型数据206与摄影图像、代表图像、二维记录等相关联，如稍后详细描述的那样，通过用户在三维模型上指定位置信息，能够显示代表图像或二维点检记录。损伤信息208(损伤信息)是从摄影图像中提取的、表示建筑物的损伤的信息。点检记录数据210是二维点检记录的模板(指定的形式的文档)或者代表图像或损伤信息配置并输入到模板中的数据(后述)。模板也可以是国土交通省或地方自治团体规定的形式。
除了这些信息之外，应用后述的SfM(Structure from Motion)时所需的摄像装置的参数(焦距、影像传感器的图像尺寸、像素间距等)也可以存储于存储装置200中。
[操作部的结构]
操作部300包括键盘310和鼠标320，用户能够通过这些设备进行本发明所涉及的图像处理所需的操作。也可以通过使用触摸面板式的设备而将显示装置20用作操作部。
[显示装置]
显示装置20(显示装置)例如是液晶显示器等设备，能够显示获取的摄影图像、损伤信息、三维模型、二维点检记录、代表图像等信息。
[图像处理的顺序]
图4是表示本发明的图像处理方法的顺序的流程图。
[图像的输入]
输入处理部102(处理器)输入拍摄作为被摄体的建筑物所得的多个图像(步骤S100：输入处理、输入工序)。建筑物(建筑、结构物)例如是桥梁、道路等，但也可以是其他建筑物。另外，输入处理部102可以输入存储在存储装置200中的图像作为摄影图像202，也可以经由未图示的记录介质或网络输入图像。这些图像可通过无人机等飞行器或有移动功能的机器人等一边移动视点一边进行拍摄(也可以由用户拍摄)。拍摄的图像也可以不是立体图像。此外，为了三维模型的创建及图像合成，优选许多特征点在图像之间是共同的，因此优选相邻的图像彼此充分(例如，面积的80％以上)重叠。图5是表示通过摄像装置30拍摄这样重叠的图像的情形的图。
[损伤的提取]
提取处理部104(处理器)基于输入的多个图像，提取建筑物的损伤信息(步骤S110：提取处理、提取工序)。提取处理部104在提取处理中能够提取损伤的种类、数量、大小、损伤程度及时间变化中的至少一个作为损伤信息。
提取处理部104可使用各种方法提取损伤信息。例如，可使用日本特许4006007号公报所记载的裂纹检测方法或日本特表2010-538258号公报所记载的锈及剥离的检测方法。另外，提取处理部104可使用机器学习的方法提取损伤信息。例如，可将作为标签而赋予了损伤的种类或大小等的图像作为监督数据给出，并通过机器学习生成DNN(Deep NeuralNetwork)等学习器，使用生成的学习器检测损伤。
提取处理部104可以从各个摄影图像中提取损伤信息并将对应的信息合成为一个，也可以从合成多个摄影图像而成的一个图像中提取损伤信息。损伤可表示为具有起点和终点的矢量，在该情况下，也可以如W02017/110279号公报所记载的那样，考虑矢量彼此的层次结构。
图8是表示提取的损伤信息的例子的图。提取处理部104能够将提取的损伤信息作为损伤信息208存储到存储装置200中。
[三维模型的创建]
生成处理部105(处理器)基于输入的多个图像，创建建筑物的三维模型(步骤S120：生成处理、生成工序)。在三维模型中，存在三维点云模型、基于三维点云模型创建的三维表面模型或三维多边形模型、或者纹理映射有图像的三维模型等各种模型，生成处理部105例如可使用SfM(Structure from Motion)的方法创建三维模型。SfM是根据多视点图像复原三维形状的方法，例如通过SIFT(Scale-Invariant Feature Transform)等算法计算特征点，将该特征点作为线索，使用三角测量的原理计算点云(point cloud)的三维位置。具体而言，使用三角测量的原理从摄像装置向特征点画直线，通过对应的特征点的两条直线的交点成为复原的三维点。然后，通过对检测出的每个特征点进行该作业，能够获得点云的三维位置。图6是表示点云500(点云的例子)的图。
此外，在SfM中虽然不计算大小，但是例如通过在被摄体上设置尺寸已知的定标器(scaler)并进行拍摄，能够进行与真实尺寸的关联。
生成处理部105能够对如此获得的点云的数据应用例如TIN模型(TIN：triangulated irregular network)并用三角形近似建筑物的表面，基于其结果获得实体模型(solid模型；三维模型)。在实体模型中，建筑物的三维形状构成为如填充积木或块那样的三维部件的组合。此外，在获得实体模型时，也可以是用户经由操作部300指定“点云的哪个范围属于同一个面”，生成处理部105利用该结果。另外，也可以是生成处理部105使用RANSAC(Random Sample Consensus)等算法自动生成实体模型，而不依赖于用户的操作。在生成实体模型时，也可以是生成处理部105利用点云的三维位置、颜色(R、G、B)、亮度的信息，计算这些信息的变化。
[已生成的三维模型的使用]
此外，在通过过去的检查等已经生成或获取了三维模型的情况下，生成处理部105也可以读入该模型。在使用这样的已生成的三维模型的情况下，获取处理部103能够获取拍摄建筑物所得的多个图像，即拍摄日期时间与存储在存储装置200(存储器)中的多个图像不同的多个图像(例如，拍摄日期时间比存储的图像新、且未用于三维模型的生成的图像)(获取处理、获取工序)。另外，关联处理部107能够将获取的多个图像与存储在存储装置200中的三维模型的部件相关联(关联处理、关联工序)。关联处理部107例如能够基于获取的多个图像与存储在存储装置200中的多个图像的相互关系进行关联处理(关联工序)。
[部件的确定]
确定处理部106(处理器)在三维模型中确定构成建筑物的部件(步骤S130：确定处理、确定工序)。即，确定处理部106确定“三维模型的各区域与建筑物的哪个部件对应”。确定处理部106可以基于用户的操作来确定部件，也可以不依赖于用户确定部件的操作而进行确定。确定处理部106也可以在确定部件时使用与部件的形状或尺寸相关的信息。例如可使用“在水平面内以二维状展开且面积为阈值以上的部件为底板”，“粘附在底板上且以一维状延伸的部件为主梁”等信息。另外，确定处理部106也可以使用通过给出构成三维模型的部件作为正确标签的机器学习构成的DNN等学习器来确定部件。图7是表示确定了部件的三维模型的例子的图。在该图的例子中，桥梁的三维模型510由底板512、壁部514及腿部516各部件构成。
存储控制处理部109能够将表示生成的三维模型的数据作为三维模型数据206存储到存储装置200中(存储控制处理、存储控制工序)。
[代表图像的选择]
上述的点云是表示摄影图像所包含的特征点的位置的信息，另外，由于在步骤S130中确定了部件，因此能够确定对应于各部件的摄影图像。但是，由于为了创建三维模型，通常对于各部件获取非常多的图像，因此用户选择图像是花费时间和精力的作业。因此，在图像处理系统1中，接受处理部110(处理器)接受图像的选择基准的指定(步骤S140：接受处理、接受工序)，选择处理部108(处理器)按照该基准从拍摄的图像中选择对应于确定的部件的图像(代表图像)(步骤S140：选择处理、选择工序)。
图9是表示设定代表图像的选择基准的情形的图，接受处理部110使这样的画面显示在显示装置20上。在图9的例子中，接受处理部110根据用户的操作对于损伤信息所包含的信息(损伤的数量、大小、损伤的程度(水平)、时间变化)设定优先级。另外，接受处理部110根据用户的操作设定要选择的代表图像的张数(可以是一张，也可以是多张)。根据这样的设定，选择处理部108按照设定的优先级选择指定数量的图像。由此，用户能够迅速且容易地选择代表图像。此外，图9所示的方式是选择基准设定的一个例子，也可以基于其他基准(例如，摄影图像的画质、部件的种类、部件的识别编号等)选择代表图像。
[处理结果的输出]
图10是表示设定处理结果的输出方式的情形的图。在图10所示的例子中，用户可通过经由操作部300的单选按钮的选择及数值输入来选择二维点检记录的显示、三维模型的显示、代表图像的显示时机、有无合成图像的映射、损伤的强调显示、有无二维点检记录向三维模型的显示。然后，按照设定的内容，图像配置处理部112、信息输入部114、显示处理部116独立或协作，将确定的部件、选择的图像及损伤信息相关联地输出(步骤S150：输出处理、输出工序)。可重复进行步骤S110至S150的处理，直到在步骤S160中结束的判断被肯定。此外，输出方式的设定及以设定的方式的输出可在用户希望的时机进行。例如，可在某种模式下显示处理结果后，在另一种模式下再次显示。以下说明各输出方式的具体内容。
[其一：使用二维点检记录的输出]
图11是图像配置处理部112在二维点检记录(“指定格式的文档”的一个例子)中被指定为配置图像的区域的区域(图像区域)配置了代表图像(代表图像552、554、556、558)的例子。在该图中，在代表图像552中摄有浮起552A，在代表图像554中摄有剥离554A。这种形式的记录也可以跨越多页。在图11的例子中，信息输入部114还将照片编号、部件名、要素编号、损伤的种类、程度等损伤信息输入到在文档中被指定为信息区域的区域(信息输入处理、信息输入工序)。“备注”栏的内容可以是信息输入部114基于损伤信息自动输入，也可以基于用户的操作来输入。在图10的画面中“二维点检记录显示模式”为开启的情况下，显示处理部116使这样的画面显示在显示装置20上。另外，显示处理部116将与该画面对应的信息存储为点检记录数据210。
此外，可考虑各种文档的格式或代表图像的布局。例如，点检记录等文档可以是国土交通省、地方自治团体等确定的格式，也可以是其他格式。也可以使用点检记录以外的其他指定格式的文档。另外，可以以部件为关键词将代表图像分类并配置于文档中，也可以以损伤的种类为关键词(针对每种损伤的种类)对各部件的代表图像进行分类配置。
通过这样的处理，在图像处理系统1中，用户能够迅速且容易地进行代表图像的选择及点检记录的创建。即，用户能够容易地处理拍摄建筑物所得的图像、建筑物的三维模型及损伤信息。
[其二：使用三维模型的输出]
图12是表示将三维模型520和表示选择的图像(代表图像)在三维模型中的位置的标针532、534(位置信息)相关联地显示在显示装置上的状态(第一显示处理的结果)的图。在图10中，在代表图像的显示时机成为“标针指定时”的情况下，这样，标针就显示在代表图像的位置。在图12的例子中，三维模型是显示桥梁的腿部的壁面附近的模型，显示处理部116能够根据用户经由操作部300的操作放大或缩小三维模型，另外，进行视点的移动或视线方向的变更。另外，显示处理部116也可以在显示三维模型时开启或关闭确定的部件(例如，用户指示的部件)的显示。当图10中“三维模型显示模式”开启时，显示处理部116进行这样的显示。此外，在图12～15中示出了没有纹理的三维模型，但也可以对有纹理的三维模型进行同样的处理(参照图16及与该图有关的记载)。
显示处理部116也可以将损伤信息强调显示在三维模型上。例如，也可以以用粗线或显眼颜色的线跟踪显示裂纹或者浮起、剥离等损伤或者其轮廓等的方式进行显示。
此外，在图11的例子中，显示处理部116也可以以对应于损伤信息的方式识别显示标针。具体来说，显示处理部116根据损伤的种类改变标针的标记进行显示，但除了标记之外，也可以改变颜色或数字，亦可以显示为图标状。另外，也可以根据损伤的程度改变显示方式。在图12的例子中，例如，用户可通过鼠标320使光标540在画面上移动来选择(单击等)标针。
图13是表示显示处理部116对于在画面上显示的标针(位置信息)中被指定的标针，使代表图像显示在显示装置20上的状态(第二显示处理的结果)的图。图13的(a)部分是通过标针532的指定显示“浮起”的代表图像552的状态，该图的(b)部分是通过标针534的指定显示“剥离”的代表图像554的状态。显示处理部116也可以使代表图像显示在与三维模型不同的区域、不同的画面或者不同的显示装置上。
图14是表示将代表图像从一开始就显示在三维模型上的状态(第一显示处理及第三显示处理的结果)的图。当在图10中代表图像的显示设定为“从一开始”时，显示处理部116进行这种显示。在图14所示的例子中，标针和代表图像由引出线连接，因此用户能够容易地掌握标针与代表图像之间的关系。也可以将代表图像显示在与标针连接的气球状的图形上。
图15是表示显示二维点检记录中包括与被选择的标针对应的代表图像的部分的情形(第四显示处理的结果)的图。当在图10中“二维点检记录向三维模型的显示”开启时，显示处理部116能够进行这种显示。显示处理部116也可以使这种部分二维点检记录显示在与三维模型不同的区域、不同的画面、不同的显示装置上。
通过这种处理，在图像处理系统1中，用户能够快速且容易地浏览代表图像或点检记录的创建。即，用户能够容易地处理拍摄建筑物所得的图像、建筑物的三维模型及损伤信息。
[其三：合成图像向三维模型的映射]
图16是表示在显示装置20上显示将合成图像映射到三维模型520(参照图12)上的三维模型522的情形的图。当在图10中“合成图像的映射”开启时，进行这种显示。在该方式中，图像合成部117(处理器)合成多个摄影图像中对应于确定的部件的图像，显示处理部116将合成的图像映射到确定的部件上并显示在显示装置20上(第五显示处理)。图像的合成及映射可以对建筑物的一部分部件进行，也可以对所有部件进行。此外，在图16所示的例子中，显示处理部116与上述的方式同样地进行位置信息的识别显示(用与损伤的种类对应的标记显示标针532、534、536)，也可以根据位置信息的选择显示代表图像或二维点检记录。另外，也可以进行损伤信息的强调显示。
此外，在图16中示出了将单独地生成的合成图像仅映射到立体形状的三维模型上的例子，但生成处理部105(处理器)也可以通过上述的SfM等直接生成带纹理的三维模型。此时，生成处理部105也可以使用MVS(Multi-View Stereo：多目立体)等其他算法。MVS由于信息量比单目多这一点，能够生成更精细的三维模型。对于这种带纹理的三维模型，也可以与关于图12～15所描述的方式同样地进行位置信息或代表图像的显示、部分二维点检记录的显示、损伤信息的强调显示。
通过这样的处理，在图像处理系统1中，用户能够容易地处理拍摄建筑物所得的图像、建筑物的三维模型及损伤信息。
以上对本发明的实施方式进行了说明，但本发明不限于上述的方式，在不脱离本发明的主旨的范围内可以进行各种变形。
符号说明
1 图像处理系统
10 图像处理装置
20 显示装置
30 摄像装置
100 处理部
102 输入处理部
103 获取处理部
104 提取处理部
105 生成处理部
106 确定处理部
107 关联处理部
108 选择处理部
109 存储控制处理部
110 接受处理部
112 图像配置处理部
114 信息输入部
116 显示处理部
117 图像合成部
118 通信控制部
200 存储装置
202 摄影图像
204 合成图像
206 三维模型数据
208 损伤信息
210 点检记录数据
300 操作部
310 键盘
320 鼠标
500 点云
510 三维模型
512 底板
514 壁部
516 腿部
520 三维模型
522 三维模型
532 标针
534 标针
536 标针
540 光标
552 代表图像
552A 浮起
554 代表图像
554A 剥离
556 代表图像
558 代表图像
S100～S160 图像处理方法的各步骤

Claims (18)

1.一种图像处理装置，具备：
处理器；以及
存储器，其存储有拍摄建筑物所得的多个图像和确定了构成所述建筑物的部件的所述建筑物的三维模型，该存储器将所述多个图像和所述部件相关联地存储，
所述处理器进行：
提取处理，基于所述多个图像提取所述建筑物的损伤信息；
选择处理，按照指定的基准，从所述多个图像中选择与指定的部件对应的图像；以及
输出处理，将所述指定的部件、所述选择的图像以及所述损伤信息相关联地输出。
2.根据权利要求1所述的图像处理装置，其中，
所述处理器进行：
生成处理，基于所述多个图像生成所述建筑物的三维模型；
确定处理，在所述生成的所述三维模型中，确定构成所述建筑物的部件；以及
存储控制处理，将所述三维模型与所述多个图像和所述确定的部件相关联地存储到所述存储器中。
3.根据权利要求2所述的图像处理装置，其中，
所述处理器不依赖于用户确定所述部件的操作而进行所述确定处理。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述处理器进行接受所述基准的指定的接受处理。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述处理器在所述提取处理中提取损伤的种类、数量、大小、损伤程度及时间变化中的至少一个作为所述损伤信息。
6.根据权利要求1至5中任一项所述的图像处理装置，其中，
所述处理器在所述选择处理中针对每个损伤的种类选择图像。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器在所述选择处理中选择指定数量的图像。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述处理器进行将所述选择的图像配置到在指定格式的文档中被指定为图像区域的区域的图像配置处理。
9.根据权利要求8所述的图像处理装置，其中，
所述处理器进行将所述损伤信息输入到在所述文档中被指定为信息区域的区域的信息输入处理。
10.根据权利要求1至9中任一项所述的图像处理装置，其中，
所述处理器进行：
第一显示处理，将所述三维模型和表示所述选择的图像在所述三维模型中的位置的位置信息相关联地显示在显示装置上；以及
第二显示处理，对于所述显示的位置信息中被指定的位置信息，使所述选择的图像显示在所述显示装置上。
11.根据权利要求1至10中任一项所述的图像处理装置，其中，
所述处理器进行：
第一显示处理，将所述三维模型和表示所述选择的图像在所述三维模型中的位置的位置信息相关联地显示在显示装置上；以及
第三显示处理，对于所述显示的位置信息，使所述选择的图像显示在所述显示装置上。
12.根据权利要求10或11所述的图像处理装置，其中，
所述处理器至少在所述第一显示处理中，以与所述损伤信息对应的方式识别显示所述位置信息。
13.根据权利要求10至12中任一项所述的图像处理装置，其中，
所述处理器至少在所述第一显示处理中，合成所述多个图像中与所述确定的部件对应的图像，将所述合成的图像映射到所述确定的部件上并显示在所述显示装置上。
14.根据权利要求10至13中任一项所述的图像处理装置，其中，
所述处理器至少在所述第一显示处理中，将所述损伤信息强调显示在所述三维模型上。
15.根据权利要求1至14中任一项所述的图像处理装置，其中，
所述处理器进行：
获取处理，获取拍摄所述建筑物所得的多个图像、即拍摄日期时间与存储在所述存储器中的所述多个图像不同的多个图像；以及
关联处理，将所述获取的所述多个图像与存储在所述存储器中的所述三维模型的所述部件相关联。
16.根据权利要求15所述的图像处理装置，其中，
所述处理器基于所述获取的所述多个图像与存储在所述存储器中的所述多个图像的相互关系进行所述关联处理。
17.一种图像处理方法，其是由图像处理装置执行的图像处理方法，所述图像处理装置具备：
处理器；以及
存储器，其存储有拍摄建筑物所得的多个图像和所述建筑物的三维模型，该存储器将所述多个图像和在所述三维模型中构成所述建筑物的部件相关联地存储，
所述处理器进行的处理包括：
提取工序，基于所述多个图像提取所述建筑物的损伤信息；
选择工序，按照指定的基准，从所述多个图像中选择与在所述三维模型中指定的部件对应的图像；以及
输出工序，将所述指定的部件、所述选择的图像以及所述损伤信息相关联地输出。
18.一种图像处理程序，其使计算机执行权利要求17所述的图像处理方法。
CN202180013765.7A 2020-03-02 2021-01-22 图像处理装置、图像处理方法及图像处理程序 Pending CN115104128A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-035172 2020-03-02
JP2020035172 2020-03-02
PCT/JP2021/002200 WO2021176877A1 (ja) 2020-03-02 2021-01-22 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN115104128A true CN115104128A (zh) 2022-09-23

Family

ID=77613397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180013765.7A Pending CN115104128A (zh) 2020-03-02 2021-01-22 图像处理装置、图像处理方法及图像处理程序

Country Status (5)

Country Link
US (1) US20220383487A1 (zh)
EP (1) EP4116931A4 (zh)
JP (2) JP7529761B2 (zh)
CN (1) CN115104128A (zh)
WO (1) WO2021176877A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181235A (ja) * 2017-04-21 2018-11-15 古河電気工業株式会社 報告書作成装置、風力発電設備点検システム、プログラム、及び風力発電設備の点検報告書の作成方法
JP2019082933A (ja) * 2017-10-31 2019-05-30 株式会社日本ソフト 報告書作成システム
CN110462678A (zh) * 2017-03-30 2019-11-15 富士胶片株式会社 图像处理装置及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
KR100891934B1 (ko) 2007-09-03 2009-04-08 한국도로공사 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법
JP2011070632A (ja) * 2009-08-27 2011-04-07 Fujifilm Corp 検査システム、携帯端末、検査方法およびプログラム
JP4790090B2 (ja) 2010-02-19 2011-10-12 西日本旅客鉄道株式会社 構造物管理用図面作成装置、及びその処理プログラム
JP5830004B2 (ja) * 2012-12-11 2015-12-09 株式会社日立製作所 ３次元モデル生成装置、３次元モデル生成方法及び３次元モデル生成プログラム
WO2017010279A1 (ja) 2015-07-13 2017-01-19 横浜ゴム株式会社 難燃ホース用ゴム組成物及び難燃ホース
JP6560366B2 (ja) * 2016-01-06 2019-08-14 富士フイルム株式会社 構造物の部材特定装置及び方法
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
JP6534001B2 (ja) * 2016-03-17 2019-06-26 首都高技術株式会社 損傷抽出システム
JP7003789B2 (ja) * 2018-03-27 2022-01-21 富士通株式会社 モデル表示制御方法、モデル表示制御プログラム及びモデル表示制御システム
JP2020030519A (ja) * 2018-08-21 2020-02-27 株式会社日本ソフト 工程管理システム、工程管理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462678A (zh) * 2017-03-30 2019-11-15 富士胶片株式会社 图像处理装置及图像处理方法
JP2018181235A (ja) * 2017-04-21 2018-11-15 古河電気工業株式会社 報告書作成装置、風力発電設備点検システム、プログラム、及び風力発電設備の点検報告書の作成方法
JP2019082933A (ja) * 2017-10-31 2019-05-30 株式会社日本ソフト 報告書作成システム

Also Published As

Publication number Publication date
WO2021176877A1 (ja) 2021-09-10
JP2024150685A (ja) 2024-10-23
EP4116931A1 (en) 2023-01-11
JPWO2021176877A1 (zh) 2021-09-10
JP7529761B2 (ja) 2024-08-06
EP4116931A4 (en) 2023-09-06
US20220383487A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
CN101243475B (zh) 具有根据临床任务工作流程的简单点击风格交互的特征的方法和设备
KR101841668B1 (ko) 입체 모델 생성 장치 및 방법
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
WO2016152633A1 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US10347000B2 (en) Entity visualization method
JP6144364B2 (ja) 作業支援用データ作成プログラム
JP2007531004A5 (zh)
JP2017130146A (ja) 画像管理装置、画像管理方法及びプログラム
US7346199B2 (en) Anatomic triangulation
US20150220568A1 (en) Information processing device, information processing system, and information processing program
JP6293386B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
US20200357177A1 (en) Apparatus and method for generating point cloud data
KR101992044B1 (ko) 정보 처리 장치, 방법, 및 컴퓨터 프로그램
CN113361521B (zh) 场景图像的检测方法及其装置
CN115176284A (zh) 图像处理装置、图像处理方法及图像处理程序
CN115104128A (zh) 图像处理装置、图像处理方法及图像处理程序
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
US20220409324A1 (en) Systems and methods for telestration with spatial memory
CN112634439B (zh) 一种3d信息展示方法及装置
CN112652056B (zh) 一种3d信息展示方法及装置
Auliaramadani et al. Augmented reality for 3D house design visualization from floorplan image
JP2020101922A (ja) 画像処理装置、画像処理方法およびプログラム
JP5925007B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113287151A (zh) 信息处理装置、程序和信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination