CN117940950A - 信息处理装置、方法及程序、以及图像数据结构 - Google Patents
信息处理装置、方法及程序、以及图像数据结构 Download PDFInfo
- Publication number
- CN117940950A CN117940950A CN202280061698.0A CN202280061698A CN117940950A CN 117940950 A CN117940950 A CN 117940950A CN 202280061698 A CN202280061698 A CN 202280061698A CN 117940950 A CN117940950 A CN 117940950A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- identification
- acquired
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 230000002194 synthesizing effect Effects 0.000 claims abstract 5
- 238000012545 processing Methods 0.000 claims description 74
- 230000006378 damage Effects 0.000 claims description 57
- 230000015572 biosynthetic process Effects 0.000 claims description 49
- 238000003786 synthesis reaction Methods 0.000 claims description 49
- 238000010191 image analysis Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 22
- 230000007547 defect Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 29
- 238000003860 storage Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 230000003902 lesion Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000004567 concrete Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000011513 prestressed concrete Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 229910001294 Reinforcing steel Inorganic materials 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种能够简单地提取所期望的图像的信息处理装置、方法及程序、以及图像数据结构。获取使拍摄范围重叠并拍摄对象物而得到的图像组。将所获取的图像组进行合成处理。根据合成处理的结果对拍摄对象相同的图像赋予相同的识别信息。将所赋予的识别信息作为附加信息附加到图像中。由此，能够进行将附加信息作为搜索关键字的图像的搜索。
Description
技术领域
本发明涉及一种信息处理装置、方法及程序、以及图像数据结构，尤其涉及一种处理以由多个部件构成的结构物为对象拍摄而得到的图像组的信息处理装置、方法及程序、以及图像数据结构。
背景技术
桥梁、隧道等结构物定期进行检查。若进行检查，则创建显示该结果的报告(例如，检查记录)。在由桥梁等多个部件构成的结构物的情况下，有时对每个部件例示合适的图像(照片)而创建报告。
在专利文献1中记载有以下的技术，根据分割拍摄结构物而得到的图像组生成结构物的三维模型，利用该三维模型，选择在报告中使用的图像。
以往技术文献
专利文献
专利文献1：日本特开2020-160944号公报
发明内容
发明要解决的技术课题
然而，如专利文献1那样，在利用三维模型而进行图像的选择的结构的情况下，有以下的缺点，需要具有与图像的链接信息的三维模型数据，且需要自定义数据格式。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够简单地搜索所期望的图像的信息处理装置、方法及程序、以及图像数据结构。
用于解决技术课题的手段
(1)一种信息处理装置，其具备处理器，其中，
处理器进行以下的处理：获取使拍摄范围重叠并进行拍摄而得到的图像组，将所获取的图像组进行合成处理，根据合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(2)根据(1)的信息处理装置，其中，
处理器进行以下的处理：将所获取的图像组进行全景合成处理，对构成合成的区域的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(3)根据(2)的信息处理装置，其中，
处理器进一步进行以下的处理：获取区域的信息，赋予确定区域的信息作为识别信息。
(4)根据(1)的信息处理装置，其中，
处理器进行以下的处理：将所获取的图像组进行三维合成处理，根据三维合成处理的结果而提取构成对象物的相同的面的区域，对构成所提取的区域的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(5)根据(4)的信息处理装置，其中，
处理器进一步进行以下的处理：获取区域的信息，赋予确定区域的信息作为识别信息。
(6)根据(1)的信息处理装置，其中，
处理器进行以下的处理：将所获取的图像组进行三维合成处理，根据三维合成处理的结果而提取对象物的相同的部件的区域，对构成所提取的区域的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，
处理器进一步进行以下的处理：获取针对图像的图像分析结果的信息，将所获取的图像分析结果的信息包括在附加信息中而附加到图像中。
(8)根据(7)的信息处理装置，其中，
图像分析结果的信息包括基于图像分析的检测结果的信息、基于图像分析的类别判定结果的信息、及基于图像分析的测量结果的信息中的至少1个。
(9)根据(8)的信息处理装置，其中，
基于图像分析的检测结果的信息包括缺陷的检测结果的信息及损伤的检测结果的信息中的至少1个。
(10)根据(8)或(9)的信息处理装置，其中，
基于图像分析的类别判定结果的信息包括缺陷类型的判定结果的信息及损伤类型的判定结果的信息中的至少1个。
(11)根据(8)至(10)中任一项所述的信息处理装置，其中，
基于图像分析的测量结果的信息包括关于缺陷的大小的测量结果的信息、关于损伤的大小的测量结果的信息、关于缺陷的形状的测量结果的信息、及关于损伤的形状的测量结果的信息中的至少1个。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，
附加信息用于图像的搜索中。
(13)一种信息处理方法，其中，
获取使拍摄范围重叠并进行拍摄而得到的图像组，将所获取的图像组进行合成处理，根据合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(14)一种信息处理程序，其使计算机实现以下的处理：
获取使拍摄范围重叠并进行拍摄而得到的图像组，将所获取的图像组进行合成处理，根据合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到图像中。
(15)一种图像数据结构，其包括：图像；及附加信息，附加信息包括识别拍摄对象的识别信息。
(16)根据(15)的图像数据结构，其中，
附加信息进一步包括针对图像的图像分析结果的信息。
(17)根据(15)或(16)的图像数据结构，其中，
附加信息用于图像的搜索中。
发明效果
根据本发明，能够简单地搜索所期望的图像。
附图说明
图1是表示检查支援装置的硬件结构的一例的图。
图2是检查支援装置所具有的主要功能的块图。
图3是附加了识别ID的图像文件的数据结构的概念图。
图4是表示桥面的概略结构的图。
图5是表示节间的拍摄顺序的一例的图。
图6是表示损伤图的创建、以及赋予及记录识别ID的处理顺序的流程图。
图7是表示全景合成处理的图像的一例的图。
图8是表示损伤图的一例的图。
图9是赋予识别ID的概念图。
图10是在用户输入赋予到图像的识别ID的信息的情况下检查支援装置所具有的主要功能的块图。
图11是附加了分析结果的图像文件的数据结构的概念图。
图12是检查支援装置所具有的主要功能的块图。
图13是三维合成处理部所具有的功能的块图。
图14是表示三维模型的一例的图。
图15是表示构成相同的面的区域的提取结果的一例的图。
图16是赋予识别ID的概念图。
图17是表示三维模型的生成、以及赋予及记录识别ID的处理顺序的流程图。
图18是在用户输入赋予到图像的识别ID的信息的情况下检查支援装置所具有的主要功能的块图。
图19是检查支援装置所具有的主要功能的块图。
图20是表示部件的识别结果的一例的图。
图21是赋予识别ID的概念图。
图22是表示三维模型的生成、以及赋予及记录识别ID的处理顺序的流程图。
具体实施方式
以下，根据附图对本发明的优选实施方式进行详细说明。
[第1实施方式]
[概要]
本实施方式中的信息处理装置在存在多个图像的情况下，对拍摄对象相同的图像赋予相同的识别ID(identity/identification(身份/识别))，并利用该识别ID，能够进行所期望的图像的搜索。例如，信息处理装置对拍摄相同的部件而得到的图像赋予相同的识别ID，并能够进行以部件为单位的图像的搜索。
在本实施方式中，信息处理装置在获取分割拍摄结构物的一平面而得到的图像组而进行全景合成的情况下，对构成合成的区域的图像赋予相同的识别ID。即，信息处理装置中，将构成合成的区域的图像视为拍摄相同的部件的相同的面而得到的图像，并赋予相同的识别ID。
以下，以将本发明应用于检查支援装置中的情况为例子进行说明。检查支援装置获取分割拍摄检查对象即结构物的一平面而得到的图像组，并将所获取的图像组进行全景合成处理，且将每一个图像进行分析而自动提取损伤。然后，检查支援装置基于所提取的损伤的信息及全景合成的图像，自动创建损伤图。损伤图是指记录了结构物的损伤状态的图。并且，分割拍摄是指将对象分割为多个区域而进行拍摄的情况。在分割拍摄中，以能够合成拍摄后的图像的方式，在相邻的图像之间使拍摄范围重叠而进行拍摄。
[检查支援装置的结构]
如上述那样，本实施方式的检查支援装置构成为获取分割拍摄结构物的一平面而得到的图像组，并基于所获取的图像组，而自动生成损伤图的装置。
图1是表示检查支援装置的硬件结构的一例的图。
如图1所示那样，检查支援装置10由具备CPU(Central Processing Unit(中央处理器))11、RAM(Random Access Memory(随机存取存储器))12、ROM(Read Only Memory(只读存储器))13、辅助存储装置14、输入装置15、显示装置16及输入输出接口(Interface：I/F)17等的计算机构成。检查支援装置10为信息处理装置的一例。
关于辅助存储装置14，例如，由HDD(Hard Disk Drive(硬盘驱动器))、SSD(SolidState Drive(固态驱动器))等构成。CPU11执行的程序(信息处理程序)及处理中需要的数据等存储于辅助存储装置14中。关于输入装置15，例如，由键盘、鼠标、触摸面板等构成。关于输出装置16，例如，由液晶显示器(Liquid Crystal Display)、有机EL显示器(OrganicLight Emitting Diode display)等显示器等构成。
分割拍摄检查对象的结构物而得到的图像组经由输入输出接口17输入到检查支援装置10中。检查对象的结构物为对象物的一例。
图2是检查支援装置所具有的主要功能的块图。
如图2所示那样，检查支援装置10具有图像获取部10A、损伤检测部10B、全景合成处理部10C、损伤图生成部10D、识别ID赋予部10E及识别ID记录控制部10F等功能。这些功能通过由CPU11执行规定的程序(信息处理程序)来实现。
图像获取部10A进行获取分割拍摄结构物而得到的图像组的处理。如上述那样，分割拍摄结构物而得到的图像组经由输入输出接口17输入到检查支援装置10中。
损伤检测部10B将通过图像获取部10A而获取的每一个图像进行分析，而检测损伤。基于图像分析的损伤的检测能够采用公知的方法。例如，能够采用使用学习完毕模型(识别器)，而检测损伤的方法。关于用于生成识别器的机器学习的算法，没有特别限定。例如，能够采用使用了RNN(Recurrent Neural Network；循环神经网络)、CNN(ConvolutionalNeural Network；卷积神经网络)或MLP(Multilayer Perceptron；多层感知器)等神经网络的算法。所检测到的损伤的信息与检测源的图像建立关联而存储。作为一例，在本实施方式中，作为损伤，检测裂纹(在标记有裂纹的情况做标记)。
全景合成处理部10C进行对分割拍摄而得到的图像组全景合成的处理。全景合成本身为公知的技术，因此省略对该详细内容的说明。关于全景合成处理部10C，例如，检测图像彼此的对应点，而合成分割拍摄而得到的图像组。此时，全景合成处理部10C根据需要，对各图像实施扩缩校正、倾斜校正及旋转校正等校正。
另外，在分割拍摄检查部位的情况下，拍摄者(检查技术者)以使相邻的图像相互重叠的方式进行拍摄。关于拍摄方法将进行后述。
损伤图生成部10D进行创建损伤图的处理。在本实施方式中，损伤图生成部10D在全景合成的图像上生成追踪了损伤的图像作为损伤图。损伤图生成部10D基于全景合成的处理结果及损伤的检测结果，而生成损伤图。另外，自动生成损伤图的技术本身为公知的技术，因此省略对该详细内容的说明。
所生成的损伤图输入到显示装置16中。并且，根据来自用户的指示，所生成的损伤图存储于辅助存储装置14中。
识别ID赋予部10E对通过图像获取部10A而获取的图像组，基于全景合成的处理结果，而进行赋予识别ID的处理。具体而言，识别ID赋予部10E对构成合成的区域的图像，赋予相同的识别ID。构成合成的区域的图像可以认为是拍摄相同的部件的相同的面而得到的图像。因此，作为拍摄对象相同的图像，赋予相同的识别ID。识别ID为识别信息的一例。识别ID赋予部10E根据预先设定的生成规则而生成并赋予识别ID。例如，识别ID赋予部10E由4位数字构成识别ID，并从“0001”依次增加数字而生成并赋予识别ID。
另外，如上述那样，关于识别ID，对构成合成的区域的图像，赋予相同的识别ID。因此，对没有合成的图像不赋予识别ID。另外，对没有合成的图像，可以以能够与其他的图像区分的方式赋予规定的信息。
识别ID记录控制部10F将通过识别ID赋予部10E赋予到各图像的识别ID作为附加信息(元数据)而附加到图像中。具体而言，识别ID记录控制部10F将被赋予的识别ID作为附加信息而添加到各图像的图像数据中，并按照图像文件的格式而进行格式化。关于图像文件的格式，例如，能够采用Exif(Exchangeable Image File Format(可交换图像文件格式)。
图3是附加了识别ID的图像文件的数据结构的概念图。
如图3所示那样，图像文件包括图像数据及附加信息。附加信息包括识别ID的信息。
在作为文件格式而采用了Exif的情况下，关于识别ID，例如，可以记录于MakerNotes(记笔记)中。
[检查支援装置的作用]
接着，对使用了本实施方式的检查支援装置10的损伤图的创建方法、以及赋予及记录识别ID的方法(信息处理方法)进行说明。
在此，以检查桥梁、尤其桥面的情况为例子进行说明。
桥梁由上部结构、下部结构、支承部、道路、排水设施、检查设施、附件及套管挡土墙等部位构成。各部位由多个部件构成。例如，上部结构由主梁、主梁胶条部、横梁、纵梁、桥面、横联(sway braeing)、平纵联(lateral bracing)、外部电缆、PC(PrestressedConcrete(预应力混凝土))锚固部等的部件构成。下部结构由桥墩(柱部、壁部、梁部、角部、接合部)、桥台(胸墙、立墙、翼墙)、基础等的部件构成。支承部由支承主体、地脚螺栓、桥梁坍塌防止系统、支座砂浆(shoe base mortar)、底座混凝土等构成。道路由护栏、防护栏、地袱、中央分隔带、伸缩装置、隔音设施、照明设施、标识设施、路缘石、铺装(pavement)等部件构成。排水设施由排水槽、排水管等部件构成。
在本实施的方式中，桥梁为对象物的一例。并且，桥面为部件的一例。
[桥面的检查]
首先，在现场进行对检查对象(桥面)的拍摄。然后，基于在该拍摄中所获得的图像组而创建损伤图。在本实施方式中，进一步对通过拍摄而获得的每一个图像赋予识别ID。
[桥面]
图4是表示桥面的概略结构的图。
通常桥面1的检查对每个节间2进行。节间2为在桥面1中，由主梁3及横梁4划分的1个分区。在本实施的方式中，桥面1及节间2为构成相同的面的区域的一例。
另外，在图4中，赋予桥面1的编号(Ds001)为识别桥面1的信息。并且，赋予各节间2的编号(0101、0102、......)为识别各节间2的信息。
[拍摄]
在本实施方式中，分割拍摄节间2。即，节间2被分割为多个区域，并分成多次进行拍摄。
图5是表示节间的拍摄顺序的一例的图。
在图5中，符号F表示拍摄范围的框。拍摄者(检查技术者)正对着检查对象的面即桥面，从一定距离进行拍摄。并且，拍摄者在相邻的拍摄区域中，以彼此的一部分重合的方式进行拍摄(例如，使30％以上重叠而进行拍摄。)。由此，全景合成处理部10C在对所拍摄的图像全景合成时能够高精度地合成。
[损伤图的创建、以及赋予及记录识别ID]
在此，以对1个节间创建损伤图的情况为例子进行说明。
图6是表示损伤图的创建、以及赋予及记录识别ID的处理顺序的流程图。
首先，获取拍摄检查对象物而得到的图像(步骤S1)。在本实施方式中，可以获取分割拍摄桥面1的1个节间2而得到的图像组。
接着，分析所获取的每一个图像，检测在对象物的表面出现的损伤(步骤S2)。在本实施方式中，作为损伤检测裂纹。
接着，所获取的图像组进行全景合成处理(步骤S3)。图7是表示全景合成处理的图像的一例的图。如图7所示那样，通过全景合成处理，而生成拍摄节间整体而得到的图像I。
接着，基于针对全景合成的图像I及各图像的损伤的检测结果，而创建损伤图(步骤S4)。图8是表示损伤图的一例的图。如图8所示那样，在本实施方式中，从全景合成的图像I生成损伤图D作为追踪了损伤的图。所生成的损伤图D存储于辅助存储装置14中。并且，所生成的损伤图D根据需要显示于显示装置16中。
接着，基于全景合成处理的结果，对各图像赋予识别ID(步骤S5)。图9是赋予识别ID的概念图。如图9所示那样，对构成1个节间的图像的每一个图像i赋予相同的识别ID。在图9所示的例子中，示出了作为识别ID而赋予了“0001”时的例子。
接着，生成附加了被赋予的识别ID的图像文件(步骤S6)。即，生成在附加信息(元数据)中包括识别ID的信息的图像文件(参考图3)。所生成的图像文件存储于辅助存储装置14中。
如以上所说明那样，根据本实施方式的检查支援装置10，对各图像赋予识别ID。利用全景合成处理的结果而赋予识别ID，对拍摄对象相同的图像赋予相同的识别ID。然后，被赋予的识别ID作为附加信息，而附加到图像中。由此，能够进行仅利用了附加信息的图像的搜索。即，能够仅利用附加信息，而提取拍摄对象相同的图像。由此，检查技术者在对添加了图像的报告等进行创建等情况下，能够轻松地进行该操作。
[变形例]
[识别ID的生成]
在上述实施方式中，设为根据预先设定的生成规则而自动生成识别ID的结构，但是生成赋予到图像的识别ID的方法并不限定于此。例如，也能够设为用户(检查技术者)输入赋予到图像的识别ID的结构。
图10是在用户输入赋予到图像的识别ID的信息的情况下检查支援装置所具有的主要功能的块图。
如图10所示那样，本例的检查支援装置10还具有识别ID输入接受部10G的功能。识别ID输入接受部10G进行接受赋予到图像的识别ID的输入的处理。作为一例，识别ID输入接受部10G从输入装置15接受识别ID的信息的输入。用户在将处理对象的图像组输入到检查支援装置10中时，从输入装置15输入赋予的识别ID的信息。所获取的识别ID的信息添加到识别ID赋予部10E中。识别ID赋予部10E在赋予识别ID时，赋予由用户输入的识别ID。
如此，也能够设为用户输入赋予到图像的识别ID的结构。关于赋予到图像的识别ID，例如，优选使用对每个部件赋予的识别信息。由此，用户能够对每个部件搜索图像。例如，在桥面的情况下，能够将组合了赋予到各桥面的识别信息、及赋予到构成各桥面的节间的识别信息的信息作为识别信息来使用。例如，在识别信息“Ds001”的桥面中，以识别信息“0202”的节间为对象的情况下，作为识别ID，赋予“Ds001-0202”。由此，能够更加简便的提取目标图像组。例如，能够进行利用了桥面的识别信息的以桥面为单位的搜索、及利用了节间的识别信息的以节间为单位的搜索。
[附加到图像中的信息]
在上述实施方式中，设为仅附加识别信息的结构，但是也能够设为附加其他信息的结构。例如，也能够附加图像分析结果。例如，在上述实施方式的情况下，能够附加损伤(裂纹)的检测结果的信息。此时，例如，附加损伤的有无的信息。
在此，在对所获取的图像进行的图像分析中，除了包括损伤的检测以外，还包括缺陷的检测等。并且，可以设为在进行损伤和/或缺陷的检测的情况下，进一步通过图像分析，而判定损伤和/或缺陷的类别的结构。并且，可以设为通过图像分析，而测量损伤和/或缺陷的大小(长度、宽度、面积等)的结构。可以设为进一步通过图像分析，而测量损伤和/或缺陷的形状的结构。另外，通过图像分析，而进行这些处理的本身为公知的技术，因此省略对该详细内容的说明。
在通过图像分析，进行了判定损伤和/或缺陷的类别的处理的情况下，可以将该判定结果(类别判定结果)的信息附加到图像中。
同样地，在通过图像分析，测量了损伤和/或缺陷的大小的情况下，可以将该测量结果的信息附加到图像中。
并且，在通过图像分析，测量了损伤和/或缺陷的形状的情况下，可以将该测量结果的信息附加到图像中。
另外，关于损伤，例如，在混凝土部件的情况下，包括裂纹、剥离、钢筋外露、漏水、游离石灰、脱落、桥面裂纹、浮起等。并且，在钢部件的情况下，包括腐蚀、裂纹、松动、脱落、断裂、防腐功能的劣化等。并且，作为各部件共同的损伤，可例示出修补及加固材料的损伤、锚固部的异常、变色、劣化、漏水、积水、异常挠曲、变形、缺损、沙土堵塞、沉降、移动、倾斜、冲刷等。另外，损伤还包括轨缝(rail joint gap)的异常、路面的凹凸、铺装的异常、支承部的功能障碍等。
图11是附加了分析结果的图像文件的数据结构的概念图。
如图11所示那样，在附加到图像数据中的附加信息中包括识别ID及分析结果的信息。在图11所示的例子中，作为分析结果，示出了附加了损伤的检测结果(损伤的有无)、损伤的类别(例如，裂纹、剥离、钢筋外露、漏水、游离石灰、浮起及变色等)、损伤的大小(例如，在裂纹的情况下，该宽度及长度等)、及损伤的形状(例如，在裂纹的情况下，裂纹的图案等)的信息时的例子。
如此，通过附加分析结果的信息，能够进行以分析结果的信息为搜索关键字的图像搜索。由此，能够更加简便的提取目标图像。
[第2实施方式]
近年来，关于结构物的检查等，尝试了生成对象物的三维模型，并三维地记录损伤的位置等。在利用了图像的检查等中，将拍摄对象物而得到的图像进行三维合成处理，而生成三维模型。
在本实施方式的检查支援装置中，利用三维合成处理的结果，对图像赋予识别ID。另外，硬件结构与上述第1实施方式的检查支援装置相同。因此，在此仅对有关赋予识别ID的功能进行说明。
图12是本实施方式的检查支援装置所具有的主要功能的块图。
本实施方式的检查支援装置20具有图像获取部20A、三维合成处理部20B、同一平面区域提取部20C、识别ID赋予部20D及识别ID记录控制部20E等功能。各功能通过由CPU执行规定的程序来实现。
图像获取部20A进行获取分割拍摄结构物而得到的图像组的处理。在此，如上述那样，在本实施方式中，检查支援装置根据图像生成对象物的三维模型。由此，可以获取能够生成对象物的三维模型的图像组。如后述那样，在本实施方式中，检查支援装置利用SfM(Structure from Motion(运动恢复结构))的技术，而生成对象物的三维模型。此时，需要所谓的多视点图像。多视点图像是指从多个视点使拍摄范围重叠并拍摄对象物而得到的图像组。
三维合成处理部20B使用所获取的图像组而进行三维合成处理，并进行生成对象物的三维模型的处理。
图13是三维合成处理部所具有的功能的块图。
如图13所示那样，三维合成处理部20B具有点群数据生成部20B1、三维补片(patch)模型生成部20B2及三维模型生成部20B3的功能。
点群数据生成部20B1将通过图像获取部20A而获取的图像组进行分析，并进行生成特征点的三维的点群数据的处理。在本实施方式中，点群数据生成部20B1利用SfM及MVS(Multi-View Stereo(多视角立体视觉))的技术进行该处理。
SfM为根据用照相机进行了拍摄的多个图像进行“对所拍摄的位置及姿势的估计”、以及“特征点的三维恢复”的技术。SfM本身为公知的技术。该处理的概要大致如下。首先，可以获取作为处理对象的多个图像(图像组)。接着，从所获取的各图像检测特征点。接着，通过比较2张图像对的各特征点，而检测一致的特征点作为对应点。即，进行特征点的匹配。接着，从所检测到的对应点，估计拍摄了2张图像对的照相机的照相机参数(例如，基础矩阵、基本矩阵及内部参数等)。接着，基于所估计的照相机参数，而估计拍摄位置及姿势。并且，求出对象物的特征点的三维位置。即，进行特征点的三维恢复。之后，根据需要进行集束调整。即，以三维坐标中的上述特征点的集合即点群(点云)到照相机的重投影误差变得最小的方式调整三维点群的坐标、照相机内部参数(焦距、主点)、照相机外部参数(位置、旋转)。
通过SfM恢复的三维点为特定的三维点，并且是稀疏的。通常的三维模型中低特征量的纹理占据大部分(例如，壁等)。尝试占据该大部分的低特征量的三维纹理的恢复为MVS。MVS利用通过SfM而估计的“拍摄位置及姿势”，而生成密集的点群。MVS本身为公知的技术。因此，对于其详细内容，省略说明。
并且，通过SfM而获得的恢复形状及拍摄位置为由无量纲的坐标值表示的点群。因此，从所获得的恢复形状中，无法定量地掌握形状。其中，需要给出物理尺寸(实际尺寸)。该处理可以采用公知的技术。例如，能够采用从图像提取基准点(例如，地上基准点)，并赋予物理尺寸的技术等。地面基准点(Ground Control Point、GCP)为在所拍摄的图像内包括了能够视觉辨认的地理空间信息(纬度、经度、高度)的记号。因此，此时，需要在拍摄阶段设定基准点。并且，在测距信息与所拍摄的图像建立关联的情况下，能够利用该测距信息，而赋予物理尺寸。例如，在利用无人驾驶飞机等无人飞行器(Unmanned Aerial Vehicle、UAV)而拍摄对象物的情况下，将照相机与LIDAR(Light Detection and Ranging(光探测和测距)或Laser Imaging Detection and Ranging(激光成像探测和测距))一起安装在无人飞行器而进行拍摄时，也能够与图像一起获取基于LIDAR的测距信息。通过利用该测距信息，而能够对通过SfM而获得的三维的点群数据赋予物理尺寸的信息。另外，能够从图像中提取已知物理尺寸的物体，而给出物理尺寸。
三维补片模型生成部20B2基于通过点群数据生成部20B1而生成的对象物的三维的点群数据，而进行生成对象物的三维补片模型的处理。具体而言，三维补片模型生成部20B2从所生成的三维的点群生成补片(网格)，生成三维补片模型。由此，能够用少量的点数表示表面的起伏。关于本处理，例如，使用三维Delaunay三角形分割等公知的技术来进行。因此，省略对于其详细内容的说明。作为一例，在本实施方式中，三维补片模型生成部20B2使用三维Delaunay三角形分割，而生成TIN(Triangular Irregular Network(不规则三角网路))模型。在TIN模型中，表面由三角形的集合表示。即，通过三角网格生成补片。
三维模型生成部20B3对通过三维补片模型生成部20B2而生成的三维补片模型进行纹理映射，从而进行生成赋予了纹理的三维模型的处理。该处理通过对三维补片模型的各补片内的空间利用摄影图像进行插值来进行。如上述那样，在本实施方式的检查支援装置20中，在点群数据生成部20B1中，进行SfM及MVS的处理。通过该SfM及MVS的处理，可知拍摄与各补片对应的区域而得到的图像及该图像内的对应位置。因此，只要能够观察生成面的顶点，则能够与赋予到该面的纹理建立对应关联。三维模型生成部20B3选出与各补片对应的图像，并从所选出的图像中提取与补片对应的区域的图像作为纹理。具体而言，三维模型生成部20B3对所选出的图像投影补片的顶点，并提取被所投影的顶点包围的区域的图像作为纹理。三维模型生成部20B3将所提取的纹理赋予到补片中，而生成三维模型。即，三维模型生成部20B3利用所提取的纹理对补片内的空间进行插值，而生成三维模型。通过对各补片赋予纹理，而颜色信息添加到各补片中。在对象物中存在裂纹等损伤的情况下，在对应的位置显示损伤。
图14是表示三维模型的一例的图。
图14示出了以桥梁为对象的三维模型的一例。所生成的三维模型存储于辅助存储装置14中。并且，三维模型根据需要显示于显示装置16中。
同一平面区域提取部20C进行根据三维合成处理的结果而提取构成对象物的相同的面的区域的处理。另外，此时的“相同的面”是指在从识别结构物的部件的观点进行了分类的情况下认为是相同的平面的面。
作为一例，在本实施方式中，同一平面区域提取部20C利用在生成三维模型的过程中获取的点群数据，进行估计平面的处理，并提取构成相同的面的区域。同一平面区域提取部20C在估计平面的处理中，例如，使用RANSAC(RANdom SAmple Consensus(随机抽样一致算法))法，进行估计近似平面的处理。
图15是表示构成相同的面的区域的提取结果的一例的图。在图15中，对作为构成相同的面的区域而提取的区域赋予相同的图案。
识别ID赋予部20D基于构成相同的面的区域的提取结果，而进行对各图像赋予识别ID的处理。具体而言，识别ID赋予部20D对构成所提取的区域的图像，赋予相同的识别ID。在此，构成所提取的区域的图像是指在该区域中用于合成的图像。具体而言，构成所提取的区域的图像为在纹理映射中所使用的图像。如上述那样，通过同一平面区域提取部20C提取的区域为构成相同的面的区域。因此，对构成相同的面的图像赋予相同的识别ID。并且，构成相同的面的图像为拍摄相同的面而得到的图像，因此对拍摄相同的面而得到的图像赋予相同的识别ID。
识别ID赋予部20D根据预先设定的生成规则而生成并赋予识别ID。例如，识别ID赋予部20D由4位数字构成识别ID，并从“0001”依次增加数字而生成并赋予识别ID。
图16是赋予识别ID的概念图。
如图16所示那样，对构成作为构成相同的面的区域而提取得区域的图像赋予相同的识别ID。例如，在图16所示的例子中，识别ID赋予部20D对构成铺装(路面)的图像组，赋予有0001的识别ID。
另外，如上述那样，关于识别ID，对用于合成的图像，赋予相同的识别ID。因此，对没有用于合成的图像不赋予识别ID。另外，对没有用于合成的图像，可以以能够与其他的图像区分的方式赋予规定的信息。
识别ID记录控制部20E将通过识别ID赋予部20D赋予到各图像的识别ID作为附加信息(元数据)而附加到图像中。具体而言，识别ID记录控制部20E将被赋予的识别ID作为附加信息而添加到各图像的图像数据中，并按照图像文件的格式而进行格式化。
图17是表示三维模型的生成、以及赋予及记录识别ID的处理顺序的流程图。
首先，获取拍摄对象物而得到的图像(步骤S11)。如上述那样，该图像为多视点图像，从多个视点使拍摄范围重叠并拍摄对象而得到的图像。
接着，对所获取的图像组进行三维合成处理(步骤S12)。通过本处理，而生成对象的三维模型(参考图14)。所生成的三维模型存储于辅助存储装置14中。
接着，根据三维合成处理的结果而进行同一平面区域的提取处理(步骤S13)。即，在所生成的三维模型中，进行提取构成相同的面的区域的处理(参考图15)。
接着，基于同一平面区域的提取结果，对各图像赋予识别ID(步骤S14)。即，对构成相同的面的图像赋予相同的识别ID(参考图16)。由此，对拍摄相同的面而得到的图像赋予相同的识别ID。
接着，生成附加了被赋予的识别ID的图像文件(步骤S15)。即，生成在附加信息(元数据)中包括识别ID的信息的图像文件(参考图3)。所生成的图像文件存储于辅助存储装置14中。
如以上所说明那样，根据本实施方式的检查支援装置20，对各图像赋予识别ID。利用三维合成处理的结果而赋予识别ID，对拍摄相同的面而得到的图像赋予相同的识别ID。被赋予的识别ID作为附加信息，而附加到图像中。由此，能够进行仅利用了附加信息的图像的搜索。即，检查支援装置20能够仅利用附加信息，而提取拍摄特定的面而得到的图像组。由此，检查技术者在对添加了图像的报告等进行创建等情况下，能够轻松地进行该操作。
[变形例]
[构成相同的面的区域的提取处理]
在上述实施方式中，设为利用点群数据，进行估计平面的处理，并提取构成相同的面的区域的结构，但是提取构成相同的面的区域的方法并不限定于此。例如，也能够采用使用学习完毕模型从三维模型或点群数据中识别并提取构成相同的面的区域的方法等。
[识别ID的生成]
即使在本实施方式中，也能够设为用户输入赋予到图像的识别ID的结构。
图18是在用户输入赋予到图像的识别ID的信息的情况下检查支援装置所具有的主要功能的块图。
如图18所示那样，本例的检查支援装置20还具有识别ID输入接受部20F的功能。识别ID输入接受部20F进行接受赋予到图像的识别ID的输入的处理。作为一例，识别ID输入接受部20F经由显示装置16及输入装置15接受识别ID的输入。具体而言，检查支援装置20使所生成的三维模型显示于显示装置16中，识别ID输入接受部20F接受在画面上对赋予识别ID的区域的指定。能够指定的区域为作为构成相同的面的区域而提取的区域。识别ID输入接受部20F从输入装置15接受对所指定的区域赋予的识别ID的输入。识别ID输入接受部20F接受对通过同一平面区域提取部20C所提取的各区域赋予的识别ID的输入。
[附加到图像中的信息]
即使在本实施方式中，也能够将识别ID以外的信息附加到图像中。例如，以与第1实施方式相同的方式，在对图像进行了图像分析的情况下，可以将该结果的信息包括在附加信息中而进行附加。
[第3实施方式]
在本实施方式的检查支援装置中，将通过拍摄而获得的图像组进行三维合成处理，根据该结果而提取对象物的相同的部件的区域，对构成所提取的区域的图像赋予相同的识别ID。
另外，硬件结构与上述第1实施方式的检查支援装置相同。因此，在此仅对有关赋予识别ID的功能进行说明。
图19是本实施方式的检查支援装置所具有的主要功能的块图。
本实施方式的检查支援装置30具有图像获取部30A、三维合成处理部30B、部件识别部30C、识别ID赋予部30D及识别ID记录控制部30E等功能。各功能通过由CPU执行规定的程序来实现。
图像获取部30A进行获取分割拍摄结构物而得到的图像组的处理。可以获取从多个视点使拍摄范围重叠并拍摄对象物而得到的多视点图像。
三维合成处理部30B使用所获取的图像组而进行三维合成处理，并进行生成对象的三维模型的处理。三维合成处理部30B的功能与上述第2实施方式相同。因此，省略该说明。
部件识别部30C进行根据三维合成处理的结果而识别构成结构物的部件，并提取构成相同的部件的区域的处理。作为一例，在本实施方式中，部件识别部30C进行使用学习完毕模型从对象物的点群数据中识别部件的处理。具体而言，部件识别部30C使用学习完毕的图像识别模型，从在各种视点拍摄对象物的点群数据而得到的图像(点群投影图像)中识别构成对象物的部件。即，部件识别部30C识别构成桥梁的主梁、桥面、桥墩等部件。关于点群投影图像，例如，从各种角度的视点将点群数据投影到平面上来生成。关于图像识别模型，例如，能够使用图像分割(segmentation)CNN(例如，SegNet模型)，并将赋予了部件信息的点群数据作为教师数据而进行学习。教师数据根据要识别的部件类型等而生成。
图20是表示部件的识别结果的一例的图。在图20中，作为构成桥梁的部件，示出了识别了铺装(路面)Pm、主梁Mg、桥墩P时的例子。
识别ID赋予部30D基于部件的识别结果，而进行对各图像赋予识别ID的处理。具体而言，识别ID赋予部30D对构成所提取的区域的图像，赋予相同的识别ID。在此，构成所提取的区域的图像是指在该区域中用于合成的图像。具体而言，构成所提取的区域的图像为在纹理映射中所使用的图像。通过部件识别部30C提取的区域为构成相同的部件的区域。因此，对构成相同的部件的图像赋予相同的识别ID。并且，构成相同的部件的图像为拍摄相同的部件而得到的图像，因此对拍摄相同的部件而得到的图像赋予相同的识别ID。
识别ID赋予部30D对每个部件生成并赋予不同的识别ID。例如，识别ID赋予部30D组合识别部件的记号及4位数字而生成并赋予识别ID。识别部件的记号用于区分不同的部件彼此。4位数字用于区分相同的部件彼此。
图21是赋予识别ID的概念图。图21中，示出了对铺装(路面)赋予了识别ID“Pm0001”，对主梁赋予了识别ID“Mg0001”，对3个桥墩分别赋予了识别ID“P0001”、“P0002”、“P0003”的例子。另外，铺装的识别ID组合识别铺装的记号即“Pm”及4位数字而构成。并且，主梁的识别ID组合主梁的识别记号即“Mg”及4位数字而构成。并且，桥墩的识别ID组合桥墩的识别记号即“P”及4位数字而构成。如此，通过组合对每个部件分配的识别记号而构成各部件的识别ID，而能够轻松地进行后续的搜索。
另外，以与上述第2实施方式相同的方式，对没有用于合成的图像以能够与其他的图像区分的方式赋予规定的信息。
识别ID记录控制部30E将通过识别ID赋予部30D赋予到各图像的识别ID作为附加信息(元数据)而附加到图像中。具体而言，识别ID记录控制部30E将被赋予的识别ID作为附加信息而添加到各图像的图像数据中，并按照图像文件的格式而进行格式化。
图22是表示三维模型的生成、以及赋予及记录识别ID的处理顺序的流程图。
首先，获取拍摄对象物而得到的图像(步骤S21)。如上述那样，该图像为多视点图像，从多个视点使拍摄范围重叠并拍摄对象物而得到的图像。
接着，对所获取的图像组进行三维合成处理(步骤S22)。通过本处理，而生成对象的三维模型(参考图14)。所生成的三维模型存储于辅助存储装置14中。
接着，根据三维合成处理的结果而进行部件的识别处理(步骤S23)。即，在所生成的三维模型中识别部件，并提取构成各部件的区域(参考图20)。
接着，基于部件的识别结果，对各图像赋予识别ID(步骤S24)。即，对构成相同的部件的图像赋予相同的识别ID(参考图21)。由此，对拍摄相同的部件而得到的图像赋予相同的识别ID。
接着，生成附加了被赋予的识别ID的图像文件(步骤S25)。即，生成在附加信息(元数据)中包括识别ID的信息的图像文件(参考图3)。所生成的图像文件存储于辅助存储装置14中。
如以上所说明那样，根据本实施方式的检查支援装置30，对各图像赋予识别ID。利用三维合成处理的结果而赋予识别ID，对拍摄相同的部件而得到的图像赋予相同的识别ID。被赋予的识别ID作为附加信息，而附加到图像中。由此，能够进行仅利用了附加信息的图像的搜索。即，检查支援装置30能够仅利用附加信息，而提取拍摄特定的部件而得到的图像组。由此，检查技术者在对添加了图像的报告等进行创建等情况下，能够轻松地进行该操作。
[变形例]
[部件的识别处理]
在上述实施方式中，设为利用学习完毕模型(图像识别模型)从点群数据中识别部件的结构，但是识别部件的方法并不限定于此。也能够设为从三维模型识别部件的结构。
[附加到图像中的信息]
即使在本实施方式中，也能够将识别ID以外的信息附加到图像中。例如，以与第1实施方式相同的方式，在对图像进行了图像分析的情况下，可以将该结果的信息包括在附加信息中而进行附加。
[其他实施方式]
[对象物等]
在上述实施方式中，将以桥梁为对象的情况为例进行了说明，但是本发明的应用并不限定于此。对其他的结构物也能够以相同的方式应用。
并且，在上述实施方式中，以支援桥梁等结构物的检查的情况为例进行了说明的、本发明的应用并不限定于此。也能够应用于支援以结构物为对象的诊断、修补设计、修补前检查等各种业务的技术中。
[图像数据结构]
关于识别ID，可以附加到图像数据中，关于该具体的数据结构没有特别限定。
但是，由于识别ID用于搜索中，因此在能够搜索的状態下需要附加到图像数据中。尤其优选能够通过市售的软件等搜索的结构。
[硬件结构]
实现信息处理装置的硬件能够由各种处理器(processor)构成。各种处理器中，包含执行程序来作为各种处理部而发挥功能的通用的处理器即CPU(Central ProcessingUnit(中央处理单元))、FPGA(Field Programmable Gate Array，(现场可编程门阵列))等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device；PLD)、ASIC(Application Specific Integrated Circuit(专用集成电路))等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。构成检查支援装置的一个处理部可以由上述各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上的处理器构成。例如，一个处理部可以由多个FPGA或CPU和FPGA的组合构成。并且，也可以由1个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，如以客户端或服务器等计算机为代表有以下的方式：由一个以上CPU和软件的组合构成一个处理器，并且该处理器作为多个处理部而发挥功能。其次，如以片上系统(System On Chip；SoC)等为代表有以下的方式：使用由一个IC(Integrated Circuit(集成电路))芯片来实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用一个以上上述各种处理器来构成为硬件结构。而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电路(circuitry)。
符号说明
1-桥面，2-节间，3-主梁，4-横梁，10-检查支援装置，10A-图像获取部，10B-损伤检测部，10C-全景合成处理部，10D-损伤图生成部，10E-识别ID赋予部，10F-识别ID记录控制部，10G-识别ID输入接受部，11-CPU，12-RAM，13-ROM，14-辅助存储装置，15-输入装置，16-显示装置，17-输入输出接口，20-检查支援装置，20A-图像获取部，20B-三维合成处理部，20B1-点群数据生成部，20B2-三维补片模型生成部，20B3-三维模型生成部，20C-同一平面区域提取部，20D-识别ID赋予部，20E-识别ID记录控制部，20F-识别ID输入接受部，30-检查支援装置，30A-图像获取部，30B-三维合成处理部，30C-部件识别部，30D-识别ID赋予部，30E-识别ID记录控制部，D-损伤图，I-拍摄节间整体而得到的图像，i-图像，Mg-主梁，P-桥墩，Pm-铺装(路面)，S1～S6-损伤图的创建、以及赋予及记录识别ID的处理顺序，S11～S15-三维模型的生成、以及赋予及记录识别ID的处理顺序，S21～S25-三维模型的生成、以及赋予及记录识别ID的处理顺序。
Claims (17)
1.一种信息处理装置，其具备处理器，其中，
所述处理器进行以下的处理：
获取使拍摄范围重叠并进行拍摄而得到的图像组，
将所获取的所述图像组进行合成处理，
根据所述合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到所述图像中。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器进行以下的处理：
将所获取的所述图像组进行全景合成处理，
对构成合成的区域的图像赋予相同的所述识别信息，并作为所述附加信息附加到所述图像中。
3.根据权利要求2所述的信息处理装置，其中，
所述处理器进一步进行以下的处理：
获取所述区域的信息，
赋予确定所述区域的信息作为所述识别信息。
4.根据权利要求1所述的信息处理装置，其中，
所述处理器进行以下的处理：
将所获取的所述图像组进行三维合成处理，
根据所述三维合成处理的结果而提取构成对象物的相同的面的区域，
对构成所提取的所述区域的图像赋予相同的所述识别信息，并作为所述附加信息附加到所述图像中。
5.根据权利要求4所述的信息处理装置，其中，
所述处理器进一步进行以下的处理：
获取所述区域的信息，
赋予确定所述区域的信息作为所述识别信息。
6.根据权利要求1所述的信息处理装置，其中，
所述处理器进行以下的处理：
将所获取的所述图像组进行三维合成处理，
根据所述三维合成处理的结果而提取对象物的相同的部件的区域，
对构成所提取的所述区域的图像赋予相同的所述识别信息，并作为所述附加信息附加到所述图像中。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，
所述处理器进一步进行以下的处理：
获取针对所述图像的图像分析结果的信息，
将所获取的所述图像分析结果的信息包括在所述附加信息中而附加到所述图像中。
8.根据权利要求7所述的信息处理装置，其中，
所述图像分析结果的信息包括基于图像分析的检测结果的信息、基于图像分析的类别判定结果的信息、及基于图像分析的测量结果的信息中的至少1个。
9.根据权利要求8所述的信息处理装置，其中，
基于所述图像分析的检测结果的信息包括缺陷的检测结果的信息及损伤的检测结果的信息中的至少1个。
10.根据权利要求8或9所述的信息处理装置，其中，
基于所述图像分析的类别判定结果的信息包括缺陷类型的判定结果的信息及损伤类型的判定结果的信息中的至少1个。
11.根据权利要求8至10中任一项所述的信息处理装置，其中，
基于所述图像分析的测量结果的信息包括关于缺陷的大小的测量结果的信息、关于损伤的大小的测量结果的信息、关于缺陷的形状的测量结果的信息、及关于损伤的形状的测量结果的信息中的至少1个。
12.根据权利要求1至11中任一项所述的信息处理装置，其中，
所述附加信息用于所述图像的搜索中。
13.一种信息处理方法，其中，
获取使拍摄范围重叠并进行拍摄而得到的图像组，
将所获取的所述图像组进行合成处理，
根据所述合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到所述图像中。
14.一种信息处理程序，其使计算机实现以下的处理：
获取使拍摄范围重叠并进行拍摄而得到的图像组，
将所获取的所述图像组进行合成处理，
根据所述合成处理的结果对拍摄对象相同的图像赋予相同的识别信息，并作为附加信息附加到所述图像中。
15.一种图像数据结构，其包括：
图像；及
附加信息，
所述附加信息包括识别拍摄对象的识别信息。
16.根据权利要求15所述的图像数据结构，其中，
所述附加信息进一步包括针对所述图像的图像分析结果的信息。
17.根据权利要求15或16所述的图像数据结构，其中，
所述附加信息用于所述图像的搜索中。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-154105 | 2021-09-22 | ||
| JP2021154105 | 2021-09-22 | ||
| PCT/JP2022/031372 WO2023047859A1 (ja) | 2021-09-22 | 2022-08-19 | 情報処理装置、方法及びプログラム、並びに、画像データ構造 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117940950A true CN117940950A (zh) | 2024-04-26 |
Family
ID=85719452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280061698.0A Pending CN117940950A (zh) | 2021-09-22 | 2022-08-19 | 信息处理装置、方法及程序、以及图像数据结构 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2023047859A1 (zh) |
| CN (1) | CN117940950A (zh) |
| WO (1) | WO2023047859A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015001756A (ja) * | 2013-06-13 | 2015-01-05 | 株式会社日立製作所 | 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末 |
| JP6387782B2 (ja) * | 2014-10-17 | 2018-09-12 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
| JP6389120B2 (ja) * | 2014-12-26 | 2018-09-12 | 古河機械金属株式会社 | データ処理装置、データ処理方法、及び、プログラム |
| JP6560366B2 (ja) * | 2016-01-06 | 2019-08-14 | 富士フイルム株式会社 | 構造物の部材特定装置及び方法 |
| WO2017217185A1 (ja) * | 2016-06-14 | 2017-12-21 | 富士フイルム株式会社 | サーバ装置、画像処理システム及び画像処理方法 |
| JP7207073B2 (ja) | 2019-03-27 | 2023-01-18 | 富士通株式会社 | 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム |
-
2022
- 2022-08-19 CN CN202280061698.0A patent/CN117940950A/zh active Pending
- 2022-08-19 WO PCT/JP2022/031372 patent/WO2023047859A1/ja active Application Filing
- 2022-08-19 JP JP2023549417A patent/JPWO2023047859A1/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023047859A1 (ja) | 2023-03-30 |
| JPWO2023047859A1 (zh) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | UAV bridge inspection through evaluated 3D reconstructions | |
| Erkal et al. | Laser-based surface damage detection and quantification using predicted surface properties | |
| US9014415B2 (en) | Spatially integrated aerial photography for bridge, structure, and environmental monitoring | |
| Xie et al. | Automatic multi-image stitching for concrete bridge inspection by combining point and line features | |
| JP7319432B2 (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム | |
| Adhikari et al. | Tracking of defects in reinforced concrete bridges using digital images | |
| JPWO2019021719A1 (ja) | 損傷データ編集装置、損傷データ編集方法、およびプログラム | |
| KR102565689B1 (ko) | 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 | |
| Kong et al. | Preserving our heritage: A photogrammetry-based digital twin framework for monitoring deteriorations of historic structures | |
| Marzouk | Using 3D laser scanning to analyze heritage structures: The case study of egyptian palace | |
| Belloni et al. | Tack project: tunnel and bridge automatic crack monitoring using deep learning and photogrammetry | |
| WO2022107485A1 (ja) | 構造物の点検支援装置、構造物の点検支援方法及びプログラム | |
| Jiang et al. | Automatic concrete sidewalk deficiency detection and mapping with deep learning | |
| US11959862B2 (en) | Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system | |
| Hsu et al. | Defect inspection of indoor components in buildings using deep learning object detection and augmented reality | |
| JP2019102031A (ja) | コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム | |
| CN117940950A (zh) | 信息处理装置、方法及程序、以及图像数据结构 | |
| KR102588141B1 (ko) | 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법 | |
| JP7152515B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Alkaabi et al. | Application of a drone camera in detecting road surface cracks: a UAE testing case study | |
| JP3642481B2 (ja) | 面安定度評価データ作成システム | |
| Barrile et al. | UAV and computer vision, detection of infrastructure losses and 3D modeling | |
| CN115176281A (zh) | 三维显示装置、方法及程序 | |
| Majidi et al. | Intelligent 3D crack reconstruction using close range photogrammetry imagery | |
| Jang et al. | Deep learning-based 3D digital damage map of vertical-type tunnels using unmanned fusion data scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |