CN110809779A - 图像合成方法、图像合成装置及记录介质 - Google Patents
图像合成方法、图像合成装置及记录介质 Download PDFInfo
- Publication number
- CN110809779A CN110809779A CN201880043072.0A CN201880043072A CN110809779A CN 110809779 A CN110809779 A CN 110809779A CN 201880043072 A CN201880043072 A CN 201880043072A CN 110809779 A CN110809779 A CN 110809779A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- arrangement
- groups
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 45
- 238000001308 synthesis method Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 abstract description 21
- 238000003786 synthesis reaction Methods 0.000 abstract description 20
- 238000012545 processing Methods 0.000 description 62
- 238000003384 imaging method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000005259 measurement Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 239000002131 composite material Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 102000018700 F-Box Proteins Human genes 0.000 description 1
- 108010066805 F-Box Proteins Proteins 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
本发明的目的在于，提供一种能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成的图像合成方法、图像合成装置及记录介质。在本发明的一方式所涉及的图像合成方法中，在无法将所有多个图像合成为1个图像的情况下，将多个图像分成能够进行合成的图像组，因此无需对所有图像指定对应点，而只要对一图像组和另一图像组、即无法自动合成的图像组彼此指定对应点即可。并且，多个图像按能够进行合成的图像组显示于显示装置中，因此能够掌握应该对哪个图像组指定对应点。如此，根据上述方式的图像合成方法，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
Description
技术领域
本发明涉及一种图像合成方法、图像合成装置及记录介质，尤其涉及一种合成分割拍摄被摄体而获取的多个图像的技术。
背景技术
在拍摄被摄体的图像的情况下，根据被摄体的种类、大小等条件，有时会无法容纳于1个图像中而分割成多个图像进行拍摄，此时，所拍摄的多个图像通过图像处理合成为一张图像。图像的合成例如如下述专利文献1中记载那样通过利用块匹配检测对应点来进行。并且，关于基于匹配度的图像的合成，在下述专利文献2中记载了预先以手动方式大致重叠应合成的多个图像的(手动确定初始配置)内容。
以往技术文献
专利文献
专利文献1：日本特开2017-085297号公报
专利文献2：日本特开平10-108003号公报
发明内容
发明要解决的技术课题
在合成图像的情况下，出于图像的重叠少、图像模糊等理由，图像的合成(基于图像处理装置等的自动合成)有可能会失败，在该情况下，有时会通过用户指定对应点来进行合成。然而，在专利文献1、2中却未考虑到合成失败时的对策。并且，在如专利文献2的重叠工作那样全部以手动方式进行对应点的指定的情况下，图像的数量越多，越成为花费时间的复杂的工作。
如此，以往的技术未能迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
本发明是鉴于这种情况而完成的，其目的在于，提供一种能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成的图像合成方法、图像合成装置及记录介质。
用于解决技术课题的手段
为了实现上述目的，本发明的第1方式所涉及的图像合成方法包括如下步骤：输入分割拍摄被摄体而获取的多个图像的步骤；及根据图像彼此的对应点来合成多个图像的步骤，在无法将所有多个图像合成为1个图像的情况下，进行如下步骤：将多个图像分成能够进行合成的图像组的步骤；针对每一图像组根据图像彼此的对应点来确定图像配置的步骤；根据所确定的图像配置将多个图像按每一图像组显示于显示装置中的步骤；对所显示的图像组中的一图像组和图像组中的另一图像组指定对应点的步骤；及根据所指定的对应点来合成一图像组和另一图像组的步骤。
在第1方式所涉及的图像合成方法中，在无法将所有多个图像合成为1个图像的情况下，将多个图像分成能够进行合成的图像组，因此无需对所有图像指定对应点，而只要对一图像组和另一图像组(即，无法自动合成的图像组彼此)指定对应点即可。并且，多个图像按能够进行合成的每一图像组显示于显示装置中，因此能够掌握应该对哪个图像组指定对应点。如此，根据第1方式，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。这种对应点的指定能够根据用户的操作来进行。
在第1方式中，“图像组”中包含的图像的数量不受限制，图像为1个的情况也包括在“图像组”内。并且，在第1方式中，可以以能够按每一图像组识别的方式显示能够进行合成的图像组。例如，能够通过按每一图像组改变颜色、用框包围、与另一图像组隔开间隔等来显示。另外，在显示所输入的多个图像时，可以合成构成图像组的图像，也可以不进行合成。
另外，在第1方式中，成为合成对象的多个图像可以通过摄像装置获取而输入，也可以经由网络或经由介质输入获取并记录的图像。
第2方式所涉及的图像合成方法在第1方式中，在确定图像配置的步骤中，从多个图像中设定成为投影变换的基准的基准图像，根据图像彼此的对应点来计算多个图像中除基准图像以外的图像相对于基准图像的投影变换矩阵，并根据计算出的投影变换矩阵来确定图像配置。根据第2方式，根据相对于基准图像的投影变换矩阵对除基准图像以外的图像进行移动、旋转等来确定图像配置。基准图像能够根据相对于被摄体的位置(例如角落部分的图像)、拍摄顺序(例如，最先拍摄的图像)、图像的特征(暴露条件、清晰度、拍摄到特定的部件)等来设定。另外，基准图像的拍摄面优选正对着拍摄方向，但并不限定于此。在基准图像的拍摄面未正对的情况下，能够在合成后进行正对校正。
第3方式所涉及的图像合成方法在第1或第2方式中，在确定图像配置的步骤中，确定图像彼此不重叠的图像配置。第3方式规定图像配置的一方式，例如能够在不将各图像的朝向改变为通过投影变换矩阵求出的朝向的情况下分开配置图像彼此。
第4方式所涉及的图像合成方法在第1或第2方式中，在确定图像配置的步骤中，确定图像彼此重复的区域重叠的图像配置。第4方式规定图像配置的另一方式，能够在未合成图像的情况下容易地掌握合成图像后的状况。
第5方式所涉及的图像合成方法在第1至第4方式中的任一方式中，包括按每一图像组合成图像的步骤，在显示多个图像的步骤中，通过按每一图像组合成的图像来显示多个图像。
第6方式所涉及的图像合成方法在第5方式中，在按每一图像组合成图像的步骤中，在多个图像重复的区域中选择重复的多个图像中的1个图像来合成图像。根据第6方式，能够在多个图像重复的区域中抑制图像的偏移导致的模糊而获得清晰的图像。
第7方式所涉及的图像合成方法在第1至第6方式中的任一方式中，包括根据用户的指示输入来变更图像组彼此的相对配置的步骤，在显示多个图像的步骤中，以所变更的相对配置显示多个图像。在进行显示时的相对配置不适当的情况下(例如，在应上下配置的图像组左右配置的情况下)，有可能难以掌握图像组的关系且对应点的指定花费时间。相对于此，通过如第7方式那样根据用户的指示输入而变更相对配置来显示，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
第8方式所涉及的图像合成方法在第1至第7方式中的任一方式中，在输入多个图像的步骤中，输入分割拍摄作为被摄体的建筑物而获取的多个图像。在建筑物为被摄体的情况下，摄影范围大多较宽，合成分割拍摄而获取的多个图像进行利用(分析等)，因此第8方式所涉及的图像合成方法是有效的。作为这种建筑物的例子，能够举出桥梁、大楼、道路等，但并不限定于这些例子。并且，建筑物可以为混凝土建筑物。
为了实现上述目的，第9方式所涉及的图像合成装置具备：图像输入部，输入分割拍摄被摄体而获取的多个图像；及图像合成部，根据图像彼此的对应点来合成多个图像，该图像合成装置还具备：图像配置确定部，在无法将多个图像合成为1个图像的情况下，将多个图像分成能够进行合成的图像组，并针对每一图像组根据图像彼此的对应点来确定图像配置；显示控制部，根据所确定的图像配置将多个图像按每一图像组显示于显示装置中；及对应点指定部，对所显示的图像组中的一图像组和图像组中的另一图像组指定对应点，图像合成部根据所指定的对应点来合成一图像组和另一图像组。根据第9方式，与第1方式相同地，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
第10方式所涉及的图像合成装置在第9方式中，图像配置确定部从多个图像中设定成为投影变换的基准的基准图像，根据图像彼此的对应点来计算多个图像中除基准图像以外的图像相对于基准图像的投影变换矩阵，并根据计算出的投影变换矩阵来确定图像配置。根据第10方式，与第2方式相同地，根据相对于基准图像的投影变换矩阵对除基准图像以外的图像进行移动、旋转等来确定图像配置。
第11方式所涉及的图像合成装置在第9或第10方式中，图像合成部按每一图像组合成图像，显示控制部通过按每一图像组合成的图像来显示多个图像。
第12方式所涉及的图像合成装置在第9至第11方式中的任一方式中，图像配置确定部根据用户的指示输入来变更图像组彼此的相对配置，显示控制部以所变更的相对配置显示多个图像。根据第12方式，与第7方式相同地，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
为了实现上述目的，第13方式所涉及的记录介质为记录有使计算机执行第1至第8方式中任一方式所涉及的图像合成方法的程序的计算机可读取的编码的记录介质。根据第13方式，与第1方式相同地，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。另外，第13方式所涉及的记录介质能够设为各种光磁记录介质、半导体记录介质等非易失性记录介质。
发明效果
如上所述，根据本发明的图像合成方法、图像合成装置及记录介质，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
附图说明
图1是从下表面侧观察的桥梁的外观图。
图2是表示图像处理系统的结构的框图。
图3是表示处理部的功能结构的图。
图4是表示存储于存储部中的信息的图。
图5是表示第1实施方式所涉及的图像处理的流程图的图。
图6是表示桥板的摄影顺序的例子的图。
图7是表示节间的摄影顺序的例子的图。
图8是表示各图像的摄影范围的图。
图9是表示各摄影图像的图。
图10是表示按每一部件对摄影图像等进行文件夹分配并将其存放的状况的图。
图11是表示按每一部件对摄影图像等进行文件夹分配并将其存放的状况的另一图。
图12是表示图像配置确定处理的流程图。
图13是表示基准图像设定的状况的图。
图14是表示每一图像组的图像配置的例子的图。
图15是表示每一图像组的图像配置的例子的另一图。
图16是表示每一图像组的相对配置的变更的状况的另一图。
图17是表示对图像组设定对应点的状况的图。
图18是表示合成而得的图像的图。
图19是表示图像重复的区域中的图像的合成的图。
图20是表示考虑到重复而合成的图像的例子的图。
图21是表示合成后的正对校正的状况的图。
图22是表示损伤映射图像的例子的图。
图23是表示损伤信息的例子的图。
具体实施方式
以下，参考附图对本发明所涉及的图像合成方法、图像合成装置及记录介质的实施方式进行详细说明。
<桥梁的结构>
图1是表示从下方观察建筑物之一的桥梁1的状态的立体图。图1所示的桥梁1具有由主梁2、横梁3、横撑架4、横系杆5及桥板6构成的立体结构，并且构成为这些部件通过螺栓、铆钉、焊接等连结。在主梁2等的上部浇注有用于车辆等行驶的桥板6。桥板6通常为钢筋混凝土制。主梁2为横跨在桥台或桥墩之间而支承桥板6上的车辆等的荷载的部件，并且具有与桥板6的面(水平面)正交的面(铅垂方向的面)。横梁3是为了由多个主梁2来支承荷载而连结主梁2的部件。横撑架4及横系杆5分别是为了抵抗风及地震的横荷载而将主梁2彼此连结的部件。另外，在本实施方式中，对以桥梁1为对象(被摄体)的情况进行说明，但作为对象的建筑物并不限于桥梁，也可以为隧道、大楼、道路等。
<图像的获取>
在拍摄桥梁1的图像而生成合成图像的情况下，检查员使用数码相机100(参考图2)从下方拍摄桥梁1，并针对检查范围分割获取多个摄影图像(分别拍摄桥梁1的不同部分而得的多个图像)。拍摄是边在桥梁1的延伸方向及其正交方向上适当移动边进行的。另外，在检查员因桥梁1的周边状况而难以移动的情况下，可以在能够沿桥梁1移动的移动体上设置数码相机100来进行拍摄。也可以在这种移动体上设置数码相机100的升降机构、旋转机构(进行平遥和/或俯仰的机构)。另外，作为移动体的例子，能够举出车辆、机器人及飞行物(无人机等)，但并不限定于这些。
<图像处理系统的结构>
图2是表示图像处理系统10的概略结构的框图。图像处理系统10具备数码相机100(摄像装置)及系统主体200(图像合成装置)。图像处理系统10为进行分割拍摄被摄体而获取的多个图像的合成等的系统(详细内容将在后面叙述)，其能够适用于数码相机、智能手机、平板终端、个人计算机等。另外，数码相机100可以组装在与系统主体200分开的壳体中，也可以与其一体地构成。并且，也可以将数码相机100组装成系统主体200的一部分而由数码相机100和系统主体200构成本发明所涉及的图像合成装置。
<数码相机的结构>
数码相机100通过具备未图示的摄影镜头及成像元件的摄像光学系统110获取图像。作为成像元件的例子，能够举出CCD(Charge Coupled Device，电荷耦合器件)型成像元件及CMOS(Complementary Metal-Oxide Semiconducto r，互补金属氧化物半导体)型成像元件。成像元件的受光面上设置有R(红)、G(绿)或B(蓝)的滤色器，其能够根据各颜色的信号获取被摄体的彩色图像。数码相机100经由无线通信部130及天线132进行其与系统主体200之间的无线通信，并将所拍摄的图像输入到处理部210而进行后述的处理。
<系统主体的结构>
系统主体200具备处理部210、存储部220、显示部230及操作部240，并且它们彼此连接而发送/接收所需的信息。并且，系统主体200经由天线212而在其与数码相机100之间进行无线通信，并获取由数码相机100拍摄的摄影图像。
<处理部的结构>
图3是表示处理部210的结构的图。处理部210具备图像输入部210A、图像合成部210B、图像配置确定部210C、对应点指定部210D、损伤测量部210E、损伤映射部210F、显示控制部210G及无线通信部210H，并且进行基于由数码相机100获取的摄影图像的图像的合成等。图像输入部210A从数码相机100(或记录介质、网络等)输入桥梁1的摄影图像(分割拍摄桥梁1而得的多个图像)。图像合成部210B检测图像彼此的对应点，并且根据图像彼此的对应点来合成摄影图像。在无法将摄影图像(多个图像)合成为1个图像的情况下，图像配置确定部210C将多个图像分成能够进行合成的图像组，并针对每一图像组根据图像彼此的对应点来确定图像配置。对应点指定部210D根据用户的指示输入对所显示的图像组中的一图像组与图像组中的另一图像组指定对应点。损伤测量部210E提取并测量合成图像中的损伤(裂纹、剥离、腐蚀等)。损伤映射部210F将表示损伤的信息映射到合成图像中。显示控制部210G将摄影图像、合成图像等显示于显示部230(显示器232；显示装置)并进行控制。无线通信部210H经由天线212而在其与数码相机100之间发送/接收图像、信息。ROM210I(ROM：ReadOnly Memory、非易失性记录介质)中，记录有用于执行本发明所涉及的图像合成方法的图像合成程序等用于使图像处理系统10动作的各种程序的计算机可读取的编码。
上述处理部210的各部的功能能够使用各种处理器(processor)来实现。各种处理器包括例如执行软件(程序)来实现各种功能的通用的处理器即CPU(Central ProcessingUnit，中央处理器)。并且，上述的各种处理器还包括FPGA(Field Programmable GateArray，现场可编程门阵列)等能够在制造后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Devic e：PLD)。而且，ASIC(Application Specific IntegratedCircuit，专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等也包括在上述的各种处理器中。
各部的功能可以通过1个处理器来实现，也可以组合多个处理器来实现。并且，也可以通过1个处理器来实现多个功能。作为由1个处理器构成多个功能的例子，第1，如以客户端、服务器等计算机为代表有如下方式：由1个以上的CPU和软件的组合构成1个处理器，并由该处理器实现多个功能。第2，如以片上系统(System On Chip：SoC)等为代表有如下方式：使用由1个IC(Integrated Circuit，集成电路)芯片来实现系统整体的功能的处理器。如此，各种功能是作为硬件结构使用1个以上的上述的各种处理器而构成的。而且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
在上述处理器或电路执行软件(程序)时，将所执行的软件(包括用于执行本发明所涉及的图像合成方法的程序)的处理器(计算机)可读取的编码预先存储于ROM210I(参考图3)等非易失性记录介质中，并由处理器参考该软件。也可以将编码记录于各种光磁记录装置、半导体存储器等非易失性记录介质中，而不是ROM210I。在进行使用软件的处理时，例如RAM(Random Access Memory，随机存取存储器)用作临时存储区域，并且例如参考存储于EEPROM(Electronically Erasable and Programmable Read Only Memory，电可擦可编程只读存储器)中的数据。另外，在图3中，省略RAM、EEPROM等器件的图示。
<存储部的结构>
存储部220由CD(Compact Disk，光盘)、DVD(Digital Versatile Disk，数字多用光盘)、硬盘(Hard Disk)、各种半导体存储器等非易失性记录介质及其控制部构成，图4所示的图像及信息彼此建立关联而存储于此。摄影图像220A为通过数码相机100分割拍摄被摄体即桥梁1(桥板6的部分)并通过图像输入部210A输入的多个图像。另外，也可以存储经由网络、记录介质而获取的图像，而不是通过数码相机100及图像输入部210A输入的图像。合成信息220B为对应点、投影变换矩阵等用于合成摄影图像的信息。合成图像220C为合成摄影图像而得的图像(包括局部合成而得的图像组)。损伤信息220D为从合成图像提取的损伤的信息。损伤映射图像220E为将表示损伤的信息映射到合成图像而得的图像。这些图像及信息能够存放在文件夹或子文件夹中(参考图10、11)。
<显示部及操作部的结构>
显示部230具备显示器232(显示装置)，并且能够显示所输入的图像、存储于存储部220中的图像及信息、基于处理部210的处理结果等。操作部240包括作为输入器件和/或定点器件的键盘242及鼠标244，用户能够经由这些器件及显示器232的画面进行本发明所涉及的图像合成方法的执行所需的操作(后述)。该操作包括后述的文件夹及子文件夹的创建、图像的文件夹分配等操作(参考图10、11)、对应点的指定、所显示的图像组的移动、损伤信息的输入等。
<图像处理的顺序>
对基于图像处理系统10的图像处理进行说明。图5是表示图像处理(包括本发明所涉及的图像合成方法的各处理)的顺序的流程图。
<拍摄>
首先，获取通过数码相机100分割拍摄桥梁1(建筑物)的不同部分而得的多个摄影图像(步骤S100；图像获取工序)。系统主体200经由数码相机100(摄像光学系统110、无线通信部130、天线132、天线212)及处理部210(无线通信部210H、图像输入部210A)获取这些多个摄影图像。
在本实施方式中，对拍摄桥板6的情况进行说明。图6是表示桥板6的摄影顺序的例子的图。在图6中，示出了如下状况：以包括由主梁2(沿x方向延伸的部件)及横梁3(沿y方向延伸的部件)规定的节间G0的区域A为单位进行拍摄，并在使拍摄区域沿y方向及x方向(沿箭头方向)依次移动的同时重复拍摄。只要能够获取摄影范围整体的图像，则也可以以其他顺序进行拍摄。另外，在图6中，将桥梁1(桥板6)的延伸方向设为x，将在桥板6的面内与x正交的方向设为y，将与桥板6正交的方向(垂直下方)设为z，并由(x，y，z)构成了右手系的坐标。
图7是表示1个节间GO中的摄影顺序的例子的图。在图7的例子中，在从节间GO的+x侧端部的区域A1开始移动至-x方向端部的区域Ai的同时进行拍摄，并再次返回到+x侧端部而从区域Aj开始至-x方向端部的区域An为止拍摄总计n张(n为2以上的整数)图像。也可以以不同于此的模式(例如以区域A1～Ai～An～Aj的顺序)进行拍摄。在进行拍摄时，可以在每拍摄1个图像时移动拍摄位置而始终拍摄正对的图像，也可以在1个拍摄位置改变拍摄方向来拍摄多个图像(此时，将包括从斜向拍摄而得的图像)。并且，在拍摄中，优选通过适当地设定拍摄位置及拍摄方向而使在相邻的图像中产生充分的(例如，30％左右)重复，从而容易且高精度地检测及设定对应点。
图8是摄影图像的例子，示出了在确保重复的同时拍摄图像i1～i10为止10张图像的状况。并且，图9是单独表示图像i1～i10的图。另外，在图8、9中，图示了节间GO的框F(由主梁2及横梁3规定的矩形)，其他部件及床板中产生的损伤则省略了图示(若无特别说明，则在以下图中也相同)。
<图像及信息的存放>
图10是表示图像的存放状况的图。在图像处理系统10中，能够针对摄影范围整体创建主文件夹，并在该主文件夹中创建子文件夹。子文件夹例如能够按每一部件编号或按由主梁2及横梁3规定的每一节间GO创建。在图10中，示出了在主文件夹MF中创建子文件夹SF1～SF5的状况，但主文件夹及子文件夹的个数并无特别限定。并且，也可以在子文件夹中再创建子文件夹(例如，与不同的创建日期对应的多个子文件夹)。
在存放摄影图像时，能够在数码相机100侧创建主文件夹及子文件夹并将保存于这些文件夹内的摄影图像按每一文件夹输入到系统主体200侧(图5的步骤S102)。或者，可以根据操作部240(键盘242、鼠标244)的操作对从数码相机100依次输入到系统主体200(步骤S102)的图像进行文件夹分配。图像的输入可以通过处理部210(图像输入部210A)的控制来进行。无论在哪个方法中，只要最终在系统主体200(存储部220)中创建有主文件夹及子文件夹且存放有图像即可。这种文件夹及子文件夹的创建及图像的文件夹分配能够使用系统主体200(操作部240)所具备的文件管理工具(可以与普通个人计算机所具备的文件管理工具相同)并通过用户的操作来容易地实现。
图11是表示存放在子文件夹SF1内的图像及信息的图。除摄影图像(例如，上述图像i1～i10)以外，子文件夹SF1中还存放有与这些摄影图像对应的图像组(例如，后述的图像组G1、G2)及合成图像(例如，后述的图像G3、G3a)、损伤信息(参考图23)及损伤映射图像(参考图22)等的处理结果。即，在同一文件夹内存放有摄影图像及与摄影图像对应的处理结果。图11中，用虚线包围的文件表示摄影图像，用短划线包围的文件表示处理结果。
<合成信息的计算>
若在步骤S100、S102中进行图像的拍摄及输入，则处理部210(图像合成部210B)计算合成信息(合成信息220B)(步骤S104)。作为合成信息，例如能够计算摄影图像彼此的对应点、根据对应点而计算出的投影变换矩阵等。
<合成可否判断>
处理部210(图像合成部210B)根据在步骤S104中计算出的合成信息来判断是否能够将所有摄影图像合成为1个图像(步骤S106)。是否能够合成能够根据对应点的数、对应点的可靠性是否充分(对应点是否为特征点)、是否能够根据对应点计算投影变换矩阵等来判断。此时，可以通过RANSAC(RANdom SAmple Consensus，随机抽样一致性)算法等改变对应点的组合来重复投影变换矩阵和其评价值的计算而进行判断。在能够将所有图像合成为1个图像的情况下，省略步骤S108～S118的处理，并前进到步骤S120而对合成图像进行损伤提取。在无法将所有图像合成为1个图像的情况下，进行步骤S108～S118的处理(参考以下说明)。
<图像的分类>
在步骤S106中判断为“无法将所有图像合成为1个图像”的情况下，图像合成部210B将摄影图像分成能够进行合成的图像组(步骤S108)，图像配置确定部210C针对每一图像组根据图像彼此的对应点来确定图像配置(步骤S110)。
<图像配置的确定>
图12是表示图5的步骤S110中的图像配置确定处理的详细内容的流程图。图像配置确定部210C从多个摄影图像中设定成为投影变换的基准的基准图像(步骤S110A)。基准图像能够根据正对度、清晰度等图像的特征来设定(选择)，但也可以将特定拍摄顺序的图像(例如，最先拍摄的图像)设为基准图像。如图13的(a)部分所示，在图8、9的例子中，能够针对图像i1、i2将图像i1设定为基准图像。
若设定基准图像，则图像配置确定部210C根据图像彼此的对应点计算除基准图像以外的图像相对于基准图像的投影变换矩阵(步骤S110B)。如图13的(a)部分所示，在图8、9的例子中，将图像i2(除基准图像以外的图像)映射到与图像i1(基准图像)相同的平面上，计算用于对齐对应点的投影变换矩阵。若计算出图像i2相对于图像i1(基准图像)的投影变换矩阵，则如图13的(b)部分所示，以图像i2为基准图像计算图像i3相对于图像i2的投影变换矩阵。如此，在改变基准图像的同时针对图像组的所有图像(在步骤S110C中成为“是”为止)计算投影变换矩阵。若针对所有图像计算出投影变换矩阵，则图像配置确定部210C根据计算出的投影变换矩阵对各图像进行移动、旋转、放大或缩小及变形等，确定图像组的各图像的配置(步骤S110D)。以下，设为图像i1～i4及图像i6～i9构成能够进行合成的图像组G1、图像i5及图像i10构成能够进行合成的图像组G2来进行说明。另外，在上述图像配置的确定中，根据投影变换矩阵对各图像进行移动、旋转、变形等，但所图示的例子仅概念地示出图像的配置等，并未准确地示出图像的移动、旋转、变形等。
在步骤S110D中确定的图像配置可以为图像彼此重复的区域重叠的图像配置(参考图14)，也可以为图像彼此不重叠的图像配置(参考图15)。在图像彼此不重叠的图像配置的情况下，如图15所示能够设成如下配置，即，将图像在x方向及y方向上分开配置，并且不将图像的朝向改变为根据投影变换矩阵求出的朝向(不使图像旋转)。
<图像显示>
若在步骤S110(步骤S110A～S110D)中确定图像配置，则处理部210(图像配置确定部210C、显示控制部210G)使能够进行合成的图像组按每一图像组显示于显示器232(显示装置)中(步骤S112)。在上述例子中，根据如图14或图15的图像配置显示图像组G1、G2。此时，处理部210(图像配置确定部210C、显示控制部210G)可以分别对图像组G1、G2实施用框包围、按每一图像组以不同颜色显示、显示图像组的编号等处理，以能够容易地识别图像组。并且，也可以按每一图像组合成图像组G1、G2，并显示按每一图像组合成的图像。
在步骤S112中进行显示时，有时图像组之间的配置会不适当。例如，如图16所示，有时应配置于图像组G1的下部(-x方向)的图像组G2会配置于图像组G1的横向上。因此，处理部210(图像配置确定部210C)判断是否变更图像组的配置(步骤S114)，并在进行变更的情况下(在步骤S114中为“是”)返回到步骤S112，由显示控制部210G以变更后的配置再次显示图像组G1、G2。步骤S114的判断能够根据用尸的指示输入(例如，经由键盘242和/或鼠标244的图像组G2的移动、即相对配置的变更操作)来进行。在图16的例子的情况下，能够根据用户的操作(例如，用鼠标244拖动)由图像配置确定部210C及显示控制部210G将图像组G2移动至图像组G1的下部(在图16中用箭头图示移动方向)而如图14那样显示。
若图像组彼此的相对配置以不适当的状态显示，则有时对应点的指定会花费时间，但在图像处理系统10中，能够通过进行这种配置的变更来迅速且容易地进行对应点的指定。
<对应点的指定>
若通过步骤S114为止的处理而确定图像组的配置，则处理部210(对应点指定部210D)对所显示的图像组中的一个图像组和另一图像组指定对应点(步骤S116)。例如，在图像组G1、G2如图14所示配置及显示的情况下，如图17所示，根据图像组G1中的鼠标244的点击等(用户操作)来指定点P1a，并在图像组G2中指定点P1a的对应点即点P1b。此时，如图17所示，对应点指定部210D及显示控制部210G通过用直线连接等对所指定的点P1a、P1b建立关联及进行识别显示，由此能够容易地掌握所指定的点对应的情况。以下，同样地对点P2a和点P2b、点P3a和点P3b、点P4a和点P4b、点P5a和点P5b、点P6a和点P6b也指定对应点。另外，在图17中，示出了对图像组G1、G2分别指定6个对应点的例子，但所指定的对应点的数量并无特别限定。在图像组G1、G2如图15所示配置及显示的情况下，也能够同样地对图像i4、i5和图像i9、i10指定对应点。
在无法以如上所述指定的对应点精度良好地合成图像组的情况下，或者，在无法进行合成的情况下，处理部210(图像合成部210B、对应点指定部210D、显示控制部210G)可以将警告消息显示于显示器232中，促使用户再次指定对应点。
<图像的合成>
若在步骤S116中指定对应点，则处理部210(图像合成部210B、图像配置确定部210C)根据所指定的对应点来合成图像组(步骤S118)。在图17的例子中，图像合成部210B、图像配置确定部210C根据作为对应点的点P1a～P6b来计算以图像组G1为基准的图像组G2的投影变换矩阵(或以图像组G2为基准的图像组G1的投影变换矩阵)。而且，根据计算出的投影变换矩阵对构成图像组G2的图像(图像i5、i10)进行移动、旋转、变形等来确定图像的配置，并以所确定的配置合成图像。另外，在无法以所指定的对应点计算出投影变换矩阵的情况下，可以在计算精度差时等显示警告消息，并根据用户的操作再次指定对应点来重新计算投影变换矩阵。
将图像组G1、G2合成为1个图像的状况示于图18。在图18中，示出了合成后的图像G3(用实线示出轮廓)和上述框F。另外，图中的虚线为表示合成前的各图像的线。如此，在本实施方式所涉及的图像处理系统10中，能够进行合成的图像组(图像组G1、G2)按每一图像组进行显示，因此能够容易地掌握未能(自动)合成哪个图像组。并且，只要对未能合成的图像组(图像组G1和图像组G2)指定对应点即可，因此无需对所有图像指定对应点，从而能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成。
<重复区域中的图像的选择>
在图18的例子中，在所合成的图像G3中存在多个元图像重复的区域。若这种区域中存在损伤等测量对象，则有可能会因合成时的位置偏移而产生损伤变模糊、宽度变宽等现象，从而使检测和/或测量的精度降低。因此，在图像处理系统10中，在合成图像时，能够在图像重复的区域中选择1个图像进行合成。将这种图像的合成的例子示于图19、20。图19的(a)部分表示图像i1和图像i2在区域OL中重复的状况，在这种区域OL中，处理部210(图像合成部210B)选择图像i1、i2中的1个图像。例如，如图19的(b)部分那样针对区域OL选择图像i1进行合成(灰色的阴影部分表示图像i2被选择的区域)。这种图像的选择可以由处理部210(图像合成部210B)例如根据图像的亮度、被摄体的清晰度等特征来进行，也可以根据经由操作部240的用户的操作来选择。
与图19相同地，将合成所有图像(图像i1～i10)而得的图像G3a示于图20(图中的虚线表示合成前的各图像的边界)。在图20中，为了清楚地示出各图像的区域而省略了框F的图示。如此，通过在图像重复的区域中选择1个图像进行合成，能够减少测量对象(损伤等)的模糊而良好地进行检测及测量。
<图像合成后的正对校正>
如上所述，在图像处理系统10中，计算相对于基准图像的另一图像的投影变换矩阵来确定图像配置，但在基准图像不正对拍摄方向的情况下，有时在合成后的图像中原本应为矩形的区域不会成为矩形。例如，如图21的(a)部分所示，有时在合成后的图像中节间的框F会成为梯形。此时，处理部210(图像合成部210B、图像配置确定部210C)根据经由键盘242和/或鼠标244的用户的操作来指定形成矩形的点(例如，框F的4角的点C1、C2、C3、C4)，并如图21的(b)部分所示，根据投影变换在这4个点处形成矩形。由此，在图像合成后也能够获得被摄体正对的图像(正对图像)。
<损伤的提取及测量>
若在步骤S118为止的处理中获得合成图像，则处理部210(损伤测量部210E)对合成图像进行损伤的提取及测量(步骤S120)。作为损伤的分类，能够举出剥离、漏水、裂纹、生锈等，具体而言，所提取的损伤的种类可以根据建筑物(被摄体)的种类、特征、检查的目的等条件进行设定。并且，作为所测量的项目，有位置、大小、方向、范围、形状等，但测量项目也可以根据损伤的分类并且根据建筑物的种类、特征、检查的目的等条件进行设定。
损伤的提取及测量能够根据分类通过各种方法来进行，但关于裂纹，例如能够使用日本专利4006007号公报中记载的裂纹检测方法。该方法为具有创建小波图像的工序及根据小波图像来判定裂纹区域的工序的裂纹检测方法。在创建小波图像的工序中，计算与被对比的2个浓度对应的小波系数，并且计算分别改变该2个浓度时的各自的小波系数来创建小波系数表，对拍摄作为裂纹检测对象的混凝土表面而得的输入图像进行小波变换。在判定裂纹区域的工序中，在小波系数表内，将与局部区域内的相邻像素的平均浓度和目标像素的浓度对应的小波系数设为阈值，并通过比较目标像素的小波系数和阈值来判定裂纹区域和非裂纹区域。
并且，作为检测生锈及剥离的方法，例如能够使用日本特表2010-538258号公报中记载的钢桥的涂膜检查系统的处理方法。在该处理方法中，使用来自所拍摄的钢桥涂膜的图像文件的颜色信息、影像处理、分水线、Parzen窗而检测了生锈和剥离。
<测量结果的映射>
处理部210(损伤映射部210F)将损伤的测量结果映射到合成图像中(步骤S122)。映射例如能够通过将与测量结果建立关联的字符、图形、记号等显示于合成图像中来进行。所显示的字符、图形、记号等能够根据经由操作部240(键盘242和/或鼠标244)的操作来选择，并且根据选择由处理部210(显示控制部210G)将测量结果显示于显示器232中。字符、图形、记号等可以简化或强调实际的损伤，也可以根据损伤的类别、大小等而以不同形态来显示。图22是表示对图像G3a映射测量结果而得的图像G4的图，其显示表示腐蚀的位置及大小的圆形的图形M1及表示裂纹的数量、位置、长度的线状的图形M2～M4。如图22那样映射有测量结果的图像存储于存储部220中(图4的损伤映射图像220E)，并通过显示控制部210G的控制显示于显示器232中。
这种测量结果的映射也可以对包括表示桥梁1的尺寸信息的线图信息的图纸数据(例如CAD数据、CAD：Computer-Aided Design(计算机辅助设计))进行。此时，在规定CAD数据的坐标系不同于图22等所示的坐标系的情况下，进行与坐标系的关系对应的坐标变换(移动、旋转、反转等)。这种变换能够通过处理部210(损伤映射部210F)来进行。
<损伤信息的输入>
在图像处理系统10中，能够对所映射的测量结果输入损伤信息。损伤信息的输入根据经由显示部230及操作部240(键盘242和/或鼠标244)的用户的指示由处理部210(损伤测量部210E、损伤映射部210F)来进行。在图22中，示出了在针对图形M1、M4的引线部分输入有损伤的信息(部件名、损伤的类别、粗度及长度、图像编号)的状况。所输入的损伤信息例如以如图23的形式存储于存储部220中(图4的损伤信息220D)，并根据经由显示部230及操作部240的用户的指示，通过显示控制部210G的控制显示于显示器232中。另外，作为损伤信息而输入的信息的内容及形式优选遵照日本国土交通省制定的“桥梁定期检查指南(2014年6月)”。
如上所述，在本实施方式所涉及的图像处理系统10中，能够迅速且容易地进行对应点的指定及基于所指定的对应点的图像的合成，并且能够进行基于所合成的图像的损伤的提取及测量。
以上，关于本发明的实施方式进行了说明，但本发明并不限定于上述方式，能够在不脱离本发明的精神的范围内进行各种变形。
符号说明
1-桥梁，2-主梁，3-横梁，4-横撑架，5-横系杆，6-桥板，10-图像处理系统，100-数码相机，110-摄像光学系统，130-无线通信部，132-天线，200-系统主体，210-处理部，210A-图像输入部，210B-图像合成部，210C-图像配置确定部，210D-对应点指定部，210E-损伤测量部，210F-损伤映射部，210G-显示控制部，210H-无线通信部，210I-ROM，212-天线，220-存储部，220A-摄影图像，220B-合成信息，220C-合成图像，220D-损伤信息，220E-损伤映射图像，230-显示部，232-显示器，240-操作部，242-键盘，244-鼠标，A-区域，A1-区域，Ai-区域，Aj-区域，An-区域，F-框，G1-图像组，G2-图像组，G3-图像，G3a-图像，G4-图像，GO-节间，M1-图形，M2-图形，M3-图形，M4-图形，MF-主文件夹，OL-区域，S100～S122-图像合成方法的各步骤，SF1-子文件夹，SF2-子文件夹，SF3-子文件夹，SF4-子文件夹，SF5-子文件夹，i1-图像，i2-图像，i3-图像，i4-图像，i5-图像，i6-图像，i7-图像，i8-图像，i9-图像，i10-图像。
Claims (13)
1.一种图像合成方法，其包括如下步骤：
输入分割拍摄被摄体而获取的多个图像的步骤；及
根据图像彼此的对应点来合成所述多个图像的步骤，
在无法将所有所述多个图像合成为1个图像的情况下，进行如下步骤：
将所述多个图像分成能够进行合成的图像组的步骤；
针对每一所述图像组根据图像彼此的对应点来确定图像配置的步骤；
根据所述确定的图像配置将所述多个图像按每一所述图像组显示于显示装置中的步骤；
对所述被显示的所述图像组中的一图像组和所述图像组中的另一图像组指定对应点的步骤；及
根据所述被指定的对应点来合成所述一图像组和所述另一图像组的步骤。
2.根据权利要求1所述的图像合成方法，其中，
在确定所述图像配置的步骤中，从所述多个图像中设定成为投影变换的基准的基准图像，根据所述图像彼此的对应点来计算所述多个图像中除所述基准图像以外的图像相对于所述基准图像的投影变换矩阵，并根据所述计算出的投影变换矩阵来确定所述图像配置。
3.根据权利要求1或2所述的图像合成方法，其中，
在确定所述图像配置的步骤中，确定图像彼此不重叠的图像配置。
4.根据权利要求1或2所述的图像合成方法，其中，
在确定所述图像配置的步骤中，确定图像彼此重复的区域重叠的图像配置。
5.根据权利要求1至4中任一项所述的图像合成方法，其中，
所述图像合成方法包括按每一所述图像组合成图像的步骤，
在显示所述多个图像的步骤中，通过按每一所述图像组合成的图像来显示所述多个图像。
6.根据权利要求5所述的图像合成方法，其中，
在按每一所述图像组合成图像的步骤中，在多个图像重复的区域中选择所述重复的多个图像中的1个图像来合成图像。
7.根据权利要求1至6中任一项所述的图像合成方法，其中，
所述图像合成方法包括根据用户的指示输入来变更所述图像组彼此的相对配置的步骤，
在显示所述多个图像的步骤中，以所述变更的相对配置显示所述多个图像。
8.根据权利要求1至7中任一项所述的图像合成方法，其中，
在输入所述多个图像的步骤中，输入分割拍摄作为所述被摄体的建筑物而获取的多个图像。
9.一种图像合成装置，其具备：
图像输入部，输入分割拍摄被摄体而获取的多个图像；及
图像合成部，根据图像彼此的对应点来合成所述多个图像，
所述图像合成装置还具备：
图像配置确定部，在无法将所述多个图像合成为1个图像的情况下，将所述多个图像分成能够进行合成的图像组，并针对每一所述图像组根据图像彼此的对应点来确定图像配置；
显示控制部，根据所述确定的图像配置将所述多个图像按每一所述图像组显示于显示装置中；及
对应点指定部，对所述被显示的所述图像组中的一图像组和所述图像组中的另一图像组指定对应点，
所述图像合成部根据所述被指定的对应点来合成所述一图像组和所述另一图像组。
10.根据权利要求9所述的图像合成装置，其中，
所述图像配置确定部从所述多个图像中设定成为投影变换的基准的基准图像，根据所述图像彼此的对应点来计算所述多个图像中除所述基准图像以外的图像相对于所述基准图像的投影变换矩阵，并根据所述计算出的投影变换矩阵来确定所述图像配置。
11.根据权利要求9或10所述的图像合成装置，其中，
所述图像合成部按每一所述图像组合成图像，
所述显示控制部通过按每一所述图像组合成的图像来显示所述多个图像。
12.根据权利要求9至11中任一项所述的图像合成装置，其中，
所述图像配置确定部根据用户的指示输入来变更所述图像组彼此的相对配置，
所述显示控制部以所述变更的相对配置显示所述多个图像。
13.一种记录介质，记录有使计算机执行权利要求1至8中任一项所述的图像合成方法的程序的计算机可读取的编码。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017126205 | 2017-06-28 | ||
| JP2017-126205 | 2017-06-28 | ||
| PCT/JP2018/021001 WO2019003796A1 (ja) | 2017-06-28 | 2018-05-31 | 画像合成方法、画像合成装置、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110809779A true CN110809779A (zh) | 2020-02-18 |
| CN110809779B CN110809779B (zh) | 2023-07-28 |
Family
ID=64741377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880043072.0A Active CN110809779B (zh) | 2017-06-28 | 2018-05-31 | 图像合成方法、图像合成装置及记录介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11423511B2 (zh) |
| EP (1) | EP3648050B1 (zh) |
| JP (1) | JP6823719B2 (zh) |
| CN (1) | CN110809779B (zh) |
| WO (1) | WO2019003796A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159008A (zh) * | 2021-06-25 | 2021-07-23 | 湖南星汉数智科技有限公司 | 客票行程单构建方法、装置、计算机设备和存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10764498B2 (en) * | 2017-03-22 | 2020-09-01 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling the same, and storage medium |
| EP3660786A4 (en) * | 2017-07-25 | 2020-08-05 | FUJIFILM Corporation | METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM |
| JP2021149797A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | 支援装置、支援方法、及び支援プログラム |
| JP2021149798A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社Lixil | 支援装置、支援方法、及び支援プログラム |
| JP7559417B2 (ja) | 2020-08-07 | 2024-10-02 | 株式会社リコー | 表示装置、表示システム、表示制御方法およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000090232A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2006099497A (ja) * | 2004-09-30 | 2006-04-13 | Seiko Epson Corp | パノラマ画像の合成 |
| JP2009258651A (ja) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | 路面標示地図生成方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549681B1 (en) | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| JP3530653B2 (ja) * | 1995-09-26 | 2004-05-24 | キヤノン株式会社 | パノラマ画像合成装置 |
| JP3696952B2 (ja) * | 1995-09-29 | 2005-09-21 | キヤノン株式会社 | 画像合成装置および方法 |
| US6714689B1 (en) | 1995-09-29 | 2004-03-30 | Canon Kabushiki Kaisha | Image synthesizing method |
| JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
| JPH10108003A (ja) | 1996-09-30 | 1998-04-24 | Sharp Corp | 画像合成装置および画像合成方法 |
| JP4006007B2 (ja) | 2004-11-10 | 2007-11-14 | 大成建設株式会社 | ひび割れ検出方法 |
| KR100891934B1 (ko) | 2007-09-03 | 2009-04-08 | 한국도로공사 | 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법 |
| JP2012242821A (ja) * | 2011-05-16 | 2012-12-10 | Sony Mobile Communications Inc | 表示画像生成方法 |
| US9070216B2 (en) * | 2011-12-14 | 2015-06-30 | The Board Of Trustees Of The University Of Illinois | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring |
| TWI573454B (zh) * | 2013-02-01 | 2017-03-01 | 宏達國際電子股份有限公司 | 電子裝置及其影像合成方法 |
| JP6397284B2 (ja) * | 2014-09-16 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2017085297A (ja) | 2015-10-26 | 2017-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2018
- 2018-05-31 CN CN201880043072.0A patent/CN110809779B/zh active Active
- 2018-05-31 JP JP2019526734A patent/JP6823719B2/ja active Active
- 2018-05-31 EP EP18825419.7A patent/EP3648050B1/en active Active
- 2018-05-31 WO PCT/JP2018/021001 patent/WO2019003796A1/ja unknown
-
2019
- 2019-12-11 US US16/710,567 patent/US11423511B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000090232A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2006099497A (ja) * | 2004-09-30 | 2006-04-13 | Seiko Epson Corp | パノラマ画像の合成 |
| JP2009258651A (ja) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | 路面標示地図生成方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159008A (zh) * | 2021-06-25 | 2021-07-23 | 湖南星汉数智科技有限公司 | 客票行程单构建方法、装置、计算机设备和存储介质 |
| CN113159008B (zh) * | 2021-06-25 | 2021-09-17 | 湖南星汉数智科技有限公司 | 客票行程单构建方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6823719B2 (ja) | 2021-02-03 |
| EP3648050A1 (en) | 2020-05-06 |
| CN110809779B (zh) | 2023-07-28 |
| US11423511B2 (en) | 2022-08-23 |
| EP3648050B1 (en) | 2022-11-02 |
| US20200118247A1 (en) | 2020-04-16 |
| WO2019003796A1 (ja) | 2019-01-03 |
| JPWO2019003796A1 (ja) | 2020-04-09 |
| EP3648050A4 (en) | 2020-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110809779B (zh) | 图像合成方法、图像合成装置及记录介质 | |
| CN110998655B (zh) | 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质 | |
| Sapirstein | Accurate measurement with photogrammetry at large sites | |
| WO2019150872A1 (ja) | 画像処理装置及び画像処理方法 | |
| CN110462678B (zh) | 图像处理装置及图像处理方法 | |
| US20080279447A1 (en) | Computational Solution Of A Building Of Three Dimensional Virtual Models From Aerial Photographs | |
| JP6937391B2 (ja) | 補修長の決定方法及び補修長の決定装置 | |
| US20220136979A1 (en) | Information processing apparatus, information processing method, and non- transitory computer-readable storage medium | |
| KR102473804B1 (ko) | 영상관제 시스템에서 카메라 영상내 관제 지점의 지도 매핑 방법 | |
| JPH11337322A (ja) | ２次元画像比較による外観の測定方法および装置 | |
| NL2016718B1 (en) | A method for improving position information associated with a collection of images. | |
| Du et al. | Mosaicking of mountain tunnel images guided by laser rangefinder | |
| Jarron et al. | Multi-camera panoramic imaging system calibration | |
| JP7263983B2 (ja) | 撮影漏れ検出装置、及び、撮影漏れ検出方法 | |
| KR102044639B1 (ko) | 스테레오 카메라 정렬 방법 및 장치 | |
| CN113591720A (zh) | 车道偏离检测方法、装置及计算机存储介质 | |
| JPH08219783A (ja) | 掘削地山等の変位計測管理システム | |
| CN112114301A (zh) | 目标定位方法、装置、计算机可读存储介质和计算机设备 | |
| Takahashi et al. | Image blur detection method based on gradient information in directional statistics | |
| JP2023007662A (ja) | 損傷図作成方法 | |
| TW201117132A (en) | Method for identifying moving foreground objects in an orthorectified photographic image | |
| Inzerillo et al. | Super-Resolution Images Methodology Applied to UAV Datasets to Road Pavement Monitoring. Drones 2022, 6, 171 | |
| TW201117131A (en) | Method for creating a mosaic image using masks | |
| Li et al. | Topographic mapping and terrain modeling from multi-sensor satellite imagery | |
| CN117745838A (zh) | 一种基于仿射变换和网格化思想的单目相机测距标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |