CN108780586B - 图像处理方法、显示设备和检查系统 - Google Patents

图像处理方法、显示设备和检查系统 Download PDF

Info

Publication number
CN108780586B
CN108780586B CN201780015932.5A CN201780015932A CN108780586B CN 108780586 B CN108780586 B CN 108780586B CN 201780015932 A CN201780015932 A CN 201780015932A CN 108780586 B CN108780586 B CN 108780586B
Authority
CN
China
Prior art keywords
image
dimensional
images
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780015932.5A
Other languages
English (en)
Other versions
CN108780586A (zh
Inventor
绪方惟高
冈谷贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Ricoh Co Ltd
Original Assignee
Tohoku University NUC
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Ricoh Co Ltd filed Critical Tohoku University NUC
Priority claimed from PCT/JP2017/009342 external-priority patent/WO2017155005A1/en
Publication of CN108780586A publication Critical patent/CN108780586A/zh
Application granted granted Critical
Publication of CN108780586B publication Critical patent/CN108780586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Abstract

确定将三维网格变换为二维全景坐标的系数，该三维网格近似三维模型的至少一部分，该三维模型包括目标对象的至少一部分并且从多个二维图像生成。根据第一图像，指定从与二维全景坐标的一部分对应的多个二维图像确定的第一图像上的第一位置、以及要投影到二维全景坐标上的注释。确定与该注释到二维全景坐标上的投影对应的第二位置。将注释叠加在通过将第一图像投影到二维全景坐标上而获得的第二图像上。确定与第一位置到第三图像上的投影对应的第三位置，并且将注释投影并叠加在第三图像上的第三位置处。

Description

图像处理方法、显示设备和检查系统
技术领域
本发明涉及图像处理方法、显示设备和检查系统。
背景技术
当检查比人类大得多的三维对象(诸如建筑物结构)时，需要使用遥控机器人等拍摄检查对象的特写照片，并且需要由地面上的检查员使用拍摄到的、已对其执行了定位的图像进行检查工作。相应地，已知一种技术，该技术使用多个拍摄到的图像来创建三维模型，并且与三维模型和拍摄到的图像相关联地存储并显示用户输入的注释。
在专利文献1中，公开了一种技术，其中，用户在二维图像上选择的对象(例如，边界框)和用户输入的内容(例如，注释)被投影在三维模型上，并且这些对象和内容被反映在通过拍摄相同的三维位置而获得的其他二维图像中并被显示在其上。根据专利文献1，用户在观看二维图像时能够在从多个图像创建的三维模型中创建三维对象的注释。
发明内容
[技术问题]
然而，在传统技术中使用三维模型创建注释的方法中，需要从各个方向浏览三维模型以便理解整个图像，因此存在一个问题在于一览性(perspicuity)低。即使专利文献1也没有消除一览性低的问题。
本发明是有鉴于上述问题而完成的，并且其目的在于能够容易地观看与三维模型上指定的位置相关联的信息。
[问题的解决方案]
根据本发明的一个方面，一种图像处理方法包括：从多个二维图像生成包含目标对象的至少一部分的三维模型；通过三维网格近似该三维模型的至少一部分；确定将该三维网格变换为二维全景坐标的系数；从与该二维全景坐标的一部分对应的多个二维图像中确定第一图像；根据该第一图像，指定要投影到该二维全景坐标上的内容和该第一图像上的第一位置；确定与该内容到该二维全景坐标上的投影对应的第二位置；将该第二位置和该内容彼此相关联地存储；将该内容作为注释叠加在通过将该第一图像投影到该二维全景坐标上而获得的第二图像上；从多个二维图像确定第三图像；确定与该第一位置到该第三图像上的投影对应的第三位置；以及将该内容投影在该第三图像上的该第三位置处，以叠加该内容作为注释。
[发明的有益效果]
本发明的效果在于，可以容易地观看与在三维模型上指定的位置相关联的信息。
附图说明
图1A是用于示意性地说明由根据第一实施例的图像处理装置执行的图像处理的视图。
图1B是用于示意性地说明图像处理的视图。
图1C是用于示意性地说明图像处理的视图。
图1D是用于示意性地说明图像处理的视图。
图2是用于更详细地说明第一实施例中的注释的生成方法的视图。
图3是用于更详细地说明第一实施例中的注释的生成方法的视图。
图4A是用于更详细地说明第一实施例中的注释的生成方法的视图。
图4B是用于说明生成方法的视图。
图5是示出可应用于第一实施例的图像处理装置的硬件配置的示例的框图。
图6A是用于说明第一实施例中的图像处理装置的功能的一个示例的功能框图。
图6B是用于解释一个示例的功能框图。
图7是示出第一实施例中的图像处理的一个示例的流程图。
图8A是用于说明第一实施例中的图像和注释的显示示例的视图。
图8B是用于说明显示示例的视图。
图9是用于说明第一实施例中的图像和注释的显示示例的视图。
图10A是用于说明第一实施例中的三维网格的位置调整的视图。
图10B是用于说明调整的视图。
图11A是用于说明在第一实施例中将三维网格变换为二维展开图的处理的视图。
图11B是用于说明处理的视图。
图12是用于说明根据第二实施例的图像处理装置的功能的一个示例的功能框图。
图13是示出第二实施例中的UI屏幕的第一示例的视图。
图14A是示出第二实施例中的UI屏幕的第二示例的视图。
图14B是示出第二实施例中的UI屏幕的第二示例的视图。
图14C是示出第二实施例中的UI屏幕的第二示例的视图。
图15是示出第二实施例中的UI屏幕的第三示例的视图。
图16是示出第二实施例中的UI屏幕的第四示例的视图。
图17是示出第二实施例中的UI屏幕的第五示例的视图。
图18是示意性地示出根据第三实施例的成像装置的外观的示例的三面体视图。
图19A是示出使用可应用于第三实施例的三轴万向节的成像装置的示例的视图。
图19B是示出该示例的视图。
图20是示出第三实施例中的成像装置的配置的一个示例的框图。
具体实施方式
参考附图，以下详细描述图像处理方法、显示设备和检查系统的示例性实施例。
第一实施例中的处理的概述
图1A至1D是用于示意性地说明根据第一实施例的由图像处理装置执行的图像处理的视图。在图1A中，对象100是建筑物结构，例如桥，并且包括裂缝101。对象100的观察者(例如，桥的检查员)为了观察(检查)作为观察对象的裂缝101的状态，从不同的观察点拍摄裂缝101，并获得作为二维图像的多个捕获图像。
图1B示出了基于捕获图像的两个图像110和120，其中，来自不同观察点的裂缝101被成像。图像110和120分别包括对象100的区域102和103的范围的图像。在图像110和120中，作为与裂缝101对应的图像的对象被包含在坐标值111和121的相应位置处。
如图1C示意性所示，第一实施例中的图像处理装置基于图像110和120生成三维网格(mesh)150，该三维网格150近似对象100的至少一部分。三维网格150可以例如是平面，该平面近似对象100的一个表面。此外，如图1D所示，第一实施例中的图像处理装置生成二维展开图130，该二维展开图130是通过在二维平面上展开(deploy)三维网格而获得。二维展开图130是通过对三维网格150所包括的每个子平面进行变换以使得子平面被正交投影而获得的图。
在图1D中，图像131和132是通过对图像110和120进行坐标变换到二维展开图130而获得的图像。第一实施例中的图像处理装置可以基于坐标值111和121来组合图像131和132，并且形成全景图像140。全景图像140和二维展开图130在坐标值133的位置处包括与坐标值111和121对应的对象，其中使包含于图像110和120中的坐标值111和121与坐标值133匹配。
例如，第一实施例中的图像处理装置可以根据用户操作，在用户正在参考图像110(第一图像)(参见图1B)时，输入对象的坐标值111和文本112。文本112是指示对象的注释的内容。文本112不限于字符信息，并且可以是图标图像或手绘图像。此外，第一实施例中的图像处理装置可以确定另一图像中的、与输入的坐标值对应的坐标值。例如，图像处理装置将包含在图像110中的对象的坐标值111变换为作为另一图像的二维展开图130上的坐标值。
在另一个第一实施例中，例如，可以在用户正在参考对其相对于二维展开图130(参见图1D)执行了坐标变换的图像131时，输入对象的坐标值133和文本134。例如，相关的图像处理装置将包含在图像131中的对象的坐标值133变换为作为另一图像的捕获图像130上的坐标值。
第一实施例中的图像处理装置可以将输入的文本112与另一图像中的、与对象的坐标值111对应的坐标值相关联地存储。例如，图像处理装置可以将文本112与二维展开图130中的对象的坐标值133相关联地存储。
例如，存储的注释可以被显示为叠加在作为第二图像的、具有全景坐标的另一图像(图像120、图像132、全景图像140)上。在图1B的示例中，例如，针对图像110中的对象的坐标值111输入的文本112被显示为针对作为另一图像的图像120中的、与坐标值111的对象对应的对象的坐标值121的文本122，并进行注释显示。在图1D的示例中，文本112被显示为被叠加为针对二维展开图130的、在对应于坐标值133的位置处的文本134。
参考图2至4，将更详细地描述第一实施例中的注释的生成方法。在图2至图4中，与上述图1A至1D共同的部分由相同的附图标记表示，并且省略其详细描述。第一实施例中的图像处理装置在来自捕获图像的图像110和120上以及在二维展开图130上生成相应注释，其中为了该二维展开图130而将该三维网格150在二维平面上展开，该三维网格150是基于捕获图像而生成的并且近似观察对象的至少一部分。
图2和3是用于说明将图像中的坐标值变换为另一图像中的坐标值的处理的图。在图2中，图像110和120基于从彼此不同的观察点P1和P2被成像的捕获图像。在图2的示例中，图像110中的对象的坐标值111被变换为作为另一图像的图像120中的坐标值121。
在图3中，第一实施例中的图像处理装置实际上一旦将图像110和120变换为三维网格150，并且随后将三维网格150变换为二维展开图130。对于实际处理，图像处理装置省略了变换为三维网格150的处理，并且图像处理装置将图像110和120直接变换为二维展开图130并形成图像131和132。类似地，图像处理装置直接确定二维展开图130中的、对应于坐标值111的坐标值133，而不经过变换为三维网格150的处理。这也适用于图2中的示例。
如图3所示，二维展开图130或对应于二维展开图130的全景图像140等同于从观察点P3观察对象100的情况。
图4A和4B示出了第一实施例中的将三维网格变换为二维展开图的另一示例。在图4A的示例中，在对象100'中，从观察者观看到的角度不同的部分已被添加到上述对象100中，并且划痕105存在于附加部分中。在图4A中，基于使用区域102、103和104被成像在其中的捕获图像而生成的三维网格150'，来生成对应于图像135的二维展开图130b，该图像135基于从观察点P4成像的捕获图像。二维展开图130a对应于上述二维展开图130。
图4B示出了从三维网格150'生成的二维展开图130'的示例。二维展开图130'包括图4B中所示的二维展开图130a和130b。第一实施例中的图像处理装置将三维网格150'变换为二维展开图，同时继续保留包含在三维网格150'中的相应子平面的形状和相对面积，以生成二维展开图130'。第一实施例中的图像处理装置可以基于二维展开图130'生成包括图像131、132和135的全景图像140a。在图像135中，在与坐标值136对应的位置处，显示划痕105的图像。
第一实施例中的图像处理装置的配置示例
图5示出了可应用于第一实施例的图像处理装置的硬件配置的示例。在图5中，图像处理装置1000包括中央处理单元(CPU)1010、只读存储器(ROM)1011、随机存取存储器(RAM)1012、图形I/F 1013、存储体1015、数据I/F 1016和通信I/F 1019，并且这些各种单元经由总线1030连接以便能够彼此通信。如刚才所述，第一实施例中的图像处理装置1000可以使用普通计算机来实现。
存储体1015是诸如硬盘驱动器和闪存之类的非易失性存储介质，并且在其中存储程序和数据。CPU 1010将RAM 1012用作工作存储器，根据存储在存储体1015和ROM 1011中的程序控制图像处理装置1000的整体操作。
图形I/F 1013与显示器1014连接，并且基于由CPU 1010根据程序生成的显示控制信息，生成显示器1014可以显示的显示信号。数据I/F 1016是用于从图像处理装置1000的外部提供的外部数据的接口。数据I/F 1016可以连接诸如鼠标的定点设备1017和键盘1018。对于数据I/F 1016，例如，可以应用通用串行总线(USB)。
通信I/F 1019连接到网络并经由网络执行通信。网络可以是局域网(LAN)或可以是因特网。可以使用有线通信和无线通信中的任何一种来连接网络。
图6A和6B是用于说明第一实施例中的图像处理装置1000的功能的一个示例的功能框图。在图6A中，图像处理装置1000包括图像获取单元1100、图像存储单元1101、3D点群获取单元1102、3D网格生成器1103、2D展开图生成器1104、变换系数生成器1105、变形单元1106、注释叠加单元1107和指定单元1108。
在上述中，图像获取单元1100、3D点群获取单元1102、3D网格生成器1103、2D展开图生成器1104、变换系数生成器1105、变形单元1106、注释叠加单元1107和指定单元1108由在CPU 1010上操作的计算机程序配置。这不是限制，并且图像获取单元1100、3D点群获取单元1102、3D网格生成器1103、2D展开图生成器1104、变换系数生成器1105、变形单元1106、注释叠加单元1107和指定单元1108的部分或全部可以由彼此协作操作的硬件电路配置。图像存储单元1101由存储体1015或RAM 1012中的特定存储区域配置。
用于实现第一实施例中的图像处理装置1000的功能的图像处理程序，其作为可安装或可执行文件，被记录到并提供在诸如光盘(CD)、软盘(FD)和数字多功能盘(DVD)的计算机可读记录介质中。这不是限制，并且信息处理程序可以存储在连接到诸如因特网的网络的计算机中并且可以经由网络下载，以提供信息处理程序。可以经由诸如因特网的网络提供或分发信息处理程序。
图像处理程序是包括上述单元(图像获取单元1100、3D点群获取单元1102、3D网格生成器1103、2D展开图生成器1104、变换系数生成器1105、变形单元1106、注释叠加单元1107和指定单元1108)的模块配置。对于实际硬件，CPU 1010从诸如存储体1015的存储介质读出并执行图像处理程序，使得上述单元被加载到诸如RAM 1012的主存储设备上，并且图像获取单元1100、3D点群获取单元1102、3D网格生成器1103、2D展开图生成器1104、变换系数生成器1105、变形单元1106、注释叠加单元1107和指定单元1108被生成在主存储设备上。
在图6A和6B中，图像获取单元1100获取捕获图像。捕获图像由相机成像以包括观察对象，并且所述捕获图像例如从数据I/F 1016被输入到图像处理装置1000。图像获取单元1100将获取的捕获图像与标识捕获图像的标识信息相关联地存储到图像存储单元1101中。
3D点群获取单元1102基于存储在图像存储单元1101中的多个捕获图像，获取作为具有三维信息的点的集合的三维点群。3D网格生成器1103基于由3D点群获取单元1102获取的三维点群来生成三维网格150。2D展开图生成器1104基于由三维网格生成器1103生成的三维网格150来生成3D二维展开图130。
变换系数生成器1105生成用于在二维展开图130与图像之间执行坐标变换的变换系数。例如，变换系数生成器1105基于由3D点群获取单元1102获取三维点群时使用的图像(例如，图像110和120)以及由2D展开图生成器1104生成的二维展开图130，来生成变换系数。
变形单元1106使用由变换系数生成器1105生成的变换系数，来对存储在图像存储单元1101中的图像(例如，图像110和120)变形。变形单元1106还可以组合多个变形图像(例如，图像131和132)，并将组合的变形图像应用于全景坐标以生成全景图像140。
注释叠加单元1107根据由指定单元1108指定的坐标值，将由指定单元1108指定的文本(注释)叠加在由变形单元1106变形的任何图像(例如，图像131和132)和由2D展开图生成器1104生成的二维展开图(例如，二维展开图130)上，并输出文本。例如，注释叠加单元1107的输出经由图形I/F1013被提供至显示器1014，并且被显示在显示器1014的屏幕上。
指定单元1108根据使用定点设备1017和键盘1018输入的信息，指定作为注释的文本112和用于显示注释的坐标值111。这不是限制，并且指定单元1108可以取决于使用在CPU1010上执行的其他程序对存储在图像存储单元1101中的图像执行的分析结果，来指定例如文本112和坐标值111。
图6B是用于说明注释叠加单元1107的功能的一个示例的功能框图。注释叠加单元1107包括位置确定单元1170、位置存储单元1171、注释获取单元1172和叠加单元1173。
位置确定单元1170接收从变形单元1106提供的图像或二维展开图、以及由指定单元1108指定的坐标值。位置确定单元1170还接收由变换系数生成器1105生成的变换系数。位置确定单元1170基于所接收的变换系数，确定图像或二维展开图上的、与指定坐标值对应的坐标值。位置存储单元1171在其中存储由位置确定单元1170确定的坐标值。例如，位置存储单元1171使用存储体1015的存储区域中的特定区域来配置。
注释获取单元1172获取由指定单元1108指定为注释的文本。例如，注释获取单元1172将获取的文本存储在存储体1015的存储区域中的特定区域中。
叠加单元1173从变形单元1106接收图像或二维展开图。叠加单元1173根据由位置存储单元1171存储的坐标值，将由注释获取单元1172获取的文本叠加在从变形单元1106接收的图像或二维展开图上，并输出文本。
图7是示出第一实施例中的图像处理的一个示例的流程图。在步骤S10，图像获取单元1100通过观察对象被成像在其中的捕获图像，来获取图像数据(例如，图像110和120)。此时，图像获取单元1100获取观察对象从不同的观察点被成像在其中的多个捕获图像中的每个图像。对捕获图像进行成像，以便在第一捕获图像与第一捕获图像附近的第二捕获图像之间的成像区域中具有重叠部分。图像获取单元1100将获取的图像数据存储到图像存储单元1101中。在以下描述中，除非另有说明，否则图像获取单元1100获取的图像数据被称为图像。
例如，当观察对象是桥时，图像获取单元1100获取的图像是通过多个摄影图像的图像，其中桥从空中的不同点被成像。然而，观察对象不限于桥，并且可以是其他建筑物结构，或者可以是其他对象，不限于建筑物结构。优选的是，图像获取单元1100获取的图像是已经校正了由于镜头引起的失真的图像。
在下一步骤S11，3D点群获取单元1102获取包括观察对象的至少一部分的三维点群。3D点群获取单元1102可以从在步骤S10获取的并存储在图像存储单元1101中的多个图像(例如，图像110和120)生成三维点群。即，3D点群获取单元1102从多个二维图像生成三维点群(三维模型)。
例如，3D点群获取单元1102从存储在图像存储单元1101中的图像110和图像120中提取相应特征。3D点群获取单元1102将图像110的特征与图像120的特征进行比较，并标识图像110和120之间匹配的特征。3D点群获取单元1102针对每对中匹配的特征，例如通过立体方法使用三角测量(triangulation)来确定每个三维点。这不是限制，并且3D点群获取单元1102可以使用三维测量装置来获取三维点群。
在下一步骤S12，3D网格生成器1103生成三维网格150，该三维网格150近似在步骤S11生成的三维点群的一部分。例如，3D网格生成器1103可以相对于特定三维形状模型或用户指定的三维形状模型，例如通过随机样本一致性(RANSAC)算法确定参数。
3D网格生成器1103可以生成可展开面的三维网格150。在这种情况下，可以抑制在稍后描述的步骤S13的处理中生成的二维展开图的失真。3D网格生成器1103还可以生成平面的三维网格150。在这种情况下，在稍后描述的步骤S14的处理中，可以通过单个单应矩阵来描述捕获图像和二维展开图之间的变换。
此外，3D网格生成器1103可以生成圆柱面、二次曲面或球面的三维网格150。在这些情况下，在稍后描述的步骤S13的处理中，可以通过唯一变换方程来描述捕获图像和二维展开图之间的变换。3D网格生成器1103还可以生成自由曲面的三维网格150。在这种情况下，在稍后描述的步骤S13的处理中，可以以任何级别近似三维点群。
在下一步骤S13，2D展开图生成器1104生成在步骤S12生成的三维网格150的二维展开图130。2D展开图生成器1104将三维网格150的相应子平面变换为二维展开图130，同时继续保留其形状和相对面积。因此，这可以抑制将三维网格展开成二维坐标时的失真。
在下一步骤S14，变换系数生成器1105生成二维展开图130和图像(例如，图像110和120)的变换系数。变换系数生成器1105可以使用单应矩阵来描述变换系数。这不是限制，并且变换系数生成器1105可以将变换系数定义为从圆柱形展开图到图像的变换。在这种情况下，捕获图像和二维展开图之间的变换可以通过唯一变换方程来描述。
在下一步骤S15，变形单元1106基于在步骤S14生成的变换系数，将基于捕获图像的图像(例如，图像110)变形为二维展开图130，并生成变形图像(例如，图像131)。第一实施例中的变形单元1106可以组合多个变形图像(例如，图像131和132)以生成全景图像140(二维全景图像)。在这种情况下，通过全景图像140，可以俯视之后描述的注释。然而，这不是限制，并且变形单元1106可以将多个变形图像保留为相应层。通过将变形图像保留为层，可以省略全景图像的组合处理。
在下一步骤S16，注释叠加单元1107基于在步骤S15生成的变换系数，将基于捕获图像(例如，图像110和120)的图像和二维展开图130之中的一个图像(第三图像)的图像坐标的坐标值的输入变换为之中另一图像的图像坐标值。注释叠加单元1107使用诸如定点设备1017的设备的输入值来执行坐标值的输入。这不是限制，并且例如，当图像处理装置1000用于执行桥和建筑物结构的检查支持时，注释叠加单元1107可以使用通过执行诸如损伤检测算法的计算机程序获得的图像处理结果的值来执行坐标值的输入。
接下来，参考图8和9，将描述第一实施例中的图像和注释的显示示例。在图8和9中，与上述图1A至1D共同的部分由相同的附图标记表示，并且省略其详细描述。
图8A和8B示出了基于在步骤S10获取的图像(例如，图像110)、二维展开图130和步骤S15中生成的全景图像140中的至少一个、以及在步骤S16对应于前述图像而变换的坐标值而确定的注释的显示示例。
图8A示出了二维展开图130或在步骤S15生成的全景图像140的示例。参考图1B，图8B示出了对应于图像132的图像120以及文本122，该图像132包含在图8A中所示的二维展开图130或全景图像140中，该文本122为根据坐标值121叠加在图像120上的注释。第一实施例中的图像处理装置1000根据坐标值121在窗口400中排列图像120和叠加在图像120上的注释，并使显示器1014显示图像120和注释。
此外，在窗口400中，显示在步骤S10获取的图像(例如，图像110)，并且基于在步骤S15生成的对应图像(例如，图像131)在二维展开图130中的布置，可以选择随后显示的图像(例如，图像120)。如刚才所述，第一实施例中的图像处理装置1000可以基于多个二维图像的空间布置来确定在窗口400中显示的图像。因此，可以依次显示基于多个捕获图像的图像(例如，图像131和132)。
此时，图像处理装置1000可以基于相应图像的成像时间的顺序来确定显示的图像。这不是限制，并且图像处理装置1000可以基于用户输入到全景坐标(全景图像140)的位置来确定显示的图像。
图9示出了窗口410的示例，其至少显示在步骤S15生成的二维展开图130或全景图像140。在图9的示例中，在窗口410中，显示包括在步骤S15生成的图像131和132的二维展开图130或全景图像140。图像处理装置1000可以根据相对于在窗口410中显示的二维展开图130或全景图像140输入的坐标值，来选择要显示图像131和132中的哪一个。
在图9的示例中，图像132被选择，并且在窗口410的左侧区域中，显示与所选图像132对应的图像120。如刚才所述，第一实施例中的图像处理装置1000可以显示对于关注区域的观察而言最佳的图像。
然而，不限于此，并且在第一实施例中的图像处理装置1000中，关于窗口410，在步骤S15生成的图像(例如，图像131)被显示，并且基于对于显示的图像131的坐标值输入，例如，可以选择允许以最高分辨率观察坐标值的周边的图像作为显示的图像。也就是说，图像处理装置1000可以基于输入到全景坐标的坐标值和被投影到全景坐标上的多个二维图像(例如，图像131和132)的输入坐标值的周边的分辨率，来确定显示的图像。
此外，在第一实施例中的图像处理装置1000中，在步骤S15中生成的图像(例如，图像131)被显示在窗口410中，并且基于在步骤S14生成的变换系数，被显示的图像131的坐标值输入被变换为在步骤S10获取的、与图像131对应的图像(例如，图像110)的坐标值。因此，图像处理装置1000可以选择允许以最高分辨率观察变换后的坐标值的周边的图像，作为显示的图像。也就是说，图像处理装置1000可以基于输入到全景坐标的坐标值的、与到多个二维图像(例如，图像131和132)的全景坐标上的投影对应的位置，以及基于那些二维图像的输入坐标值的周边的分辨率，来确定所显示的图像。
如上所述，在第一实施例的图像处理装置1000中，基于从观察对象被成像在其中的多个图像生成的三维模型来生成全景图像。然后，第一实施例中的图像处理装置1000在该些图像中的任何图像上指定坐标值和内容，并且在包括那些图像的全景图像上的与指定坐标值对应的位置处，使其能够显示与坐标值相关联的内容。因此，改善了与三维模型上的指定位置相关联的信息的一览性。
第一实施例中的图像处理装置1000可以根据用户输入在特定方向上移动在步骤S12生成的三维网格150，以微调三维网格150的位置。图像处理装置1000可以基于三维网格150的相应子平面的法向矢量的加权求和，来确定特定方向。图10A和10B是用于说明第一实施例中的三维网格的位置调整的视图。在图10A和10B中，与上述图2共同的部分由相同的附图标记表示，并且省略其详细描述。图10A概念性地示出了通过从观察点P1或P2朝向后侧(三维网格1502)和朝向近侧(三维网格1501)的位置调整来移动三维网格1500的示例。图10B是从上方看到的图10A中的对象100和观察点P1或P2的视图。
图11A和11B是用于说明在第一实施例中通过上述步骤S13执行的将三维网格150变换为二维展开图130的处理的视图。图11A和11B示出了三维网格150和作为二维图像的图像110之间的变换。在图11A中，其中表示的数学表达式“K[R|t]X”是用于将三维点变换为相机图像的坐标x的表达式。在数学表达式“K[R|t]X”中，值X表示在三维网格上的点的三维坐标(下文中适当地称为三维点X)。此外，值K是相机参数，值R表示相对于相机的三维模型的姿态(旋转)，值t表示相机和三维模型的平移。假设三维网格150为任何期望的形状。
通过使用图11B和以下表达式1、表达式2和表达式3，将描述从相机图像的坐标x获得未知三维点X的方法。图11B和以下表达式1、表达式2和表达式3表示将图像110的三维网格150上的点601的坐标变换为能够由可变变量r、θ和h描述的可展开圆柱体的一部分的示例。表达式4表示表达式1至表达式3中使用的相应变量的关系。在表达式1至表达式4中，变量tm表示三维模型的位置，变量xm、ym和zm表示三个相应的轴，其代表三维模型的姿态。在表达式1至表达式4中，值X-bar(通过在字母“X”顶部添加条来表示)表示在三维点X处的方向。
根据图11B中的图像110和三维网格150上的点601之间的几何关系，可以建立用来得到变量r的表达式1。基于表达式1，可以推导出表达式2和表达式3，以得到期望的变量h和θ。
将进行更具体的描述。当反向求解图11A中的数学表达式“K[R|t]X”时，不能获得三维点X本身，而是如图11B中的数学表达式“X-bar＝K-1x”所示，获得了三维点X的方向。因为三维点X是由X-bar值表示的向量上的点，如表达式1右侧的表达式所示，可以通过将X-bar值乘以系数s来获得三维点X。
如表达式1、表达式2和表达式3中左侧的表达式所示，需要获得三维点X和系数s以便获得变量r、h和θ。系数s可以基于值X-bar、表示三维模型的位置和姿态的变量tm和变量xm、ym和zm来获得，如表达式4所示。
Figure BDA0001792432680000131
h＝sb-d  (2)
Figure BDA0001792432680000132
Figure BDA0001792432680000133
第二实施例
接下来，将描述第二实施例。第二实施例提供用于执行浏览在上述第一实施例中的图像处理装置1000获得的图像的用户界面(UI)。
图12是用于说明根据第二实施例的图像处理装置1001的功能的一个示例的功能框图。在图12中，与上述图6A和6B共同的部分由相同的附图标记表示，并且省略其详细描述。图像处理装置1001具有其中已将UI单元1121、变形图像存储单元1122、图像信息存储单元1123和绘图存储单元1124添加到图6A和6B中的图像处理装置1000的配置。图6A和6B中所示的指定单元1108的功能包含在UI单元1121的功能中。
对于第二实施例中的图像处理装置1001，作为硬件配置，可以原样应用参考图5描述的第一实施例中的图像处理装置1000的硬件配置。
UI单元1121由在CPU 1010上操作的显示程序配置。这不是限制，并且UI单元1121可以由硬件电路配置。变形图像存储单元1122、图像信息存储单元1123和绘图存储单元1124中的每一个由存储体1015或RAM 1012中的特定存储区域构成。
在变形图像存储单元1122中，存储基于变换系数而被变形单元1106变形的并且添加了标识变形图像的标识信息的变形图像。此时，变形单元1106将变形图像的标识信息与作为变形图像的源的捕获图像的图像的标识信息相关联。在以下描述中，除非另有说明，否则“捕获图像的图像”被描述为“捕获图像”。
在绘图存储单元1124中，例如，存储全景图像140对应的对象100的绘图。例如，使图像处理装置1001读取其中存储了设计对象100时的绘图数据的文件，以将绘图存储到绘图存储单元1124中。这不是限制，并且例如，可以使绘图存储单元1124在其中存储基于对象100的捕获图像自动生成的绘图数据。
例如，UI单元1121生成用于使显示器1014显示用户界面屏幕的显示控制信息。例如，图5中所示的图形I/F 1013使显示器1014根据该显示控制信息显示用户界面屏幕。此外，UI单元1121根据用户界面屏幕接收用户操作，该用户操作例如使用诸如定点设备1017和键盘1018的输入设备来执行。
UI单元1121接收从注释叠加单元1107输出的二维展开图130或全景图像140。在以下描述中，除非另有说明，否则全景图像140被描述为二维展开图130和全景图像140的代表。UI单元1121还接收存储在变形图像存储单元1122中的变形图像。UI单元1121可以生成变形图像、以及变形图像在其中被叠加到与变形图像对应的全景图像140上的图像。此外，UI单元1121可以基于存储在绘图存储单元1124中的绘图数据创建三面体视图和立方体图。
UI单元1121可以根据用户操作对接收的全景图像140和捕获图像执行诸如扩大和缩小的图像处理。UI单元1121还可以根据用户操作，例如，执行从对应于全景图像140的多个捕获图像中选择单个捕获图像的处理、以及以某种顺序依次选择和显示捕获图像的处理。
如刚才所述，例如，UI单元1121可以被视为连接到图5所示的图像处理装置1000的显示设备。
图像信息存储单元1123在其中彼此关联地存储关于存储在图像存储单元1101中的捕获图像的信息、关于存储在变形图像存储单元1122中的变形图像的信息、以及关于全景图像140的信息。图像信息存储单元1123还在其中与捕获图像的信息相关联地存储UI单元1121根据用户操作对捕获图像执行的处理的历史。
表1示出了存储在图像信息存储单元1123中的信息的示例。图像信息存储单元1123存储在其中的信息包括例如，关于捕获图像的信息、关于由变形单元1106对捕获图像变形的变形图像的信息、以及关于包括变形图像的全景图像的信息。
表1
Figure BDA0001792432680000151
Figure BDA0001792432680000161
例如，关于捕获图像的信息包括捕获图像的标识信息、成像时间、分辨率(尺寸)、成像距离和质量评估值。捕获图像的标识信息是可以标识与单个全景图像140对应的多个捕获图像中的每一个的信息。成像时间是捕获图像被成像的时间(日期和时间)。例如，分辨率(尺寸)是捕获图像在水平和垂直方向上的相应像素数。成像距离是从相机到被摄体的距离。质量评估值是用于评估捕获图像的质量的值，并且可以使用捕获图像的模糊度、对比度以及捕获图像的其他度的值。操作历史是由UI单元1121根据用户操作对捕获图像执行的处理按顺序存储和累积的信息。
在上述信息中，可以从相机或相机的控制电路获取捕获图像的标识信息、成像时间、分辨率(尺寸)和成像距离。例如，基于捕获图像，由UI单元1121计算质量评估值。
对于关于捕获图像的信息，还包括成像位置(相机位置)和对捕获图像成像时的成像方向。这些成像位置和成像方向可以通过在相机上提供包含在x、y和z的三个相应轴上执行检测的陀螺仪传感器(角速度传感器)、加速度传感器和地磁传感器的九轴传感器，以及通过使用九轴传感器的输出来检测。此外，作为关于捕获图像的信息，可以包括指示相机的视角的信息。例如，使用成像位置、成像方向、视角和上述成像距离，可以获得捕获图像的空间位置。
例如，关于变形图像的信息包括变形图像的标识信息、浏览标记、操作历史和全景图像上的位置。变形图像的标识信息是用于标识属于单个全景图像140的多个变形图像中的每一个的信息。浏览标记是指示是否已根据UI单元1121的指令选择了变形图像的标记。
关于全景图像上的位置，可以使用变形图像在变形图像所属的全景图像上的位置。例如，将变形图像与全景图像上的位置相关联可以在图7的流程图中的步骤S11从多个二维图像生成三维点群的处理、以及在步骤S15组合多个变形图像以生成全景图像140的处理的过程中执行。
全景图像的标识信息是标识捕获图像(变形图像)所对应的全景图像的标识信息，并且使用能够唯一标识全景图像的信息。
第二实施例中的UI
接下来，将更具体地描述第二实施例中的UI。在以下描述中，描述了第二实施例中的图像处理装置1001基于用于检查诸如桥的建筑物结构的捕获图像来显示全景图像140。
第二实施例中的UI的第一示例
图13示出了第二实施例中的UI单元1121呈现的UI屏幕的第一示例。例如，第一示例中的UI屏幕是适用于使用全景图像执行检查工作的屏幕。
在图13中，UI屏幕200a包括工具栏201、全景图像显示区域(全景视图)210、检查图像显示区域(照片视图)220、全景选择区域(选择全景)230a、以及操作指定区域240。工具栏201包括文件指定部分，其指定要存储在图像处理装置1001的存储体1015中的文件。
全景图像显示区域210显示被选择作为浏览对象的全景图像140。检查图像显示区域220显示与在全景图像显示区域210中显示的关于全景图像140指定的位置对应的捕获图像，作为检查对象的检查图像2100a。全景选择区域230a基于文件指定部分中指定的文件显示可选全景图像的列表。
操作指定区域240包括用于指定UI屏幕200a中的操作的操作元素和输入区域。在图13的示例中，操作指定区域240包括模式选择区域2401、选项选择区域2402、幻灯片放映控制区域2403、工具选择区域2404以及保存和退出指令区域2405。
模式选择区域2401是用于选择UI屏幕200a的模式的区域。UI屏幕200a提供例如“检查模式”、“绘图定位模式”和“成像质量核查模式”三种模式。“检查模式”是用于基于全景图像140和检查图像2100a执行观察对象的检查的模式。“绘图定位模式”是用于基于例如存储在绘图存储单元1124中的绘图数据执行全景图像140相对于绘图的定位操作的模式。“成像质量核查模式”是用于检查对应于全景图像140的每个捕获图像的成像质量的模式。在图13的示例中，在三种模式中，正在选择“检查模式”。
选项选择区域2402是用于选择与全景图像显示区域210中的全景图像140相对应地显示的捕获图像的显示方法的区域。在该示例中，“源图像插入组合”和“检查状态核查”两种显示方法可根据复选框的输入进行选择。稍后将描述这两种显示方法的具体示例。
幻灯片放映控制区域2403包括操作元素，该操作元素执行对检查图像2100a依次显示的控制，该检查图像2100a在与全景图像显示区域210中显示的全景图像140对应的多个检查图像2100a当中以特定顺序显示在检查图像显示区域220中。
工具选择区域2404是用于选择可在全景图像显示区域210和检查图像显示区域220中使用的工具的区域。工具选择区域2404中显示的工具根据在模式选择区域中选择的模式而不同。在图13中的模式的示例中，其中在选择区域2401中选择“检查模式”，工具选择区域2404显示用于在全景图像显示区域210和检查图像显示区域220中执行任何期望的绘制和字符输入的可选工具。
保存和退出指令区域2405包括保存按钮2405a和退出按钮2405b。保存按钮2405a是用于保存关于作为UI屏幕200a中的浏览对象的全景图像140的各条信息的按钮。例如，保存按钮2405a响应于该操作，保存基于相应捕获图像的检查结果以及对于假定检查工作临时中断的中间数据。
作为更具体的示例，UI单元1121响应于对保存按钮2405a的操作，将以下内容彼此相关联地存储到存储体1015中：在全景图像显示区域210中显示的全景图像140(或二维展开图130)；与全景图像140对应的相应捕获图像和相应变形图像；关于全景图像140、相应捕获图像、以及相应变形图像的信息；关于注释的信息(例如，指示注释的对象的坐标值133、以及文本134)；以及对相应捕获图像执行的处理历史。UI单元1121还可以响应于对保存按钮2405a的操作，保存注释被叠加在图像内的捕获图像。此外，UI单元1121还可以响应于对保存按钮2405a的操作，将注释被叠加在图像内的全景图像140或二维展开图130保存为检查结果图像。退出按钮2405b是用于关闭UI屏幕200a的按钮。
将更具体地描述全景图像显示区域210。UI单元1121用于在全景图像显示区域210中显示例如全景图像140，该全景图像140存储在根据用户操作通过工具栏201中包含的文件指定部分而指定的文件中。
UI单元1121可以根据用户操作执行全景图像显示区域210中显示的全景图像140的扩大和缩小。例如，UI单元1121以像素为单位使用插值和抽稀(Thinning)来执行全景图像140的扩大和缩小。
作为扩大和缩小的指令方法的示例，可以想到UI单元1121将全景图像140的扩大功能和缩小功能分配给键盘1018的某些键(例如，扩大为“+”键而缩小为“–”键)，并响应于对这些键的操作来执行全景图像140的扩大和缩小。扩大和缩小的指令不限于此示例。例如，用于指示全景图像140的扩大和缩小的相应按钮可以布置在全景图像显示区域210中，以根据对相应按钮的用户操作来执行全景图像140的扩大和缩小。此外，还可以想到，例如，响应于作为定点设备1017的鼠标的滚轮的操作来执行扩大和缩小。
根据UI单元1121，通过用户操作指定全景图像140上的位置，可以选择与该位置对应的捕获图像作为检查对象的图像的检查图像。在图13的示例中，示出了一种情况，
其中，在全景图像显示区域210中，与指定位置对应的变形图像2100的帧正被显示，以及与变形图像2100对应的、由标识信息“no.15”标识的捕获图像正被指定。在图13的示例中，在选项选择区域2402中，正选择“源图像插入组合”，并且在全景图像140的指定位置(对应于变形图像2100的位置)处以插入组合的方式显示由标识信息“no.15”标识的捕获图像。
将更具体地描述检查图像显示区域220。UI单元1121在检查图像显示区域220中显示在全景图像显示区域210中指定的捕获图像作为检查图像2100a。例如，UI单元1121参考存储在图像信息存储单元1123中的信息，标识与全景图像140的指定位置对应的变形图像，并进一步标识关于与指定变形图像对应的捕获图像的信息。UI单元1121从图像存储单元1101获取关于标识的捕获图像的信息中指示的捕获图像，并且将获取的捕获图像显示在检查图像显示区域220中作为检查图像2100a。
UI单元1121可以根据用户操作执行在检查图像显示区域220中显示的检查图像2100a的扩大和缩小。例如，UI单元1121以像素为单位使用插值和抽稀来执行检查图像2100a的扩大和缩小。在检查图像显示区域220中的检查图像2100a的扩大和缩小时，可以应用上述全景图像显示区域210中的全景图像140的扩大和缩小的指示方法以及扩大和缩小的方法。
检查图像显示区域220包括用于指示向上移动的按钮2200U、用于指示向下移动的按钮2200D、用于指示向左移动的按钮2200L，以及用于指示向右移动的按钮2200R。UI单元1121可以基于多个捕获图像的相应空间位置，根据对这些按钮2200U、2200D、2200L和2200R的用户操作，将作为检查图像2100a而在检查图像显示区域220中显示的捕获图像切换到相关捕获图像的上部、下部、左侧和右侧的捕获图像。
作为一个示例，UI单元1121参考存储在图像信息存储单元1123中的信息，并且在属于全景图像显示区域210中显示的全景图像140的变形图像上，获取全景图像140上的位置。UI单元1121基于获取的变形图像在全景图像140上的位置，相对于与检查图像2100a对应的变形图像，获取位于全景图像140的上方、下方、左侧和右侧的变形图像的标识信息。UI单元1121获取捕获图像的标识信息，该捕获图像对应于位于与检查图像2100a对应的变形图像的上方、下方、左侧或右侧的变形图像的标识信息，并且根据对按钮2200U、2200D、2200L和2200R的用户操作，从图像存储单元1101获取在所获取的捕获图像的标识信息中指示的捕获图像。UI单元1121根据对按钮2200U、2200D、2200L和2200R的用户操作，在检查图像显示区域220中显示如此获取的捕获图像作为检查图像2100a。
UI单元1121可以在检查图像显示区域220中显示与全景图像140对应的捕获图像作为检查图像2100a，使得显示的捕获图像按特定顺序依次切换。例如，UI单元1121可以参考存储在图像信息存储单元1123中的信息，根据对幻灯片放映控制区域2403的用户操作，按照成像时间的顺序选择存储在图像存储单元1101中的捕获图像，将捕获图像依次显示在检查图像显示区域220中作为检查图像2100a。UI单元1121可以根据对幻灯片放映控制区域2403的用户操作，基于按时间顺序(向前馈送)或按时间顺序的反向(向后馈送)的成像时间依次显示捕获图像。UI单元1121还可以根据对幻灯片放映控制区域2403的用户操作，执行捕获图像的显示速度的改变、以及顺序显示的暂时停止。
UI单元1121可以接收要对检查图像显示区域220中显示的检查图像2100a显示的注释的输入。例如，可以使UI单元1121在检查图像显示区域220中接收由光标250指定的位置的注释的输入。
例如，UI单元1121向注释叠加单元1107传递指示所接收的注释和位置的信息、以及与显示中的检查图像2100a对应的捕获图像的标识信息。注释叠加单元1107基于所传递的指示注释和位置的信息以及捕获图像的标识信息，将注释叠加到捕获图像上的指定位置，并且将在其上已叠加注释的捕获图像传送至UI单元1121。UI单元1121通过在其上已叠加注释的捕获图像来更新在检查图像显示区域220中显示的检查图像2100a。
将更具体地描述全景选择区域230。全景选择区域230是当为单个观察对象生成了多个全景图像140时，用于从全景图像140中选择单个全景图像140以在全景图像显示区域210中显示的区域。在图13中的示例中，UI单元1121生成针对单个观察对象的三个表面生成的相应全景图像140的缩略图图像2300a、2300b和2300c，并且正在全景选择区域230中显示相应缩略图图像2300a、2300b和2300c。UI单元1121在全景图像显示区域210中，从缩略图图像2300a、2300b和2300c中显示与根据用户操作选择的缩略图对应的全景图像140。
如上所述，在根据“检查模式”的UI屏幕200a中，通过在全景图像显示区域210中显示的全景图像140中指定期望位置，在检查图像显示区域220中显示对应于该指定位置的捕获图像作为检查图像2100a。此外，在检查图像显示区域220中，根据用户操作，显示的检查图像2100a的扩大和缩小、切换到其他相邻的捕获图像等的处理是可用的。因此，用户(观察者)可以更容易地执行观察对象的一部分的观察(检查)。
UI单元1121可以将在UI屏幕200a上相继执行的用户操作作为操作历史存储到图像信息存储单元1123中。例如，UI单元1121可以将在全景图像显示区域210中执行的扩大和缩小的操作存储作为操作历史。UI单元1121还可以将在全景图像显示区域210中指定的以及作为检查图像2100a显示在检查图像显示区域220中的捕获图像的标识信息存储作为操作历史。以相同的方式，UI单元1121可以将用于对在检查图像显示区域220中分别指示向上、向下、向左和向右移动的按钮2200U、2200D、2200L和2200R的操作，以及对检查图像显示区域220中显示的检查图像2100a进行扩大和缩小的操作存储作为操作历史。此外，UI单元1121可以存储在检查图像显示区域220中输入了注释的捕获图像的标识信息。
第二实施例中的UI的第二示例
图14A、14B和14C示出了第二实施例中的UI屏幕的第二示例。第二示例中的UI屏幕是用于相对于绘图来定位全景图像140的屏幕。在图14A、14B和14C中，与上述图13共同的部分由相同的附图标记表示，并且省略其详细描述。
在图14A中，在UI屏幕200b中，在模式选择区域2401中选择“绘图定位模式”。在工具选择区域2404中，根据在模式选择区域2401中选择的“绘图定位模式”，显示用于选择用于定位的控制点的数量的工具。在图14A的示例中，在工具选择区域2404中，可选择四个点、六个点和八个点中的任何一个作为控制点的数量。
UI单元1121例如在全景图像显示区域210中，与全景图像140一起显示绘图2106，该绘图2106通过存储在由工具栏201中包含的文件指定部分、根据用户操作指定的文件中绘图数据来绘制。
通过在工具选择区域2404中选择期望数量的控制点，为全景图像显示区域210中显示的绘图2106设置所选数量的控制点。例如，UI单元1121可以取决于图2106的形状，将控制点设置在适当的位置(例如，角部)。控制点是通过用户操作使其位置等在屏幕上可变化的点。
在图14A的示例中，在工具选择区域2404中选择四个点的控制点，并且在全景图像显示区域210中显示的图形2106的四个角部分，相应控制点21021、21022、21023和21024正在被设置。在图14A的示例中，相应控制点21021、21022、21023和21024由数字“1”到“4”表示。
UI单元1121根据用户操作，指定全景图像140的与相应控制点21021、21022、21023和21024对应的位置。
例如，根据UI单元1121，由用户使用利用定点设备1017的、依赖于光标250的显示的拖放操作(由图14A中的箭头A指示)，控制点21021、21022、21023和21024中的每个可以与全景图像140的相应位置相关联。在图14A的示例中，控制点21021、21022、21023和21024中的每个与全景图像140中的相应的角部21021'、21022'、21023'和21024'相关联。
UI单元1121计算用于使全景图像140中指定的每个位置与控制点21021、21022、21023和21024的相应位置匹配的坐标变换系数。UI单元1121根据计算出的坐标变换系数，将全景图像140的坐标变换为绘图2106的坐标。因此，全景图像140的尺寸和形状被变换为绘图2106的尺寸和形状，并且执行全景图像140相对于绘图2106的定位。
图14B示出了通过对绘图2106执行定位、以及通过变换尺寸和形状来匹配绘图2106而获得的全景图像140'的示例。在图14B的示例中，相对于图14A中的全景图像显示区域210中的绘图2106，已经变换了坐标的全景图像140'以与位置、尺寸和形状相匹配地叠加进行显示。
UI单元1121根据计算出的坐标变换系数，变换同样对应于全景图像140的相应变形图像的坐标。因此，UI单元1121可以标识与在坐标变换后的全景图像140'上指定的位置对应的捕获图像。
在图14A的示例中，在UI屏幕200b中，在相应控制点21021、21022、21023和21024的至少一部分上，可以在指定对应点之前或之后，在全景图像显示区域210中输入点之间的距离。在图14A的示例中，正在输入控制点21021和21024之间的距离2103H和输入控制点21024和21023之间的距离2103V，作为在全景图像140中指示的观察对象的宽度(长度)和高度的实际尺寸值。
UI单元1121可以基于全景图像140的像素宽度和输入距离2103H和2103V中的每个，来计算与全景图像140的实际尺寸的比率(真实比例)。UI单元1121还可以执行将全景图像140上的真实比例变换到检查图像显示区域220中显示的检查图像2100a上的坐标变换，以计算检查图像2100a上的真实比例。因此，这使得能够估计在检查图像2100a上检测到的裂缝的宽度等的真实比例。
全景图像140相对于绘图2106的定位方法不限于参考图14A和14B描述的使用绘图2106的方法。例如，可以通过选择参考形状(诸如矩形、梯形和八边形)的图形(称为参考图形)，以及指定全景图像140的对应于为所选形状预先确定的控制点的位置，来执行全景图像140相对于绘图2106的定位。
图14C示出了用于使用参考图形执行定位的UI屏幕200b'的示例。在UI屏幕200b'中，在工具选择区域2404中，显示用于选择用于定位的参考图形的工具。在图14C的示例中，在工具选择区域2404中，可选择矩形、梯形和八边形的相应图形作为用于设置控制点的参考图形，其中该八边形相对的两侧是凹陷的。这里，假设根据用户操作，矩形被选择作为参考图形。例如，假设预先提供矩形，其中控制点位于四个顶点中的每个处。
UI单元1121根据用户操作指定全景图像140的与参考图形上提供的控制点对应的位置。在图14C的示例中，作为全景图像140的与参考图形2104上提供的相应控制点21051、21052、21053和21054对应的位置，正在指定全景图像140的四个角部。
如上所述，UI单元1121计算用于使全景图像140中指定的每个点的位置与控制点21051、21052、21053和21054的相应位置匹配的坐标变换系数。UI单元1121根据计算出的坐标变换系数，变换全景图像140的坐标。因此，全景图像140的形状被变换为所选择的参考图形的形状，并且执行全景图像140相对于参考图形2104的定位。
在上文中，例如，更优选地，UI单元1121被配置为使得所选择的参考图形的宽高比可根据用户操作而改变。
另外，在使用参考图形执行全景图像140的定位的方法中，如参考图14A和14B所述的，可以在控制点21051、21052、21053和21054中的至少一部分上输入点之间的距离。如上所述，UI单元1121可以基于输入点之间的距离，通过与相对于全景图像140的指定位置对应的捕获图像，来计算全景图像140上的真实比例和检查图像2100a上的真实比例。
第二实施例中的UI的第三示例
图15示出了第二实施例中的UI屏幕的第三示例。第三示例中的UI屏幕是用于检查用于全景图像140的捕获图像的成像质量的屏幕。在图15中，与上述图13共同的部分由相同的附图标记表示，并且省略其详细描述。在图15中，假设在全景图像显示区域210中，正在显示尺寸和形状已被变换为匹配参考图14A和14B描述的绘图2106的全景图像140'。
在图15中，在UI屏幕200c中，在模式选择区域2401中选择“成像质量核查模式”。在工具选择区域2404中，提供用于根据在模式选择区域2401中选择的“成像质量核查模式”来选择目标成像质量的类型的复选框。在该示例中，作为成像信息的“成像分辨率”和“成像距离”、以及作为图像质量评估信息的“模糊度”的这三种类型是可选择作为图像质量的。可选择的成像质量类型不限于该示例。例如，作为图像质量评估信息的“对比度”和“平均亮度”可以应用为成像质量的类型。
例如，在全景图像显示区域210中显示全景图像140'的状态下，当在模式选择区域2401中选择“图像质量检查模式”时，UI单元1121参考存储在图像信息存储单元1123中的信息，并且从图像存储单元1101获取与全景图像显示区域210中显示的全景图像140'对应的捕获图像。当在工具选择区域2404中进一步选择成像质量的类型时，UI单元1121在相应获取的捕获图像上获得所选类型的成像质量。
例如，当对于相应捕获图像而言，获取了相应元数据并且根据可交换图像文件格式(Exif)在文件中存档了相应元数据时，可以直接从相应捕获图像的文件来提取成像信息(诸如“成像分辨率”和“成像距离”)。此外，例如，可以由UI单元1121基于相应捕获图像来计算诸如“模糊度”和“对比度”的图像评估信息。
可以取决于模式选择区域2401和工具选择区域2404中的用户操作，来获得根据成像质量的类型的这些值。这不是限制，并且当由图像获取单元1100获取捕获图像并将其存储到图像存储单元1101中时，UI单元1121可以获得根据成像的类型的值，并将所述值预先存储在图像信息存储单元1123中。在这种情况下，取决于在模式选择区域2401和工具选择区域2404中的用户操作，UI单元1121从图像信息存储单元1123获取必要信息。
如图15所示，UI单元1121在全景图像显示区域210中叠加并显示相应矩形21101、21102等，其指示在全景图像140'上相应对应位置处与全景图像140'对应的相应捕获图像。此时，UI单元1121基于在相应捕获图像上获取的并且指示所选择的成像质量的值，对矩形21101、21102等进行分类，并在全景图像显示区域210显示所述矩形。
在图15的示例中，UI单元1121对指示相应捕获图像的成像质量的值执行阈值确定，并且将每个捕获图像的成像质量分类为三个级别：“好”，“中”和“差”。阈值确定不限于三个级别的分类，并且可以是两个级别的分类，或者可以是四个或更多个级别的分类。UI单元1121还可以被配置为使得阈值的值和数量可以根据用户操作而改变。
UI单元1121显示与相应捕获图像对应的矩形21101、21102等，以根据分类结果进行颜色编码。在图15中，与在成像质量为“好”的区域A中包含的相应捕获图像对应的矩形中的每个以亮色(例如，黄色)进行颜色编码，成像质量为“差”的区域C中包含的矩形中的每个以深色(例如，棕色)进行颜色编码，并且在成像质量为“中”的区域B中包含的矩形中的每个以稍亮的颜色(例如，橙色)进行颜色编码。该颜色编码仅是一个示例，并且颜色编码可以使用其他颜色来执行，或者分类结果可以以除了颜色编码之外的方法(例如，轮廓线)来表示。成像质量的分类结果可以由轮廓线和颜色编码组合表示。
在图15中，相对于全景图像140'没有叠加对应于捕获图像的矩形的区域(例如，区域D)表示成像被省略的区域。
第二实施例中的UI的第四示例
图16示出了第二实施例中的UI屏幕的第四示例。第四示例中的UI屏幕是用于检查全景图像140的浏览状态的屏幕。在图16中，与上述图13共同的部分由相同的附图标记表示，并且其详细描述是省略。在图16中，假设在全景图像显示区域210中，正在显示其尺寸和形状已被变换以匹配参照图14A和14B描述的绘图2106的全景图像140'。
在图16中，在UI屏幕200d中，在模式选择区域2401中选择“检查模式”，并且在选项选择区域2402中选择“检查状态核查”。在工具选择区域2404中，根据在模式选择区域2401中选择的“绘图定位模式”和在选项选择区域2402中选择的“检查状态核查”，显示用于选择与在全景图像显示区域210中的全景图像140'对应地显示的信息的类型的工具。在该示例中，可以选择“已显示的”、“已以扩大显示的”和“已写入的”这三种类型，作为信息的类型。
当通过用户操作在工具选择区域2404中选择“已显示的”时，UI单元1121在对应于全景图像140'的捕获图像中，将在检查图像显示区域220中作为检查图像2100a的捕获图像明确地显示在全景图像显示区域210中。
在图16的示例中，在工具选择区域2404中选择“已显示的”。在这种情况下，例如，UI单元1121基于存储在图像信息存储单元1123中的操作历史或浏览标记，获取对应于全景图像140'的相应捕获图像当中的、已经在检查图像显示区域220中显示为检查图像2100a的捕获图像的标识信息。
在图16的示例中，UI单元1121在与全景图像显示区域210中显示的全景图像140'对应的变形图像21211、21212、21213等当中，以实线显示与作为已经被显示为检查图像2100a而获取的捕获图像相对应的变形图像(图16中的范围E中包含的相应变形图像)的外框。同时，UI单元1121在变形图像21211、21212、21213等当中，以虚线显示与未作为已经被显示为检查图像2100a而获取的捕获图像对应的变形图像(图16中的范围F中包含的相应变形图像)的外框。
因此，可以容易地区分对应于全景图像140'的相应捕获图像是否已被显示为检查图像2100a。即使在工具选择区域2404中选择“已以扩大显示的”或“已写入的”，也可以获得相同的效果。当在工具选择区域2404中选择“写入”时，明确地显示与输入了注释的捕获图像对应的变形图像，并且可以提高输入注释的检查效率。
第二实施例中的UI的第五示例
图17示出了第二实施例中的UI屏幕的第五示例。在图13所示的UI屏幕200a的全景选择区域230a中，已经使用相应的二维图像显示了单个观察对象的不同表面的全景图像。同时，第五示例的UI屏幕200a'的全景选择区域230b使用其中整合了相应表面的全景图像的三维图像，来显示单个观察对象的不同表面的全景图像。在图17中，与上述图13共同的部分由相同的附图标记表示，并且省略其详细描述。
如图17所示，UI单元1121根据空间位置关系，将全景图像140的缩略图图像2300a、2300b和2300c整合到图13中的全景选择区域230a中，例如，从而生成缩略图图像2301的三维图像。UI单元1121将所生成的缩略图图像2301显示在UI屏幕200a'的全景选择区域230b中。UI单元1121可以根据对在全景选择区域230b中显示的旋转指令图标2302进行的用户操作，来在三维空间中旋转缩略图图像2301。UI单元1121根据在缩略图图像2301的单个表面上进行的用户操作，在全景图像显示区域210中显示与该表面对应的全景图像140。
如刚才所述，通过使用三维图像的缩略图图像2301，使得可以更直观地选择在全景图像显示区域210中显示的全景图像140。
在第一UI屏幕200a、第二UI屏幕200b和200b'、第三UI屏幕200c、第四UI屏幕200d和第五UI屏幕200a'中，用于执行用户的输入设备的类型只要可以在屏幕上指定位置，操作就没有特别限制。例如，作为输入设备，可以应用鼠标、键盘、手写板、操纵杆、跟踪球、触摸板等。此外，成像装置可以内置于图像处理装置1001或连接到图像处理装置1001，为执行用户操作也可以使用用户的身体运动(诸如手势、头部跟踪和凝视)来执行。此外，诸如麦克风的声音收集装置可以内置于图像处理装置1001或连接到图像处理装置1001，以使用语音执行用户操作。
例如，当笔式平板电脑用作输入设备时，可以直观地执行注释输入。此外，当触摸面板用作输入设备时，可以进行直观浏览，诸如通过滑动(swipe)操作发送检查图像2100a以及通过用两个手指进行捏合(pinch)操作来给出扩大和缩小的指令。
此外，还可以想到采用头戴式显示器(HMD)作为显示器1014。通过在HMD上提供检测姿势的检测单元(例如，九轴传感器)，可以通过头部跟踪给出扩大和缩小等的指示。通过在HMD上提供凝视检测单元(例如，相机)，可以基于凝视给出视点移动和扩大和缩小的指令。如上所述，通过采用其上设置有姿态检测单元和注视检测单元的HMD作为显示器1014，可以直观地理解观察对象的总图像和详细地浏览。
第三实施例
接下来，将描述第三实施例。第三实施例提供了可共同应用于上述第一实施例和第二实施例的成像装置。在第三实施例中，摄像机安装在可远程操作的飞行物上以配置成像装置。使用第三实施例中提供的成像装置和上述图像处理装置1000或1001，可以配置能够更容易地执行观察对象的检查的检查系统。
图18是示意性地示出根据第三实施例的成像装置的外观的示例的三面体视图。图18分别在(a)、(b)和(c)处示出了从顶表面、前表面和侧表面观察的第三实施例的成像装置300。
成像装置300包括臂部310、设置在臂部310的中部的机身312、以及设置在机身312的上部并包括镜头部314的相机313。从顶表面观看，臂部310悬垂于右前侧、右后侧、左前侧和左后侧上，并且在其上的每个远端部分处设置有由相应电机驱动的螺旋桨311a、311b、311c和311d。
成像装置300还设置有保护构件320a、320b、320c、320c'、320d和320d'，以便围绕臂部310、机身312、镜头部314、相机313和设置在臂部310上的螺旋桨311a、311b，311c和311d。在图18中的示例中，保护构件320a、320b、320c、320c'、320d和320d'作为整体设置成球形，以便围绕臂部310、机身312、镜头部314、相机313和设置在臂部310上的螺旋桨311a、311b，311c和311d。在图18的例子中，保护构件320a用连接构件321a、321b、321c和321d被连接到臂部310的悬垂端，并且全部保护构件320a、320b、320c、320c'、320d和320d'相对于臂部310(机身312)而被固定。期望的是，将诸如橡胶和弹簧的弹性材料用于连接构件321a至321d。
成像装置300可以通过远程操作来控制相应螺旋桨311a、311b、311c和311d的驱动，来执行垂直运动、前后运动、左右运动和悬停，并且所述成像装置300可以在空中飞行。
在上面的描述中，已经说明了，在第三实施例的成像装置300中，保护构件320a、320b、320c、320c'、320d和320d'通过连接构件321a至321d相对于臂部310(机身312)而被固定。然而，这不限于该示例。例如，如“RicohCompany Ltd.,"The Inspection System ofPublic Structures",online,searched onOct.25,2016,Internet<URL:
https://jp.ricoh.com/technology/institute/research/tech_inspection_system.html>”所示，成像装置300可以处于这样的配置：其使用三轴万向节等来保持保护构件320a、320b、320c、320c'、320d和320d'相对于臂部310或机身312是可移动的。
图19A和19B示出了使用可应用于第三实施例的三轴万向节的成像装置300'的示例。图19A是从正面和从上方倾斜观看的成像装置300'的透视图，图19B示出了取出成像装置300'的中心部分的视图。在图19A和19B中，与上述图18共同的部分由相同的附图标记表示，并且省略其详细描述。
在图19A的示例中，成像装置300'包括臂部310'、机身312、相机部315、以及设置在臂部310'的相应四个端部上的螺旋桨311a至311d，并且具有其中前述部分被保护构件320e包围的结构，该保护构件320e形成大致球形(球壳结构)。在该示例中，保护构件320e处于正五边形和正六边形以所谓的足球形状组合并且相应顶点与杆状构件连接的结构中。
在该示例中，臂部310'呈所谓的H形的形状，其中两个平行臂的中心部分通过一个或更多个板状构件连接。臂部310'在两个臂的相应远端处设置有螺旋桨311a至311d以及用于驱动相应螺旋桨311a至311d的电机，并且在连接两个臂的板状构件上设置有机身312。机身312设置有相机部315，相机部315在前部处包括镜头部。在以下描述中，包括臂部310'、机身312、相机部315和螺旋桨311a至311d的配置被称为主单元部。保护构件320e具有使得至少主单元部不直接与外部接触的尺寸。
主单元部通过三轴万向节结构相对于保护构件320e可移动地保持。更具体地，图19A的示例中的三轴万向节结构包括可绕偏航(yaw)轴旋转(图19A中的箭头Y所示)的构件330、可绕翻滚(roll)轴旋转(图19A中的箭头R所示)的构件331a和构件331b、以及可绕俯仰(pitch)轴旋转(图19A中的箭头P所示)的构件332。
在图19A和19B的示例中，构件332配置为圆形轨道，并且沿着轨道，旋转构件3320设置在构件332内，以便可绕俯仰轴自由旋转。主单元部通过包含在旋转构件3320中的构件3320a和3320b固定到旋转构件3320。优选地，主单元部以这样的布置固定到旋转构件3320，使得相机部315的光轴与俯仰轴重合。
同时，构件330通过旋转构件3300a和3300b连接到保护构件320e，以便可绕偏航轴自由旋转。构件331a和331b在一端通过相应的旋转构件3310a和3310b连接到构件330，以便可绕翻滚轴自由旋转，并且在另一端固定地连接到构件332。
因为成像装置300'具有这样的三轴万向节结构，所以保护构件320e独立于主单元部而是可旋转的。因此，即使当保护构件320e与障碍物碰撞时，成像装置300'也可以继续飞行，因为只有保护构件320e旋转而主单元部保持平衡，并且可以进行稳定的成像。此外，成像装置300'也可以被飞行，使得保护构件320e借助于三轴万向节结构保持与被摄体接触，以拍摄对象的特写图像。
在前面的描述中，已经说明了成像装置300被驱动来通过在臂部310的相应远端部分上的四个螺旋桨311a、311b、311c和311d飞行，所述臂部310突出到从顶部表面观看的右前方、右后方、左前方和左后方。然而，这不限于该示例。也就是说，成像装置300可以处于其他配置，只要通过远程操作可以进行垂直移动、前后移动、左右移动和悬停。例如，如“Adrien Briod,"Insect-inspired flying robot handles collisions,goes whereother robots can't",online,Oct.30,2013,Robohub,searched on Oct.25,2016,Internet<URL:http://robohub.org/insect-inspired-flying-robot-handles-collisions-goes-where-othe r-robots-cant/>”所示，成像装置300可以处于通过设置在机身312的顶表面上的成对的螺旋桨驱动来飞行的配置中。
图20示出了第三实施例中的成像装置300的配置的一个示例。成像装置300包括控制单元3001、通信单元3002、驱动单元3003、多个电机(M)3004、3004等、相机3005和存储器3006。控制单元3001包括：CPU、ROM、RAM，以及与连接到控制单元3001的通信单元3002、驱动单元3003、相机3005和存储器3006进行通信的各种接口。
控制单元3001包括CPU、ROM和RAM，并且根据预先根据存储在ROM中的计算机程序操作的CPU的指令，并使用RAM作为工作存储器，并控制控制单元3001的整体操作。控制单元3001还包括用于检测成像装置300的姿态、飞行速度、飞行方向等的传感器(例如，九轴传感器)。此外，控制单元3001可以包括支持全球导航卫星系统(GNSS)以便获取当前位置的接收器。
通信单元3002执行与远程控制器的无线通信，以执行成像装置300的远程操作。例如，通信单元3002接收根据用户操作从远程控制器传输的、控制成像装置的飞行的控制信号，并将接收的信号传送至控制单元3001。例如，根据基于控制信号对控制单元3001的控制，驱动单元3003驱动旋转相应螺旋桨311a、311b、311c和311d的多个电机3004、3004等。
相机3005对应于上述相机313，并且根据控制单元3001的指令，执行被摄体的成像并输出作为静态图像的捕获图像。例如，通信单元3002接收根据用户操作从远程控制器传输的、控制摄像机3005的成像的控制信号，并将接收的信号传送至控制单元3001。控制单元3001，例如，响应于此控制信号，对相机3005给出成像的指令。
在执行成像时，相机3005可以获取关于成像的元数据以及捕获图像。相机3005可以输出通过成像获取的捕获图像和元数据。元数据至少包括执行成像的日期和时间(成像时间)、捕获图像的分辨率、和成像距离(焦距)。从相机3005输出的捕获图像和元数据被提供至控制单元3001。
例如，控制单元3001将从相机3005提供的捕获图像和元数据存储为Exif格式的文件。这不是限制，并且控制单元3001可以将捕获图像和元数据以专有格式存储到文件中。控制单元3001将存储了捕获图像和元数据的文件存储在存储器3006中。例如，存储器3006是可重写的非易失性存储器(诸如闪存)。存储器3006可以内置于成像装置300中，或者可以被配置为相对于成像装置300是可拆卸的。
图6和12中所示的图像获取单元1100从存储在存储器3006中的并且其中存储了捕获图像和元数据的文件中获取捕获图像。
相机3005可以以特定帧速率(例如，60帧/秒)获取被摄体的图像，并输出运动图像。控制单元3001通过通信单元3002可以传输从相机输出的运动图像。可以由远程控制器和其他信息处理装置接收和显示从通信单元3002传输的运动图像。用户可以通过参考运动图像来检查成像装置300的成像目标。
第三实施例中的成像装置300完全被保护构件320a、320b、320c、320c'、320d和320d'围绕，因此与周围对象接触在某种程度上是允许的。因此，穿透进入到狭窄部分也是可能的，并且可以安全地靠近观察对象以获得清晰的捕获图像。
在由成像装置300成像的捕获图像中，可以捕获成像装置300的一部分或保护构件320a、320c、320d等的一部分，并且可能会遮蔽观察对象的一部分。根据上述第一实施例和第二实施例，可以浏览其中从多个稍微不同的位置对相同地点进行成像的一组捕获图像。因此，可以抑制由于遮蔽而不能进行检查的地方的发生。此外，在从在空中飞行的成像装置300成像的捕获图像中，图像质量可能不稳定。即使在这种情况下，使用图15中所示的UI屏幕200c，用户也能够检查相应捕获图像的图像质量。
上述相应实施例是说明本发明优选实施例的示例。然而，本发明不限于这些实施例，并且在不脱离本发明的范围和精神的情况下可以实现各种修改。
附图标记列表
110、120、131、132、135 图像
111、121、133、136 坐标值
130、130'、130a、130b 二维展开图
140、140'、140a 全景图像
150、150' 三维网格
200a、200a'、200b、200b'、200c、200d UI屏幕
210 全景图像显示区域
220 检查图像显示区域
230 全景选择区域
240 操作指定区域
300 成像装置
313、3005 相机
320a、320b、320c、320c'、320d、320d' 保护构件
1000 图像处理装置
1010 CPU
1014 显示器
1015 存储
1017 定点设备
1100 图像获取单元
1101 图像存储单元
1102 3D点群获取单元
1103 3D网格生成器
1104 2D展开图生成器
1105 变换系数生成器
1106 变形单元
1107 注释叠加单元
1108 指定单元
2100a 检查图像
引用文献列表
专利文献
专利文献1：国际专利申请的日本国家公开No.2011-510378

Claims (25)

1.一种图像处理方法，包括：
从多个二维图像生成包含目标对象的至少一部分的三维模型；
通过三维网格近似所述三维模型的至少一部分；
确定将所述三维网格变换为二维全景坐标的系数；
从与所述二维全景坐标的一部分对应的多个二维图像中确定第一图像；
根据所述第一图像，指定要投影到所述二维全景坐标上的内容和所述第一图像上的第一位置；
确定与所述内容到所述二维全景坐标上的投影对应的第二位置；
将所述第二位置和所述内容彼此相关联地存储；
将所述内容作为注释叠加在通过将所述第一图像投影到所述二维全景坐标上而获得的第二图像上；
在显示区域中与所述第二图像一起显示与所述第二图像对应的绘图；
用户指定用于所述绘图的控制点的数量；
根据所述绘图的形状，将所述数量的控制点自动设置在所述绘图的特定坐标处；
用户在所述第二图像中指定相同数量的对应点；
将所述绘图的控制点的坐标与用户指定的对应点的坐标进行关联，并基于对坐标的关联获得所述绘图与所述第二图像之间的坐标变换系数；以及
通过使用所述坐标变换系数，将所述第二图像的形状和坐标变换为所述绘图的形状和坐标并且执行所述第二图像相对于所述绘图的定位。
2.根据权利要求1所述的图像处理方法，还包括：
从所述多个二维图像确定第三图像；
确定与所述第一位置到所述第三图像上的投影对应的第三位置；以及
将所述内容投影在所述第三图像上的所述第三位置处，以叠加所述内容作为注释。
3.根据权利要求2所述的图像处理方法，其中，在确定所述第三图像时，基于多个捕获图像的成像顺序来确定所述第三图像，所述多个捕获图像均是所述多个二维图像中的二维图像。
4.根据权利要求2所述的图像处理方法，其中，在确定所述第三图像时，基于多个捕获图像的空间位置来确定所述第三图像，所述多个捕获图像均是所述多个二维图像中的二维图像。
5.根据权利要求2所述的图像处理方法，其中，在确定所述第三图像时，基于对于用户指定的位置到所述多个二维图像的坐标上的投影的一组投影位置中的至少一个、以及所述多个二维图像上的投影位置的周边的一组分辨率，并且基于所述用户指定的位置来确定所述第三图像，所述用户指定的位置根据用户操作对于所述全景坐标而被指定。
6.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成可展开面的三维网格。
7.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成平面的三维网格。
8.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成圆柱面的三维网格。
9.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成二次曲面的三维网格。
10.根据权利要求1所述的图像处理方法，其中，在通过所述三维网格近似时，生成球面的三维网格。
11.根据权利要求1所述的图像处理方法，其中，在确定所述变换系数时，构成所述三维网格的相应子平面被变换为二维坐标，使得从法线方向观看的子平面的形状和相对面积被保留。
12.根据权利要求1所述的图像处理方法，其中，在确定所述变换系数时，使用单应矩阵计算所述变换系数。
13.根据权利要求1所述的图像处理方法，其中，确定所述变换系数包括根据用户操作将所述三维网格移动到特定方向。
14.根据权利要求13所述的图像处理方法，其中，在确定所述变换系数时，基于所述三维网格的相应子平面的法向矢量的加权求和来确定所述特定方向。
15.根据权利要求1所述的图像处理方法，还包括：
根据所述第二图像，指定要投影到所述第一图像上的内容和所述二维全景坐标上的第四位置；
将所述第四位置和所述内容彼此相关联地存储；
确定与所述内容到所述第一图像上的投影对应的投影位置；以及
将所述内容作为注释叠加在与所述投影位置对应的第一图像上。
16.一种显示设备，其连接到图像处理装置，所述图像处理装置由执行计算机程序的计算机实现，所述计算机程序使所述计算机执行根据权利要求1至15中任一项所述的图像处理方法，所述显示设备包括：
用户界面单元，被配置为生成用于显示用户界面屏幕的显示控制信息，所述显示用户界面屏幕用于执行图像的显示和用户输入的检测，其中
所述用户界面屏幕包括：
第一显示区域，在所述第一显示区域中显示第一图像并检测用户输入，所述第一图像从与所述二维全景坐标的所述部分对应的多个二维图像中确定；以及
第二显示区域，在所述第二显示区域中显示第二图像并检测用户输入，所述第二图像通过将所述第一图像投影到所述二维全景坐标上而获得。
17.根据权利要求16所述的显示设备，其中，所述用户界面屏幕还包括第三显示区域，在所述第三显示区域中检测用户输入并且选择一个或多个第二图像中的至少一个图像。
18.根据权利要求17所述的显示设备，其中，所述用户界面屏幕在所述第三显示区域中将所述一个或多个第二图像中的一个或多个组合地显示为三维形状。
19.根据权利要求16所述的显示设备，其中，所述用户界面屏幕还包括第四显示区域，在所述第四显示区域中显示设置并检测用户输入。
20.根据权利要求16所述的显示设备，其中，所述用户界面单元被配置为：
根据用户输入选择所述绘图。
21.根据权利要求16所述的显示设备，其中，所述用户界面单元被配置为根据用户输入，输入指示两个或更多个对应点中的两个对应点之间距离的值。
22.根据权利要求16所述的显示设备，其中，所述用户界面单元被配置为在所述第二显示区域中，使用的颜色编码和轮廓线中的至少一个来显示所述第二图像的每个区域的图像质量，以及
所述图像质量包括成像分辨率、成像距离、模糊程度和对比度中的至少一个。
23.根据权利要求16所述的显示设备，其中，所述用户界面单元被配置为：
将在所述第一显示区域中显示的图像的浏览历史存储到存储介质中；以及
基于所述浏览历史在所述第二显示区域中显示已浏览区域。
24.根据权利要求23所述的显示设备，其中，所述用户界面单元被配置为选择在所述第一显示区域中输入了注释的图像，以在所述已浏览区域中显示所述图像。
25.一种用于使用图像执行检查的检查系统，所述检查系统包括：
根据权利要求16所述的显示设备；
图像处理装置；以及
成像装置，包含：
相机，被配置为输出多个二维图像；
机身，所述机身包括飞行机构并且所述相机安装在所述机身上；以及
保护构件，所述保护构件围绕所述相机和所述机身，使得所述相机和所述机身不与外部对象直接接触，其中
所述相机被配置为捕获所述成像装置的至少一部分。
CN201780015932.5A 2016-03-09 2017-03-08 图像处理方法、显示设备和检查系统 Active CN108780586B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016046322 2016-03-09
JP2016-046322 2016-03-09
JP2016-217782 2016-11-08
JP2016217782A JP6835536B2 (ja) 2016-03-09 2016-11-08 画像処理方法、表示装置および点検システム
PCT/JP2017/009342 WO2017155005A1 (en) 2016-03-09 2017-03-08 Image processing method, display device, and inspection system

Publications (2)

Publication Number Publication Date
CN108780586A CN108780586A (zh) 2018-11-09
CN108780586B true CN108780586B (zh) 2023-05-05

Family

ID=59909084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780015932.5A Active CN108780586B (zh) 2016-03-09 2017-03-08 图像处理方法、显示设备和检查系统

Country Status (5)

Country Link
US (1) US10818099B2 (zh)
EP (1) EP3427232B1 (zh)
JP (1) JP6835536B2 (zh)
CN (1) CN108780586B (zh)
CA (1) CA3016539C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470323B2 (ja) 2017-01-23 2019-02-13 ファナック株式会社 情報表示システム
CN110431500B (zh) * 2017-03-21 2022-07-15 三菱电机株式会社 监视画面数据生成装置、监视画面数据生成方法、以及存储介质
CN108876934B (zh) * 2017-12-20 2022-01-28 北京旷视科技有限公司 关键点标注方法、装置和系统及存储介质
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
TWI634515B (zh) * 2018-01-25 2018-09-01 廣達電腦股份有限公司 三維影像處理之裝置及方法
JP7272015B2 (ja) * 2018-03-14 2023-05-12 株式会社リコー 診断管理サーバ、診断システム、診断管理方法、及びプログラム
JP7020260B2 (ja) * 2018-04-13 2022-02-16 株式会社大林組 孔壁観察システム
CN108600716A (zh) * 2018-05-17 2018-09-28 京东方科技集团股份有限公司 投影设备和系统、投影方法
CN112385207B (zh) * 2018-07-03 2022-04-12 富士胶片株式会社 拍摄计划提示装置及方法
JP7033045B2 (ja) * 2018-10-17 2022-03-09 株式会社神戸製鋼所 学習装置、推定装置、亀裂検出装置、亀裂検出システム、学習方法、推定方法、亀裂検出方法、及びプログラム
JP7207073B2 (ja) * 2019-03-27 2023-01-18 富士通株式会社 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム
CN110033515B (zh) * 2019-04-15 2023-04-07 同济大学建筑设计研究院(集团)有限公司 图形转换方法、装置、计算机设备及存储介质
CN110246175A (zh) * 2019-05-24 2019-09-17 国网安徽省电力有限公司检修分公司 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
WO2021010038A1 (ja) * 2019-07-18 2021-01-21 富士フイルム株式会社 情報表示装置、方法及びプログラム
CN114175020A (zh) * 2019-07-19 2022-03-11 富士胶片株式会社 图像显示装置、方法及程序
CN114175019A (zh) * 2019-07-19 2022-03-11 富士胶片株式会社 图像显示装置、方法及程序
JP7403273B2 (ja) * 2019-10-16 2023-12-22 東芝プラントシステム株式会社 画像処理装置、及び画像処理方法
CN111091117B (zh) * 2019-12-31 2021-01-29 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质
CN111325823B (zh) * 2020-02-05 2022-09-27 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质
JP7447238B2 (ja) 2020-02-28 2024-03-11 富士フイルム株式会社 画像表示装置、画像表示方法、及びプログラム
WO2021176877A1 (ja) * 2020-03-02 2021-09-10 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021176891A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 ３次元表示装置、方法及びプログラム
CN115176284A (zh) * 2020-03-16 2022-10-11 富士胶片株式会社 图像处理装置、图像处理方法及图像处理程序
CN111429518B (zh) * 2020-03-24 2023-10-03 浙江大华技术股份有限公司 一种标注方法、装置、计算设备及存储介质
CN113222943B (zh) * 2021-05-18 2022-05-03 宁波智能装备研究院有限公司 一种基于混合网格变换模型的图像形变估计方法
CN114401362A (zh) * 2021-12-29 2022-04-26 影石创新科技股份有限公司 一种图像显示方法、装置和电子设备
WO2023188510A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246412B1 (en) * 1998-06-18 2001-06-12 Microsoft Corporation Interactive construction and refinement of 3D models from multiple panoramic images
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
GB9930850D0 (en) 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
FR2804936B1 (fr) * 2000-02-15 2002-06-07 Bertin Technologies Sa Engin volant telecommande, en particulier de surveillance ou d'inspection
JP2008520052A (ja) * 2004-11-12 2008-06-12 モク３， インコーポレイテッド シーン間遷移のための方法
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2011046355A (ja) * 2009-08-28 2011-03-10 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 飛行体
US20140340427A1 (en) * 2012-01-18 2014-11-20 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
JP5940393B2 (ja) * 2012-07-02 2016-06-29 Kddi株式会社 点検補助装置及び方法
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
NL2010463C2 (nl) * 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
JP2015001756A (ja) 2013-06-13 2015-01-05 株式会社日立製作所 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末
CN104982026B (zh) * 2014-02-03 2018-06-05 株式会社隆创 图像检查装置和图像检查方法
EP3111647B1 (en) * 2014-02-26 2019-03-20 Searidge Technologies Inc. Image stitching and automatic-color correction
JP6344050B2 (ja) * 2014-05-16 2018-06-20 株式会社リコー 画像処理システム、画像処理装置、プログラム
US10659750B2 (en) * 2014-07-23 2020-05-19 Apple Inc. Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
KR102281180B1 (ko) * 2014-11-21 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
US20180075652A1 (en) * 2016-09-13 2018-03-15 Next Aeon Inc. Server and method for producing virtual reality image about object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宝山.图形开窗与窗口到视图区的变换.《计算机绘图及其在测量工程中的应用》.1995, *

Also Published As

Publication number Publication date
CN108780586A (zh) 2018-11-09
EP3427232B1 (en) 2022-09-07
US20190026955A1 (en) 2019-01-24
JP6835536B2 (ja) 2021-02-24
CA3016539A1 (en) 2017-09-14
US10818099B2 (en) 2020-10-27
EP3427232A4 (en) 2019-02-27
EP3427232A1 (en) 2019-01-16
JP2017168077A (ja) 2017-09-21
CA3016539C (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN108780586B (zh) 图像处理方法、显示设备和检查系统
JP4434890B2 (ja) 画像合成方法及び装置
JP5388932B2 (ja) 情報処理装置およびその制御方法
JP4850984B2 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
JP6314394B2 (ja) 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP5093053B2 (ja) 電子カメラ
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP5709440B2 (ja) 情報処理装置、情報処理方法
JP7073850B2 (ja) 入力装置および入力装置の入力方法
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
JP2009278456A (ja) 映像表示装置
WO2017155005A1 (en) Image processing method, display device, and inspection system
JP2019046055A (ja) 画像処理装置、画像処理方法及びプログラム
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
JP2019046096A (ja) 情報処理装置及びその方法
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
CA3199763A1 (en) Vehicle undercarriage imaging
JP2005165665A (ja) 仮想物体の操作補助装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
KR20150073754A (ko) 동작 훈련 장치 및 동작 훈련 방법
JP3668168B2 (ja) 動画像処理装置
JP3790253B2 (ja) 動画像処理装置
JP2005063463A (ja) 動画像処理装置
Nasir Fast 3D Reconstruction of Human Figures in Motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant