CN108140066B - 图面制作装置及图面制作方法 - Google Patents

图面制作装置及图面制作方法 Download PDF

Info

Publication number
CN108140066B
CN108140066B CN201680055713.5A CN201680055713A CN108140066B CN 108140066 B CN108140066 B CN 108140066B CN 201680055713 A CN201680055713 A CN 201680055713A CN 108140066 B CN108140066 B CN 108140066B
Authority
CN
China
Prior art keywords
distance
images
unit
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055713.5A
Other languages
English (en)
Other versions
CN108140066A (zh
Inventor
佐藤恒夫
洼田聪
根来雅之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108140066A publication Critical patent/CN108140066A/zh
Application granted granted Critical
Publication of CN108140066B publication Critical patent/CN108140066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种不发生由图像的连结而引起的累积误差且能够简便地制作出桥梁等大型构造物的图面的图面制作装置及图面制作方法。在本发明的方式中，从地图信息(170)获取图面的制作对象即构造物的概略的外形形状，并且从TOF相机(10)获取分多次拍摄构造物的包含表示摄影位置及摄影方向的附属信息的多个部分的距离图像。连结处理部(140)使用距离图像的附属信息来连结所获取的多个部分的距离图像，且在进行连结时使用构造物的外形形状，并根据构造物的外形形状连结距离图像。图面制作部(150)根据所连结的距离图像即构造物整体的三维信息自动制作出构造物的图面。

Description

图面制作装置及图面制作方法
技术领域
本发明涉及一种图面制作装置及图面制作方法，尤其涉及一种简便地制作 出桥梁、水坝等大型构造物的图面的技术。
背景技术
桥梁等社会基础设施构造物需要定期进行检查。在检查构造物时，需要构 造物的设计图等图面，但旧的构造物等，存在遗失图面的情况。在该情况下， 若要测量构造物以重新制作构造物的图面，则存在花费大量的费用和劳动力这 一问题。
专利文献1中公开有利用激光扫描这一技术对工厂、建筑物/街道及文化 遗产建筑物等自动生成高精度的三维形状数据的自动生成装置。并且，专利文 献1中公开有自动整合(合并)从多个测量地点获得的多个范围图像的技术。
专利文献1中所记载的自动生成装置进行用于提取具有三维坐标的多个点 云数据的边缘及面的切片，并根据被切片而生成的切片信息及预先设定的函数 (平面方程式或曲面方程式)而判定三维形状。
并且，作为自动匹配从多个测量地点获得的多个范围图像而将所有的范围 图像转换为全局坐标系的方法，公开有下述方法。
首先，从各范围图像选择任意3个切片，并将它们假设为所对应的切片。 接着，由所对应的切片推算出旋转矩阵及移动向量，由特征值及特征向量求出 利用所推算出的旋转矩阵及移动向量重合了2个范围图像时彼此一致的切片的 一致度。用所有切片的组合来进行上述处理，并采用一致度最高的旋转矩阵及 移动向量。
并且，专利文献2中公开有如下方法：对通过搭载于汽车的三维图像传感 器拍摄的桥梁、路面、隧道壁面等的距离图像、彩色图像使用各帧间的旋转矩 阵及平移向量而在同一坐标系中展开相邻帧间的距离图像以进行重合，由此不 断连结相邻帧间的距离图像以掌握桥梁、路面、隧道壁面等的三维形状。
以往技术文献
专利文献
专利文献1：日本特开2004-272459号公报
专利文献2：日本特开2010-236971号公报
发明内容
发明要解决的技术课题
专利文献1中记载有若要对齐多个范围图像的位置则需要正确的测量地点 的位置及测量方向而存在获取这些信息这一缺点。因此，如上所述，专利文献 1中所记载的自动生成装置不使用测量地点的位置及测量方向的信息，而选择 存在于各范围图像中的多个(任意3个)切片，从各范围图像中所对应的切片 推算出旋转矩阵及移动向量，由特征值、特征向量求出使用所推算出的旋转矩 阵及移动向量来重合各范围图像时彼此一致的切片的一致度。
因此，在各范围图像中需要包含分别对应的3个以上的切片，且各切片的 形状需要具有适合于预先设定的函数(平面方程式或曲面方程式)的三维形 状，当在各范围图像中不存在满足这些条件的3个以上的切片时，专利文献1 中所记载的发明无法适用。
专利文献2中所记载的发明也是不检测摄影地点的位置及摄影方向而按帧 检测相机坐标系的平移及旋转并结合(连结)相邻帧间的距离图像等的方法。
并且，专利文献1、2中所记载的发明均为使用旋转矩阵及移动向量来连 结多个图像的发明，若所连结的图像数变多，则存在由连结而引起的累积误差 变大这一问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种不发生由图像的连 结而引起的累积误差且能够简便地制作出桥梁等大型构造物的图面的图面制作 装置及图面制作方法。
用于解决技术课题的手段
为了实现上述目的的一方式所涉及的发明具备：外形形状获取部，获取图 面的制作对象即构造物的概略的外形形状；距离图像摄像装置，拍摄构造物， 且拍摄包含表示摄影位置及摄影方向的附属信息的距离图像；距离图像获取 部，获取作为通过距离图像摄像装置拍摄而获得的多个距离图像的、构成构造 物的多个部分的距离图像；连结处理部，使用通过外形形状获取部获取到的构 造物的外形形状及距离图像的附属信息来连结通过距离图像获取部获取到的多 个部分的距离图像；及图面制作部，根据通过连结处理部被连结的距离图像制 作构造物的图面。
根据本发明的一方式，获取图面的制作对象即构造物的概略的外形形状。 构造物的概略的外形形状例如构造物为桥梁时，可以是由桥的长度及宽度确定 的平面形状。距离图像摄像装置为在多个摄影位置及摄影方向上拍摄构造物的 装置，且拍摄包含表示摄影位置及摄影方向的附属信息的距离图像。距离图像 获取部获取通过距离图像摄像装置拍摄而获得的构成构造物的多个部分的距离 图像。连结处理部使用构造物的外形形状及距离图像的附属信息来连结通过距 离图像获取部获取的多个部分的距离图像。通过使用距离图像的附属信息(摄 影位置及摄影方向)，能够将距离图像转换为全局坐标系的三维坐标。而且， 当将构造物的外形形状以全局坐标系来表示时，通过对该全局坐标系的构造物的外形形状嵌入转换成全局坐标系的距离图像，能够连结各距离图像。而且， 图面制作部根据所连结的距离图像自动制作出构造物的图面。如此根据构造物 的外形形状而连结距离图像，因此不发生由距离图像的连结而引起的累积误 差，从而能够简便地制作出桥梁等大型构造物的图面。
在本发明的另一方式所涉及的图面制作装置中，距离图像摄像装置优选具 备由构造物的概略的外形尺寸估算进行拍摄的次数的估算部及通知通过估算部 估算出的结果的第1通知部。
在本发明的又一方式所涉及的图面制作装置中，距离图像摄像装置优选具 备全球定位系统及方位传感器，并且将拍摄距离图像时分别从全球定位系统及 方位传感器获取到的GPS信息及方位信息设为表示摄影位置及摄影方向的附属 信息。
在本发明的又一方式所涉及的图面制作装置中，距离图像摄像装置优选具 备在拍摄构造物时通知表示拍摄的部分为构造物整体的哪一部分的信息的第2 通知部。由此，在分多次拍摄构造物时，能够支持摄影位置及摄影方向。
在本发明的又一方式所涉及的图面制作装置中，优选具备：第1显示部， 将通过距离图像摄像装置拍摄到的距离图像以可视化图像来显示；或第2显示 部，显示通过拍摄与距离图像摄像装置相同的摄像区域的可视化图像的摄像装 置获取到的可视化图像。由于设成通过第1显示部或第2显示部显示可视化图 像，因此能够一边观察可视化图像一边拍摄构造物。
在本发明的又一方式所涉及的图面制作装置中，优选具备：第3显示部， 以能够识别的方式显示对构造物进行了距离图像的拍摄的已摄像区域及未进行 距离图像的拍摄的未摄像区域。由此，能够以不留构造物的未摄像区域的方式 拍摄构造物。
在本发明的又一方式所涉及的图面制作装置中，距离图像摄像装置优选为 TOF深度相机，但也可以将三维激光扫描仪及立体相机用作距离图像摄像装 置。
在本发明的又一方式所涉及的图面制作装置中，图面制作部优选根据被连 结的距离图像制作将视为构造物的轮廓的点连结而成的线图。例如，当设成将 距离图像的各像素(距离信息)转换为与距离对应的亮度的可视化图像时，该 可视化图像中的亮度的变化点是视为构造物的轮廓的点。
在本发明的又一方式所涉及的图面制作装置中，优选具备第1手动校正 部，手动校正基于连结处理部的多个部分的距离图像的连结。例如，重叠并显 示构造物的外形形状和距离图像的可视化图像，并通过手动修正距离图像的位 置(具体而言，进行坐标转换时所使用的摄影位置及摄影方向)，以使和距离 图像中的外形形状对应的部分与外形形状一致。
在本发明的又一方式所涉及的图面制作装置中，优选具备第2手动校正 部，手动校正通过图面制作部制作出的构造物的图面。例如，当在制作出的图 面中存在线图中断的部分等时，进行使线图相连的校正等以使其连续。
在本发明的又一方式所涉及的图面制作装置中，优选具备尺寸补记部，在 构造物的图面上补记尺寸线及尺寸。由于存在构造物整体的距离图像(三维信 息)，因此能够求出构造物的任意位置之间的距离(尺寸)，从而能够将所求 出的尺寸补记在图面上。
在本发明的又一方式所涉及的图面制作装置中，外形形状获取部优选从表 现了构造物的概略的外形形状的地图信息获取构造物的外形形状。
在本发明的又一方式所涉及的图面制作装置中，地图信息优选为能够从地 理信息系统获取的地图信息或由互联网上的地图信息提供服务提供的地图信 息。
在本发明的又一方式所涉及的图面制作装置中，优选具备搭载有距离图像 摄像装置的无人飞行器及控制无人飞行器的控制部，距离图像获取部获取通过 搭载于无人飞行器的距离图像摄像装置拍摄而获得的多个距离图像。作为无人 飞行器，优选使用具有自动驾驶功能的无人驾驶飞机。
在本发明的又一方式所涉及的图面制作装置中，优选距离图像摄像装置以 一定的帧率连续拍摄距离图像，距离图像获取部从连续拍摄到的距离图像中获 取使用于连结的多个部分的图像。
本发明的又一方式所涉及的图面制作方法包含：获取图面的制作对象即构 造物的概略的外形形状的步骤；获取作为通过拍摄构造物的距离图像摄像装置 获取到的多个距离图像的、构成构造物的多个部分的距离图像的步骤；使用所 获取到的构造物的外形形状及距离图像的附属信息来连结所获取到的多个部分 的距离图像的步骤；及根据所被连结的距离图像制作构造物的图面的步骤。
发明效果
根据本发明，设成使用构造物的外形形状及距离图像的附属信息(摄影位 置及摄影方向)来连结通过距离图像摄像装置拍摄的构造物的多个部分的距离 图像，并且根据所连结的距离图像制作出构造物的图面，因此不发生由图像的 连结而引起的累积误差，从而能够简便地制作出桥梁等大型构造物的图面。
附图说明
图1是表示本发明所涉及的图面制作装置的实施方式的主要部分框图。
图2是表示图1所示的TOF相机的内部结构的框图。
图3是表示测距区域内的物体T1和近处物体T2的距离的运算处理的图。
图4是表示将距离图像与附属信息建立关联的距离图像文件的一例的图。
图5是表示包含目标构造物的地图(航空照片)的图。
图6是表示分割拍摄桥梁的外形形状及桥梁的摄影次数及全局坐标系等的 图。
图7是表示与桥梁的一部分的三维信息对应的可视化图像的图。
图8是与桥梁的一部分的三维信息对应地制作出的图面且补记有尺寸的图 面。
图9是无人飞行器的框图。
图10是为了说明能够适用于TOF相机中的图像传感器的另一实施方式而 使用的图。
图11是表示本发明所涉及的图面制作方法的实施方式的流程图。
具体实施方式
以下，按照附图对本发明所涉及的图面制作装置及图面制作方法的实施方 式进行说明。
[图面制作装置]
图1是表示本发明所涉及的图面制作装置的实施方式的主要部分框图。
如图1所示，图面制作装置由作为距离图像摄像装置而发挥功能的深度相 机(以下，称为“TOF(飞行时间(Time Of Flight))相机”)10及图面制 作装置主体100构成。
本实施方式的图面制作装置构成为TOF相机10与图面制作装置主体100 分离，且具备相互能够通信的无线通信功能，但可以是由带TOF相机的便携信 息终端、智能手机及平板终端等的TOF相机一体式移动设备构成的装置，在该 情况下，无需无线通信功能。
<TOF相机10>
图2是表示图1所示的TOF相机10的内部结构的框图。
图2所示的TOF相机10为对被摄体照射光并通过测量由传感器接收该反 射光为止的时间以求出至被摄体的距离的相机，主要由成像透镜12、距离图像 传感器14、A/D(模拟数字转换(Analog-to-Digital))转换器16、接口电 路18、存储器19、中央处理器(CPU：Central Processing Unit)20、脉冲 光发光部22、曝光控制部24、操作部26、液晶显示器等显示部28、全球定位 系统(GPS：Global Positioning System)(以下，称为“GPS装置”)30、方位传感器32及第1通信部34构成。
脉冲光发光部22具备近红外光发光二极管(近红外LED(LED：Light Emi ttingDiode))，且与来自曝光控制部24的发光定时信号同步地发射一定脉 宽的脉冲光。另外，脉冲光发光部22至少对经由成像透镜12拍摄的摄像区域 整体照射脉冲光。并且，从脉冲光发光部22的近红外LED发射的脉冲光为近 红外光。
成像透镜12使来自被摄体(构造物)的反射光(包含从脉冲光发光部22 照射且由构造物的表面反射的脉冲光的反射光)成像于距离图像传感器14。
距离图像传感器14由具有垂直驱动器及水平驱动器等的CMOS(互补型金 属氧化物半导体(Complementary Metal-Oxide Semiconductor))驱动器以 及由定时信号发生器驱动的CMOS型图像传感器构成。另外，距离图像传感器 14并不限定于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型图像传感器。
距离图像传感器14优选以二维状排列有多个受光元件(光电二极管)， 且在多个受光元件的入射面侧设置有仅通过从脉冲光发光部22发射的近红外 脉冲光的波长频带的带通滤光片或去除可见光的可见光截止滤光片。由此，距 离图像传感器14的多个受光元件作为对近红外光具有灵敏度的像素而发挥功 能。
距离图像传感器14根据由曝光控制部24施加的快门控制信号控制曝光期 间(曝光时间及曝光定时)，在距离图像传感器14的各受光元件中积蓄与在 曝光期间入射的近红外光的光量对应的电荷。而且，从距离图像传感器14读 出来自被摄体的近红外光的入射光量相应的像素信号(与每一像素中所积蓄的 电荷对应的模拟信号)。
在此，详细内容将进行后述，但曝光控制部24依次进行如下第1曝光控 制及第2曝光控制，该第1曝光控制使脉冲光发光部22发射脉冲光，至少根 据被摄体(构造物)的距离在距离图像传感器14所对应的受光元件中的曝光 量(脉冲光的受光时间)中产生差异，该第2曝光控制使脉冲光发光部22发 射脉冲光，相对于脉冲光的开始曝光的相位与相对于第1曝光控制的脉冲光的 开始曝光的相位不同，且距离图像传感器14所有的受光元件全部曝光由构造 物反射的脉冲光。
在基于曝光控制部24的曝光控制之后，从距离图像传感器14读出的模拟 信号通过A/D转换器16转换为数字信号，并经由作为图像输入控制器而发挥 功能的接口电路18存储于存储器19。
存储器19存储CPU20中的处理所需的各种数据等，并且作为CPU20的工 作存储器而发挥功能。并且，存储器19能够作为记录通过TOF相机10拍摄的 距离图像的记录介质而发挥功能。
操作部26包含电源开关、快门按钮及模式选择部等，操作部26中的命令 输入施加于CPU20。
详细内容将进行后述，但CPU20具有作为根据操作部26中的命令输入统 一控制曝光控制部24等的各部的设备控制部的功能及作为距离图像生成部20A 的功能。
距离图像生成部20A根据距离图像传感器14的传感器输出生成拍摄对象 即构造物的三维距离图像。
<TOF法的基本原理>
接着，对通过TOF相机10获取三维距离图像的基本原理进行说明。
由TOF相机10的脉冲光发光部22照射的脉冲光入射测距区域内的被摄体 (构造物)，由构造物反射的脉冲光经由成像透镜12并通过距离图像传感器1 4进行成像(受光)。
图3是表示测距区域内的远处物体T1和近处物体T2的距离的运算处理的 图。
脉冲光发光部22由曝光控制部24脉冲驱动，如图3(A)及图3(B)所 示，距离图像传感器14与脉冲光发光部22的脉冲驱动同步地通过曝光控制部 24依次进行第1曝光控制及第2曝光控制这2次曝光控制。
图3(A)所示的第1曝光控制为以使脉冲光发光部22发射脉冲光，且至 少根据被摄体的距离在距离图像传感器14所对应的受光元件中的曝光量中产 生差异的方式控制曝光期间的曝光控制，在使脉冲光发光部22发射脉冲光之 后，经过一定时间(脉冲光从能够测距的最远物体返回为止的时间)后开始进 行曝光，至少经过由最远被摄体反射的所有脉冲光返回的时间(规定的曝光时 间)后结束曝光。
根据上述第1曝光控制，当物体反射率一定时，若比较远处物体T1与近处 物体T2，则物体T1越远，曝光量变得越多。
图3(B)所示第2曝光控制为使脉冲光发光部22发射脉冲光，且相对于 脉冲光的开始曝光的相位与相对于第1曝光控制的脉冲光的开始曝光的相位不 同的曝光控制，是用于去除由物体反射率的差异而引起的距离图像传感器14 中的曝光量的变化的曝光控制。在本例中，是距离图像传感器14所有的受光 元件全部曝光由物体反射的脉冲光的曝光控制。具体而言，与从脉冲光发光部 22发射的脉冲光的发光定时同步地开始进行曝光，在经过一定时间(至少脉冲 光从能够测距的最远物体全部返回为止的规定的曝光时间)后结束曝光。另 外，第1曝光控制中的“规定的曝光时间”及第2曝光控制中的“规定的曝光 时间”为相同的时间，但如上所述相对于脉冲光的开始曝光的相位不同。
根据上述第2曝光控制，无论物体的远近，根据物体反射率而曝光量不 同，能够根据通过第1曝光控制获得的曝光量获取与物体反射率对应的信息。
接着，如图3(C)所示，若将通过第1曝光控制及第2曝光控制从距离图 像传感器14获取的与各曝光量对应的传感器输出(某一像素的输出数据)分 别设为第1数据L1及第2数据L2，则CPU20的距离图像生成部20A通过以下式 计算出与物体的距离对应的距离信息D。
[数式1]
D＝L1÷L2
即，根据[数式1]，计算出第1数据L1除以第2数据L2的除法数据。该除 法数据成为物体反射率的影响被消除且整个画面不是相同光量的脉冲光的光量 的影响被消除的与相对距离对应的数据(距离信息D)。该距离信息D为与对 物体照射光且由距离图像传感器接收该反射光为止的时间(飞行时间)对应的 信息。另外，也能够根据第1数据L1及第2数据L2求出物体的绝对距离。
而且，距离图像生成部20A通过对距离图像传感器14的所有像素获取距 离信息D，能够生成三维距离图像。在此，距离图像是指值通过距离图像摄像 装置即TOF相机10获得的到被摄体(构造物)为止的距离值(距离信息D)的 二维分布图像，距离图像的各像素具有距离值(距离信息)。
距离图像作为可视化图像并不适合，因此当辨识距离图像时，需要将距离 图像转换为可视化图像。例如，通过图2所示的CPU20而将距离图像的各像素 (距离信息)转换为与距离对应的亮度，或转换为与距离对应的颜色，并将所 转换的距离图像输出至显示部28(第1显示部)。由此，能够设成在显示部2 8的画面上能够辨识距离图像(所拍摄的构造物)。
并且，只要将具有与基于TOF相机10的距离图像的摄像区域对应的视野 的光学取景器设置于TOF相机10，则能够通过光学取景器确认距离图像的摄像 区域。
在图2中，GPS装置30接收由多个GPS卫星发送的GPS信号，执行基于所 接收的多个GPS信号的定位运算处理，获取由TOF相机10当前的维度、经度 及高度特定的位置信息(GPS信息)。若通过TOF相机10进行距离图像的拍 摄，则CPU20作为表示摄影位置的信息从GPS装置30获取GPS信息。
并且，方位传感器32为检测表示TOF相机10的摄影方向的方位信息的部 分，由陀螺仪传感器及地磁传感器等构成。在此，摄影方向是指成像透镜12 的光轴方向及围绕光轴的旋转角，光轴方向为由方位角及仰角(或俯角)特定 的方向，围绕光轴的旋转角为将TOF相机10水平的情况设为0°的相机围绕光 轴的倾斜角。若通过TOF相机10进行距离图像的拍摄，则CPU20从方位传感 器32获取表示距离图像的摄影方向的方位信息。
若按照来自操作部26的摄像命令进行距离图像的拍摄，则CPU20将通过 距离图像生成部20A生成的距离图像、距离图像的附属信息即表示从GPS装置 30获取的摄影位置的GPS信息及从方位传感器32获取的表示摄影方向的方位 信息以建立关联的方式存储于存储器19。
图4是表示距离图像与附属信息已建立关联的距离图像文件的一例的图。 图4所示的距离图像文件40构成为在标题部42记录有包含表示摄影位置的GP S信息及表示摄影方向的方位信息的附属信息且在距离图像文件40的主体部4 4记录有距离图像。另外，将距离图像与GPS信息及表示摄影方向的方位信息 建立关联的方法并不限定于上述方法，例如，可以将记录有距离图像的距离图 像文件与记录有表示拍摄时的摄影位置及摄影方向的附属信息的文本文件以文 件名等来建立关联。
第1通信部34为在与图1所示的图面制作装置主体100的第2通信部110 之间经由近距离无线通信或网络进行无线通信的部分，在本例中，已拍摄的距 离图像的每次拍摄(距离图像文件)，或在结束多个距离图像(多个部分的距 离图像)的拍摄之后，统一发送至图面制作装置主体100。并且，关于图面制 作装置主体100的第2通信部110，详细内容将进行后述，但图面制作装置主 体100的第2通信部110将用于支持TOF相机10中的距离图像的拍摄的信息 发送至TOF相机10。
<图面制作装置主体100>
图1所示的图面制作装置主体100主要由第2通信部110、数据库120、 外形形状获取部130、连结处理部140、图面制作部150、尺寸补记部152、估 算部160、第1手动校正部180及第2手动校正部190等构成。
在本例中，外形形状获取部130从表现了构造物的概略的外形形状的地图 信息170获取图面的制作对象即构造物的概略的外形形状。在此，地图信息17 0为能够从地理信息系统(GIS：geographic information system)获取的地 图信息或由互联网上的地图信息提供服务提供的地图信息(“谷歌地图”(注 册商标)位置信息获取页面)，优选包含计算机上能够利用的GPS信息等附加 信息的地图信息。
如图5所示，通过地图信息170，将包含目标构造物(本例中为桥梁1) 的地图(本例中为航空照片)显示于计算机的画面(未图示)，将光标移动到 确定桥梁1的外形形状的多个部位。外形形状获取部130从地图信息170获取 桥梁1的用光标指定的多个部位的GPS信息。在此，基于外形形状获取部130 的GPS信息的获取包含经由具有地图信息170的编辑功能的计算机软件来自动 获取用光标指定的位置对应的GPS信息的方法、及以目视读取与用光标指定的 位置对应地显示于画面上的GPS信息并通过手动输入所读取的GPS信息来获取的方法。并且，用光标描摹显示于计算机的画面的桥梁1的外形，并根据桥梁 1的多个地点的GPS信息通过最小二乘法推算出表示桥梁1的外形的最佳函 数，由此能够获取更准确的桥梁1的外形形状。
估算部160为由通过外形形状获取部130获取的桥梁1的外形形状估算出 基于TOF相机10的摄影次数等的部分，根据桥梁1(构造物)整体的大小(外 形尺寸)及基于TOF相机10的测距区域(测距可靠性高的测距区域)估算出 摄影次数。例如，如图6所示，当桥梁1的长度(长边方向的长度)为65m， 宽度为22m，且基于TOF相机10的测距区域为15m×15m时，如图6所示，分 为10个区域(12次)进行拍摄。
现在，在图6中，在全局坐标系(XYZ坐标系)的原点O上配置桥梁1的 左下角，使桥梁1的长边方向与X方向一致，使宽度方向与Y轴方向一致的情 况下，从图6所示的10处摄影位置P1～P10分别沿X轴的正方向拍摄10次，从 两处摄影位置(P2、P7)分别沿X轴的反方向拍摄2次。
另外，在摄影位置(P2、P7)中，分别沿X轴的正方向及反方向进行2次 拍摄的理由在于，在仅沿X轴的正方向的10次拍摄中，出现因构成桥梁1的 位于正前侧的物体将位于背后的物体遮挡的区域(遮挡区域)，为了拍摄该遮 挡区域而也沿X轴的反方向进行拍摄。并且，在整个10处摄影位置P1～P10中，也可以沿X轴的正方向及反方向进行2次拍摄(合计10×2次拍摄)，但 当桥梁1构成为相同的结构重复时，如本例，可以减少一方向(反方向)的摄 影次数，关于因减少摄影次数而产生的遮挡区域，可以采用类推的方式。
如上所述，估算部160估算出摄影次数(12次)、摄影位置(P1～P10)及 摄影方向等，并将估算出的结果经由第2通信部110(发送部114)发送至TOF 相机10。
图2所示的TOF相机10的第1通信部34接收通过估算部160估算出的结 果，CPU20将经由第1通信部34接收的所估算出的结果显示于作为第1通知部 而发挥功能的显示部28。例如，除了在显示部28以文本方式显示摄影次数等 以外，如图6所示，还可以以图形方式显示摄影次数等。
摄影者能够一边根据显示于TOF相机10的显示部28的通过估算部160估 算出的结果确定摄影位置及摄影方向等，一边拍摄构成桥梁1的多个部分的距 离图像。例如，如图6所示，一边观察通过GPS装置30定位的GPS信息，一 边移动至摄影位置(P1～P10)中的任一摄影位置或其附近的摄影位置，并进行 用箭头指定的方向的距离图像的拍摄。如此，通过一边改变摄影位置，一边依 次重复距离图像的拍摄，能够拍摄构成桥梁1的多个部分的距离图像。
当拍摄构造物(桥梁1)时，TOF相机10的CPU20将表示这次拍摄的部分为桥梁1整体的哪一部分的信息显示于作为第2通知部而发挥功能的显示部2 8。例如，如图6所示，CPU20将分为10个区域的桥梁1整体的外形形状显示于显示部28，并以能够与其他分割部分辨识的方式显示这次拍摄的部分(1个分割部分)。在该情况下，优选将由通过TOF相机10连续拍摄的距离图像生成的可视化图像显示于作为第1显示部而发挥功能的显示部28，或将从拍摄与 通过TOF相机10拍摄的距离图像相同的视角的可视化图像的摄像部获得的即 时显示图像显示于作为第2显示部而发挥功能的显示部28，并且将表示通过显 示部28显示的图像与桥梁1整体的哪一部分对应的信息显示于显示部28。由 此，摄影者能够确认这次拍摄的部分为桥梁1整体的哪一部分，从而能够移动 至为了拍摄该部分的距离图像而所需的摄影位置。
而且，CPU20将已对构造物(桥梁1)进行距离图像的拍摄的已摄像区域 及尚未进行距离图像的拍摄的未摄像区域以能够识别的方式显示于作为第3显 示部而发挥功能的显示部28。例如，如图6所示，CPU20将分为10个区域的 桥梁1整体的外形形状显示于显示部28，且使已摄像区域(分为10个区域的 分割区域中已进行拍摄的分割区域)呈灰色，从而以能够识别的方式显示已摄 像区域及未摄像区域。由此，能够不留未摄像区域的方式拍摄桥梁1。
在每次拍摄距离图像时，或在结束对桥梁1的所有距离图像的拍摄之后， 由TOF相机10的第1通信部34统一发送距离图像(距离图像文件)，图面制 作装置主体100的第2通信部110的接收部112接收从TOF相机10发送的距 离图像文件，并将所接收的距离图像文件存储于数据库120。
连结处理部140从数据库120依次读出存储于数据库120的桥梁1的多个 部分的距离图像(在图6所示例子中为12张距离图像)，并使用通过外形形 状获取部130获取的桥梁1的外形形状及各距离图像的附属信息(表示记录于 距离图像文件40的标题部42的摄影位置的GPS信息及表示摄影方向的方位信 息)来连结所读出的距离图像。
距离图像为包含将以GPS信息来表示的摄影位置设为原点的极坐标空间的 矢径及偏角的三维信息，距离图像的各像素的距离信息与矢径对应，距离图像 的二维分布图像内的各像素的位置与偏角对应。因此，连结处理部140将以极 坐标来表示的距离图像转换为以摄影位置为原点的xyz的3轴正交坐标。将3 轴正交坐标的z轴例如设为摄影方向(光轴方向)，能够将x轴及y轴分别设 为与z轴正交的面的水平方向及垂直方向。如此，获取将距离图像转换为以摄 影位置为原点的3轴正交坐标的TOF相机10的局部坐标系中的桥梁1的三维 坐标。
接着，连结处理部140将局部坐标系中的桥梁1的三维坐标转换为图6所 示的全局坐标系的三维坐标。
在该情况下，从获取桥梁1的外形形状时的GPS信息已知全局坐标系的原 点O的坐标值(GPS信息)及全局坐标系的X轴及Y轴的方位方向，且已获取 局部坐标系的原点的坐标值(表示距离图像的摄影位置的GPS信息)，因此能 够求出用于将局部坐标系的坐标值转换为全局坐标系的坐标值的平移向量。并 且，已获取拍摄距离图像时的摄影方向的信息(成像透镜12的光轴方向及围 绕光轴的旋转角)，从而能够求出用于将局部坐标系的坐标值转换为全局坐标 系的坐标值的围绕正交3轴的各轴的旋转角。因此，能够根据以上述方式求出 的平移向量及旋转角而将局部坐标系的坐标值转换为全局坐标系的坐标值。
连结处理部140通过使用附属于距离图像的表示摄影位置及摄影方向的附 属信息而将从数据库120依次读出的距离图像转换为全局坐标系的坐标值来连 结各距离图像。如此，所连结的距离图像成为表示桥梁1整体的三维信息的图 像。
能够由桥梁1整体的三维信息求出桥梁1的外形形状(平面形状)，由桥 梁1整体的三维信息求出的桥梁1的外形形状成为与通过外形形状获取部130 获取的外形形状一致的形状最为理想，但因由GPS装置30定位的摄影位置(G PS信息)的误差及由方位传感器32检测的摄影方向的误差而不会一致。连结 处理部140对将各距离图像转换为全局坐标系的坐标值时所使用的平移向量及 旋转角进行校正，以使由桥梁1整体的三维信息求出的桥梁1的外形形状(平 面形状)与通过外形形状获取部130获取的外形形状一致。
并且，连结处理部140具有根据从第1手动校正部180输入的校正命令对 多个部分的距离图像的连结进行校正的功能。第1手动校正部180具有重叠并 显示构造物(桥梁1)的外形形状与所连结的距离图像的可视化图像的显示部 (未图示)，并将对各距离图像的位置(具体而言，进行坐标转换时所使用的 摄影位置(平移向量)及摄影方向(角度))进行校正的校正命令输出至连结 处理部140，以使和显示于显示部的各距离图像中的外形形状对应的部分与外 形形状一致。连结处理部140根据来自第1手动校正部180的校正命令对多个部分的距离图像的连结(距离图像的坐标转换)进行校正。
而且，当在相邻的距离图像之间存在重复区域时，连结处理部140能够对 彼此的坐标转换进行校正，以使重复区域坐标转换后的三维坐标值成为相同的 坐标值。
图面制作部150根据通过连结处理部140连结的距离图像而制作出构造物 (桥梁1)的图面。图面制作部150能够根据所连结的距离图像(桥梁1整体 的三维信息)制作出将视为桥梁1的轮廓的点连结而成的线图。另外，已获取 构造物(桥梁1)整体的三维信息，因此例如能够通过正投影法制作出构造物 的6个视图(主视图、后视图、俯视图、仰视图、右视图、左视图)，或能制 作出立体图。
通过图面制作部150制作出的图面以与多个部分的距离图像建立关联的方 式保存于数据库120。保存于数据库120的构造物的图面能够根据需要读出、 打印输出或显示于显示部。
并且，图面制作部150具有根据从第2手动校正部190输入的校正命令而 对构造物(桥梁1)的图面进行校正的功能。第2手动校正部190具有显示通 过图面制作部150制作出的图面的显示部(未图示)，当在显示于显示部的图 面中存在欠缺的部分(与遮挡区域对应的部分等)时，或在图面中存在明显的 错误时，通过手动将图面的校正命令输出至图面制作部150。
尺寸补记部152为在通过图面制作部150制作出的构造物(桥梁1)的图 面上补记尺寸线及尺寸的部分。尺寸补记部152具有显示通过图面制作部150 制作出的图面的显示部，且在显示部上能够进行加入尺寸线的部分及尺寸的命 令输入。另外，由所连结的距离图像已生成构造物的三维信息，因此若有加入 尺寸线的部分的命令输入，则能够自动计算出与尺寸线对应的构造物的构成部 分的尺寸，并且能够将计算出的尺寸设为在图面上进行补记的信息。
图7是与桥梁的一部分的三维信息对应的可视化图像，图8是与桥梁的一 部分的三维信息对应地制作出的图面。如图8所示，图面制作部150在根据来 自尺寸补记部152的加入尺寸线的部分及尺寸的命令输入制作出的图面上补记 尺寸线及尺寸。
<无人飞行器200>
根据构造物，有时难以将TOF相机10手动移动到适当的摄影位置而对构 造物的距离图像进行拍摄。
在该情况下，如图9所示，优选在无人飞行器200上搭载TOF相机10，并 通过远程操作部210操作无人飞行器200来对构造物的距离图像进行拍摄。
无人飞行器200具备TOF相机10及对通过TOF相机10拍摄的距离图像进 行无线发送的通信部(第1通信部)。另外，当TOF相机10具备第1通信部3 4(图2)时，无人飞行器200可以不具备第1通信部。
并且，无人飞行器200优选还具备拍摄与TOF相机10相同的摄像区域 (包含大致相同的摄像区域)的可视化图像(即时显示图像)的摄像装置及将 通过摄像装置拍摄的即时显示图像发送至远程操作部210的通信部。
远程操作部210作为远程控制无人飞行器200的控制部而发挥功能，且具 备显示通过无人飞行器200的摄像装置拍摄的即时显示图像的显示部和以无线 命令无人飞行器200的飞行及TOF相机10的拍摄的操作部，操作者一边观察 显示于显示部的即时显示图像一边对无人飞行器200进行远程操作。
并且，当无人飞行器200为具有自动驾驶功能的无人驾驶飞机时，具备预 先对飞行路线及摄影位置等进行程序化的控制部，通过控制部控制无人驾驶飞 机的飞行，由此能够不使用远程操作部210，或能够补充性地使用远程操作部 210。
图10是为了说明能够适用于TOF相机10中的距离图像传感器(图像传感 器)的另一实施方式而使用的图，图10(A)是表示另一实施方式的图像传感 器的2×2像素的基本排列的图。另一实施方式的图像传感器构成为该基本排 列沿水平方向及垂直方向重复配置。
如图10(A)所示，2×2像素的基本排列具有对近红外光的波长频带具有 灵敏度的第1受光元件即近红外光像素(IR(红外线(infrared)像素))及 分别对红(R)、绿(G)、蓝(B)可见光的波长频带具有灵敏度的3个第2 受光元件(R像素、G像素、B像素)。即，另一实施方式的图像传感器构成为 IR像素和R像素、G像素及B像素混在一起而二维排列。
图10(B)示出了配设于R像素、G像素及B像素中的RGB的各彩色滤光 片的光谱透过率和从脉冲光发光部22(近红外LED)发射的近红外光的分光特 性。
关于距离图像，根据从上述结构的图像传感器的IR像素读出的、与从脉 冲光发光部22射出且由物体反射的近红外光对应的信号电荷而能够获取表示 物体距离的距离图像。
并且，CPU20内的可视化图像生成部(未图示)能够由从上述构成的图像 传感器的R像素、G像素及B像素读出的RGB图像生成摄像区域内的被摄体的 彩色图像(可视化图像)。RGB的各滤光片也对近红外光具有透过率，但可以 设成所对应的R像素、G像素及B像素对近红外光不具有灵敏度的结构，或能 够生成通过与RGB的各滤光片重叠地设置IR截止滤光片而对近红外不具有灵 敏度的可视化图像。并且，可以如下进行，即，不是IR截止滤光片或对近红 外光不具有灵敏度的结构，而是在图10(B)中，代替具有带通特性的近红外 光滤光片而设置可见光截止滤光片，并通过从R像素、G像素及B像素读出的 RGB各图像减去IR图像成分来生成可视化图像。
根据上述结构的图像传感器，能够用1个图像传感器来拍摄距离图像及可 视化图像(彩色图像)。并且，在该情况下，优选以将所拍摄的距离图像与可 视化图像(彩色图像)建立关联的方式保存于数据库120。
[图面制作方法]
图11是表示本发明所涉及的图面制作方法的实施方式的流程图。
在图11中，图1所示的图面制作装置主体100的外形形状获取部130从 地图信息170获取构造物的概略的外形形状(步骤S10)。
估算部160根据通过外形形状获取部130获取的构造物(桥梁1)的外形 形状建立基于TOF相机10的摄影次数、摄影位置及摄影方向等的摄影计划 (步骤S12)。摄影者按照在步骤S12中建立的摄影计划进行基于TOF相机10 的构造物的拍摄(距离图像的拍摄)。图面制作装置主体100的距离图像获取 部获取通过TOF相机10拍摄的构成构造物的多个部分的距离图像(步骤S1 4)。
接着，连结处理部140使用在步骤S10中获取的构造物的外形形状及各距 离图像的附属信息(摄影位置及摄影方向)来连结在步骤S14中获取的多个部 分的距离图像(步骤S16)。
接着，图面制作部150根据连结后的距离图像(构造物整体的三维信息) 制作出构造物的图面(步骤S18)。
如此制作出的构造物的图面被电子数据化，或被打印输出，从而能够利用 于构造物的维护及检查等。
[其他]
在本实施方式中，设成对构造物分多次(按多个摄影位置)拍摄距离图 像，但并不限定于此，也可以设成连续改变摄影位置的同时(移动的同时)， 以一定的帧率连续拍摄距离图像，并从连续拍摄的多个距离图像中提取(获 取)使用于连结的多个部分的图像。
并且，在本实施方式中，将图面的制作对象即构造物的概略的外形形状设 成能够从GIS获取的地图信息等获取，但例如，当已知如桥梁的长度及宽度等 与构造物的外形形状相关的信息时，可以从该信息获取，也可以测量构造物的 外形形状来获取。
而且，包含表示摄影位置及摄影方向的附属信息的距离图像并不限定于通 过无线通信从TOF相机获取的情况，可以设成通过有线从TOF相机获取，也可 以设成经由TOF相机的记录介质而获取。
此外，距离图像摄像装置并不限定于TOF相机，也可以使用三维激光扫描 仪及立体相机，总之，只要是能够获取构造物的距离图像的摄像装置，则可以 是任何摄像装置。
并且，本发明并不限定于上述实施方式，在不脱离本发明的技术思想的范 围内，能够进行各种变形是显而易见的。
符号说明
10-TOF相机，12-成像透镜，14-距离图像传感器，20-中央处理器(CP U)，22-脉冲光发光部，24-曝光控制部，28-显示部，30-GPS装置，32-方位 传感器，34-第1通信部，100-图面制作装置主体，110-第2通信部，120-数 据库，130-外形形状获取部，140-连结处理部，150-图面制作部，152-尺寸补 记部，160-估算部，180-第1手动校正部，190-第2手动校正部，200-无人飞 行器，210-远程操作部。

Claims (16)

1.一种构造物的图面制作装置，其特征在于，具备：
外形形状获取部，获取图面的制作对象即构造物的概略的外形形状；
距离图像摄像装置，拍摄所述构造物，且拍摄包含表示摄影位置及摄影方向的附属信息的距离图像；
距离图像获取部，获取作为通过所述距离图像摄像装置拍摄而获得的多个距离图像的、构成所述构造物的多个部分的距离图像；
连结处理部，使用通过所述外形形状获取部获取到的所述构造物的外形形状及所述距离图像的附属信息来连结通过所述距离图像获取部获取到的所述多个部分的距离图像；及
图面制作部，根据通过所述连结处理部被连结的所述距离图像制作所述构造物的图面，
所述距离图像为包含将摄影位置设为原点的极坐标空间的矢径及偏角的三维信息，
所述连结处理部将以极坐标来表示的所述距离图像转换为以摄影位置为原点的3轴正交坐标来获取局部坐标系中的三维坐标，并使用表示摄影位置及摄影方向的所述附属信息将所述距离图像转换为全局坐标系的三维坐标，从而来连结各所述距离图像。
2.根据权利要求1所述的图面制作装置，其中，
所述距离图像摄像装置具备由所述构造物的概略的外形尺寸估算进行拍摄的次数的估算部及通知通过所述估算部估算出的结果的第1通知部。
3.根据权利要求1或2所述的图面制作装置，其中，
所述距离图像摄像装置具备全球定位系统及方位传感器，并且将拍摄所述距离图像时分别从所述全球定位系统及所述方位传感器获取到的GPS信息及方位信息设为表示所述摄影位置及所述摄影方向的附属信息。
4.根据权利要求1或2所述的图面制作装置，其中，
所述距离图像摄像装置具备在拍摄所述构造物时通知表示拍摄的所述部分为所述构造物整体的哪一部分的信息的第2通知部。
5.根据权利要求1或2所述的图面制作装置，其中，
该图面制作装置具备：
第1显示部，将通过所述距离图像摄像装置拍摄到的所述距离图像以可视化图像来显示；或
第2显示部，显示通过拍摄与所述距离图像摄像装置相同的摄像区域的可视化图像的摄像装置获取到的可视化图像。
6.根据权利要求1或2所述的图面制作装置，其中，
该图面制作装置具备：
第3显示部，以能够识别的方式显示对所述构造物进行了所述距离图像的拍摄的已摄像区域及未进行所述距离图像的拍摄的未摄像区域。
7.根据权利要求1或2所述的图面制作装置，其中，
所述距离图像摄像装置为TOF相机。
8.根据权利要求1或2所述的图面制作装置，其中，
所述图面制作部根据被连结的所述距离图像制作将视为所述构造物的轮廓的点连结而成的线图。
9.根据权利要求1或2所述的图面制作装置，其中，
该图面制作装置具备：
第1手动校正部，手动校正基于所述连结处理部的所述多个部分的距离图像的连结。
10.根据权利要求1或2所述的图面制作装置，其中，
该图面制作装置具备：
第2手动校正部，手动校正通过所述图面制作部制作出的所述构造物的图面。
11.根据权利要求1或2所述的图面制作装置，其中，
该图面制作装置具备：
尺寸补记部，在所述构造物的图面上补记尺寸线及尺寸。
12.根据权利要求1或2所述的图面制作装置，其中，
所述外形形状获取部从表现了所述构造物的概略的外形形状的地图信息获取所述构造物的外形形状。
13.根据权利要求12所述的图面制作装置，其中，
所述地图信息为能够从地理信息系统获取的地图信息或由互联网上的地图信息提供服务提供的地图信息。
14.根据权利要求1或2所述的图面制作装置，其中，
所述图面制作装置具备搭载有所述距离图像摄像装置的无人飞行器及控制所述无人飞行器的控制部，
所述距离图像获取部获取通过搭载于所述无人飞行器的所述距离图像摄像装置拍摄而获得的多个距离图像。
15.根据权利要求1或2所述的图面制作装置，其中，
所述距离图像摄像装置以一定的帧率连续拍摄所述距离图像，
所述距离图像获取部从连续拍摄到的所述距离图像中获取使用于连结的所述多个部分的图像。
16.一种图面制作方法，其特征在于，包含：
获取图面的制作对象即构造物的概略的外形形状的步骤；
获取作为通过拍摄所述构造物的距离图像摄像装置获取到的多个距离图像的、构成所述构造物的多个部分的距离图像的步骤，其中，所述距离图像摄像装置拍摄包含表示摄影位置及摄影方向的附属信息的所述距离图像；
使用获取到的所述构造物的外形形状及所述距离图像的附属信息来连结获取到的所述多个部分的距离图像的步骤；及
根据被连结的所述距离图像制作所述构造物的图面的步骤，
所述距离图像为包含将摄影位置设为原点的极坐标空间的矢径及偏角的三维信息，
将以极坐标来表示的所述距离图像转换为以摄影位置为原点的3轴正交坐标来获取局部坐标系中的三维坐标，并使用表示摄影位置及摄影方向的所述附属信息将所述距离图像转换为全局坐标系的三维坐标，从而来连结各所述距离图像。
CN201680055713.5A 2015-10-01 2016-09-27 图面制作装置及图面制作方法 Active CN108140066B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-195768 2015-10-01
JP2015195768 2015-10-01
PCT/JP2016/078452 WO2017057362A1 (ja) 2015-10-01 2016-09-27 図面作成装置及び図面作成方法

Publications (2)

Publication Number Publication Date
CN108140066A CN108140066A (zh) 2018-06-08
CN108140066B true CN108140066B (zh) 2022-02-15

Family

ID=58423785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055713.5A Active CN108140066B (zh) 2015-10-01 2016-09-27 图面制作装置及图面制作方法

Country Status (5)

Country Link
US (1) US20180218534A1 (zh)
EP (1) EP3358480B1 (zh)
JP (1) JP6574845B2 (zh)
CN (1) CN108140066B (zh)
WO (1) WO2017057362A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6250228B2 (ja) * 2015-10-27 2017-12-20 三菱電機株式会社 構造物の形状測定用の画像撮影システム、遠隔制御装置、機上制御装置、プログラムおよび記録媒体
WO2018225363A1 (ja) * 2017-06-07 2018-12-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6877293B2 (ja) * 2017-08-08 2021-05-26 株式会社 日立産業制御ソリューションズ 位置情報記録方法および装置
CN117537734A (zh) * 2018-06-01 2024-02-09 松下电器（美国）知识产权公司 三维数据解码方法以及三维数据解码装置
CN108924383B (zh) * 2018-07-23 2021-01-12 惠州市德赛西威汽车电子股份有限公司 一种车载多传感器同步触发装置及其触发方法
CN111783187B (zh) * 2019-04-03 2023-12-22 京灯(广东)信息科技有限公司 一种亮化共享平台应用系统
JP6938749B2 (ja) * 2019-04-26 2021-09-22 コムシス情報システム株式会社 空撮画像特定システムおよび空撮画像特定方法。
JP6799635B2 (ja) * 2019-04-26 2020-12-16 コムシス情報システム株式会社 空撮画像位置特定システムおよび空撮画像位置特定方法。
CN110765542A (zh) * 2019-11-05 2020-02-07 中铁二局第一工程有限公司 一种高精度数字高程模型的轻量化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669045A (zh) * 2002-07-10 2005-09-14 哈曼贝克自动系统股份有限公司 生成物体三维电子模型的系统
CN103134475A (zh) * 2011-11-24 2013-06-05 株式会社拓普康 航空摄影图像拾取方法和航空摄影图像拾取设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7327857B2 (en) * 2004-03-09 2008-02-05 General Electric Company Non-contact measurement method and apparatus
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
JP6315542B2 (ja) * 2013-06-26 2018-04-25 国立研究開発法人産業技術総合研究所 画像生成装置及び画像生成方法
JP6090190B2 (ja) * 2014-02-06 2017-03-08 オムロン株式会社 移動体管理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669045A (zh) * 2002-07-10 2005-09-14 哈曼贝克自动系统股份有限公司 生成物体三维电子模型的系统
CN103134475A (zh) * 2011-11-24 2013-06-05 株式会社拓普康 航空摄影图像拾取方法和航空摄影图像拾取设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AVENUE: Automated Site Modeling in Urban Environments;Peter Allen等;《http://www2.ic.uff.br/~aconci/papers/allen.pdf》;20020807;第1-8页 *
Integrating LiDAR, Aerial Image and Ground Images for Complete Urban Building Modeling;Jinhui Hu等;《http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.685.1982&rep=rep1&type=pdf》;20070423;第1-8页 *
LIDAR-EQUIPPED UAV FOR BUILDING INFORMATION MODELLING;D. Roca等;《ISPRS Technical Commission V Symposium》;20140630;第23-25页 *

Also Published As

Publication number Publication date
US20180218534A1 (en) 2018-08-02
EP3358480B1 (en) 2020-01-01
EP3358480A1 (en) 2018-08-08
WO2017057362A1 (ja) 2017-04-06
JPWO2017057362A1 (ja) 2018-06-28
EP3358480A4 (en) 2018-10-31
CN108140066A (zh) 2018-06-08
JP6574845B2 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
CN108140066B (zh) 图面制作装置及图面制作方法
EP1792282B1 (en) A method for automated 3d imaging
US20170123054A1 (en) Scanner display
EP3373251A1 (en) Scan colorization with an uncalibrated camera
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP6996925B2 (ja) 杭頭解析システム、杭頭解析方法、及び杭頭解析プログラム
US20020060784A1 (en) 3D multispectral lidar
JP4038726B2 (ja) 画像対応付け方法
WO2019230604A1 (ja) 検査システム
JP6930840B2 (ja) 測量システム
JP2007107962A (ja) 測定対象物計測システム、及び送電線下離隔計測システム
CN112415010B (zh) 一种成像检测方法及系统
JP2020203664A (ja) 無人飛行機の飛行制御システム及び地形計測システム
JP2017201757A (ja) 画像取得システム、画像取得方法、画像処理方法
JP2022023592A (ja) 測量システム、測量方法および測量用プログラム
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
JP2023100642A (ja) 検査システム
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和系统
CN108492334A (zh) 一种基于定位定向数据实现商用相机照片地理标定的方法
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
JP6909751B2 (ja) 無人飛行機及び相対反射率の算出方法
WO2023089984A1 (ja) 移動体、移動体撮影システム及び移動体撮影方法
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7448029B2 (ja) 処理装置、処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant