CN108391046A - 信息取得装置、计测方法、记录介质 - Google Patents

信息取得装置、计测方法、记录介质 Download PDF

Info

Publication number
CN108391046A
CN108391046A CN201810047514.0A CN201810047514A CN108391046A CN 108391046 A CN108391046 A CN 108391046A CN 201810047514 A CN201810047514 A CN 201810047514A CN 108391046 A CN108391046 A CN 108391046A
Authority
CN
China
Prior art keywords
shooting
object position
image
shooting image
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810047514.0A
Other languages
English (en)
Inventor
吉田英明
原田久之
林寿
林寿一
冈田圭司
土持裕
土持裕一
野中修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Olympus Visual Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Visual Communications Corp filed Critical Olympus Corp
Publication of CN108391046A publication Critical patent/CN108391046A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供信息取得装置、计测方法、记录介质,该信息取得装置从拍摄图像的部位中识别对象部位。信息取得装置(10)取得部件的拍摄图像,所述信息取得装置(10)具有:对象部位判定部(136),其从拍摄图像中判定与特定部件对应的部位作为对象部位;以及计测部(130),其从拍摄图像中对所述对象部位进行计测,计测特定部件的形状,对象部位判定部将接近拍摄用的照相机所在的方向的一侧存在的部件作为所述特定部件,从所述拍摄图像的部位中判定对应的对象部位。

Description

信息取得装置、计测方法、记录介质
技术领域
本发明涉及取得所拍摄的工程图像等的信息取得装置、计测方法、记录介质。
背景技术
与银盐照片相比,由数字照相机拍摄的图像在即时性方面具有压倒性优势,因此,在各种业务领域中,广泛作为证据照片来利用。例如,在建设现场或土木工程现场,使用由数字照相机拍摄的图像数据作为证据照片的系统普遍。进而,在工程现场,还利用所拍摄的图像数据进行柱、梁等部件的形状测定。
提出了各种利用拍摄图像的计测技术。例如,提出了利用颜色传感器识别像的颜色分布并识别测定对象物的高度的三维照相机(专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开平6-3122号公报
发明内容
发明要解决的课题
在工程现场,根据工程的推进,在施工单位进行施工或作业完成后的部位的图像拍摄,对拍摄图像进行管理。在工程现场,多数情况下,施工已经完成的部位和当前处于施工中的部位混合混在,或者同时进行不同种类的部位的施工。因此,在图像内包含拍摄对象以外的部位(例如已拍摄的部件)的情况也不少。
这种情况下,当根据图像数据进行部件的形状计测时,可能产生计测了非计测对象的部位、或对计测对象和包含除此以外的部分的部位进行合计计测等计测错误。并且,当拍摄图像中混合存在有不同种类的部位时,即使在拍摄时能够进行判别,在拍摄后,有时也无法得知哪个是拍摄对象的部位。因此,需要能够在拍摄图像中识别计测对象或拍摄对象的部位。
本申请发明的目的在于,鉴于上述课题,提供从拍摄图像的部位中识别对象部位的信息取得装置、计测方法、记录介质。
用于解决课题的手段
为了实现上述目的,信息取得装置取得部件的拍摄图像,其中,所述信息取得装置具有:对象部位判定部,其从所述拍摄图像中判定与特定部件对应的部位作为对象部位;以及计测部,其从所述拍摄图像中对所述对象部位进行计测,计测所述特定部件的形状,所述对象部位判定部将接近拍摄用照相机所在的方向的一侧存在的部件作为所述特定部件,从所述拍摄图像的部位中判定与所述特定部件对应的对象部位。
发明效果
根据本发明,能够提供从拍摄图像的部位中识别对象部位的信息取得装置、计测方法、记录介质。
附图说明
图1A是示出工程摄影的例子的图。
图1B是示出工程摄影的例子的图。
图2A是信息取得系统整体的结构图。
图2B是对象部位判定部的详细框图。
图3是信息取得装置的硬件框图。
图4A是说明对象部位判定处理的流程图1。
图4B是说明对象部位判定处理的流程图2。
图4C是说明对象部位判定处理的流程图3。
图5是设定信息取得装置的处理模式的设定画面的例子。
图6是强调显示例。
图7A是强调显示的引导画面的例子。
图7B是强调显示的引导画面的例子。
图8A是示出以单镜筒式根据拍摄图像计测部位形状的原理的图。
图8B是示出以双镜筒式根据拍摄图像计测部位形状的原理的图。
图9是基于设计图的结构信息的例子。
图10是基于第2结构信息的引导画面。
图11A是结果确认的画面。
图11B是结果确认的画面。
图12A是对象部位判定1的子例程。
图12B是对象部位判定1的说明图。
图12C是对象部位判定1的说明图。
图13A是对象部位判定2的子例程。
图13B是对象部位判定2的具体例。
图14A是对象部位判定3的子例程。
图14B是部件列表的具体例。
图14C是设计图信息的具体例。
图15A是对象部位判定4的子例程。
图15B是对象部位判定4的具体例。
图16是显示拍摄范围引导的处理的流程图。
图17是在第1结构信息中显示拍摄范围引导的例子。
图18A是在第2结构信息中显示拍摄范围引导的例子。
图18B是在第3结构信息中显示拍摄范围引导的例子。
图18C是在拍摄范围引导显示中显示全景图像的例子。
图19A是示出以正对状态计测柱的间隔的原理的图。
图19B是示出以倾斜方向计测柱的间隔的原理的图。
图19C是示出计测地面的地基的间隔的原理的图。
标号说明
1:信息取得系统;10:信息取得装置;40:外部装置;100:照相机部;120:控制部;126:结构信息取得部;128:已拍摄部位判定部;130:计测部;132:拍摄距离计算部;134:参考信息生成部;136:对象部位判定部;138:强调显示设定部;140:拍摄范围设定部;142:引导画面生成部;144:显示控制部;150:存储部;154:结构信息;154a:第1结构信息;154b:第2结构信息;156:照相机部特性信息;160:显示部;165:触摸面板;170:通信部;400:控制部;410:通信部;420:存储部;422:设计图信息;424:部件DB。
具体实施方式
下面,根据附图对本发明的实施方式进行说明。利用工程摄影中的利用例对本发明的信息取得系统1进行说明。工程摄影是用于在工程现场取得工程内容的证据照片等的拍摄。图1A和图1B是示出工程摄影的状况的图。
图1A是在对多个柱进行施工的室内由具有拍摄设备10(下面称为信息取得装置10)的拍摄者进行拍摄准备的状况。通常,从图1A和图1B的里侧进行工程。近前是本次的拍摄对象的柱PA,里侧是已拍摄的柱PB。另外,下面将柱或梁这样的作为拍摄对象的工程部位称为零部件或部件。而且,将拍摄图像中拍摄的部件称为拍摄部位或简称为部位。并且,关于与部位对应的部件,只要不是不明确,则也简单表记为部位。
图1B是拍摄者拿着信息取得装置10正对拍摄对象即柱PA进行拍摄的状况。在工程现场,从工程结束的部位起依次拍摄下去。因此,当工程推进时,很难仅拍摄本次的拍摄对象即柱PA,多数情况下,已拍摄的不是本次拍摄对象的柱PB或其他无关的部位进入画面。因此,多数情况下,在拍摄图像中包含有拍摄对象即柱PA和已拍摄的柱PB双方。
图2A、图2B是信息取得系统1整体的结构图。信息取得系统1大致由信息取得装置10和外部装置40构成。信息取得装置10是取得拍摄图像的装置。作为信息取得装置10,可以是“数字照相机”、“带照相机的信息处理装置”、或“以有线或无线方式组合照相机和信息处理终端(例如平板型的信息处理终端)而得到的系统”中的任意一方。外部装置40例如是通过通信线路而与信息取得装置10连接、存储信息取得装置10的拍摄结果的服务器。
信息取得装置10具有照相机部100、控制部120、存储部150、显示部160、触摸面板165和通信部170等。另外,照相机部100简称为照相机。关于信息取得装置10的各结构,在硬件方面,可以由任意计算机的CPU、存储器、其他LSI实现,在软件方面,通过载入到存储器中的程序等来实现,但是,这里描绘通过它们的协作而实现的功能块。因此,本领域技术人员能够理解到,这些功能块能够仅通过硬件、仅通过软件、或通过硬件软件的组合以各种形式实现。
照相机部100具有拍摄部102、图像处理部104、操作部106、操作判定部108和姿态传感器110。拍摄部102具有未图示的镜头部102a、摄像元件102b等,将被摄体像转换为图像信号。图像处理部104将从拍摄部102输出的图像信号转换为数字数据,进行各种图像处理。
操作部106是用于对拍摄部102的镜头部102a的焦点位置和焦距进行调整的指示部件。操作判定部108判定针对操作部106的操作,姿态传感器110是检测照相机部100的姿态和方向的传感器。姿态传感器110例如具有倾斜传感器(加速度传感器)和电子指南针。
控制部120对信息取得装置10整体进行总括控制。控制部120具有信息处理部122、照相机控制部124、结构信息取得部126、已拍摄部位判定部128、计测部130、拍摄距离计算部132、参考信息生成部134、对象部位判定部136、强调显示设定部138、拍摄范围设定部140、引导画面生成部142和显示控制部144等。
信息处理部122对各种判断处理、从外部装置40或照相机部100输入的信息进行管理。照相机控制部124根据从触摸面板165输入的指示对照相机部100进行控制,切换照相机部100的动作模式,并使其执行拍摄等。
结构信息取得部126从外部装置40的设计图信息422或由照相机部100拍摄的图像取得结构信息。结构信息是表示作为拍摄对象的多个部件的结构的信息。作为拍摄对象的部件是柱、壁、梁等工程部位。下面,作为结构信息,主要对第1结构信息和第2结构信息这2种进行说明。第1结构信息是表示基于拍摄图像的多个部件的结构的信息。第2结构信息是表示基于设计图的多个部件的结构的信息。
结构信息取得部126取得由照相机部100拍摄的图像、即拍摄有多个部件的整体的图像作为第1结构信息。并且,结构信息取得部126从外部装置40的设计图取得第2结构信息。结构信息在后面详细叙述。
已拍摄部位判定部128依次拍摄多个部件,从而判定所拍摄的部件。在工程现场,存在多个形状相似的部件,因此,通过在拍摄中确定已拍摄部件,能够抑制重复拍摄的浪费,并且能够防止拍摄遗漏。
计测部130根据拍摄图像计测部位的形状,输出计测值。在拍摄对象的部件是柱的情况下,部位的形状例如是柱的宽度(直径)或高度。在部件是梁的情况下,部位的形状是梁的厚度等。
如图1B所示,在画面中混合存在有对象部件的部位(以下称为对象部位)和除此以外的部位时,无法进行计测对象的设定。因此,计测部130根据由对象部位判定部136判定出的对象部位进行计测。另外,在由对象部位判定部136判定出多个对象部位的情况下,计测部130对判定出的多个部位进行计测。
拍摄距离计算部132计算从照相机部100到所拍摄的部件(例如柱)的距离。拍摄距离计算部132例如可以根据拍摄部102的对焦透镜的位置计算拍摄距离。该情况下,如果与拍摄图像中的各部位的位置对齐来进行合焦检测并单独计算与各部位对应的拍摄距离,则能够求出到各部位的拍摄距离。并且,在拍摄部102为双镜筒式的情况下,拍摄距离计算部132可以通过使用了左右摄像元件102b的相位差测距来计算拍摄距离。这里,相位差测距是根据左右的各被摄体像之间的相关度检测与被摄体上的关注点对应的像位置的偏移、根据三角测量的原理计算该关注点的距离的公知方法,能够在一次的拍摄中求出拍摄图像中的各部位的距离。
参考信息生成部134参考预先拍摄的图像、一般的标准参考拍摄步骤(记录在外部的DB(Data Base:数据库)或存储部150中),生成作为工程摄影参考的参考信息。例如,参考信息生成部134提供现场一般利用的拍摄步骤作为“标准拍摄引导”。并且,参考信息生成部134也可以提供相同工程现场(例如大厦)的其他楼层的已经拍摄并使用的拍摄步骤作为“相似拍摄引导”。
对象部位判定部136从拍摄图像中判定与特定部件对应的部位作为对象部位。即,对象部位判定部136从混合存在有对象部位和除此以外的部位的画面中判定对象部位。在本实施方式中,对象部位判定部136判定最新工期的部位(部件)作为对象部位。即,对象部位判定部136判定画面中最新施工的部位(部件)作为对象部位。
具体而言,对象部位判定部136在拍摄图像的部位中判定表层部位作为对象部位。表层部位是指拍摄图像的部位中、与接近照相机部100所在的方向的一侧存在的部件对应的部位。如上所述,通常,在工程现场,从里侧起进行工程,因此,从拍摄者观察,最近前侧存在的部件成为最新工期的部件。对应地拍摄从里侧完成后的部件起实施下去。如上所述,表层部位能够视为最新工期的部件。
并且,也可以根据部件的工期信息直接确定最新工期的部件。另外,最新工期的部位不限于一个部件,还存在多个部件的情况。例如,存在统一对n根柱进行施工的情况。该情况下,由多个部位构成的群组相当于对象部位。
对象部位判定部136单独或组合以下条件来判定对象部位。对象部位是作为识别对象的部位。如后所述,对象部位设为计测对象,并且设为强调显示的对象。
对象部位判定部136根据与拍摄图像的部位对应的拍摄距离判定对象部位。并且,对象部位判定部136也可以取得拍摄对象的部件的形状,使用图案匹配来判定对象部位。进而,对象部位判定部136可以根据拍摄距离对部位进行分组,参考基于该拍摄距离的部位的群组或部件的工期来判定对象部位。
并且,对象部位判定部136也可以根据基于图像特征或拍摄距离的部位的群组或工期,在一个画面中判定多个对象部位。如果能够在一个画面内统一判定多个对象部位并统一进行计测,则能够削减拍摄图像的张数。
图2B是对象部位判定部136的详细框图。对象部位判定部136具有图像特征判定部136a、零部件判定部136b、距离判定部136c、工期判定部136d。
图像特征判定部136a判定所拍摄的各部位的特征(形状、尺寸、颜色)。具体而言,图像特征判定部136a判定棱柱、圆柱、梁等形状或颜色作为特征。零部件判定部136b根据由图像特征判定部136a判定出的各部位的形状和尺寸,判定各部位是哪个种类(棱柱或圆柱)的部件(零部件)。
对象部位判定部136对从设计图信息422或部件DB424取得的各部件的规格和由零部件判定部136b判定出的部位的种类进行比较,判定是否是对象部位。例如,在作为本次的对象部位的部件是棱柱、画面的某个部位判定为圆柱的情况下,判定为画面的某个部位不是对象部位。
距离判定部136c根据由拍摄距离计算部132计算出的到拍摄图像的各部位的拍摄距离,将各部位分类为每个拍摄距离的群组。距离判定部136c将所拍摄的各部位例如分类为拍摄距离1m间隔的群组。
工期判定部136d从设计图信息422或部件DB424取得各部件的工期,判定各部件的工期。对象部位判定部136根据判定出的各部件的工期判定最新工期的部件,根据图像特征等判定与最新工期的部件对应的部位。
强调显示设定部138针对由对象部位判定部136判定为对象部位的部位设定强调显示。在实时取景图像、记录浏览图像或后述引导画面中显示对对象部位进行强调显示的拍摄图像。强调显示设定部138在由对象部位判定部136判定为对象部位的部位存在多个部位的情况下,对判定出的多个部位设定强调显示。
拍摄范围设定部140根据针对部件形状计测值的要求精度,设定拍摄范围。当延长拍摄距离时,拍摄范围变宽,能够统一拍摄多个部件,但是,相应地,由于摄像元件102b的分辨率等的关系,计测的精度降低。即,在希望高精度地计测部件的形状的情况下,需要在接近的位置进行拍摄。
拍摄范围设定部140根据照相机部100的特性,计算用于满足计测要求精度的拍摄距离。照相机部100的特性是镜头部102a的MTF、畸变或摄像元件102b的分辨率等。然后,拍摄范围设定部140根据计算出的拍摄距离和照相机部100的特性(镜头部102a的视场角),设定对应的拍摄范围。镜头部102a的视场角由F值、焦距和焦点位置等来决定。
引导画面生成部142生成包含所取得的结构信息且对结构信息所表示的部位附加了状况信息而成的引导画面。状况信息是基于已拍摄部位判定部128的判定的拍摄状况,拍摄状况例如是拍摄的过程或推进。在拍摄过程中随时显示引导画面。
而且,除了附加了状况信息的结构信息以外,引导画面生成部142还在引导画面中包含部位的拍摄图像(实时取景图像或记录浏览图像)和拍摄条件信息。拍摄条件信息是计测出的部位形状(尺寸)、拍摄距离、部位的形状的要求精度、确保了要求精度的推荐拍摄距离等。另外,将引导画面称为拍摄引导画面。
并且,引导画面生成部142生成对结构信息附加了由拍摄范围设定部140设定的拍摄范围而成的引导画面。在表示结构信息的画面上示出所设定的拍摄范围作为拍摄范围引导。拍摄范围引导在实施方式2中详细说明。
并且,引导画面根据照相机部100的性能、功能的信息,根据拍摄计测时的环境、拍摄计测的对象物,高效且高精度地向拍摄者报知能够进行适当拍摄的信息。除了这些信息、测定精度、对象物、环境等以外,引导画面生成部142还能够进行由参考信息生成部134生成的参考信息的显示、通知等。由此,显示能够进行部位的正确测定、能够高效地一次进行多个测定的引导画面。引导画面生成部142根据照相机部100的性能、计测部130的精度、实际的各部位的配置和大小等生成引导画面,但是,根据需要,也可以考虑拍摄者能够拍摄的位置和空间等生成引导画面。
显示控制部144使显示部160显示“拍摄图像”、“用于设定模式等的设定画面”或“引导画面”等。并且,显示控制部144使拍摄图像中判定出的对象部位被强调显示。
存储部150是非易失性的存储部。在存储部150中存储拍摄图像152、结构信息154和照相机部特性信息156等。拍摄图像152是由照相机部100拍摄记录的图像数据。在拍摄图像152中也可以包含由对象部位判定部136判定出的对象部位的信息。并且,可以将由强调显示设定部138强调显示的图像设为拍摄图像152。结构信息154是由结构信息取得部126取得的信息。作为所存储的结构信息154,可以是第1结构信息或第2结构信息中的任意一方、或者第1结构信息和第2结构信息双方。
照相机部特性信息156是与照相机部100的特别是镜头部102a和摄像元件102b有关的特性信息。除了规格以外,镜头部102a的特性信息是明亮度、分辨率、畸变等。摄像元件102b的特性信息是像素尺寸、像素数、像素间距等。
显示部160例如是LCD,显示拍摄图像和引导画面等。触摸面板165是与显示部160一体构成的操作部,输入来自拍摄者的各种指示。通信部170是与外部装置40进行各种信息通信的接口。通信部170经由网络(未图示)而与外部装置40进行通信。通信部170能够通过接收或连接设定等判别连接目的地及其请求等,由此,控制部120能够判定各种计测的要求规格等。通过该通信,外部装置40也可以发送请求规格。
外部装置40具有控制部400、通信部410和存储部420。外部装置40是对工程摄影进行管理的服务器。控制部400对外部装置40进行总括控制。通信部410是与外部的装置、例如信息取得装置10进行信息通信的接口。在存储部420中包含有设计图信息422和部件DB(Data Base:数据库)424。部件DB在图14B中后述。在存储部420中保存由信息取得装置10拍摄的拍摄结果(拍摄部位的图像、后述报告等)。
图3是信息取得装置10的硬件框图。信息取得装置10具有CPU(CentralProcessing Unit:中央处理单元)120a、DRAM(Dynamic Random Access Memory:动态随机存取存储器)120b、ROM(Read Only memory:只读存储器)120c、闪存150a、显示部160、触摸面板165和通信部170。
CPU120a读入ROM120c中存储的控制程序并执行,通过软件处理进行信息取得装置10的控制。DRAM120b提供暂时存储控制程序和各种数据的工作区。ROM120c非易失地存储控制程序。控制部120由CPU120a、DRAM120b和ROM120c构成。
闪存150a存储各种数据表和拍摄图像。存储部150由闪存150a构成。显示部160、触摸面板165和通信部170如上所述,所以省略说明。
下面,对信息取得装置10的图像取得处理进行说明。在图像取得处理中包含对象部位判定处理。图4A~图4C是说明对象部位判定处理的流程图1A~3。图像取得处理主要由信息取得装置10的控制部120来执行。
首先,控制部120判断信息取得装置10中是否选择了工程模式(步骤S100)。图5是显示部160中显示的画面,是设定信息取得装置10的处理模式的设定画面。
图5的设定画面301是模式设定画面,是选择了从上方起第2个工程模式的状态。K1是“返回按钮”。图5的设定画面302是选择了工程模式并显示工程模式中包含的具体处理的画面。在工程模式中包含“工程摄影”、“图像再现”、“设计图取得”、“结果存储”和“结果确认”的子模式。
“工程摄影”是拍摄工程部位的处理。“图像再现”是再现所拍摄的图像的处理。
“设计图取得”是从外部装置40的存储部420取得设计图信息422作为结构信息154中的第2结构信息的处理。“结果确认”是拍摄者或管理者根据由信息取得装置10拍摄的各部位的图像确认拍摄内容的处理。拍摄者或管理者在后述确认画面中确认拍摄遗漏或拍摄的部位不存在不良情况。“结果存储”是向外部装置40发送由信息取得装置10拍摄的结果(拍摄图像、部位的形状信息、判定出的对象部位的信息)并将其存储在外部装置40中的处理。
控制部120判断为信息取得装置10中未选择工程模式时(步骤S100:否),执行选择出的其他模式(步骤S102)。
控制部120判断为信息取得装置10中选择了工程模式时(步骤S100:是),判断图5的工程模式的设定画面302中是否选择了“工程摄影”(步骤S104)。
控制部120判断为选择了“工程摄影”时(步骤S104:是),开始进行基于照相机部100的图像取得和基于所取得的图像的实时取景图像显示(步骤S106)。
控制部120根据拍摄者的指示等判断是否利用结构信息154(步骤S108)。控制部120判断为不利用结构信息154时(步骤S108:否),显示实时取景图像和测定用图像(步骤S110)。
对象部位判定部136根据实时取景图像判定对象部位(步骤S112)。对象部位的判定的详细情况在图12A~图15B中后述。计测部130对判定出的对象部位的形状进行计测(步骤S114)。强调显示设定部138进行设定以对对象部位进行强调显示。控制部120显示进行强调显示的拍摄图像和计测结果(步骤S116)。
图6是实时取景图像和测定用图像的显示例。画面的左侧是通常的实时取景图像,画面的右侧是测定用画面。在测定用画面中显示进行强调显示且附加了计测出的形状(尺寸)而成的实时取景图像。从照相机部100观察,相对于里侧的5根柱PB,对近前的4根柱PA进行强调显示。并且,近前的4根柱PA的计测结果均显示为30cm。
控制部120判断是否进行了拍摄指示(步骤S118)。控制部120判断为进行了拍摄指示时(步骤S118:是),执行拍摄(步骤S118)。计测部130根据拍摄图像计测对象部位的柱的宽度(步骤S120)。控制部120在存储部150中记录拍摄图像和计测结果(步骤S122)。控制部120在步骤S122之后或判断为未进行拍摄指示时(步骤S118:否),进入步骤S130。
控制部120判断为利用结构信息154时(步骤S108:是),控制部120判断是否存在结构信息154(步骤S130)。另外,下面,在区分结构信息154的种类的情况下,表记为第1结构信息154a、第2结构信息154b进行区分。
控制部120判断存储部150中是否存储有第1结构信息154a或第2结构信息154b。控制部120判断为不存在结构信息时(步骤S130:否),通过拍摄者的指定来判断要取得的结构信息种类是否是整体图像(第1结构信息154a)(步骤S132)。控制部120判断为指定了整体图像作为要取得的结构信息种类时(步骤S132:是),对拍摄者指示整体图像拍摄。由拍摄者进行整体图像拍摄。控制部120将由拍摄者拍摄的整体图像作为第1结构信息154a记录在存储部150中(步骤S134)。
另一方面,控制部120判断为结构信息154的种类不是整体图像、即所指定的结构信息154的种类是设计图时(步骤S132:否),经由通信部170从外部装置40的存储部420取得设计图信息422,作为第2结构信息154b记录在存储部150中(步骤S136)。控制部120在步骤S134或步骤S136之后进入步骤S150。
控制部120判断为存在结构信息154时(步骤S130:是),使拍摄者选择要利用的结构信息154的种类(步骤S150)。引导画面生成部142根据对选择出的结构信息154和实时取景图像进行合成后的图像,生成引导画面。控制部120在显示部160中显示包含结构信息154和实时取景图像的引导画面(步骤S152)。结构信息的图像和实时取景图像被分割进行显示。
对象部位判定部136根据结构信息或实时取景图像判定对象部位(步骤S154)。如上所述,对象部位的判定在图12A~图15B中进行说明。计测部130对判定出的对象部位的形状进行计测(步骤S156)。强调显示设定部138进行设定以对对象部位进行强调显示。控制部120显示进行了强调显示的拍摄图像和计测结果(步骤S158)。
图7A、图7B是在引导画面的图像中进行了强调显示的例子。图7A是拍摄者正在研究构图的状态的画面。在图7A中,画面左侧是实时取景图像,画面右侧是结构信息。作为结构信息,显示预先拍摄的室内的整体图像。根据结构信息,从照相机部100观察存在于近前的柱PA判定为拍摄对象部位,相对于里侧的柱PB,对柱PA进行强调显示。另外,在图7A中,示出在结构信息的图像中进行了强调显示的例子,但是,也可以在实时取景图像中进行强调显示。
另外,在存储部150中仅存储有第1结构信息154a或第2结构信息154b中的任意一方的情况下,省略步骤S150,在步骤S152中显示存储部150中存储的结构信息154。
然后,计测部130根据实时取景图像计测对象部位(步骤S156)。引导画面生成部142也可以在引导画面中附加计测出的结果(部位形状)。控制部120显示附加了计测结果的进行了强调的结构信息(整体图像)(参照步骤S158、图7A)。图7B是记录浏览图像的例子,详细情况后述。
图8A、图8B是示意地示出通过拍摄图像计测部位形状(这里为柱P的宽度)的原理的图。均是从上方观察拍摄状态的照相机部100的状态。图8A是拍摄部102为单镜筒式的例子,图8B是拍摄部102为双镜筒式的例子。
在图8A中,设部位(柱P)的宽度为W、摄像元件102b的宽度为X0、镜头部102a的视场角为镜头部102a的焦距为F、拍摄距离为D。宽度X0、视场角焦距F包含在照相机部特性信息156中。拍摄距离计算部132例如根据通过对比度AF检测到的焦点位置计算拍摄距离D。如上所述,拍摄部102为单镜筒式,利用以下式子计算柱P的宽度W。
W=D×X/F…式(1)
另外,关于式(1)、(2)中设为F(焦距)的部分,准确地讲,应该是对焦距F加上由于对焦而引起的像面移动后的像面距离(在固定焦点系统的情况下是该固定的像面距离),但是,为了简化说明而设为F。下面,在本说明书中,只要没有特别说明,则应用同样的简化。
这里,关于摄像元件上的被摄体像中的部位(柱P)的宽度即X,能够通过公知的各种方法求出,但是,应用使用了图像的亮度/对比度/颜色等特征解析的所谓“背景分离”方法而作为提取出的主要被摄体部分(柱P的部分)的像素数来求出,也是一例。
在图8B中,从拍摄者观察,镜头部102aR和摄像元件102bR设为右侧的镜头和摄像元件。并且,从拍摄者观察,镜头部102aL和摄像元件102bL设为左侧的镜头和摄像元件。并且,设为左右的摄像元件102b的视差B、相对像位置ΔX。而且,设为在镜头部102aR的光轴上配置柱P的中心。拍摄部102为双镜筒式,拍摄距离计算部132利用视差B和相对像位置ΔX计算拍摄距离D。
D=F×B/ΔX…式(3)
通过根据式(3)计算出的D,利用式(1)计算W。
进入图4B。控制部120判断有无拍摄者的操作(步骤S170)。拍摄者的操作例如是操作部106的变焦操作。控制部120判断为存在拍摄者的操作时(步骤S170:是),照相机控制部124进行反映了操作结果的控制(步骤S172)。
控制部120判断为不存在拍摄者的操作时(步骤S170:否),等待拍摄指示(步骤S174)。控制部120判断为进行了拍摄指示时(步骤S174:是),执行拍摄(步骤S176)。
计测部130根据记录浏览图像计测对象部位的形状(步骤S178)。计测部130对步骤S154中判定为对象部位的部位进行计测。控制部120显示记录浏览图像(步骤S180)。图7B是图7A中进行了拍摄指示后的画面。画面左侧是记录浏览图像,右侧是结构信息的图像。在记录浏览图像中,对对象部位进行强调显示(阴影),还显示对象部位的计测值。
控制部120判断为不存在拍摄指示时(步骤S174:否),返回步骤S104。控制部120判断是否在画面上点击了OK按钮(未图示)(步骤S182)。控制部120判断为未点击OK按钮时,返回步骤S104(步骤S182:否)。
控制部120判断为点击了OK按钮时(步骤S182:是),与结构信息154对应地将拍摄结果记录在存储部150中(步骤S184)。并且,将拍摄图像和部位形状的计测结果记录在存储部150中。
控制部120显示在结构信息中附加了表示拍摄状况的电子标记而成的引导画面(步骤S186)。电子标记Q是状况信息的一例。在图7A中,设为在拍摄时点击了右端的柱PA。于是,在图7B的引导画面中,在右端的柱PA中附加记载为表示已拍摄的“已拍摄”的电子标记Q。引导画面生成部142根据已拍摄部位判定部128的判定,附加电子标记Q。控制部120返回步骤S104。
进入图4C。控制部120判断为未选择“工程摄影”时(步骤S104:否),判断是否选择了“图像再现”(步骤S200)。
控制部120判断为选择了“图像再现”时(步骤S200:是),进行图像再现(步骤S202)。控制部120判断是否进行了再现图像的变更指示(步骤S204),判断为进行了再现图像的变更指示时(步骤S204:是),根据指示对再现图像进行变更(步骤S206)。控制部120判断为未进行再现图像的变更指示时(步骤S204:否),返回步骤S104。
并且,控制部120判断为未选择“图像再现”时(步骤S200:否),判断是否选择了“设计图取得”(步骤S210)。控制部120判断为选择了“设计图取得”时(步骤S210:是),经由通信部170向外部装置40请求设计图信息422,接收从外部装置40发送的设计图信息422(步骤S212)。步骤S212的处理是与所述步骤S136的处理相同的处理。控制部120将接收到的设计图信息422作为第2结构信息154b记录在存储部150中。
接着,对基于接收到的设计图信息422的第2结构信息154b的强调显示进行简单说明。
图9是显示基于设计图的第2结构信息154b的例子。图9的设定画面310是设计图取得时的设定画面的例子。在工程模式的设定画面310中选择“设计图取得”后,从外部装置40取得设计图。图9的设定画面311是从所取得的设计图中具体指定所显示的部位的画面。拍摄者移动光标,指定所显示的结构信息场所。
图9的设定画面312是设定画面311中指定的场所(A公司办公楼4F的D室)的设计图的画面。是在室内配置有5根柱PA和6根柱PB的状态。设柱PA为拍摄对象。当点击设定画面312的采用按钮后,采用显示中的A公司办公楼4F的D室的设计图作为第2结构信息154b。
图10是基于图9的设定画面312中采用的第2结构信息154b的引导画面。画面左侧是实时取景图像,画面右侧是第2结构信息154b。另外,实时取景图像是不包含右端的柱的构图。在实时取景图像中,对判定为对象部位的柱PA进行强调显示。并且,还显示所计测的柱PA的计测值。
返回图4C的步骤S210。控制部120判断为未选择“设计图取得”时(步骤S210:否),判断是否选择了“结果确认”(步骤S220)。参照图11A和图11B的各设定画面对“结果确认”的过程进行说明。图11A是在工程模式中选择了“结果确认”的设定画面320。
控制部120判断为选择了“结果确认”时(步骤S220:是),进行场所指定显示(步骤S222)。图11A的设定画面321是指定进行结果确认的场所的画面的例子。这里,设为在图11A的设定画面320中选择结果确认,所述图9所示的A公司办公楼4F的D室被指定为进行结果确认的场所。图11A的设定画面322是示出所指定的A公司办公楼4F的D室的拍摄结果的画面。
在设定画面322中,对设计图上的5根柱PA附加其编号和表示拍摄状况的状况信息(OK标记)。OK标记表示作为对象部位的柱已拍摄、且柱的计测值(柱的宽度)符合标准。
控制部120判断是否进行了拍摄结果的报告生成指示(步骤S224)。控制部120在点击图11A的设定画面322的“报告OK”后,判断为进行了生成指示。
控制部120判断为未进行报告生成指示时(步骤S224:否),不进行报告生成。然后,例如,在设定画面322的引导画面中点击No5的柱时,控制部120显示图11B的设定画面323所示的详细确认画面(步骤S228)。在详细确认画面中显示存储部150中存储的No5的柱的拍摄图像(证据图像)和计测值。
控制部120判断为进行了报告生成指示时(步骤S224:是),以文本库的形式显示所生成的报告(步骤S226)。图11B的设定画面324是示出所生成的报告的文本库的内容例的画面。
控制部120判断为未选择“结果确认”时(步骤S220:否),判断是否选择了“结果存储”(步骤S230)。控制部120判断为选择了“结果存储”时(步骤S230:是),向外部装置40发送拍摄结果(步骤S232)。在拍摄结果中包含有拍摄图像和步骤S226中生成的报告等。外部装置40将所发送的拍摄结果存储在存储部420中。
控制部120判断为未选择“结果存储”时(步骤S230:否),返回步骤S104。并且,在步骤S206、步骤S212、步骤S226、步骤S228或步骤S232等之后也返回步骤S104。
根据图12A~图15B对步骤S112、步骤S154所示的对象部位判定进行说明。作为对象部位判定的处理,设代表性方式为对象部位判定1~对象部位判定4进行说明。关于拍摄部位,如柱、梁、钢筋、地基那样存在多个种类,并且,关于其工程环境,不仅是通常的大厦、住宅,还涉及地下工程、隧道工程等多个分支。因此,为了根据这种环境和条件而可靠地判定对象部位,对象部位判定部136适当选择或组合以下4种判定方式来执行判定处理。
图12A是对象部位判定1的子例程。图12B、图12C是说明对象部位判定1的处理的示意图。对象部位判定1是根据拍摄到的部位的外观、到与部位对应的部件为止的拍摄距离判定表层部位(对象部位)的处理。
对象部位判定部136针对各部位(P1~Pn)判定各部位的轮廓等图像特征和各部位的拍摄距离并进行分类(步骤S300)。n是画面中存在的部位的数量。在图12B、图12C的画面中,n=7。通过图像特征判定部136a判定各部位的轮廓等图像特征。通过拍摄距离计算部132计算各部位的拍摄距离。
k设为整数,设为k=1~n。对象部位判定部136初始化为k=1(步骤S302)。对象部位判定部136根据拍摄图像对各部位的轮廓等图像特征和各部位的拍摄距离进行分类,调查部位彼此的重合关系(步骤S304)。然后,对象部位判定部136判定是否有在部位Pk上重合的其他部位(步骤S306)。
对象部位判定部136判定为没有在部位Pk上重合的其他部位时(步骤S306:否),将Pk判定为表层部位(步骤S308)。表层部位是指,该部位是没有在比该部位更接近照相机部100的一侧存在的其他部位的部位。如上所述,这是因为,通常在工程现场,从里侧起不断进行工程,因此,与最接近照相机的一侧的部件对应的部位相当于最新的工期部位、即计测对象或直接的拍摄对象。
使用图12和图12C对具体例进行说明。图12B是从上部观察拍摄状态的图。图12B示出与拍摄图像的各部位P1~P7对应的部件No1~No7和照相机部100的位置关系。设部件No1~部件No5是垂直柱,部件No6和部件No7是水平梁。图12C是各部位P1~P7的拍摄图像。接近照相机部100的部件No2、部件No4是作为拍摄和计测对象的部件。与部件No2和部件No4对应的部位P2和P4在步骤S308中判定为表层部位。
对象部位判定部136判定为有在部位Pk上重合的其他部位时(步骤S306:是),判定为部位Pk不是表层部位(步骤S310)。在步骤S308或步骤S310之后,对象部位判定部136判定是否是k=n(步骤S312),判定为k=n时(步骤S312:是),结束该处理。对象部位判定部136判定为不是k=n时(步骤S312:否),设为k=k+1(步骤S314),返回步骤S304。
图13A是对象部位判定2的子例程。图13B是说明对象部位判定2的处理的图。对象部位判定2是判定部位的拍摄距离、根据拍摄距离对部位进行分类、并根据分类来判定表层部位的处理。
对象部位判定部136判定各部位(P1~Pn)的拍摄距离,根据距离进行分类(步骤S330)。通过拍摄距离计算部132计算各部位的拍摄距离。
图13B是说明对象部位判定2的处理的图。与图12B同样,图13B是从上部观察拍摄状态的图。10~12号部件属于1~2m的拍摄距离范围。20~23号部件属于2~3m的拍摄距离范围。30~32号部件属于3~4m的拍摄距离范围。接近照相机部100的1~2m的拍摄距离范围的部件是作为拍摄和计测对象的部件。另外,上述拍摄距离范围的设定是一例。拍摄者也可以观察工程现场的状况,事前进行拍摄距离范围的设定。
对象部位判定部136初始化为k=1(步骤S332)。对象部位判定部136判定最近的距离群组中是否包含部位Pk(步骤S334)。在图13B中,最近的距离群组是1m~2m的群组。
对象部位判定部136判定为最近的距离群组中包含部位Pk时(步骤S334:是),将部位Pk判定为表层部位(步骤S336)。对象部位判定部136判定为最近的距离群组中不包含Pk时(步骤S334:否),判定为部位Pk不是表层部位(步骤S338)。
对象部位判定部136判定是否是k=n(步骤S340),判定为k=n时(步骤S340:是),结束该处理。对象部位判定部136判定为不是k=n时(步骤S340:否),设为k=k+1(步骤S342),返回步骤S334。
还存在里侧的部位和近前侧的部位不在画面上重合的情况。该情况下,在对象部位判定1中,无法判定对象部位。根据对象部位判定2,在里侧的部位和近前侧的部位在画面上横向排成一列进行显示的情况下,判定为各部位的拍摄距离不同,所以,能够根据拍摄距离可靠地判定表层部位。并且,根据对象部位判定2的处理,利用规定范围的群组进行判定,所以,能够统一判定对象部位。
图14A是对象部位判定3的子例程。图14B、图14C是说明对象部位判定3的处理的图。在对象部位判定3中,根据设计图(设计图信息422)和部件列表(部件DB 424),取得当前的工程现场的各部件的工期,从拍摄图像的部位中确定与最新工期的部件对应的部位。在对象部位判定3中,判定所确定的部位作为对象部位。
对象部位判定部136判定最新工期的部件(步骤S360)。具体而言,对象部位判定部136参照从外部装置40取得的设计图信息422和部件DB 424,判定规定的工程现场中的最新工期的部件。图14B是基于部件DB 424的部件列表的例子。根据图14B,判定为301~305号部件是最新工期的。图14C是对应的设计图信息422的例子。
对象部位判定部136在图像特征(部件的形状、部件的施工位置等)和拍摄距离判定中,将部件和部位对应起来(步骤S362)。具体而言,对象部位判定部136参照基于设计图信息422和部件DB 424的部件信息,在图像特征和拍摄距离判定中,将部件和部位对应起来。图像特征和拍摄距离判定与步骤S300中的处理相同。
对象部位判定部136初始化为k=1(步骤S364)。对象部位判定部136判定最新的工期群组中是否包含部位Pk(步骤S366)。
对象部位判定部136判定为最新的工期群组中包含部位Pk时(步骤S366:是),将Pk判定为对象部位(步骤S368)。对象部位判定部136判定为最新的工期群组中不包含部位Pk时(步骤S366:否),判定为Pk不是对象部位(步骤S370)。
对象部位判定部136判定是否是k=n(步骤S372),判定为k=n时(步骤S372:是),结束该处理。对象部位判定部136判定为不是k=n时(步骤S372:否),设为k=k+1(步骤S374),返回步骤S366。
根据对象部位判定3的处理,拍摄距离的远近没有直接影响,判定对象部位。因此,在比对象部位更接近照相机部100的位置存在其他部件的情况下,还能够防止误判定。
图15A是对象部位判定4的子例程。图15B是说明对象部位判定4的处理的图。对象部位判定4是在非正对的状态下进行拍摄的情况下也能够进行对象部位的判定的处理。
对对象部位判定4的原理进行简单说明。首先,对象部位判定部136生成部件的平面坐标,根据平面坐标确定与照相机部100距离最近的部件,将该部件判定为表层部件之一。接着,对象部位判定部136设定多个由最近距离的部件、所确定的部件和其他部件构成的平面。对象部位判定部136在所设定的多个平面中,确定最正对着照相机部100的平面。然后,对象部位判定部136判定与属于所确定的平面的部件对应的部位作为对象部位。
与图12B同样,图15B是从上部观察拍摄状态的图。设为在工程现场配置有20~44号部件(柱)。设20~23号部件、30~34号部件、40~44号部件分别是相同时期施工的群组。设接近照相机部100的20~23号部件是最新工期的部件(对象部位)。30~34号部件和40~44号部件是比20~23号部件的工期早的部件。照相机部100处于相对于柱倾斜的状态。这是因为,根据工程现场的状态,有时只能从倾斜方向进行拍摄。
对象部位判定部136生成与各部位对应的部件的平面坐标(步骤S380)。对象部位判定部136根据图像特征和拍摄距离生成部件的平面坐标。进而,对象部位判定部136也可以还参照设计图信息422和部件DB424生成部件的平面坐标。平面坐标例如是基于以照相机部100的光轴C为基准的XY直角坐标(参照图15B)的坐标。
对象部位判定部136例如将接近照相机部100的柱的角部设为部件的位置基准。对象部位判定部136确定最接近照相机部100的部件(步骤S382)。在图15B的例子中,确定20号部件。
对象部位判定部136设定包含所确定的20号部件的平面(步骤S384)。在图15B中,例如,利用20~23号部件设定平面H1,利用20和34号部件设定平面H2,利用20和44号部件设定平面H3,利用20、30、40号部件设定平面H4。省略除此以外的平面。
对象部位判定部136在所设定的平面中确定最正对着照相机部100的平面。对象部位判定部136确定相对于与光轴C垂直的X轴的角度最小的平面。将角度最小的平面称为特定平面。在图15B的例子中,确定了平面H1。对象部位判定部136确定与属于特定平面H1的20~23号部件对应的部位作为对象部位。另外,计算属于特定平面H1的部件的各平面坐标的值,所以,如上所述,根据图像特征和拍摄距离判定与属于特定平面H1的部件对应的部位。
对象部位判定部136初始化为k=1(步骤S388)。对象部位判定部136判定部位Pk是否是与特定平面上配置的部件对应的部位(以下称为对应部位)(步骤S390)。
对象部位判定部136判定为部位Pk是对应部位时(步骤S390:是),将部位Pk判定为表层部位(步骤S392)。对象部位判定部136判定为部位Pk不是对应部位时(步骤S390:否),判定为部位Pk不是表层部位(步骤S394)。
对象部位判定部136判定是否是k=n(步骤S396),判定为k=n时(步骤S396:是),结束该处理。对象部位判定部136判定为不是k=n时(步骤S396:否),设为k=k+1(步骤S398),返回步骤S390。
根据对象部位判定4的处理,在照相机部100无法正对着部件的情况下,也能够判定对象部位,因此,拍摄位置和拍摄方向的制约减少,拍摄的自由度增加。
根据以上说明的对象部位判定1~4的处理,即使在拍摄图像中混合存在有施工的新旧不同的部位,也能够准确地判定新施工的部位。由此,能够准确地进行作为对象的部位的形状的计测。
并且,在实时取景图像、记录浏览图像或结构信息的图像中强调显示拍摄对象的部位。因此,即使不参照设计图等一个一个地确认各工程部位指示的拍摄部位和拍摄内容,也能够防止拍摄遗漏和重复拍摄等。
另外,也可以在画面中设置针对对象部位的判定结果的承认按钮和指示对象部位的变更的变更按钮。这是因为,根据工程现场的状况,有时无法判定适当的部位。在从拍摄者进行了对象部位的变更指示的情况下,对象部位判定部136切换要使用的对象部位判定1~4的方式,或者变更对象部位判定1~4的方式的优先顺位。并且,对象部位判定部136也可以使拍摄者选择要使用的对象部位判定1~4的方式。并且,对象部位判定部136也可以最初使拍摄者在画面上确定一个对象部位,选择与所确定的对象部位对应的对象部位判定的方式。
并且,在以上说明的对象部位判定1~4的处理中,将判定表层部位作为具体例进行说明。但是,拍摄和计测的对象部位不完全限于表层部位。除了表层部位以外,例如还可能存在第2层的部位是拍摄对象部位的情况。该情况下,例如通过对象部位判定3,能够根据最新工期的部件确定对象部位。
<实施方式2>
作为实施方式2,说明如下的信息取得装置10:设定与计测的要求精度对应的拍摄范围,对引导画面的结构信息的部位附加拍摄范围并进行显示。信息取得系统1的结构、信息取得装置10的硬件结构与图2A、图2B、图3的内容相同,所以省略说明。
图16是说明实施方式2中的引导画面显示处理的流程图。图16的流程图在图4A的流程图中追加了显示表示推荐拍摄范围的拍摄范围引导的处理。推荐拍摄范围是指与如下拍摄距离对应的拍摄范围,该拍摄距离满足针对部件形状的计测值的要求精度。通过所述拍摄范围设定部140,根据针对计测值的要求精度设定拍摄范围。步骤S400~步骤S406是追加的处理。
另外,下面,适当参照图17进行说明。另外,图17的引导画面是显示第1结构信息154a作为结构信息的例子。计测部130根据实时取景图像计测柱的间隔T(步骤S400)。引导画面生成部142生成附加了间隔T的信息(1m)而成的引导画面220(图17)。在引导画面220中设置有显示参考信息生成部134的参考信息的按钮。“标准引导显示”是显示标准拍摄引导的按钮。“相似引导显示”是显示相似拍摄引导的按钮。
图19A~图19C是示出通过拍摄图像计测柱的间隔的原理的图。图19A是从正面拍摄柱P的情况。在图19A中,设柱P的间隔为T、镜头部102a的焦距为F、像宽度为Y1、拍摄距离为D。焦距F包含在照相机部特性信息156中。拍摄距离计算部132通过焦点检测等计算拍摄距离D。如上所述,通过以下式子计算柱P的间隔T。
T=D×Y1/F…式(4)
图19B是从倾斜方向拍摄柱P的情况。在图19B中,设柱P的间隔为T、镜头部102a的焦距为F、像宽度为Y1、拍摄距离为D1、D2。焦距F包含在照相机部特性信息156中。拍摄距离计算部132通过焦点检测等计算拍摄距离D1、D2。根据以下式子计算柱P的间隔T。
ΔD=D2-D1…式(5)
T=W1/cosθ=W1/cos(arctan(ΔD/W1))…式(6)
这样,不从照相机部100正对着柱P的方向,从倾斜方向也能够计算柱P的间隔T。通过从倾斜方向进行拍摄,整体图像的拍摄容易,拍摄时的自由度也增加。
图19C是拍摄地面的地基或天花板的梁或横梁的情况下的计测原理。这是因为,拍摄对象的部位不限于柱那样的垂直部件。例如P是地面的部件。在拍摄地面的部件的情况下,拍摄者如图19C那样使照相机部100倾斜向下进行拍摄。通过姿态传感器110检测照相机部100的倾斜。根据以下式子计算地基P的间隔T。
ΔD=D2-D1…式(7)
T=W1/cosθ…式(8)
返回图16。控制部120对拍摄者进行指示以输入计测的要求精度(步骤S402)。在已经输入计测的要求精度的情况下,控制部120不进行该处理。例如,设为输入1mm作为柱P的要求精度。
控制部120判定拍摄距离和视场角(步骤S404)。拍摄范围设定部140计算满足计测的要求精度的拍摄距离。计测的要求精度越高,计算越短的拍摄距离。如上所述,拍摄范围设定部140根据照相机部100的特性(镜头部102a的MTF、畸变、摄像元件102b的分辨率等)计算用于满足计测的要求精度的拍摄距离。照相机部100的特性包含在照相机部特性信息156中。
拍摄范围设定部140根据计算出的拍摄距离和照相机部100的特性,设定满足所述计测的要求精度的拍摄范围。引导画面生成部142根据所设定的拍摄范围,在结构信息154的规定位置附加拍摄范围引导G。控制部120显示在结构信息154的规定位置附加了拍摄范围引导G而成的引导画面(步骤S406)。
图17的引导画面221是附加了拍摄范围引导G而成的引导画面的例子。引导画面221的“精度1mm”是所输入的要求精度。并且,“推荐拍摄距离1m”是根据要求精度计算出的距离。在第1结构信息154a中显示拍摄范围引导G。拍摄范围引导G表示以推荐拍摄距离1m拍摄的范围(横向的宽度)。在本例中,根据拍摄范围引导G,提出了在画面的左右配置2根柱的构图。另外,左侧的画面是实时取景图像。另外,要求精度可以手动输入,也可以预先存储。并且,要求精度可以是根据图像、状况、所要求的输出形式、根据对象物的判定而变更的数值。
在引导画面221中,推荐将包含从左侧起第1个和第2个柱的范围设为第1次拍摄,将包含第3个和第4个柱P的范围设为第2次拍摄,将包含第5和第6个柱P的范围设为第3次拍摄。在引导画面221中还显示拍摄次数全部为3次。这是因为,即使以1m以内的距离一根一根地拍摄6根柱也满足要求精度,但是,统一拍摄2根时,可以满足精度且拍摄次数较少。
图17的引导画面222是第1次拍摄结束后的画面。例如利用阴影Q2显示覆盖第1个和第2个柱的拍摄范围引导G作为已拍摄。阴影Q2相当于图11的电子标记Q。即,阴影Q2是状况信息。由此,明确第1个和第2个柱P已拍摄。
另外,可以还考虑实际是否能够进行拍摄来生成引导画面,也可以从外部的数据库等取得建筑物的构造或危险场所等信息,能够判定实际是否能够按照该引导进行拍摄。即,能够根据视场角和拍摄距离计算从所引导的拍摄范围中在哪个位置进行拍摄即可,因此,如果具有地图信息,则能够判断拍摄位置是否适当。该情况下,也可以如图19B那样推荐不从正面拍摄而从倾斜方向进行拍摄。进而,在倾斜拍摄时也推测是否是安全场所并进行显示即可。除了暂时决定拍摄引导后验证拍摄位置的方法以外,还可以是根据安全且适当的场所的候选(根据地图、平面图、建造物的设计数据等进行判断)适当求出拍摄区域和精度并决定拍摄场所的方法。
图18A~图18C是示出拍摄范围引导G的其他显示形式的例子。图18A是包含第2结构信息154b的引导画面的例子。图18A的引导画面230是包含第2结构信息154b、利用第2结构信息154b以横线显示拍摄范围引导G的例子。在已拍摄的拍摄范围引导G中显示与图7B相同的电子标记Q。并且,引导画面230中显示的“拍摄距离OK”表示当前的拍摄距离是满足要求精度的拍摄距离以内。
图18B是包含新形式的结构信息154的引导画面的例子。新形式的结构信息154是从正面观察6根柱的状态下展开的图,将其称为第3结构信息154c。
在引导画面231中,在第3结构信息154c中以覆盖对应的柱的方式显示3个拍摄范围引导G。拍摄范围引导G中记载的编号(1、2、3)表示拍摄顺序。在编号1的拍摄范围引导G中显示表示已拍摄的电子标记Q作为状况信息。
图18C是如全景图像那样连接显示多次拍摄的引导画面232的例子。关于结构信息,显示与图19B相同的第3结构信息154c。在引导画面232中,提出了图像的端部重复这样的拍摄。因此,在引导画面232的第3结构信息154c中,显示拍摄图像的端部重复的拍摄范围引导G。另外,图18C的引导画面232是第1次拍摄结束、进行第2次拍摄的状态。
引导画面232的下侧横长显示的图像是贴合拍摄有柱P的2张图像而得到的图像。左侧是第1次的已拍摄图像(记录浏览图像)。右侧是第2次的图像,是实时取景图像。中央部分V是第1次图像和第2次图像的重复部分。
根据以上说明的拍摄范围引导G显示,即使不参照设计图等一个一个地确认各工程部位指示的拍摄部位和拍摄内容,也能够防止拍摄遗漏和重复拍摄等,而且,明示出满足部位计测的要求精度的拍摄范围,所以,能够简单地进行适当的工程图像拍摄。
除了测定以上说明的建筑物的部位以外,还可以考虑将特定区域的建造物群、森林的一棵一棵树、田地的作物、其他区域的动植物等作为对象的各部位。并且,微观地讲,还能够应用于显微镜图像中测定的部件、布线图案、半导体等三维测定,能够考虑将各个对象物作为各部位来应用本申请。
即,只要是适当、准确、高效地测定特定区域中存在的成群的各部位的用途,则可以说是本申请的覆盖范围。并且,这些各对象物的形状虽然不像建造物那么简单,但是,关于希望测定的部位的始点终点,不仅是强调边缘等的简单的轮廓判定,也可以在各种图像处理中插入容易进行测定的步骤,在频繁测定而作为样板的测定例较多的情况下,可以将它们作为样板图像、样板测定例,进行利用了使人工智能进行机器学习的结果的判定。另外,信息取得装置10除了照相机部100以外,还可以是具有控制部120、存储部150、显示部160的信息处理装置。
并且,上述实施方式中的信息取得装置的各处理的方法、即各流程图所示的处理均能够作为能够使CPU等控制部执行的程序预先进行存储。除此以外,还能够存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且,CPU等控制部读入该外部存储装置的存储介质中存储的程序,通过该读入的程序对动作进行控制,由此能够执行上述处理。
另外,本发明不限于上述实施方式,能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明。例如,可以适当组合实施方式所示的全部结构要素。进而,可以适当组合不同实施方式的结构要素。这样,当然能够在不脱离发明主旨的范围内进行各种变形和应用。

Claims (10)

1.一种信息取得装置,其取得部件的拍摄图像,其特征在于,所述信息取得装置具有:
对象部位判定部,其从所述拍摄图像中判定与特定部件对应的部位作为对象部位;以及
计测部,其从所述拍摄图像中对所述对象部位进行计测,计测所述特定部件的形状,
所述对象部位判定部将接近拍摄用照相机所在的方向的一侧存在的部件作为所述特定部件,从所述拍摄图像的部位中判定与所述特定部件对应的对象部位。
2.根据权利要求1所述的信息取得装置,其特征在于,
所述信息取得装置具有显示控制部,该显示控制部使所述拍摄图像中判定出的所述对象部位被强调显示。
3.根据权利要求1所述的信息取得装置,其特征在于,
所述信息取得装置具有拍摄距离计算部,该拍摄距离计算部计算与所述拍摄图像的部位对应的拍摄距离,
所述对象部位判定部根据所述拍摄图像的部位的拍摄距离判定所述对象部位。
4.根据权利要求3所述的信息取得装置,其特征在于,
所述对象部位判定部根据所述拍摄图像的部位的拍摄距离对所述拍摄图像的部位进行分组,将属于拍摄距离最短的群组的所述拍摄图像的部位判定为所述对象部位。
5.根据权利要求1所述的信息取得装置,其特征在于,
所述对象部位判定部根据所述拍摄图像的部位的形状的特征判定所述对象部位。
6.一种信息取得装置,其取得部件的拍摄图像,其特征在于,所述信息取得装置具有:
对象部位判定部,其从所述拍摄图像中判定与特定部件对应的部位作为对象部位;以及
计测部,其从所述拍摄图像中对所述对象部位进行计测,计测所述特定部件的形状,
所述对象部位判定部在拍摄有工期不同的多个部件的拍摄图像中,根据拍摄距离,将与最新的工期的部件对应的部位判定为对象部位。
7.根据权利要求6所述的信息取得装置,其特征在于,
所述对象部位判定部参照部件的工期信息,在拍摄有工期不同的多个部件的拍摄图像中,将与最新的工期的部件对应的部位判定为所述对象部位。
8.根据权利要求6所述的信息取得装置,其特征在于,
所述信息取得装置还具有拍摄距离计算部,该拍摄距离计算部计算与所述拍摄图像的部位对应的拍摄距离,
所述拍摄图像是最新的工期的部件比其他工期的部件相对于拍摄用照相机更靠前面拍摄的工程摄影的图像。
9.一种计测方法,其根据拍摄图像计测部件的形状,其特征在于,所述计测方法具有以下步骤:
判定步骤,从所述拍摄图像中判定与特定部件对应的部位作为对象部位;以及计测步骤,从所述拍摄图像中对所述对象部位进行计测,计测所述特定部件的形状,
在所述判定步骤中,将接近拍摄用照相机所在的方向的一侧存在的部件作为所述特定部件,从所述拍摄图像的部位中判定与所述特定部件对应的对象部位。
10.一种记录介质,其记录有程序,其特征在于,该程序使根据拍摄图像计测部件的形状的计测装置执行以下步骤:
判定步骤,从所述拍摄图像中判定与特定部件对应的部位作为对象部位;以及计测步骤,从所述拍摄图像中对所述对象部位进行计测,计测所述特定部件的形状,
在所述判定步骤中,将接近拍摄用照相机所在的方向的一侧存在的部件作为所述特定部件,从所述拍摄图像的部位中判定与所述特定部件对应的对象部位。
CN201810047514.0A 2017-02-03 2018-01-18 信息取得装置、计测方法、记录介质 Pending CN108391046A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017018482A JP6779150B2 (ja) 2017-02-03 2017-02-03 情報取得装置
JP2017-018482 2017-02-03

Publications (1)

Publication Number Publication Date
CN108391046A true CN108391046A (zh) 2018-08-10

Family

ID=63037290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810047514.0A Pending CN108391046A (zh) 2017-02-03 2018-01-18 信息取得装置、计测方法、记录介质

Country Status (3)

Country Link
US (1) US20180225839A1 (zh)
JP (1) JP6779150B2 (zh)
CN (1) CN108391046A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209050A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 用于切换电子设备的工作模式的方法和装置
CN115210745A (zh) * 2020-03-03 2022-10-18 大金工业株式会社 作业辅助装置、作业辅助程序、终端及作业辅助方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117329A (ja) * 2017-01-20 2018-07-26 オリンパス株式会社 情報取得装置
JP2018189544A (ja) * 2017-05-09 2018-11-29 オリンパス株式会社 情報処理装置
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
US11055531B1 (en) * 2018-08-24 2021-07-06 United Services Automobiie Association (USAA) Augmented reality method for repairing damage or replacing physical objects
JP7149354B2 (ja) * 2020-03-27 2022-10-06 Sppテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0610589A2 (pt) * 2005-04-13 2010-07-06 Store Eyes Inc sistema e método para medir conformidade de expositor
JP2011188210A (ja) * 2010-03-08 2011-09-22 Olympus Imaging Corp 撮影機器及び撮影システム
JP2012021323A (ja) * 2010-07-14 2012-02-02 Takenaka Komuten Co Ltd 検査支援システムおよびプログラム
JP5987541B2 (ja) * 2012-08-07 2016-09-07 株式会社大林組 部材設置判定システム
JP6496497B2 (ja) * 2014-06-18 2019-04-03 株式会社大林組 配筋検査システム、配筋検査用のプログラム、及び配筋検査方法
JP6927481B2 (ja) * 2016-07-07 2021-09-01 国立大学法人京都大学 Led素子
JP2018066687A (ja) * 2016-10-20 2018-04-26 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209050A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 用于切换电子设备的工作模式的方法和装置
CN115210745A (zh) * 2020-03-03 2022-10-18 大金工业株式会社 作业辅助装置、作业辅助程序、终端及作业辅助方法

Also Published As

Publication number Publication date
JP2018125795A (ja) 2018-08-09
JP6779150B2 (ja) 2020-11-04
US20180225839A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
CN108391046A (zh) 信息取得装置、计测方法、记录介质
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
US10872467B2 (en) Method for data collection and model generation of house
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
CN105096382B (zh) 一种在视频监控图像中关联真实物体信息的方法及装置
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN108337475A (zh) 信息取得装置、引导画面显示方法和记录介质
JP6180647B2 (ja) クラウドポイントを利用した屋内地図構築装置および方法
CN108474747A (zh) 检测装置及检测方法
JP2002259976A (ja) 特定点検出方法及び装置
CN107945103A (zh) 无人机图像的隐私遮挡方法、装置及无人机
CN104833342B (zh) 一种多点测距建立立体模型的移动终端及方法
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN109341537A (zh) 基于双目视觉的尺寸测量方法和装置
CN107193820B (zh) 位置信息获取方法、装置及设备
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN106500729A (zh) 一种无需控制信息的智能手机自检校方法
JP7241812B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
CN109813283A (zh) 立体摄像头和立体摄影测量方法
JP6854631B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
JP2013122429A (ja) 製作誤差評価方法
CN114782555A (zh) 地图映射方法、设备、及存储介质
JP7202337B2 (ja) 情報取得装置、及びプログラム
CN113032499B (zh) 辅助显示、地物信息的辅助标注方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180730

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Corporation

Applicant before: Olympus Visual Comm Corp

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180810