CN105518228B - 位置计测系统、工作机械以及位置计测方法 - Google Patents

位置计测系统、工作机械以及位置计测方法 Download PDF

Info

Publication number
CN105518228B
CN105518228B CN201580001670.8A CN201580001670A CN105518228B CN 105518228 B CN105518228 B CN 105518228B CN 201580001670 A CN201580001670 A CN 201580001670A CN 105518228 B CN105518228 B CN 105518228B
Authority
CN
China
Prior art keywords
photographic device
dimensional
pair
image
measurement system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580001670.8A
Other languages
English (en)
Other versions
CN105518228A (zh
Inventor
山口博义
菅原大树
川本骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN105518228A publication Critical patent/CN105518228A/zh
Application granted granted Critical
Publication of CN105518228B publication Critical patent/CN105518228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Automation & Control Theory (AREA)

Abstract

本发明提供一种位置计测系统以及位置计测方法。位置计测系统包括:至少一对摄像装置,被安装于工作机械;运算部,被设置于所述工作机械,利用由至少一对所述摄像装置拍摄到的对象的图像的信息来执行立体计测;和判定部,基于所述立体计测的执行结果来判定与所述摄像装置的拍摄相关的状况。

Description

位置计测系统、工作机械以及位置计测方法
技术领域
本发明涉及位置计测系统以及位置计测方法。
背景技术
存在具有立体摄像机且由该立体摄像机来检测对象的位置的工作机械。在专利文献1中记载了如下技术,即,基于存储于存储部的施工计划数据和立体摄像机的位置信息来创建施工计划图像数据,使施工计划图像数据和由立体摄像机拍摄到的现状图像数据进行重合,并使重合后的合成图像三维显示于三维显示装置。
在先技术文献
专利文献
专利文献1:日本特开2013-036243号公报
发明内容
发明要解决的课题
然而,在构成立体摄像机的摄像装置拍摄对象时,由于周边的环境而有时基于立体摄像机的计测会受到影响。例如,在摄像装置的周边的环境为降雨或者降雪等的情况下,有可能导致无法实现基于立体摄像机的计测或者计测的精度下降。关于掌握构成立体摄像机的摄像装置在摄像时的状况,专利文献1并没有记载也没有启示,具有改善的余地。
本发明的目的在于,掌握构成立体摄像机的摄像装置在摄像时的状况。
用于解决课题的手段
本发明为一种位置计测系统,包括:至少一对摄像装置,被安装于工作机械;运算部,被设置于所述工作机械,利用由至少一对所述摄像装置拍摄到的对象的图像的信息来执行立体计测;和判定部,其基于所述立体计测的执行结果来判定与所述摄像装置的拍摄相关的状况。
优选所述运算部针对所述图像中的有图案的范围来执行立体计测。
优选所述判定部基于所述执行结果来判定所述摄像装置与所述摄像装置所拍摄的对象之间的状态。
优选所述判定部基于所述执行结果来判定所述摄像装置的姿势。
优选至少一对所述摄像装置使光轴朝向上方来设置。
优选所述判定部被设置于所述工作机械的外部的管理装置,所述运算部向被设置于所述管理装置的所述判定部输出所述立体计测的执行结果。
优选所述管理装置基于与所述拍摄相关的状况的判定结果来决定对应内容。
优选所述判定部被设置于所述工作机械。
优选所述工作机械具有控制部,该控制部基于与所述拍摄相关的状况的判定结果来决定对应内容。
本发明为一种位置计测方法,由被安装于工作机械的至少一对摄像装置来拍摄对象,利用由至少一对所述摄像装置拍摄到的对象的图像的信息来执行立体计测,基于所述立体计测的执行结果来判定与所述摄像装置的拍摄相关的状况。
优选在判定了与所述拍摄相关的状况之后,输出判定出的结果。
优选基于与所述拍摄相关的状况的判定结果来决定对应内容。
本发明能够掌握构成立体摄像机的摄像装置在摄像时的状况。
附图说明
图1是表示实施方式所涉及的具备摄像装置的控制系统的液压挖掘机的立体图。
图2是表示实施方式所涉及的液压挖掘机的操作人员座椅附近的立体图。
图3是表示实施方式所涉及的位置计测系统的图。
图4是说明利用一对摄像装置来三维计测对象的示例的图。
图5是表示由一对摄像装置获得的一对图像的图。
图6是表示由一对摄像装置获得的一对图像的图。
图7是表示立体率和摄像装置的周围的状态之间的关系的图。
图8是表示立体率和摄像装置的周围的状态之间的关系的图。
图9是表示实施方式所涉及的位置计测方法的处理例的流程图。
具体实施方式
参照附图来详细说明用于实施本发明的方式(实施方式)。
<液压挖掘机的整体构成>
图1是表示实施方式所涉及的具备摄像装置的控制系统的液压挖掘机1的立体图。图2是表示实施方式所涉及的液压挖掘机1的操作人员座椅附近的立体图。作为工作机械的液压挖掘机1具有车体1B以及工作装置2。车体1B具有回转体3、驾驶室4以及行驶体5。回转体3按照能够以回转中心轴Zr为中心来回转的方式安装于行驶体5。回转体3容纳了液压泵以及发动机等的装置。
回转体3安装有工作装置2来进行回转。在回转体3的上部安装有扶手9。在扶手9安装有天线21、22。天线21、22为RTK-GNSS(Real Time Kinematic-Global NavigationSatellite Systems;实时动态-全球卫星导航系统、GNSS称作全球卫星导航系统)用的天线。天线21、22沿着车体坐标系(Xm,Ym,Zm)的Ym轴的方向相距一定距离来配置。天线21、22接收GNSS电波,并输出与接收到的GNSS电波相应的信号。天线21、22也可以为GPS(GlobalPositioning System;全球定位系统)用的天线。
驾驶室4被载置于回转体3的前部。行驶体5具有履带5a、5b。通过履带5a、5b的旋转,从而液压挖掘机1行驶。
工作装置2被安装于车体1B的前部,具有动臂6、斗杆7、铲斗8、动臂工作缸10、斗杆工作缸11以及铲斗工作缸12。车体1B的前部为与车体1B的配重WT相反一侧的部分。在实施方式中,车体1B的前方为图2所示的从操作人员座椅4S的靠背4SS朝向操作装置35的方向侧。车体1B的后方为从操作装置35朝向操作人员座椅4S的靠背4SS的方向侧。操作装置35为用于操作工作装置2以及回转体3的装置,具有右侧操作杆35R以及左侧操作杆35L。
动臂6的基端部经由动臂销13而以能够转动的方式安装于车体1B的前部。即,动臂销13相当于动臂6相对于回转体3转动的转动中心。斗杆7的基端部经由斗杆销14而以能够转动的方式安装于动臂6的前端部。即,斗杆销14相当于斗杆7相对于动臂6转动的转动中心。铲斗8经由铲斗销15而以能够转动的方式安装于斗杆7的前端部。即,铲斗销15相当于铲斗8相对于斗杆7转动的转动中心。
图1所示的动臂工作缸10、斗杆工作缸11以及铲斗工作缸12分别为通过液压来驱动的液压工作缸。动臂工作缸10通过液压进行伸缩,由此来驱动动臂6。斗杆工作缸11通过液压进行伸缩,由此来驱动斗杆7。铲斗工作缸12通过液压进行伸缩,由此来驱动铲斗8。
铲斗8具有多个斗齿8B。多个斗齿8B沿着铲斗8的宽度方向而排成一列。铲斗8的宽度方向为与铲斗销15延伸的方向平行的方向。斗齿8B的前端为斗齿尖8T。铲斗8为工作工具的一例。工作工具并不限定为铲斗8。工作工具例如可以为具有单数斗齿的倾斜铲斗,也可以为具备坡地铲斗或者凿岩用的片的凿岩用的配件,还可以为除此之外的工具。
回转体3具有位置检测装置23和作为姿势检测装置的一例的IMU(InertialMeasurement Unit:惯性计测装置)24。位置检测装置23被输入来自天线21、22的信号。位置检测装置23利用从天线21、22获取到的信号来检测世界坐标系(Xg,Yg,Zg)下的天线21、22的当前位置以及回转体3的方位,并进行输出。回转体3的方位表征世界坐标系下的回转体3的朝向。回转体3的朝向例如能够以绕着世界坐标系的Zg轴的回转体3的前后方向的朝向来表征。方位角为回转体3的前后方向上的基准轴绕着世界坐标系的Zg轴的旋转角。由方位角来表征回转体3的方位。在实施方式中,位置检测装置23根据两个天线21、22的相对位置来算出方位角。
<摄像装置>
如图2所示,液压挖掘机1在驾驶室4内具有多个摄像装置30a、30b、30c、30d。多个摄像装置30a、30b、30c、30d为检测对象的形状的检测装置的一例。下面,在不区分多个摄像装置30a、30b、30c、30d的情况下,适当称作摄像装置30。多个摄像装置30之中的摄像装置30a以及摄像装置30c被配置在工作装置2侧。虽然摄像装置30的种类并不被限定,但在实施方式中,例如利用的是具备CCD(Couple Charged Device;耦合电荷装置)图像传感器或者CMOS(Complementary Metal Oxide Semiconductor;互补金属氧化物半导体)图像传感器的摄像装置。
如图2所示,摄像装置30a和摄像装置30b隔着给定间隔朝向相同方向或者不同方向配置在驾驶室4内。摄像装置30c和摄像装置30d隔着给定间隔朝向相同方向或者不同方向配置在驾驶室4内。多个摄像装置30a、30b、30c、30d将两个组合在一起来构成立体摄像机。在实施方式中,构成了摄像装置30a、30b的组合的立体摄像机、以及摄像装置30c、30d的组合的立体摄像机。在实施方式中,摄像装置30a以及摄像装置30b朝向上方,摄像装置30c以及摄像装置30d朝向下方。至少摄像装置30a以及摄像装置30c朝向液压挖掘机1,在实施方式中朝向回转体3的正面。摄像装置30b以及摄像装置30d也有时被配置为稍微朝向工作装置2的方向,即稍微朝向摄像装置30a以及摄像装置30c侧的方向。
在实施方式中,虽然液压挖掘机1具有四个摄像装置30,但液压挖掘机1所具有的摄像装置30的数目至少为两个即可,并不限定为四个。其原因在于,液压挖掘机1由至少一对摄像装置30构成立体摄像机来对对象进行立体摄影。
多个摄像装置30a、30b、30c、30d被配置在驾驶室4内的前方且上方。所谓上方,是指与液压挖掘机1所具有的履带5a、5b的触地面正交且远离触地面的方向侧。履带5a、5b的触地面是履带5a、5b之中的至少一方触地的部分的、不在同一直线上的至少3点所规定的平面。下方是与上方相反的方向侧、即与履带5a、5b的触地面正交且朝向触地面的方向侧。
多个摄像装置30a、30b、30c、30d对液压挖掘机1的车体1B的前方所存在的对象进行立体摄影。对象例如是通过液压挖掘机1、液压挖掘机1以外的工作机械以及在施工现场工作的工作者当中的至少一者来进行施工的施工对象。多个摄像装置30a、30b、30c、30d从液压挖掘机1的给定的位置,在实施方式中从驾驶室4内的前方且上方来检测对象。在实施方式中,利用至少一对摄像装置30所进行的立体摄影的结果来三维计测对象。配置多个摄像装置30a、30b、30c、30d的场所并不限定为驾驶室4内的前方且上方。
将多个摄像装置30a、30b、30c、30d之中的例如摄像装置30c作为这些装置的基准。多个摄像装置30a、30b、30c、30d分别具有坐标系。将这些坐标系适当称作摄像装置坐标系。在图2中,仅示出成为基准的摄像装置30c的坐标系(Xs,Ys,Zs)。摄像装置坐标系的原点为各摄像装置30a、30b、30c、30d的中心。
在实施方式中,各摄像装置30a、30b、30c、30d的拍摄范围大于液压挖掘机1的工作装置2可施工的范围。通过如此设置,从而各摄像装置30a、30b、30c、30d能够可靠地对工作装置2可施工的范围的对象进行立体摄影。
前述的车体坐标系(Xm,Ym,Zm)是以车体1B,在实施方式中以车体1B的一部分即回转体3上固定的原点为基准的坐标系。在实施方式中,车体坐标系(Xm,Ym,Zm)的原点例如为回转体3的回转圆的中心。回转圆的中心存在于回转体3的回转中心轴Zr上。车体坐标系(Xm,Ym,Zm)的Zm轴是成为回转体3的回转中心轴Zr的轴,Xm轴是沿着回转体3的前后方向延伸且与Zm轴正交的轴。Xm轴是回转体3的前后方向上的基准轴。Ym轴是与Zm轴以及Xm轴正交且沿着回转体3的宽度方向延伸的轴。前述的世界坐标系(Xg,Yg,Zg)是由GNSS计测的坐标系,是以地球上固定的原点为基准的坐标系。
车体坐标系并不限定为实施方式的示例。车体坐标系例如也可以将动臂销13的中心设为车体坐标系的原点。所谓动臂销13的中心,是指以与动臂销13延伸的方向正交的平面来截断动臂销13时的截面的中心、且是动臂销13延伸的方向上的中心。
<位置计测系统>
图3是表示实施方式所涉及的位置计测系统40的图。位置计测系统40包括多个摄像装置30a、30b、30c、30d和检测处理装置51。这些装置被配设于图1以及图2所示的液压挖掘机1的车体1B。多个摄像装置30a、30b、30c、30d被设置在驾驶室4内,通过前玻璃4G来拍摄驾驶室4的外部的对象。在实施方式中,液压挖掘机1具有用于清扫前玻璃4G的刮水器4W。
在实施方式中,位置计测系统40也可以还包含控制装置41以及设于管理设施60的管理装置61。管理装置61是设置于液压挖掘机1的外部的管理设施60的装置。管理装置61例如对液压挖掘机1所施工的施工现场的施工状况进行管理,或者对液压挖掘机1的状态进行管理。在实施方式中,虽然管理装置61是具有处理器和存储器的计算机,但也可以由专用的硬件来构成。检测处理装置51和管理装置61经由通信线路NTW来通信。通信线路NTW既可以为无线通信也可以为有线通信。在实施方式中,设为通信线路NTW为无线通信的情形来进行说明。
检测处理装置51具有处理部51P、存储部51M和输入输出部51IO。处理部51P例如通过CPU(Central Processing Unit;中央处理单元)那样的处理器以及存储器来实现。处理部51P具有运算部51PA、判定部51PB以及信息生成部51PC。检测处理装置51利用由至少一对摄像装置30拍摄到的对象的图像的信息来执行立体计测。通过立体计测,根据由至少一对摄像装置30拍摄到的对象的一对图像的信息来求出对象的位置,在实施方式中求出三维坐标系下的对象的坐标。如此,检测处理装置51能够利用由至少一对摄像装置30拍摄同一对象而获得的一对图像,来三维计测对象的位置。另外,处理部51P也可以设置于管理装置61。在此情况下,由至少一对摄像装置30拍摄到的一对图像经由通信装置26而发送至管理设施60。此外,也可以是处理部51P之中仅运算部51PA以及判定部51PB、或者仅或者判定部51PB设置于管理装置61。
在立体计测、即基于立体方式的对象的位置的计测中,根据从两个不同的摄像装置30观测同一对象而获得的两个图像之中,获得该对象的位置例如三维的位置。在立体计测中,执行立体方式下的图像处理。在立体方式下的图像处理中,在由两个不同的摄像装置30拍摄同一对象而获得的两个图像之间搜索对应的部分,求出搜索成功的对应的部分的视差。在立体计测中,利用所获得的视差,来求出从连结两个摄像装置30的基准线到对象为止的距离。到对象为止的距离例如表现为通过浓淡使到对象为止的距离信息可视化的距离图像。在以下的说明中,也有时将距离图像称作视差图像。
位置计测系统40实现实施方式所涉及的位置计测方法。在实施方式所涉及的位置计测方法中,被安装于液压挖掘机1的至少一对摄像装置30拍摄对象,检测处理装置51利用由至少一对摄像装置30拍摄到的对象的图像的信息来执行立体计测,基于立体计测的执行结果来判定与摄像装置30的拍摄相关的状况(以下适当称作拍摄状况)。检测处理装置51的处理部51P读入并执行存储部51M所存储的计算机程序。该计算机程序用于使处理部51P执行实施方式所涉及的位置计测方法。
拍摄状况给基于至少一对摄像装置30的立体计测带来影响。在实施方式中,拍摄状况包括:摄像装置30与摄像装置30所拍摄的对象之间的状态、以及摄像装置30的姿势。摄像装置30与摄像装置30所拍摄的对象之间的状态,例如根据摄像装置30的周围的气象状态以及摄像装置30的周围的环境而变化。在实施方式中,多个摄像装置30如图2所示那样设置在驾驶室4的内部,因此驾驶室4的前玻璃4G介于摄像装置30与摄像装置30所拍摄的对象之间。若因降雨或者降雪而使得水滴或者雪附着于前玻璃4G、或者尘埃附着于前玻璃4G,则在基于立体方式的图像处理中,有时无法在一对图像之间搜索对应的部分,针对无法搜索的部分而无法实现立体计测。此外,即便水滴或者雪未附着于前玻璃4G,但在降雪或者降雨的状态下由摄像装置30拍摄对象的情况,在基于立体方式的图像处理中,有时也会在一对图像之间无法搜索对应的部分,针对无法搜索的部分而无法实现立体计测。
摄像装置30的姿势例如有时随着经时变化而变化。若摄像装置30的姿势变化,则构成立体摄像机的一对摄像装置30、30彼此的相对的位置关系变化。即,构成立体摄像机的一对摄像装置30、30发生位置偏离。于是,在基于立体方式的图像处理中,有时在一对图像之间无法搜索对应的部分,针对无法搜索的部分而无法实现立体计测。
在执行了立体计测的情况下,能够利用在由一对摄像装置30拍摄到的一对图像之间无法搜索对应的部分、即无法实现立体计测的情形,来判定拍摄状况。位置计测系统40以及实施方式所涉及的位置计测方法基于利用了至少一对摄像装置30的立体计测的执行结果来判定摄像装置30的拍摄状况。
例如,检测处理装置51针对由至少一对摄像装置30拍摄到的对象的图像实施基于立体方式的图像处理,来获得图像例如距离图像或者视差图像。检测处理装置51求出所获得的图像中存在的、已搜索到对应的部分的地方、即立体计测成功的地方、和所获得的图像中存在的、相当于图案的地方。检测处理装置51求出所获得的图像中存在的、立体计测成功的地方占相当于图案的地方的比率,并利用该比率来判定拍摄状况。在实施方式中,检测处理装置51的处理部51P的运算部51PA执行立体计测,判定部51PB判定拍摄状况。在实施方式中,如摄像装置30的故障以及动作不良等那样与摄像装置30自身的不良状况相关的情形作为摄像装置30的错误来处理。由于实施方式中的拍摄状况利用检测处理装置51来判定,因此摄像装置30自身的状态例如由控制装置41等的其他装置来判定。
存储部51M例如可利用RAM(Random Access Memory)、ROM(Random AccessMemory)、闪存、EPROM(Erasable Programmable Random Access Memory)、EEPROM(Electrically Erasable Programmable Random Access Memory)等非易失性或者易失性半导体存储器、磁盘、软盘以及磁光盘之中的至少一种。存储部51M存储了用于使处理部51P执行实施方式所涉及的位置计测方法的计算机程序。存储部51M存储在处理部51P执行实施方式所涉及的位置计测方法时所使用的信息。该信息例如包含各摄像装置30的内部校正数据、各摄像装置30的姿势以及摄像装置30彼此的位置关系等。
输入输出部51IO是用于对检测处理装置51和其他装置进行连接的接口电路。在实施方式中,输入输出部51IO连接着集线器31、摄像开关32、IMU24、通信装置26以及信号线55。与输入输出部51IO连接的装置以及信号线并不限定为实施方式的内容。集线器31连接着多个摄像装置30a、30b、30c、30d。摄像装置30a、30b、30c、30d的拍摄结果经由集线器31而输入至输入输出部51IO。处理部51P经由集线器31以及输入输出部51IO来获取摄像装置30a、30b、30c、30d摄像的结果即图像的信息。也可以不利用集线器31而直接连接摄像装置30a、30b、30c、30d和输入输出部51TO。
在实施方式中,摄像开关32设置在图2所示的驾驶室4内。虽然摄像开关32例如设置在操作装置35的附近,但摄像开关32的设置场所并不限定于此。若摄像开关32被操作,则至少一对摄像装置30拍摄对象。若拍摄了对象,则处理部51P的运算部51PA获取摄像装置30a、30b、30c、30d的拍摄结果即图像的信息,并利用获取到的图像的信息来执行立体计测。判定部51PB基于运算部51PA的立体计测的执行结果来判定拍摄状况。信息生成部51PC例如将立体计测的结果以及拍摄状况当中的至少一者经由通信装置26以及天线26A而输出至液压挖掘机1的外部,或者输出至信号线55。信号线55连接着液压挖掘机1所具有的其他装置例如控制液压挖掘机1的控制装置41。在实施方式中,虽然利用了信号线55的通信的标准为CAN(Controller Area Network;控制器区域网络),但并不限定于此。
IMU24检测并输出作用于自身的加速度以及角速度、即作用于液压挖掘机1的加速度以及角速度。根据作用于液压挖掘机1的加速度以及角速度,可知液压挖掘机1的姿势。只要能够检测液压挖掘机1的姿势,则也可以为IMU24以外的装置。检测处理装置51获取IMU24的检测值,将通过对对象进行立体计测而获得的三维的位置例如变换为世界坐标系下的位置。
检测处理装置51既可以由专用的硬件来实现,也可以由多个处理电路协作来实现检测处理装置51的功能例如处理部51P、存储部51M以及输入输出部IO的功能。
<立体计测>
图4是说明利用一对摄像装置30L、30R来三维计测对象80的示例的图。图5以及图6是表示由一对摄像装置30L、30R获得的一对图像32L、32R的图。在实施方式中,图3所示的检测处理装置51针对由一对摄像装置30拍摄到的一对图像实施基于立体方式的图像处理,由此来求出对象80的位置。在图4中,将拍摄对象80的一对摄像装置30称作摄像装置30L以及摄像装置30R。一对摄像装置30L、30R是图2所示的液压挖掘机1所具有的摄像装置30。
摄像装置30L具有摄像元件31L。将摄像装置30L的摄像装置坐标系(Xs,Ys,Zs)的原点、即摄像装置30L的中心作为光学中心OCL。摄像装置30L的Zs轴为摄像装置30L的光轴,通过光学中心OCL。摄像装置30L拍摄对象,由此来获得包含对象的图像32L。摄像装置30R具有摄像元件31R。将摄像装置30R的摄像装置坐标系(Xs,Ys,Zs)的原点、即摄像装置30R的中心作为光学中心OCR。摄像装置30R的Zs轴为摄像装置30R的光轴,通过光学中心OCR。摄像装置30R拍摄对象,由此来获得包含对象的图像32R。
在实施方式中,立体计测的对象80例如为液压挖掘机1的施工对象。摄像装置30L以及摄像装置30R拍摄对象80,由此来获得图5所示那样的一对图像32L以及32R。摄像装置30L朝向铲斗8而配置在左侧,摄像装置30R朝向铲斗8而配置在右侧、且与摄像装置30L相距给定距离B。如图5所示,由摄像装置30L拍摄到的图像32L中的对象80的位置、和由摄像装置30R拍摄到的图像32R中的对象80的位置,在摄像装置30L和摄像装置30R排列的方向上不同。如此,由于摄像装置30L和摄像装置30R相距给定距离来配置,因此根据对象的观测地点的位置的差异而能看见对象的方向也不同。
检测处理装置51针对由摄像装置30L拍摄到的对象80的图像32L、和由摄像装置30R拍摄到的对象80的图像32R,来实施基于立体方式的图像处理。通过基于立体方式的图像处理,来三维计测作为同一对象的对象80的位置。基于立体方式的图像处理包括:根据一对图像32L、32R来生成视差图像33的步骤;和基于视差图像33中所含的视差的信息来三维计测摄像装置30L、30R的拍摄范围的空间的步骤。
检测处理装置51在生成视差图像33的步骤中,如图6所示那样,在一对图像32L、32R之间搜索对应的部分、例如与图4所示的对象80的一部分81对应的像素PXl、PXr,根据对应的像素PXl、PXr的搜索结果来求出视差。视差是指与对象80的一部分81对应的像素PXl、PXr彼此在物理上相距多少、例如相距何种程度的像素数的量这样的信息。视差图像33是以二维排列的方式表现视差的图像。在立体计测中,利用视差来求出到对象为止的距离。取代视差而以二维排列的方式来表现到对象为止的距离的图像为距离图像。
另外,视差一般被定义为在成为某计测对象的基准点处一对摄像装置30的视线所形成的角度的变化量。在平行地排列一对摄像装置30的情况下,相对于成为基准的一个摄像装置的图像中的计测点的投影点,另一个摄像装置30的图像中的相同计测点的投影点在拍摄到的图像内偏离何种程度的像素的量成为视差。
在视差图像33中,在对应的像素的搜索失败的情况下,对于搜索失败的像素PXs而保存0,在搜索成功的情况下,对于搜索成功的像素PXs而保存比0大的数值。在视差图像33中,保存了0的像素PXs为黑色,保存了比0大的数值的像素PXs成为灰度标。保存了0以外的数值的像素PXs是在视差图像33或者距离图像中立体计测成功的地方。
在拍摄到的对象整体的立体计测是否成功的判定中,能够利用保存了0以外的数值的像素PXs在视差图像33中所占的比例。例如,如果灰度标的像素PXs即保存了0以外的数值的像素PXs在视差图像33中所占的比例为阈值以上,则判定为拍摄到的对象整体的立体计测成功。阈值例如能够设为80%~95%,但并不限定于该范围的值。
检测处理装置51在进行立体计测的步骤中,利用三角测量来求出到对象80、本例中为到对象80的一部分81为止的距离。如图4所示,设定以摄像装置30L的光学中心OCL为原点的三维坐标系(X,Y,Z)。假设摄像装置30L和摄像装置30R被平行配置。即,假设在摄像装置30L与摄像装置30R之间,图像32L、32R的图像面为同一面、且X轴方向上的位置相同。将摄像装置30L的光学中心OCL和摄像装置30R的光学中心OCR的距离设为B,将由摄像装置30L拍摄到的图像32L中的对象80的一部分81即像素PXl的Y坐标设为YL,将由摄像装置30R拍摄到的图像32R中的对象80的一部分81即像素PXr的Y坐标设为YR,将对象80的一部分81的Z坐标设为ZP。YL、YR、ZP均为三维坐标系(X,Y,Z)下的坐标。Y轴和图像32L、32R的图像面的距离为摄像装置30L、30R的焦点距离f。
在此情况下,从摄像装置30L、30R到对象80的一部分81为止的距离成为三维坐标系(X,Y,Z)下的斗齿尖8T的Z坐标即ZP。若将视差设为d=YL-(YR-B),则ZP由B×f/d来求出。
在图6所示的视差图像33的各像素PXs中,保存表示有无搜索成功的信息、和在搜索成功的情况下的视差d。检测处理装置51能够根据图像32L、32R中的搜索成功的各像素间的视差d、图像32L、32R中的搜索成功的各像素的坐标、和摄像装置30L、30R的焦点距离f,来求出到对象为止的距离。
在图6所示的示例中,检测处理装置51在一对图像32L、32R之间搜索对应的像素,生成视差图像33。接下来,检测处理装置51搜索与求取距离的对象80的一部分81对应的像素PXl、PXr。在一对图像32L、32R之间,一旦搜索到与对象80的一部分81对应的像素PXl、PXr,则检测处理装置51求出搜索到的像素PXl、PXr的Y坐标即YL、YR。检测处理装置51将获得的YL、YR以及距离B代入视差d的式子即d=YL-(YR-B),来求出视差d。检测处理装置51利用获得的视差d、距离B以及焦点距离f,将从摄像装置30L、30R到斗齿尖8T为止的距离ZP代入上述的式子,由此进行求取。
由于摄像装置30L、30R设置在图2所示的驾驶室4的内部,因此前玻璃4G介于摄像装置30L、30R与铲斗8的斗齿尖8T之间。在水滴以及尘埃等附着于前玻璃4G的情况下,有时一对图像32L、32R的至少一者未拍到对象80。这种情况下,由于对应的像素的搜索失败,因此视差图像33在整体上灰度标的像素PXs所占的比例下降,黑色像素所占的比例变高。
如此,根据摄像装置30与摄像装置30所拍摄的对象80之间的状态、以及构成立体摄像机的一对摄像装置30的姿势当中的至少一者,视差图像或者距离图像中的立体计测成功的地方的比例发生变化。因而,检测处理装置51能够通过利用立体计测的执行结果、例如视差图像或者距离图像中的立体计测成功的地方的比例,来判定拍摄状况。
<降雨的影响>
立体率STR由下述的式子(1)来求出。式(1)中的PXS是在立体计测中执行了基于立体方式的图像处理的结果所获得的处理后的图像中的立体计测成功的像素的总数。所谓像素的立体计测成功的情况,是指在一对图像之间搜索到对应的像素的情况。式(1)中的PXA是由一对摄像装置30、30拍摄到的图像(两个图像之中的至少一者)中存在图案的范围的像素的总数。在实施方式中,在求取立体率STR之际,检测处理装置51的运算部51PA针对图像中的有图案的范围来执行立体计测。判定部51PB所进行的立体率STR的判定是针对图像中的有图案的范围来进行的。
STR=PXS/PXA… (1)
说明求取在图像中存在图案的范围的方法的一例。在实施方式中,检测处理装置51的运算部51PA将一对摄像装置30、30拍摄到的图像之中的一个图像(以下适当称作基准图像)作为对象来检测图案。在图案的检测中,运算部51PA例如关注于基准图像中的某像素。以下将所关注的像素称作关注像素。运算部51PA比较关注像素的亮度和关注像素的周围所存在的像素的亮度,求出关注像素和周围的各像素的亮度差。在基准图像中的像素被配置为棋盘格状的情况下,关注像素的周围所存在的像素为8个。运算部51PA在亮度差的偏差为阈值以上的情况下判定为关注像素是图案,在亮度差的偏差小于阈值的情况下判定为关注像素不是图案。图案的检测只要在求出立体率STR之前即可,可以为求出视差图像之后也可以为求出视差图像之前。为了判断拍摄存在图案的场所而得到的结果是否适当,更优选利用存在图案的范围的立体率STR。
在实施方式中,运算部51PB也可以不检测图案,而例如利用在立体计测中执行了基于立体方式的图像处理的结果所获得的处理后的图像中的立体计测成功的像素的比例,来求取立体率STR。
图7以及图8是表示立体率STR和摄像装置30的周围的状态之间的关系的图。图7以及图8均表示实验结果的一例。图7表示利用了图2所示的一对摄像装置30a、30b的立体计测的结果,图8表示利用了图2所示的一对摄像装置30c、30d的立体计测的结果。一对摄像装置30a、30b的光轴朝向上方来设置,一对摄像装置30c、30d的光轴朝向下方来设置。图7以及图8的纵轴为立体率STR,单位为%。图7以及图8的纵轴与横轴交叉的部分不是0%。
图7以及图8的状态A是未降雨的状态,状态B是小雨时且刮水器4W无动作的状态,状态C是小雨时且刮水器4W有动作的状态,状态D是大雨且刮水器4W无动作的状态,状态E是大雨且刮水器4W有动作的状态。即,状态A是前玻璃4G干的状态。另一方面,状态B、C即小雨的情况是在图2所示的驾驶室4的前玻璃4G附着了少量水滴的状态。进而,状态D、E即大雨的情况是在驾驶室4的前玻璃4G附着了比小雨时多的水滴的状态。
根据光轴朝向上方来设置的一对摄像装置30a、30b的结果(图7)可知,降雨的情况与未降雨的情况相比,立体率STR下降;大雨的立体率STR比小雨的立体率STR低;以及在降雨的情况下,若刮水器4W动作,则立体率STR得到改善。根据光轴朝向下方来设置的一对摄像装置30c、30d的结果(图8)可知,小雨给立体率STR带来的影响小;在大雨的情况下,立体率STR急剧下降;以及尤其在降雨的情况下,若刮水器4W动作,则立体率STR得到改善。
如此,能够基于立体计测的执行结果、在实施方式中基于立体率STR来判定摄像装置30的拍摄状况。基于光轴朝向上方来设置的一对摄像装置30a、30b的立体率STR与光轴朝向下方来设置的一对摄像装置30c、30d相比,更容易出现降雨的影响以及刮水器4W的影响。即,光轴朝向上方来设置的一对摄像装置30a、30b与光轴朝向下方来设置的一对摄像装置30c、30d相比,检测周围的状况的影响的灵敏度更高。因而,在检测处理装置51判定摄像装置30的拍摄状况时,优选利用光轴朝向上方来设置的一对摄像装置30a、30b所拍摄到的图像的信息。另外,图7以及图8表示因降雨而在前玻璃4G附着水滴的情况下的实验结果,在前玻璃4G未附着水滴但却降雨或者降雪的拍摄状况中摄像装置30拍摄对象时的立体率STR,比在晴天时摄影对象之时的立体率STR要低。
图9是表示实施方式所涉及的位置计测方法的处理例的流程图。该处理例是对摄像装置30与摄像装置30所拍摄的对象之间的状态进行判定的示例,例如是对摄像装置30的周边的环境进行判定的示例。在步骤S11中,图2以及图3所示的至少一对摄像装置30拍摄对象。如前所述,在拍摄状况的判定中,优选利用光轴朝向上方来设置的一对摄像装置30a、30b。在步骤S12中,图3所示的检测处理装置51的运算部51PA获取至少一对摄像装置30的摄像结果、即至少一对图像的信息,实施基于立体方式的图像处理。在步骤S13中,运算部51PA根据基于立体方式的图像处理的结果所获得的图像来求出立体率STR。在步骤S14中,判定部51PB利用立体率STR来判定摄像装置30的拍摄状况。
判定部51PB也可以将判定结果输出至存储部51M以及外部当中的至少一者。在判定结果被输出至外部的情况下,例如判定部51PB能够将判定结果输出至液压挖掘机1的外部所设置的管理装置61或者具有通信功能的便携式终端装置64。使用管理装置61的管理者基于从判定部51PB输出的判定结果,针对液压挖掘机1来执行必要的应对。此外,在获取到判定结果的便携式终端装置64被液压挖掘机1的操作人员或者液压挖掘机1的管理者使用的情况下,操作人员或者管理者基于从判定部51PB输出的判定结果,针对液压挖掘机1来执行必要的应对。关于基于判定结果的必要的应对将在后面叙述。
在判定摄像装置30的拍摄状况时,例如创建使立体率STR和拍摄状况建立了对应的表格,并预先存储至检测处理装置51的存储部51M。判定部51PB从运算部51PA之中获取立体率STR,参照存储部51M的表格,从表格之中读出与获取到的立体率STR对应的拍摄状况。读出的拍摄状况成为至少一对摄像装置30的拍摄状况。关于拍摄状况,例如在立体率STR为第1阈值以下的情况下被判定为小雨,在比第1阈值小的第2阈值以下的情况下被判定为大雨。
在该处理例中,虽然拍摄状况以降雨、即在摄像装置30与摄像装置30所拍摄的对象之间存在水滴的情况为例,但在摄像装置30与摄像装置30所拍摄的对象之间存在尘埃、或者存在雪或者雨夹雪等的情况也可以被设为拍摄状况。此外,不仅摄像装置30与摄像装置30所拍摄的对象之间的状态可设为拍摄状况,摄像装置30的姿势也可以被设为拍摄状况。关于拍摄状况,例如在立体率STR比第1阈值大的情况下,被判定为一对摄像装置30、30彼此的位置偏离在容许范围内,在立体率STR为第1阈值以下的情况下,被判定为虽然一对摄像装置30、30彼此发生无法容许的位置偏离但能够通过再校正来修正,在立体率STR为比第1阈值小的第2阈值以下的情况下,被判定为摄像装置30的安装状态需要修正。如前所述,在摄像装置30的姿势例如随着经时变化而变化的情况下,根据摄像装置30拍摄对象所得的图像而求出的立体率STR,能够判定出拍摄状况(安装状态)为不良。
检测处理装置51的判定部51PB也可以基于立体率STR的时间序列的变化来判定拍摄状况。例如,立体率STR以不同的定时被获取的结果,如果立体率STR的下降为临时性的,则判定部51PB判定为降雨或者降雪等那样的摄像装置30的周边的环境为立体率STR下降的原因。立体率STR以不同的定时被获取的结果,在立体率STR持续下降的情况下,判定部51PB判定为是摄像装置30的位置偏离或者前玻璃4G的脏污或者摄像装置30的镜头的脏污等。
检测处理装置51在立体率STR持续下降的情况下,变更对摄像装置30的姿势进行决定的参数,针对同一摄像结果来重新计算立体率STR。在即便使参数变化而立体率STR也不变化的情况下,检测处理装置51的判定部51PB判定为驾驶室4的前玻璃4G或者摄像装置30的镜头脏污。若使参数变化则立体率STR变高的情况下,检测处理装置51的判定部51PB判定为一对摄像装置30、30彼此发生位置偏离,输出需要对摄像装置30的安装状态进行修正的意思。若使参数变化则变成与立体率STR变低之前同等程度的情况下,检测处理装置51的判定部51PB判定为一对摄像装置30、30彼此的位置偏离能够修正,将立体率STR为最大时的参数决定为新的参数。
对摄像装置30的姿势进行决定的参数是旋转方向修正量α、β、γ以及平移方向修正量ΔX、ΔY、ΔZ。旋转方向修正量α、β、γ是在构成立体摄像机的一对摄像装置30、30中对图2所示的摄像装置坐标系的绕着Xs轴、绕着Ys轴、绕着Zs轴的旋转方向的偏离量进行修正的量。平移方向修正量ΔX、ΔY、ΔZ是在构成立体摄像机的一对摄像装置30、30中对与摄像装置坐标系的Xs轴、Ys轴、Zs轴平行的方向的偏离量进行修正的量。检测处理装置51变更一对摄像装置30、30之中的一方的旋转方向修正量α、β、γ以及平移方向修正量ΔX、ΔY、ΔZ,来重新计算立体率STR。
判定部51PB一旦判定了摄像装置30的拍摄状况之后,则液压挖掘机1的控制装置41也可以基于判定结果来决定液压挖掘机1的控制内容即对应内容。在此,判定部51PB也可以决定对应内容。对应内容包含液压挖掘机1的控制内容以及向运用液压挖掘机1的运用者的通知当中的至少一者。该通知是与液压挖掘机1的运用相关的信息。运用液压挖掘机1的运用者包含液压挖掘机1的操作人员、液压挖掘机1的管理者以及服务人员当中的至少一者。在实施方式中,控制装置41相当于基于判定结果来决定针对液压挖掘机1的控制内容的控制部。例如,在拍摄状况为降雨的情况下,控制装置41将液压挖掘机1的控制内容决定为使清扫驾驶室4的前玻璃4G的刮水器4W动作的控制。控制装置41基于决定出的控制内容而使刮水器4W动作。控制装置41也可以将使刮水器4W动作的指示显示于液压挖掘机1的驾驶室4内所设置的监视器的画面。液压挖掘机1的操作人员视觉辨认监视器的画面所显示的指示来使刮水器4W动作。
例如,在拍摄状况为降雨的情况下,控制装置41将液压挖掘机1的控制内容决定为不执行立体计测的控制。控制装置41基于决定出的控制内容而不执行立体计测。例如,在摄像开关32被操作而摄像指令被输入至检测处理装置51的情况下,检测处理装置51也不使摄像装置30拍摄对象。此时,控制装置41也可以在液压挖掘机1的驾驶室4内所设置的监视器的画面上显示不执行立体计测。
例如,控制装置41在判定为摄像装置30有位置偏离的情况下,将液压挖掘机1的控制内容决定为:将摄像装置30已发生位置偏离的情形显示于液压挖掘机1的驾驶室4内所设置的监视器的控制。控制装置41基于决定出的控制内容,将摄像装置30已发生位置偏离的情形显示于前述的监视器。视觉辨认监视器的显示后的液压挖掘机1的操作人员例如执行摄像装置30的校正、或者委托服务人员调整摄像装置30的安装位置。
在实施方式的处理例中,虽然检测处理装置51基于立体计测的执行结果来判定摄像装置30的拍摄状况,但并不限定于这样的方法。例如,检测处理装置51也可以将立体计测的执行结果、实施方式中为立体率STR输出至作为液压挖掘机1的外部的装置的管理装置61,由管理装置61来判定摄像装置30的拍摄状况。在此情况下,检测处理装置51所具有的处理部51P的判定部51PB由管理装置61所拥有。
从检测处理装置51获取到立体计测的执行结果的管理装置61基于执行结果来判定拍摄状况。该判定通过管理装置61所具有的判定部51PB来进行。管理装置61也可以基于作为判定结果的拍摄状况来决定针对液压挖掘机1的控制内容,并将决定出的结果经由通信装置62以及天线62A而输出至液压挖掘机1。例如,在拍摄状况为降雨的情况下,管理装置61将液压挖掘机1的控制内容决定为使刮水器4W动作的控制,经由与管理装置61连接的通信装置62而输出至液压挖掘机1。液压挖掘机1或者液压挖掘机1的操作人员基于经由通信装置26从管理装置61获取到的控制内容,而使刮水器4W动作。
例如,在拍摄状况为降雨的情况下,管理装置61将液压挖掘机1的控制内容决定为不执行立体计测的控制,并经由通信装置62以及天线62A而输出至液压挖掘机1。液压挖掘机1基于从管理装置61获取到的控制内容而不执行立体计测。例如,即便是摄像开关32被操作而摄像指令被输入至检测处理装置51的情况,检测处理装置51也不使摄像装置30拍摄对象。此时,也可以在液压挖掘机1的驾驶室4内所设置的监视器的画面上显示不执行立体计测。
例如,管理装置61在判定为摄像装置30有位置偏离的情况下,将液压挖掘机1的控制内容决定为:将摄像装置30已发生位置偏离的情形显示于液压挖掘机1的驾驶室4内所设置的监视器的控制。管理装置61向液压挖掘机1输出决定出的控制内容。液压挖掘机1基于从管理装置61获取到的控制内容而将摄像装置30发生位置偏离的情形显示于前述的监视器。视觉辨认监视器的显示后的液压挖掘机1的操作人员例如执行摄像装置30的校正、或者委托服务人员调整摄像装置30的安装位置。管理装置61对摄像装置30的拍摄状况进行判定的情况下,管理装置61所进行的判定的内容并不限定于前述的内容,能够执行与检测处理装置51具有判定部51PB的情况同样的判定。
管理装置61如前所述那样基于判定结果来决定液压挖掘机1的控制内容,并经由通信装置62而发送至液压挖掘机1,但此时管理装置61也可以向便携式终端装置64发送液压挖掘机1的控制内容。液压挖掘机1的操作人员能够确认发送至液压挖掘机1或者便携式终端装置64的控制内容来控制液压挖掘机1。
此外,管理装置61虽然决定基于判定结果的对应内容,但作为其一例,也可以进行向操作人员、管理者或者服务人员的通知。预先在管理装置61的存储装置中登记有操作人员、管理者或者服务人员等所拥有的、例如便携式电话等的便携式终端装置64的邮件地址等识别信息。例如,在拍摄状况为降雨的情况下,管理装置61也可以经由通信装置62以及天线62A而向便携式终端装置64发送抑制天气差时的拍摄的意思的通知。在判定结果为摄像装置30发生位置偏离、前玻璃4G的脏污或者摄像装置30的镜头的脏污等的情况下,管理装置61也可以经由通信装置62以及天线62A而向便携式终端装置64发送促使检修摄像装置30的意思的通知或者促使清扫前玻璃4G的意思的通知等。作为基于这些判定结果的对应内容的通知,可以从管理装置61经由液压挖掘机1的通信装置26而被检测处理装置51接收,并显示于液压挖掘机1的未图示的显示装置。
例如,在至少判定部51PB设置于管理装置61的情况下,管理装置61为了将前述的对应内容发送至液压挖掘机1以及便携式终端装置64,执行如下的处理。管理装置61的判定部51PB与从液压挖掘机1发送的立体率STR一起接收的是发送了该立体率STR的液压挖掘机1的通信装置26的IP地址。在此,也可以与通信装置26的IP地址一起、或者代替IP地址而将液压挖掘机1的机体编号等识别信息发送至管理装置61。在此情况下,机体编号被预先存储在检测处理装置51的存储部51M中,例如通信装置26从存储部51M读出机体编号并发送至管理装置61。此外,液压挖掘机1的通信装置26也可以还将在摄像装置30拍摄对象时由GPS定位的位置信息发送至管理装置61。
在管理装置61的存储装置中,预先登记了液压挖掘机1的通信装置26的IP地址、便携式终端装置64的IP地址、邮件地址、以及液压挖掘机1的机体编号等。液压挖掘机1的IP地址(或者机体编号)和便携式终端装置64的IP地址以及邮件地址当中的至少一者建立关联。管理装置61的判定部51PB从管理装置61的存储装置之中搜索管理装置61与立体率STR一起接收到的液压挖掘机1(通信装置26)的IP地址,并向与搜索到的IP地址已建立了关联的便携式终端装置64的IP地址或者邮件地址发送对应内容。另外,例如,如前所述,也可以在要使对应内容显示于液压挖掘机1的显示装置的情况下,向管理装置61与立体率STR一起接收到的IP地址发送对应内容(通知)。在该情况下,表示液压挖掘机1的作业现场的场所的信息也可以预先被登记在管理装置61的存储装置中。管理装置61也可以基于从液压挖掘机1发送的位置信息来搜索被登记的作业现场的场所,向相应的作业现场的管理者等的液压挖掘机1发送对应内容。
液压挖掘机1的检测处理装置51基于立体计测的执行结果来判定拍摄状况,求出对应内容。然后,检测处理装置51也可以使判定结果以及对应内容当中的至少一方显示于液压挖掘机1所具有的未图示的显示装置。此外,管理装置61基于从液压挖掘机1发送出的立体计测的执行结果来判定拍摄状况,基于判定结果来求出对应内容。然后,管理装置61也可以使判定结果以及求出的对应内容当中的至少一者显示于管理设施60内的未图示的显示装置,或者从管理设施60内的未图示的印刷装置输出。
以上,实施方式的位置计测系统40以及位置计测方法基于利用了安装于液压挖掘机1的至少一对摄像装置30的立体计测的执行结果,来判定摄像装置30的拍摄状况。因而,实施方式的位置计测系统40以及位置计测方法,即便在液压挖掘机1不具有环境观测用的装置的情况下,也能够判定给摄像装置30的摄像带来影响的环境,或者判定液压挖掘机1的周边的环境,或者判定摄像装置30的姿势。这样,实施方式的位置计测系统40以及位置计测方法能够掌握构成立体摄像机的摄像装置30在摄像时的状况。并且,液压挖掘机1的操作人员或者液压挖掘机1的管理者等通过利用由实施方式的位置计测系统40以及位置计测方法判定出的结果,从而能够掌握摄像装置30的拍摄状况。
因此,在尽管摄像时的环境为给摄像装置30的摄像带来影响的环境但操作人员仍拍摄了对象的情况下,实施方式的位置计测系统40以及位置计测方法也能够排除基于该摄像的三维计测的结果。此外,实施方式的位置计测系统40以及位置计测方法作为基于判定结果的必要的应对,在摄像时的环境为给摄像装置30的摄像带来影响的环境的情况下,能够促使操作人员注意抑制拍摄。作为基于判定结果的必要的应对,虽然有摄像装置30的检修以及前玻璃4G的清扫这样的工作,但根据实施方式的位置计测系统40以及位置计测方法,能够迅速地判断这种工作的必要性,管理者等能够进行检修、清扫的工作和指示。作为结果,管理者等能够获得基于摄像装置30的适当的三维计测的结果(地形信息)。
液压挖掘机1那样的工作机械大多在尘埃多的场所工作,此外易于受到振动以及冲击等。因而,易于在前玻璃4G附着尘埃、或者由于振动以及冲击而发生摄像装置30的位置偏离。实施方式的位置计测系统40以及位置计测方法能够判定摄像装置30的摄像环境来谋求摄像装置30的拍摄状况的改善。拍摄状况并不限定于实施方式的内容,例如也包含在一对摄像装置30、30之中的一方拍到了工作装置2的结果而无法实现立体计测的情况。
在本实施方式中,虽然示出摄像装置30被配置在驾驶室4内的情况,但摄像装置30也可以被配置在驾驶室4外。此外,液压挖掘机1可以是能够通过远程操作来操作工作装置2、回转体3以及行驶体5的液压挖掘机。在能够通过这种远程操作而动作的液压挖掘机1的情况下,也可以不具有驾驶室4。在能够通过远程操作而动作的液压挖掘机1的情况下,也可以取代基于摄像开关32的摄像指令而从远程的地方向液压挖掘机1发送摄像指令信号,经由通信装置26而由液压挖掘机1接收,从而例如处理部51P使摄像装置30执行摄像。
以上,说明了实施方式,但并非通过前述的内容来限定实施方式。此外,在前述的构成要素中包含本领域技术人员可容易地设想到的要素、实质上相同的要素、所谓的等同范围的要素。前述的构成要素可以适当组合。能够在不脱离实施方式的主旨的范围内进行构成要素的各种省略、置换以及变更之中的至少一者。工作机械只要能够对施工对象进行施工、例如挖掘以及搬运等即可,并不限定为液压挖掘机,例如也可以为轮式装载机以及推土机这样的工作机械。
符号说明
1 液压挖掘机
1B 车体
2 工作装置
3 回转体
4 驾驶室
4G 前玻璃
4W 刮水器
5 行驶体
23 位置检测装置
26 通信装置
30、30a、30b、30c、30d、30L、30R 摄像装置
32 摄像开关
33 视差图像
35 操作装置
40 位置计测系统
41 控制装置
50 控制系统
51 检测处理装置
51IO 输入输出部
52M 存储部
51P 处理部
51PA 运算部
51PB 判定部
51PC 信息生成部
55 信号线
60 管理设施
61 管理装置
62 通信装置
64 便携式终端装置

Claims (16)

1.一种位置计测系统,其特征在于,包括:
至少一对摄像装置,被安装于工作机械;
运算部,被设置于所述工作机械,利用由至少一对所述摄像装置拍摄到的对象的图像的信息,执行立体计测来求取立体率,其中,所述立体率是作为在所述立体计测中执行了基于立体方式的图像处理的结果所获得的处理后的图像中的所述立体计测成功的像素的比例,或者,所述立体率是相对于由一对所述摄像装置拍摄到的所述图像之中的至少一个所述图像中存在图案的范围的像素数的、在一对所述图像之间搜索到对应的所述像素的所述像素数的比例;和
判定部,其基于所述立体计测的所述立体率来判定与所述摄像装置的拍摄相关的状况。
2.根据权利要求1所述的位置计测系统,其特征在于,
所述判定部在所述立体率为第1阈值以下的情况下判定为能够通过所述摄像装置的校正来修正,在所述立体率为比所述第1阈值小的第2阈值以下的情况下判断为需要修正所述摄像装置的安装状态。
3.根据权利要求1所述的位置计测系统,其特征在于,
所述判定部在所述立体率由于经时变化而降低的情况下判定为所述摄像装置的安装状态不良。
4.根据权利要求1所述的位置计测系统,其特征在于,
所述判定部在所述立体率临时性降低的情况下判定为原因在于周边的环境。
5.根据权利要求1至4中任一项所述的位置计测系统,其特征在于,
所述运算部针对所述图像中的有图案的范围来执行所述立体计测。
6.根据权利要求1所述的位置计测系统,其特征在于,
所述判定部基于所述立体率来判定所述摄像装置与所述摄像装置所拍摄的对象之间的状态。
7.根据权利要求1所述的位置计测系统,其特征在于,
所述判定部基于所述立体率来判定所述摄像装置的姿势。
8.根据权利要求1至4中任一项所述的位置计测系统,其特征在于,
至少一对所述摄像装置使光轴朝向上方来设置。
9.根据权利要求1至4中任一项所述的位置计测系统,其特征在于,
所述判定部被设置于所述工作机械的外部的管理装置,
所述运算部向被设置于所述管理装置的所述判定部输出所述立体计测的执行结果。
10.根据权利要求9所述的位置计测系统,其特征在于,
所述管理装置基于与所述拍摄相关的状况的判定结果来决定对应内容。
11.根据权利要求1至4中任一项所述的位置计测系统,其特征在于,
所述判定部被设置于所述工作机械。
12.根据权利要求11所述的位置计测系统,其特征在于,
所述工作机械具有控制部,该控制部基于与所述拍摄相关的状况的判定结果来决定对应内容。
13.一种工作机械,其特征在于,具备:
权利要求1至12中任一项所述的位置计测系统;
具有行驶体的车体;和
安装于所述车体的工作装置。
14.一种位置计测方法,其特征在于,
由被安装于工作机械的至少一对摄像装置来拍摄对象,
利用由至少一对所述摄像装置拍摄到的对象的图像的信息,执行立体计测来求取立体率,其中,所述立体率是作为在所述立体计测中执行了基于立体方式的图像处理的结果所获得的处理后的图像中的所述立体计测成功的像素的比例,或者,所述立体率是相对于由一对所述摄像装置拍摄到的所述图像之中的至少一个所述图像中存在图案的范围的像素数的、在一对所述图像之间搜索到对应的所述像素的所述像素数的比例,
基于所述立体计测的所述立体率来判定与所述摄像装置的拍摄相关的状况。
15.根据权利要求14所述的位置计测方法,其特征在于,
在判定了与所述拍摄相关的状况之后,输出判定出的结果。
16.根据权利要求15所述的位置计测方法,其特征在于,
基于与所述拍摄相关的状况的判定结果来决定对应内容。
CN201580001670.8A 2015-10-15 2015-10-15 位置计测系统、工作机械以及位置计测方法 Active CN105518228B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079240 WO2016013691A1 (ja) 2015-10-15 2015-10-15 位置計測システム及び位置計測方法

Publications (2)

Publication Number Publication Date
CN105518228A CN105518228A (zh) 2016-04-20
CN105518228B true CN105518228B (zh) 2018-06-01

Family

ID=55163211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580001670.8A Active CN105518228B (zh) 2015-10-15 2015-10-15 位置计测系统、工作机械以及位置计测方法

Country Status (6)

Country Link
US (1) US10233615B2 (zh)
JP (1) JP6050525B2 (zh)
KR (1) KR101815269B1 (zh)
CN (1) CN105518228B (zh)
DE (1) DE112015000126B9 (zh)
WO (1) WO2016013691A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016038905A1 (ja) 2015-02-23 2016-03-17 株式会社小松製作所 油圧ショベル
JP6625446B2 (ja) * 2016-03-02 2019-12-25 株式会社神戸製鋼所 外乱除去装置
WO2017159744A1 (ja) * 2016-03-16 2017-09-21 住友重機械工業株式会社 ショベル
JP6754594B2 (ja) * 2016-03-23 2020-09-16 株式会社小松製作所 モータグレーダ
JP2017200790A (ja) * 2016-05-02 2017-11-09 シャープ株式会社 自律走行車両
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
EP3483349A4 (en) * 2016-07-05 2019-07-31 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SHOVEL
JP2018021651A (ja) * 2016-08-05 2018-02-08 トヨタ自動車株式会社 ガス充填システム
WO2018026021A1 (ja) * 2016-08-05 2018-02-08 株式会社小松製作所 管理システム
WO2018079789A1 (ja) 2016-10-31 2018-05-03 株式会社小松製作所 計測システム、作業機械及び計測方法
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US10132060B2 (en) 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN108990417B (zh) * 2017-03-31 2021-09-07 株式会社小松制作所 工作车辆
JP6922399B2 (ja) * 2017-05-15 2021-08-18 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109211196A (zh) * 2017-07-07 2019-01-15 北京林业大学 一种基于rtk激光扫平摄影仪摄影测量技术方法
JP6969738B2 (ja) * 2017-07-10 2021-11-24 株式会社Zmp 物体検出装置及び方法
DE112017000125B4 (de) 2017-07-13 2022-10-27 Komatsu Ltd. Hydraulikbagger und Verfahren zur Kalibrierung eines Hydraulikbaggers
JPWO2019012993A1 (ja) * 2017-07-14 2019-11-07 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム
WO2019044316A1 (ja) 2017-09-01 2019-03-07 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
JP7018285B2 (ja) * 2017-09-29 2022-02-10 株式会社デンソー 車両の周辺監視装置および周辺監視方法
JP7004971B2 (ja) * 2017-12-25 2022-01-21 ITD Lab株式会社 校正装置、校正方法及び校正プログラム
DE102018200060B4 (de) 2018-01-04 2024-05-08 Robert Bosch Gmbh Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine
CN109235513B (zh) * 2018-04-20 2020-11-03 安徽鑫煤缘矿山机械有限公司 铲斗动力可控式挖掘机
US10721376B2 (en) 2018-04-24 2020-07-21 GM Global Technology Operations LLC System and method to identify backup camera vision impairment
US11286641B2 (en) * 2018-12-07 2022-03-29 Deere & Company Attachment-configurable system for a work machine
JP7351478B2 (ja) 2019-07-26 2023-09-27 株式会社小松製作所 表示システム、遠隔操作システム、及び表示方法
US11200654B2 (en) 2019-08-14 2021-12-14 Cnh Industrial America Llc System and method for determining field characteristics based on a displayed light pattern
JP7363560B2 (ja) * 2020-02-18 2023-10-18 コベルコ建機株式会社 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2021130926A (ja) * 2020-02-18 2021-09-09 コベルコ建機株式会社 作業機械の遠隔操作支援装置および遠隔操作支援方法
US11508073B2 (en) 2021-04-09 2022-11-22 Caterpillar Inc. Method for determining angle of tips of ripper shanks in dozer machines
US20230370572A1 (en) * 2022-05-11 2023-11-16 Caterpillar Inc. Systems and methods for monitoring operation under limp mode
JP2024011050A (ja) * 2022-07-13 2024-01-25 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置
JP2008101416A (ja) * 2006-10-20 2008-05-01 Hitachi Constr Mach Co Ltd 作業現場の管理システム
CN103890282A (zh) * 2011-10-18 2014-06-25 日立建机株式会社 作业机械的周围监视装置
JP2014224411A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539427B2 (ja) * 2005-05-09 2010-09-08 トヨタ自動車株式会社 画像処理装置
JP5027710B2 (ja) * 2008-03-26 2012-09-19 富士重工業株式会社 車両用環境認識装置および先行車追従制御システム
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
JP2013048334A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
TW201515433A (zh) * 2013-10-14 2015-04-16 Etron Technology Inc 影像校正系統和立體照相機的校正方法
TWI520098B (zh) * 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置
JP2008101416A (ja) * 2006-10-20 2008-05-01 Hitachi Constr Mach Co Ltd 作業現場の管理システム
CN103890282A (zh) * 2011-10-18 2014-06-25 日立建机株式会社 作业机械的周围监视装置
JP2014224411A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Also Published As

Publication number Publication date
JPWO2016013691A1 (ja) 2017-04-27
KR20170045145A (ko) 2017-04-26
CN105518228A (zh) 2016-04-20
KR101815269B1 (ko) 2018-01-04
DE112015000126B4 (de) 2018-09-06
DE112015000126T5 (de) 2016-05-25
JP6050525B2 (ja) 2016-12-21
DE112015000126B9 (de) 2018-10-25
US10233615B2 (en) 2019-03-19
US20170107698A1 (en) 2017-04-20
WO2016013691A1 (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
CN105518228B (zh) 位置计测系统、工作机械以及位置计测方法
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
JP5227139B2 (ja) 建設機械
KR102076631B1 (ko) 위치 계측 시스템, 작업 기계, 및 위치 계측 방법
AU2016336318B2 (en) Construction machine and construction management system
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
CN108885102B (zh) 形状测量系统、作业机械及形状测量方法
US12094151B2 (en) Image processing system, image processing method, learned model generation method, and data set for learning
CN109073379B (zh) 管理系统
KR20170107076A (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
CN101957197A (zh) 位置测量方法和位置测量仪器
CN114174608A (zh) 工程机械的位置确定系统
JP2018059400A (ja) 施工管理システム
Ruotsalainen et al. Heading change detection for indoor navigation with a smartphone camera
US20220412048A1 (en) Work assist server, work assist method, and work assist system
CN108779985B (zh) 施工管理系统
JP2018146594A (ja) 形状計測システム
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
JP2021011814A (ja) 作業機械の画像表示システム
CN117396653A (zh) 作业机械的控制系统、作业机械、以及作业机械的控制方法
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant