CN108713217A - 除去干扰装置 - Google Patents

除去干扰装置 Download PDF

Info

Publication number
CN108713217A
CN108713217A CN201780014132.1A CN201780014132A CN108713217A CN 108713217 A CN108713217 A CN 108713217A CN 201780014132 A CN201780014132 A CN 201780014132A CN 108713217 A CN108713217 A CN 108713217A
Authority
CN
China
Prior art keywords
pixel
range image
candidate pixel
work
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780014132.1A
Other languages
English (en)
Other versions
CN108713217B (zh
Inventor
稗方孝之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Kobe Steel Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd, Kobe Steel Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN108713217A publication Critical patent/CN108713217A/zh
Application granted granted Critical
Publication of CN108713217B publication Critical patent/CN108713217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

提取部(151)针对测距传感器(16)所得到的各距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为干扰物的候补像素。计算部(152)计算特征量,该特征量表示当前帧的距离图像中的各候补像素与各候补像素所对应的过去帧的距离图像中的各候补像素的时间上的变化特征。除去部(153)将计算部(152)计算出的特征量大于规定的基准特征量的后补像素决定为是表示干扰物的像素,并将其从当前帧的距离图像除去。

Description

除去干扰装置
技术领域
本发明涉及用于除去测距传感器测得的距离图像中包含的干扰物的技术。
背景技术
例如在液压挖掘机或液压起重机等工程机械中,为了防止动臂或附属装置等作业装置干扰工程机械的本体,会在本体上设置测距传感器,通过检测本体与作业装置的距离来防止作业装置干扰本体。
例如,专利文献1中公开了一种防干扰装置,其使用多个超声波传感器,来判定铲斗有没有进入设定在驾驶室前方的干扰危险区域。
但在具备测距传感器的防干扰装置中,当下雨时或下雪时,雨滴和雪粒等飞到工程机械附近的粒状的干扰物会被误检测为接近本体的作业装置或人物,并向操作人员发出多余的警告或者使作业装置自动停止,从而导致会妨碍操作人员作业的问题。
另外,专利文献1中完全没有考虑干扰物的情况,因此无法防止干扰物被误检测为作业装置的情况发生。
现有技术文献
专利文献
专利文献1:日本发明公开公报特开2001-64992
发明内容
本发明的目的在于提供一种将在根据距离图像来识别对象物时所不需要的干扰物除去的除去干扰装置。
本发明的一个方式的除去干扰装置,将飞到作为识别对象的对象物周围的粒状的干扰物从距离图像除去,其包括:
测距传感器,按照时间序列获取表示周围环境的距离分布的多个距离图像;
提取部,针对所述测距传感器所获取到的各距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为所述干扰物的候补像素;
计算部,计算特征量,当前帧的距离图像中的各候补像素与所述各候补像素所对应的过去帧的距离图像中的各候补像素在时间上的变化程度越大,该特征量的值就越大;以及
除去部,将所述计算部算出的特征量大于规定的基准特征量的后补像素决定为表示所述干扰物的像素,并将其从所述当前帧的距离图像中除去。
根据上述结构,能够防止比对象物更靠近距离传感器的干扰物被误检测为对象物的情况发生。
附图说明
图1是表示本发明的实施方式的除去干扰装置所适用的工程机械的一例的图。
图2是表示图1所示的工程机械的内部结构的框图。
图3是表示本发明的实施方式的除去干扰装置的处理的一例的流程图。
图4是表示候补像素的搜索例的示意图。
图5是特征量计算处理的说明图。
具体实施方式
[基本结构]
图1是本发明的实施方式的除去干扰装置所适用的工程机械1的一例的图。这里,工程机械1以液压挖掘机为例进行说明,但这只是一个例子,只要是液压起重机等那样存在动臂等作业装置会干扰工程机械的主体部的危险的工程机械、或是存在干扰周围人物的危险的工程机械,可以采用任意的工程机械。另外,除去干扰装置除了应用在工程机械上,也可以应用在人形机器人、焊接机器人之类的具有存在会干扰人物的危险的可动部的机械、或者可能干扰人物的汽车。
图1所示的工程机械1具备履带式下部行走体2、以能够回转的方式设置在下部行走体2上的上部回转体3、以及安装于上部回转体3的作业装置4。下部行走体2和上部回转体3构成工程机械1的主体部。
本说明书中,将下部行走体2的前进方向称为前方,下部行走体2的后退方向称为后方,并将前方和后方统称为前后方向。另外,将从后向前观察下部行走体2时的左侧方向称为左方,将从后向前观察下部行走体2时的右侧方向称为右方,并将左方和右方统称为左右方向。将工程机械1的上侧方向称为上方,将工程机械的下侧方向称为下方,并将上方和下方统称为上下方向。图1中示出了从左向右看到的工程机械1。
作业装置4具备以能够起伏的方式安装在上部回转体3上的动臂41、能够摆动的方式安装在动臂41的远端部的斗杆42、以及以能够摆动的方式安装在斗杆42的远端部的附属装置43。动臂41、斗杆42和附属装置43分别通过各自对应的液压缸(图示省略)的驱动而起伏或摆动。图1中,附属装置43采用例如掘削用的铲斗,但这只是一个示例。
上部回转体3上设有供操作人员搭乘的驾驶室31、对工程机械1进行总控的控制器15、以及用于向操作人员通知工程机械1的状态的通知部17。
上部回转体3的前表面3F和后表面3B的上端配置有测距传感器16F、16B。测距传感器16F、16B是能够直接测量上部回转体3附近的物体(例如后方的人物、前方的作业装置4等)的距离的传感器。
测距传感器16F、16B例如由深度传感器或立体照相机构成,以规定的帧率(例如5~50fps左右)按照时间序列获取表示到周围物体的距离分布的多个距离图像。
作为深度传感器,例如可以采用通过用红外摄像头测量所照射的红外光被物体反射并返回所用的时间,从而测量周围环境的距离分布的TOF(飞行时间)方式的测距传感器。立体照相机是例如求出用多个摄像头拍摄到的多个图像内的对应点彼此之间的视差,从而测量周围环境的距离分布的测距传感器。
测距传感器16F安装在前表面3F,至少使前表面3F以及下部行走体2的整个前表面包含在其测定区域161a内。从而,测距传感器16F能够检测出位于上部回转体3及下部行走体2前方的作业装置4及人物。
测距传感器16B安装在后表面3B,至少使后表面3B以除去及下部行走体2的整个后表面包含在其测定区域161b内。从而,测距传感器16B能够检测出位于上部回转体3及下部行走体2后方的人物。下文中,在无需区分测距传感器16F、16B的情况下,将其记为测距传感器16。
测距传感器16所获取的距离图像被输入至控制器15,用于进行下述处理,除去干扰物从而防止干扰发生。
图2是表示图1所示的工程机械1的内部结构的框图。工程机械1除了具备图1所示的测距传感器16、通知部17、控制器15之外,还具有发动机11、液压泵12、控制阀13、致动器14、操作部18和姿势传感器19。图2中,工作油的流向用粗线表示,控制信号的流向用细线表示。图1中,测距传感器16和控制器15是本发明的实施方式所涉及的除去干扰装置的构成要素。
发动机11例如由柴油发电机构成。液压泵12与发动机11的驱动轴11X相连,在发动机11的动力下进行工作,排出工作油。
控制阀13例如包括设置在液压泵12与致动器14之间的液压先导切换阀、用于调整输入到该液压先导切换阀的先导压的电磁阀,其在控制器15的控制下,调整从液压泵12提供给致动器14的工作油量,从而使致动器14工作。
致动器14例如由使动臂41相对于下部行走体起伏的动臂缸、使斗杆42相对于动臂41摆动的斗杆缸、使附属装置43相对于斗杆42摆动的附属装置工作缸构成。这里,致动器14采用工作缸,但这只是一个例子,也可以采用使下部行走体2行走的行走电机、使上部回转体3回转的回转电机。
控制器15例如由具备CPU、ROM和RAM等的微型计算机构成,对工程机械1进行总控。本实施方式中,控制器15具备提取部151、计算部152、除去部153、干扰判定部154和防干扰部155。提取部151~防干扰部155通过CPU执行程序来实现。
提取部151针对测距传感器16所得到的各距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为干扰物的候补像素。这里,规定个数采用例如10个左右的值,但这只是一个例子,只要采用与控制器15的处理能力能够兼容的适当值即可。
计算部152计算特征量,该特征量表示当前帧的距离图像中的各候补像素与各候补像素所对应的过去帧的距离图像中的各候补像素的时间上的变化特征。特征量的详细内容将在后文阐述。
除去部153将计算部152计算出的特征量大于规定的基准特征量的后补像素决定为是表示干扰物的像素,并将其从当前帧的距离图像中除去。
本实施方式中,假设干扰物是雨滴、雪花、雪子、雾霭、蚊蝇之类的小虫等在空气中飞来的粒状的微小物体。这样的微小物体与成为识别对象的对象物(人物或作业装置4)相比,具有速度、加速度、移动方向的变化更大的特征。因此,通过计算表示候补像素的时间上的变化特征的特征量,将该特征量大于基准特征量的候补像素除去,从而能够在距离图像内保留对象物而仅将干扰物正确地除去。
干扰判定部154使用被除去部153除去了表示干扰物的像素(以下称为“干扰像素”)后的距离图像,来判定干扰的危险性。这里,干扰判定部154从被除去了干扰像素后的距离图像,识别出位于工程机械1周围的人物和作业装置4的远端部。当识别出的人物和作业装置4的远端部进入到了事先为工程机械1设定好的干扰防止区域时,判定为有干扰的危险性。干扰防止区域可以采用例如距离下部行走体2和上部回转体3的侧壁一定距离范围内的区域。
若附属装置43的远端比斗杆42的远端更靠近驾驶室31一侧,则作业装置4的远端部即为附属装置43的远端,若斗杆42的远端比附属装置43的远端更靠近驾驶室31一侧,则作业装置4的远端部即为斗杆42的远端。此外,在作业装置4持有分体式装置的情况下,若该分体式装置比附属装置43的远端及斗杆42的远端都要靠近驾驶室31一侧,则该分体式装置进入了干扰防止区域,此时,干扰判定部154也可以判定为有干扰的危险性。
防干扰部155在干扰判定部154判定为有干扰的危险性的情况下,使用通知部17来向操作人员发出警报。
另外,防干扰部155一边对姿势传感器19得到的测量数据进行监视,一边向控制阀13输出控制信号,以使作业装置4达到与操作部18的操作量相应的姿势。这里,防干扰部155在干扰判定部154判定为有干扰的危险性的情况下,无论操作部18的操作量是多大,都向控制阀13输出用于使作业装置4自动停止的控制信号。这里,防干扰部155也可以在人物和作业装置4进入了比干扰防止区域更窄小的自动停止区域的情况下,使作业装置4自动停止。
通知部17由显示装置和扬声器构成,用于向操作人员通知干扰的危险性。这里,通知部17可以向扬声器输出用于通知干扰危险性的语音消息或警报音,也可以在显示装置上显示用于通知干扰危险性的消息或警报灯。
操作部18例如由接受对作业装置4的姿势进行变更的操作的操作杆构成,并将与操作杆的倾倒量相应的操作量输出到控制器15。
姿势传感器19由用于检测动臂41的起伏角度的角度传感器、用于检测斗杆42的摆动角度的角度传感器、以及用于检测附属装置43的摆动角度的角度传感器构成,并将这些角度传感器检测到的测量数据作为表示作业装置4的姿势的测量数据输出到控制器15。
[流程图]
图3是表示本发明的实施方式的除去干扰装置的处理的一例的流程图。该流程图例如在工程机械1开始工作时、即发动机11启动时开始。
首先,测距传感器16获取当前帧的距离图像F(n),并输出到提取部151(S301)。此时,提取部151可以对距离图像F(n)使用平滑滤波器进行滤波处理来作为预处理,除去距离图像F(n)中包含的高频噪声。这里,n是用于规定距离图像F的帧号的指数,是随着时间流逝其值变大的正整数。
然后,提取部151从距离图像内设定的搜索范围中提取出距离(深度分量)最小的像素作为候补像素(S302)。该像素成为干扰像素的候补(表示雨滴等干扰物的像素的候补)之一。
接着,提取部151将距离图像F(n)中以候补像素为中心的一定范围以外的其余区域设定为搜索范围(S303)。
然后,在提取部151提取候补像素的处理没有达到规定次数的情况下(S304:否),处理返回S302,再执行S302~S304的处理。另一方面,在提取候补像素的处理达到规定次数的情况下(S304:是),处理前进至S305。雨滴、雪花、虫子等干扰物在距离图像上不限于一个。因此,本实施方式中,为了提取出规定个数的候补像素,S302~S304的处理执行规定次数。
图4是表示候补像素的搜索例的示意图。首先,提取部151将距离图像F(n)的整个范围设定为搜索范围,从该搜索范围中提取出距离最小的像素作为候补像素P1(n)。然后,提取部151将距离图像F(n)中除了距离候补像素P1(n)为一定半径的范围D1(n)以外的区域设定为搜索范围,从该搜索范围中提取出距离最小的像素作为候补像素P2(n)。接着,提取部151将距离图像F(n)中除了范围D1(n)和距离候补像素P2(n)为一定范围的范围D2(n)以外的区域设定为搜索范围,从该搜索范围中提取出距离最小的像素作为候补像素P3(n)。
由此,提取部151针对距离图像F(n),除去包含已提取的候补像素的一定范围D1(n)、D2(n)、D3(n)来设定搜索范围,并从所设定的搜索范围提取出距离最小的像素,这样的提取处理重复规定次数,从而提取出规定个数的候补像素。
距离候补像素一定范围内所包含的像素有可能接收到来自同一干扰物的反射光。因此,本实施方式中,在除去了距离已搜索到的候补像素一定范围以外的区域中设定搜索范围,以防止从同一干扰物提取出多个候补像素。因而,作为一定范围的尺寸,采用例如成为除去对象的干扰物的假定最大尺寸、或在该最大尺寸的基础上设置一定富余的尺寸即可。
回到图3进行说明。S305中,计算部152针对S302中从距离图像F(n)提取出的规定个数的候补像素,分别决定其在前一帧的距离图像F(n-1)内对应的候补像素,并使用对应的候补像素彼此来计算特征量(S305)。
图4的例子中,针对距离图像F(n)提取出候补像素P1(n)、P2(n),针对距离图像F(n-1)提取出候补像素P1(n-1)、P2(n-1)、P3(n-1)。
这种情况下,计算部152针对候补像素P1(n),将距离图像F(n)中提取出的候补像素P1(n-1)、P2(n-1)、P3(n-1)中在距离图像上位置最近的候补像素P1(n-1)作为对应的候补像素来提取。同样,计算部152将候补像素P2(n)与候补像素P2(n-1)对应起来,将候补像素P3(n)与候补像素P3(n-1)对应起来。构成距离图像的各像素由距离图像上表示距离的X、Y分量、表示到物体的距离的Z分量(深度分量)这三个分量来表示。从而,计算部152只要将X分量和Y分量所示的位置接近的候补像素彼此对应即可。
这里,将距离图像上的位置最近的候补像素彼此对应是基于两个候补像素表示同一干扰物的构思。因此,通过在多个帧之间将候补像素彼此对应,能够追踪到同一干扰物直到干扰物从这些帧中消失为止。
本实施方式的方法并不能用来追踪在一帧时间内就已经通过的高速移动的雨滴等干扰物。但是,若对这样的高速干扰物应用本实施方式的方法,则不同的干扰物彼此对应,其运动变得复杂,因此与识别对象的对象物相比,能够得到足够大的特征量。因此,本实施方式的方法也能够正确地检测出高速移动的干扰物。
图5是特征量计算处理的说明图。如图5所示,距离图像F(n)的一个候补像素p(n)与从距离图像F(n-1)提取出的候补像素中位置最近的候补像素q(n-1)相对应。候补像素q(n-1)则与从距离图像F(n-2)提取出的候补像素中位置最近的候补像素q(n-2)相对应。候补像素q(n-2)则与从距离图像F(n-3)提取出的候补像素中位置最近的候补像素q(n-3)相对应。
使用上述那样对应的一系列候补像素来计算特征量。本实施方式中,使用对应的一系列候补像素来计算速度、角度和加速度的特征量,从而决定干扰像素。下面,对S305之后的处理,按照采用速度、角度、加速度的特征量分情况进行说明。
[速度]
图5的例子中,速度v(n)、v(n-1)、v(n-2)通过下式计算得到。
v(n)=p(n)-q(n-1)
v(n-1)=q(n-1)-q(n-2)
V(n-2)=q(n-2)-q(n-3) 式(1)
v(n)、v(n-1)、v(n-2)分别表示距离图像F(n)、F(n-1)、F(n-2)中的速度。在以下的说明中,对于速度和加速度,标记小写字母的物理量表示向量,标记大写字母的物理量表示标量。
p(n)、q(n-1)、q(n-2)、q(n-3)分别是在距离图像F(n)、F(n-1)、F(n-2)之间相对应的候补像素,是由X、Y、Z分量构成的三维数据。因此,速度v(n)、v(n-1)、v(n-2)为三维数据(三维向量)。
计算部152利用速度v(n)计算速度Vi(S305)。速度Vi用式(2)来表达。
Vi=||vi|| 式(2)
这里,速度vi可以采用速度v(n),速度Vi可以采用速度vi的三维欧氏距离。式(2)中,右边进行求模的速度vi是向量,速度Vi为标量。这里,速度vi采用的是速度v(n),这只是一个例子,也可以采用v(n)、v(n-1)等在当前帧与过去帧内的平均速度。这种情况下,也可以采用v(n)、v(n-2)这样在时间序列上不连续的速度的平均速度。
接着,除去部153根据速度Vi是否超过了规定的基准速度Vmax(基准特征量的一个例子),来判定候补像素p(n)是否是干扰像素(S306)。在速度Vi超过事先设定的基准速度Vmax的情况下,除去部153判定候补像素p(n)是干扰像素,将候补像素p(n)从距离图像F(n)除去(S307),并将处理返回至S301。另一方面,在速度Vi没有超过基准速度Vmax的情况下,除去部153不除去候补像素p(n)。
这里,基准速度Vmax可以采用例如成为识别对象的对象物(人物和作业装置4)的假定最大速度、或者在该最大速度的基础上加上一定富余的速度。从而,即使对象物被作为候补像素而提取出,由于速度Vi低于基准速度Vmax,因此也能够防止该候补像素被作为干扰像素而除去。
这里,基准速度Vmax采用的是人物和作业装置4的假定最大速度,但这只是一个例子,只要根据成为识别对象的对象物来决定基准速度Vmax即可。另外,除去部153在除去被判定为干扰像素的候补像素p(n)时,只要将包含候补像素p(n)的一定范围D(n)从距离图像F(n)除去即可。从而,能够防止同一干扰物有部分残留。这在后文所述的采用角度和加速度的情况也一样。
另外,图5中,示出了对候补像素p(n)的处理,对于其它候补像素p(n)也进行相同的处理,判定其是不是干扰像素。
雨滴等干扰物相比于人物或作业装置4会高速落下,因此使用速度来除去干扰物的方法在除去雨滴等干扰物时是有效的。
[角度]
图5的例子中,角度θ(n)、θ(n-1)通过下式计算得到。
θ(n)=∠(v(n),v(n-1))
θ(n-1)=∠(v(n-1),v(n-2)) 式(3)
θ(n)表示速度v(n)与速度v(n-1)的向量间的角度。
计算部152计算角度θ(n)作为角度的特征量(S305)。
接着,除去部153根据角度θ(n)是否超过了基准角度θmax(基准特征量的一个例子),来判定候补像素p(n)是否是干扰像素(S306)。在角度θ(n)超过基准角度θmax的情况下,除去部153判定候补像素p(n)是干扰像素,将候补像素p(n)从距离图像F(n)除去(S307),并将处理返回至S301。另一方面,在角度θ(n)没有超过基准角度θmax的情况下,除去部153不除去候补像素p(n)。
这里,基准角度θmax可以采用例如用测距传感器16测量对象物(作业装置4和人物)从而求出角度θ(n)时假定的最大角度θ(n)、或者在该最大角度θ(n)的基础上加上一定富余的角度。从而,即使对象物被作为候补像素而提取出,由于角度θ(n)低于基准角度θmax,因此也能够防止该候补像素被作为干扰像素而除去。
虫子、雪花等干扰物很多情况下会急剧地改变方向,因此使用角度θ(n)除去干扰像素的方法在除去虫子、雪花等干扰物时是有效地。
[加速度]
图5的例子中,加速度a(n)、a(n-1)通过下式计算得到。
a(n)=(v(n)-v(n-1)
a(n-1)=v(n-1)-v(n-2) 式(4)
这里,a(n)表示距离图像F(n)中的加速度,a(n-1)表示距离图像F(n-1)中的加速度。
计算部152利用加速度a(n)求出加速度Ai。加速度Ai用式(5)来表达。
Ai=||ai|| 式(5)
这里,加速度ai可以采用加速度a(n),加速度Ai可以采用加速度ai的三维欧氏距离。式(5)中,右边进行求模的加速度ai是向量,加速度Ai为标量。这里,加速度ai采用的是加速度a(n),这只是一个例子,也可以采用a(n)、a(n-1)等在当前帧与过去帧内的平均加速度。这种情况下,也可以采用a(n)、a(n-2)这样在时间序列上不连续的加速度的平均加速度。
接着,除去部153根据加速度Ai是否超过了规定的基准加速度Amax(基准特征量的一个例子),来判定候补像素p(n)是否是干扰像素(S306)。在加角度Ai超过基准加速度Amax的情况下,除去部153判定候补像素p(n)是干扰像素,将候补像素p(n)从距离图像F(n)除去(S307),并将处理返回至S301。另一方面,在加速度Ai没有超过基准加速度Amax的情况下,除去部153不除去候补像素p(n)。
这里,基准加速度Amax可以采用例如成为识别对象的对象物(人物和作业装置4)的假定最大加速度、或者在该最大加速度的基础上加上一定富余的加速度。从而,即使对象物被作为候补像素而提取出,由于加速度Ai低于基准加速度Amax,因此也能够防止该候补像素被作为干扰像素而除去。
这里,基准加速度Amax采用的是人物和作业装置4的假定最大加速度,但这只是一个例子,只要根据成为识别对象的对象物来决定基准加速度Amax即可。
若距离图像的帧率较低,则计算部152有可能无法很好地追踪到干扰物。这种情况下,可以观测到干扰物的速度v(n)随机变化,并能观测到很大的加速度a(n)。另一方面,作业装置4和人物的速度要低于干扰物,即使帧率较低,计算部152也能很好地追踪到作业装置4和人物。这种情况下,不会观测到很大的加速度a(n)。因此,使用加速度除去干扰物的方法在帧率较低从而无法很好地追踪到干扰物的情况下是有效的。
另外,如[角度]部分所述,虫子、雪花的方向变化较大,因此在用测距传感器16测量虫子、雪花的情况下,能够观测到较大的加速度。因此,使用加速度除去干扰物的方法对虫子、雪花也是有效的。另外,由于距离图像中包含的散粒噪声(Shot noise)是随机变化的,因此使用加速度除去干扰物的方法对散粒噪声也是有效的。
[组合]
在以上的说明中,使用速度、角度、加速度除去干扰物的方法是单独使用的,但也可以组合起来使用。这种情况下,除去部153对候补像素p(n)分别应用速度、角度、加速度的方法,来判定是不是干扰像素,若至少有一个方法判定为是干扰像素,则判定候补像素p(n)是干扰像素。
或者,除去部153对候补像素p(n)先应用速度的方法来判定是不是干扰像素,在没有判定为是干扰像素的情况下,接着应用角度的方法来判定是不是干扰像素,在没有判定为是干扰像素的情况下,接着应用加速度的方法来判定是不是干扰像素。
[变形例]
(1)在以上的说明中,成为识别对象的对象物采用的使人物、作业装置4,但这只是一个例子,若将除去干扰装置应用到汽车上,则也可以采用人物作为识别对象的对象物。
(2)在以上的说明中,说明了在对象物进入自动运转区域的情况下使作业装置4自动停止的情况,但也可以使下部行走体2的行走动作自动停止,还可以使上部回转体3的回转动作自动停止。另外,防干扰部155为了防止干扰主体部,也可以进行动作限制来代替使作业装置4自动停止。
(3)本发明中,从距离图像除去干扰像素的方式还包括了实际上并不除去干扰像素,而是将干扰像素设定为无效像素,在干扰判定部154判定有干扰的危险性时将其忽略的方式。
上述实施方式的特征能够归纳如下:
本发明的一个方式的除去干扰装置,将飞到作为识别对象的对象物周围的粒状的干扰物从距离图像除去,其包括:
测距传感器,按照时间序列获取表示周围环境的距离分布的多个距离图像;
提取部,针对所述测距传感器所获取到的各距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为所述干扰物的候补像素;
计算部,计算特征量,当前帧的距离图像中的各候补像素与所述各候补像素所对应的过去帧的距离图像中的各候补像素在时间上的变化程度越大,该特征量的值就越大;以及
除去部,将所述计算部算出的特征量大于规定的基准特征量的后补像素决定为表示所述干扰物的像素,并将其从所述当前帧的距离图像中除去。
本实施方式中,从距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为干扰物的候补像素,表示时间上的变化特征的特征量大于规定的基准特征量的后补像素被决定为表示干扰物的像素,并将其从当前帧的距离图像除去。因此,能够将飞到比对象物更靠近测距传感器的位置上的粒状的干扰物从距离图像中除去。
上述实施方式中,所述计算部可以计算速度作为所述特征量,该速度表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的位置在时间上的变化。
根据本实施方式,能够正确地将高速飞来的雨滴等粒状的微小物体作为干扰物除去。
上述实施方式中,所述计算部可以计算角度作为所述特征量,该角度是所述当前帧的距离图像中的各候补像素的速度向量与各候补像素所对应的所述过去帧的距离图像中的各候补像素的速度向量所成的角度。
根据本实施方式,能够正确地将与对象物相比飞来方向会急剧变化的虫子、雪花等粒状的微小物体作为干扰物除去。
上述实施方式中,所述计算部可以计算加速度作为所述特征量,该加速度表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的速度在时间上的变化。
根据本实施方式,能够正确地将与对象物相比速度变化较大的雪花、虫子等粒状的微小物体、以及测距传感器中产生的散粒噪声作为干扰物除去。
上述实施方式中,所述计算部可以分别计算表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的位置在时间上的变化的速度、速度向量的角度、以及表示所述速度在时间上的变化的加速度并作为所述特征量,
所述基准特征量包括所述速度、所述角度、所述加速度各自对应的基准特征量,
所述除去部将所述速度、所述角度和所述加速度中的至少一个大于所述对应的基准特征量的候补像素作为表示所述干扰物的像素,并将其从所述当前帧的距离图像除去。
根据本实施方式,速度、角度和加速度中的至少一个大于对应的基准特征量的候补像素被作为表示干扰物的像素而除去,因此能够提高干扰物的检测精度。
上述实施方式中,所述提取部可以针对所述当前帧的距离图像,除去包含已提取出的候补像素的一定范围来设定搜索范围,通过将从所述设定的搜索范围提取出距离最小的像素的处理重复规定次数,提取出所述规定个数的候补像素。
根据本实施方式,通过从除去已提取出的候补像素的一定范围后的搜索范围内重复规定次数地进行提取距离最小的像素的处理,来提取候补像素,因此,能够防止对同一干扰物提取出多个候补像素。
上述实施方式中,所述对象物可以是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最高速度还大的速度来决定。
根据本实施方式,基准特征量基于比假定的作业装置的最高速度大的速度来决定,因此,能够避免表示作业装置的像素被当做干扰物而除去的事态。
上述实施方式中,所述对象物可以是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最大角度变化量还大的角度来决定。
根据本实施方式,基准特征量基于比假定的作业装置的最大角度变化量大的角度来决定,因此,能够避免表示作业装置的像素被当做干扰物而除去的事态。
上述实施方式中,所述对象物可以是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最高加速度还大的加速度来决定。
根据本实施方式,基准特征量基于比假定的作业装置的最高加速度大的加速度来决定,因此,能够避免表示作业装置的像素被当做干扰物而除去的事态。
上述实施方式中,所述干扰物可以由包含雨、雪、虫中的至少一种的微小物体构成。
根据本实施方式,能够将雨、雪、虫等微小物体作为干扰物除去。
上述实施方式中,所述除去干扰装置可以适用于具备主体部和相对于所述主体部能够变更姿势的作业装置的工程机械,所述除去干扰装置还包括:
干扰判定部,根据被除去了所述干扰物后的距离图像,将所述作业装置识别为所述对象物,在所述识别出的对象物相对于所述主体部位于一定距离范围内时,判定为所述对象物有干扰所述主体部的危险性;以及
防干扰部,在通过所述干扰判定部判定存在有所述干扰的危险性时,进行限制所述工程机械的动作及警告中的其中之一。
根据本实施方式,利用除去了干扰物后的距离图像来识别对象物,判定干扰的危险性,因此,能够防止无用的动作限制或警报的频繁发生。

Claims (11)

1.一种除去干扰装置,将飞到作为识别对象的对象物周围的粒状的干扰物从距离图像除去,其特征在于包括:
测距传感器,按照时间序列获取表示周围环境的距离分布的多个距离图像;
提取部,针对所述测距传感器所获取到的各距离图像,按照距离由小到大的顺序提取出一个以上的规定个数的像素来作为所述干扰物的候补像素;
计算部,计算特征量,当前帧的距离图像中的各候补像素与所述各候补像素所对应的过去帧的距离图像中的各候补像素在时间上的变化程度越大,该特征量的值就越大;以及
除去部,将所述计算部算出的特征量大于规定的基准特征量的后补像素决定为表示所述干扰物的像素,并将其从所述当前帧的距离图像中除去。
2.如权利要求1所述的除去干扰装置,其特征在于:
所述计算部计算速度作为所述特征量,该速度表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的位置在时间上的变化。
3.如权利要求1或2所述的除去干扰装置,其特征在于:
所述计算部计算角度作为所述特征量,该角度是所述当前帧的距离图像中的各候补像素的速度向量与各候补像素所对应的所述过去帧的距离图像中的各候补像素的速度向量所成的角度。
4.如权利要求1至3的任一项所述的除去干扰装置,其特征在于:
所述计算部计算加速度作为所述特征量,该加速度表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的速度在时间上的变化。
5.如权利要求1至4的任一项所述的除去干扰装置,其特征在于:
所述计算部分别计算表示所述当前帧的距离图像中的各候补像素与各候补像素所对应的所述过去帧的距离图像中的各候补像素的位置在时间上的变化的速度、速度向量的角度、以及表示所述速度在时间上的变化的加速度并作为所述特征量,
所述基准特征量包括所述速度、所述角度、所述加速度各自对应的基准特征量,
所述除去部将所述速度、所述角度和所述加速度中的至少一个大于所述对应的基准特征量的候补像素作为表示所述干扰物的像素,并将其从所述当前帧的距离图像除去。
6.如权利要求1至5的任一项所述的除去干扰装置,其特征在于:
所述提取部针对所述当前帧的距离图像,除去包含已提取出的候补像素的一定范围来设定搜索范围,通过将从所述设定的搜索范围提取出距离最小的像素的处理重复规定次数,提取出所述规定个数的候补像素。
7.如权利要求1至6的任一项所述的除去干扰装置,其特征在于:
所述对象物是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最高速度还大的速度来决定。
8.如权利要求1至6的任一项所述的除去干扰装置,其特征在于:
所述对象物是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最大角度变化量还大的角度来决定。
9.如权利要求1至6的任一项所述的除去干扰装置,其特征在于:
所述对象物是工程机械所具备的姿势可变的作业装置,
所述基准特征量基于比假定的所述作业装置的最高加速度还大的加速度来决定。
10.如权利要求1至9的任一项所述的除去干扰装置,其特征在于:
所述干扰物由包含雨、雪、虫中的至少一种的微小物体构成。
11.如权利要求1至10的任一项所述的除去干扰装置,其特征在于:
所述除去干扰装置适用于具备主体部和相对于所述主体部能够变更姿势的作业装置的工程机械,所述除去干扰装置还包括:
干扰判定部,根据被除去了所述干扰物后的距离图像,将所述作业装置识别为所述对象物,在所述识别出的对象物相对于所述主体部位于一定距离范围内时,判定为所述对象物有干扰所述主体部的危险性;以及
防干扰部,在通过所述干扰判定部判定存在有所述干扰的危险性时,进行限制所述工程机械的动作及警告中的其中之一。
CN201780014132.1A 2016-03-02 2017-02-10 除去干扰装置 Active CN108713217B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016040046A JP6625446B2 (ja) 2016-03-02 2016-03-02 外乱除去装置
JP2016-040046 2016-03-02
PCT/JP2017/004839 WO2017150136A1 (ja) 2016-03-02 2017-02-10 外乱除去装置

Publications (2)

Publication Number Publication Date
CN108713217A true CN108713217A (zh) 2018-10-26
CN108713217B CN108713217B (zh) 2021-09-07

Family

ID=59743808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014132.1A Active CN108713217B (zh) 2016-03-02 2017-02-10 除去干扰装置

Country Status (5)

Country Link
US (1) US10565690B2 (zh)
EP (1) EP3416129B1 (zh)
JP (1) JP6625446B2 (zh)
CN (1) CN108713217B (zh)
WO (1) WO2017150136A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826023B2 (ja) * 2017-12-13 2021-02-03 Kddi株式会社 点群から対象を特定する対象識別装置、プログラム及び方法
KR20210089673A (ko) * 2018-11-14 2021-07-16 스미도모쥬기가이고교 가부시키가이샤 쇼벨, 쇼벨의 제어장치
CN113219447A (zh) * 2021-04-09 2021-08-06 国电南瑞科技股份有限公司 一种基于毫米波阵列的输电线距离稳定测量方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001064992A (ja) * 1999-08-31 2001-03-13 Sumitomo Constr Mach Co Ltd 油圧掘削機等の建設機械における干渉防止装置
JP2007226604A (ja) * 2006-02-24 2007-09-06 Secom Co Ltd 画像センサ
US20100141806A1 (en) * 2007-03-15 2010-06-10 Kansai University Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
CN103797529A (zh) * 2011-09-12 2014-05-14 日产自动车株式会社 三维物体检测装置
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
JP2015210702A (ja) * 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008091565A1 (en) * 2007-01-23 2008-07-31 Valeo Schalter & Sensoren Gmbh Method and system for universal lane boundary detection
US7970178B2 (en) * 2007-12-21 2011-06-28 Caterpillar Inc. Visibility range estimation method and system
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5539060B2 (ja) * 2010-06-23 2014-07-02 セコム株式会社 監視用センサ
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US10099609B2 (en) * 2014-07-03 2018-10-16 InfoMobility S.r.L. Machine safety dome
US10233615B2 (en) * 2015-10-15 2019-03-19 Komatsu Ltd. Position measurement system and position measurement method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001064992A (ja) * 1999-08-31 2001-03-13 Sumitomo Constr Mach Co Ltd 油圧掘削機等の建設機械における干渉防止装置
JP2007226604A (ja) * 2006-02-24 2007-09-06 Secom Co Ltd 画像センサ
US20100141806A1 (en) * 2007-03-15 2010-06-10 Kansai University Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
CN103797529A (zh) * 2011-09-12 2014-05-14 日产自动车株式会社 三维物体检测装置
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
JP2015210702A (ja) * 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN108713217B (zh) 2021-09-07
JP2017157017A (ja) 2017-09-07
JP6625446B2 (ja) 2019-12-25
EP3416129A1 (en) 2018-12-19
EP3416129A4 (en) 2019-11-06
WO2017150136A1 (ja) 2017-09-08
EP3416129B1 (en) 2022-04-06
US20190066270A1 (en) 2019-02-28
US10565690B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
JP4876118B2 (ja) 立体物出現検知装置
KR101464489B1 (ko) 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템
JP5251800B2 (ja) 対象物追跡装置及びプログラム
JP6572156B2 (ja) 建設機械の干渉防止装置
CN110494613B (zh) 工作机械
KR101604447B1 (ko) 선행차량 추돌 경보 장치 및 방법
CN108713217A (zh) 除去干扰装置
CN105549013B (zh) 用于汽车雷达成像的物体边界检测
JP4510554B2 (ja) 立体物監視装置
JPWO2012029382A1 (ja) 車両周辺監視装置
CN104335244A (zh) 对象物识别装置
JP5418661B2 (ja) 車両周辺監視装置
CN109886064B (zh) 确定可驾驶空间的边界的方法
JP2011070593A (ja) 車両周辺監視装置
Lion et al. Smart speed bump detection and estimation with kinect
KR101491305B1 (ko) 장애물 검출 장치 및 방법
JP5345992B2 (ja) 車両周辺監視装置
CN114127809A (zh) 基于运动信息从视频帧中排除作业机械的部件
US20200347579A1 (en) Tip attachment discrimination device
JP3985610B2 (ja) 車両用走行路認識装置
JP2022097513A (ja) 建設機械の障害物検出装置
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
WO2021060136A1 (ja) 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム
CN114821496A (zh) 用于提供深度感知的视觉覆盖物
US20200236834A1 (en) Vehicle sink alert system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant