CN115298717A - 作业机械的障碍物报告系统以及作业机械的障碍物报告方法 - Google Patents

作业机械的障碍物报告系统以及作业机械的障碍物报告方法 Download PDF

Info

Publication number
CN115298717A
CN115298717A CN202180021697.9A CN202180021697A CN115298717A CN 115298717 A CN115298717 A CN 115298717A CN 202180021697 A CN202180021697 A CN 202180021697A CN 115298717 A CN115298717 A CN 115298717A
Authority
CN
China
Prior art keywords
obstacle
behavior
work machine
confirmation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180021697.9A
Other languages
English (en)
Inventor
江口太郎
中泽浩一
栗原毅
下屋芳之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN115298717A publication Critical patent/CN115298717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

障碍物判定部判定在作业机械的周围是否存在障碍物。行为检测部检测作业机械的操作员的行为。行为判定部判定检测到的行为是否是在安全确认时所执行的确认行为。报告部在被判定为行为是确认行为的情况下变更报告的形态。

Description

作业机械的障碍物报告系统以及作业机械的障碍物报告方法
技术领域
本公开涉及作业机械的障碍物报告系统以及作业机械的障碍物报告方法。
本申请主张关于2020年4月20日向日本提出的日本特愿2020-074754号的优先权，在此援引其内容。
背景技术
在专利文献1中，公开了与探测作业机械周边的人的周边监控系统有关的技术。根据专利文献1所记载的技术，周边监控系统探测周围的障碍物。
现有技术文献
专利文献
专利文献1：日本特开2016-035791号公报
发明内容
发明要解决的课题
周边监控系统在检测到障碍物时，从显示器或扬声器等报告存在障碍物的情况。作业机械的操作员接受由周边监控系统进行的报告，确认存在障碍物的情况，并且确认安全被确保。
然而，在使对确认完毕的障碍物的报告结束的情况下，操作员需要通过取消按钮等的按下来对周边监控系统指示报告的结束。因此，操作员需要在每次被报告障碍物的存在时进行障碍物的确认作业并指示报告的结束，操作很烦杂。
本公开的目的在于，提供能够容易地变更与确认完毕的障碍物有关的报告的形态的作业机械的障碍物报告系统以及作业机械的障碍物报告方法。
用于解决课题的手段
根据第1方式，作业机械的障碍物报告系统具备：障碍物判定部，判定在作业机械的周围是否存在障碍物；行为(action)检测部，检测所述作业机械的操作员的行为；行为判定部，判定检测到的所述行为是否是在安全确认时所执行的确认行为；以及报告部，在被判定为所述行为是所述确认行为的情况下，变更表示所述障碍物的报告的形态。
发明效果
根据上述方式，作业机械的障碍物报告系统能够容易地变更与确认完毕的障碍物有关的报告的形态。
附图说明
图1是表示第1实施方式所涉及的作业机械的结构的概略图。
图2是表示第1实施方式所涉及的作业机械所具备的多个摄像机的拍摄范围的图。
图3是表示第1实施方式所涉及的驾驶室的内部的结构的图。
图4是表示第1实施方式所涉及的控制装置的结构的概略框图。
图5是表示第1实施方式所涉及的行为词典数据所存储的信息的例子的图。
图6是表示第1实施方式所涉及的显示画面的例子的图。
图7是表示第1实施方式所涉及的控制装置的动作的流程图。
图8是表示第1实施方式所涉及的控制装置的第1动作例的图。
图9是表示第1实施方式所涉及的控制装置的第2动作例的图。
具体实施方式
<第1实施方式>
下面，参考附图对实施方式进行详细说明。
《作业机械100的结构》
图1是表示第1实施方式所涉及的作业机械100的结构的概略图。
作业机械100在施工现场工作，对砂土等施工对象进行施工。第1实施方式所涉及的作业机械100为例如液压挖掘机。作业机械100具备行驶体110、回转体120、作业机130以及驾驶室140。
行驶体110以能够行驶的方式对作业机械100进行支承。行驶体110是例如左右一对履带。
回转体120被行驶体110以能够绕回转中心旋转的方式支承。
作业机130通过液压进行驱动。作业机130以能够在上下方向驱动的方式被回转体120的前部支承。驾驶室140是搭乘操作员并用于进行作业机械100的操作的空间。驾驶室140被设置在回转体120的左前部。
在此，将回转体120中安装作业机130的部分称为前部。此外，对于回转体120，以前部为基准，将相反侧的部分称为后部，将左侧的部分称为左部，将右侧的部分称为右部。
《回转体120的结构》
在回转体120中，设置了拍摄作业机械100的周围的多个摄像机121。图2是表示第1实施方式所涉及的作业机械100所具备的多个摄像机121的拍摄范围的图。
具体而言，在回转体120中，设置拍摄回转体120周围中的左后方区域Ra的左后方摄像机121A、拍摄回转体120周围中的后方区域Rb的后方摄像机121B、拍摄回转体120周围中的右后方区域Rc的右后方摄像机121C、拍摄回转体120周围中的右前方区域Rd的右前方摄像机121D。另外，多个摄像机121的拍摄范围的一部分也可以互相重复。
多个摄像机121的拍摄范围覆盖作业机械100整周中的、除了能够从驾驶室140目视确认的左前方区域Re以外的范围。另外，第1实施方式所涉及的摄像机121拍摄回转体120的左后方、后方、右后方、以及右前方，但在其他实施方式中不限于此。例如，其他实施方式所涉及的摄像机121的数量以及拍摄范围也可以与图1以及图2所示的例子不同。
另外，左后方摄像机121A虽然是如图2的后方范围Rb所示那样、拍摄回转体120的左侧方区域以及左后方区域的范围的摄像机，但也可以拍摄其中的任意一方的区域的摄像机。同样地，右后方摄像机121C虽然是如图2的右后方范围Rc所示那样、拍摄回转体120的右侧方区域以及右后方区域的范围的摄像机，但也可以是拍摄其中的任意一方的区域的摄像机。同样地，右前方摄像机121D虽然是如图2的右前方范围Rd所示那样、拍摄回转体120的右前方区域以及右侧方区域的范围的摄像机，但也可以是拍摄其中的任意一方的区域的摄像机。此外，在其他实施方式中，也可以使用多个摄像机121来将作业机械100的全周围作为拍摄范围。例如，也可以具备拍摄左前方范围Re的左前方摄像机，将作业机械100的全周围作为拍摄范围。
《作业机130的结构》
作业机130具备动臂(boom)131、斗杆(arm)132、铲斗(bucket)133、动臂缸(cylinder)131C、斗杆缸132C、以及铲斗缸133C。
动臂131的基端部经由动臂销(pin)131P被安装在回转体120上。
斗杆132将动臂131与铲斗133连结。斗杆132的基端部经由斗杆销132P被安装在动臂131的前端部。
铲斗133具备用于挖掘砂土等的斗齿、和用于收容所挖掘的砂土的收容部。铲斗133的基端部经由铲斗销133P被安装在斗杆132的前端部。
动臂缸131C是用来使动臂131工作的液压缸。动臂缸131C的基端部被安装在回转体120上。动臂缸131C的前端部被安装在动臂131上。
斗杆缸132C是用于驱动斗杆132的液压缸。斗杆缸132C的基端部被安装在动臂131上。斗杆缸132C的前端部被安装在斗杆132上。
铲斗缸133C是用于驱动铲斗133的液压缸。铲斗缸133C的基端部被安装在斗杆132上。铲斗缸133C的前端部被安装在与铲斗133连接的连杆构件上。
《驾驶室140的结构》
图3是表示第1实施方式所涉及的驾驶室140的内部结构的图。
在驾驶室140内，设置了驾驶席141、操作装置142、麦克风143、深度传感器144以及控制装置145。
操作装置142是用于通过操作员的手动操作来使行驶体110、回转体120以及作业机130进行驱动的装置。操作装置142具备左操作杆142LO、右操作杆142RO、左脚踏板142LF、右脚踏板142RF、左行驶杆142LT、右行驶杆142RT。
左操作杆142LO被设置在驾驶席141的左侧。右操作杆142RO被设置在驾驶席141的右侧。
左操作杆142LO是用于进行回转体120的回转动作以及斗杆132的挖掘/卸料(dump)动作的操作机构。具体而言，若作业机械100的操作员将左操作杆142LO向前方倾倒，则斗杆132进行卸料动作。此外，若作业机械100的操作员将左操作杆142LO向后方倾倒，则斗杆132进行挖掘动作。此外，若作业机械100的操作员将左操作杆142LO向右方向倾倒，则回转体120进行右回转。此外，若作业机械100的操作员将左操作杆142LO向左方向倾倒，则回转体120进行左回转。另外，在其他实施方式中，也可以是在将左操作杆142LO向前后方向倾倒的情况下回转体120进行右回转或左回转，在将左操作杆142LO向左右方向倾倒的情况下斗杆132进行挖掘动作或卸料动作。
右操作杆142RO是用于进行铲斗133的挖掘/卸料动作以及动臂131的抬起/降下动作的操作机构。具体而言，若作业机械100的操作员将右操作杆142RO向前方倾倒，则动臂131的降下动作被执行。此外，若作业机械100的操作员将右操作杆142RO向后方倾倒，则动臂131的抬起动作被执行。此外，若作业机械100的操作员将右操作杆142RO向右方向倾倒，则铲斗133的卸料动作被进行。此外，若作业机械100的操作员将右操作杆142RO向左方向倾倒，则铲斗133的挖掘动作被进行。另外，在其他实施方式中，也可以在将右操作杆142RO向前后方向倾倒的情况下，铲斗133进行卸料动作或挖掘动作，在将右操作杆142RO向左右方向倾倒的情况下，动臂131进行抬起动作或降下动作。
左脚踏板142LF被配置在驾驶席141的前方的底板面的左侧。右脚踏板142RF被配置在驾驶席141的前方的底板面的右侧。左行驶杆142LT被轴支承在左脚踏板142LF上，构成为左行驶杆142LT的倾斜与左脚踏板142LF的下压连动。右行驶杆142RT被轴支承在右脚踏板142RF上，构成为右行驶杆142RT的倾斜与右脚踏板142RF的下压连动。
左脚踏板142LF以及左行驶杆142LT与行驶体110的左侧履带的旋转驱动相对应。具体而言，若作业机械100的操作员将左脚踏板142LF或左行驶杆142LT向前方倾倒，则左侧履带向前进方向旋转。此外，若作业机械100的操作员将左脚踏板142LF或左行驶杆142LT向后方倾倒，则左侧履带向后退方向旋转。
右脚踏板142RF以及右行驶杆142RT与行驶体110的右侧履带的旋转驱动相对应。具体而言，若作业机械100的操作员将右脚踏板142RF或右行驶杆142RT向前方倾倒，则右侧履带向前进方向旋转。此外，若作业机械100的操作员将右脚踏板142RF或右行驶杆142RT向后方倾倒，则右侧履带向后退方向旋转。
麦克风143被设置在驾驶室140内，收集驾驶室140内的声音。另外，在其他实施方式中，麦克风143也可以不设置在驾驶室140而像耳机一样由操作员佩戴。
深度传感器144以从前侧朝向驾驶席141的方式被设置在驾驶室140内。深度传感器144测量驾驶室140内的深度，生成三维的深度数据。作为深度传感器144的例子，可以举出红外线摄像机或LiDAR等。另外，深度传感器144被设置使得驾驶者被探测即可，在其他实施方式中也可以被设置在驾驶室140外。
控制装置145具备显示器145D，该显示器145D显示作业机械100所具有的多个功能所涉及的信息。控制装置145是显示系统的一例。此外，显示器145D是显示部的一例。第1实施方式所涉及的控制装置145的输入手段为硬键。另外，在其他实施方式中，也可以将触摸板、鼠标、或键盘等作为输入手段来使用。
《控制装置145的结构》
图4是表示第1实施方式所涉及的控制装置145的结构的概略框图。
控制装置145为具备处理器210、主存储器230、储存器250、接口270的计算机。此外，控制装置145具备显示器145D以及扬声器145S。此外，虽然第1实施方式所涉及的控制装置145与显示器145D以及扬声器145S一体地被设置，但在其他实施方式中，显示器145D以及扬声器145S的至少1个也可以与控制装置145分开设置。另外，在显示器145D和控制装置145被分开设置的情况下，显示器145D也可以被设置在驾驶室140外。这种情况下，显示器145D也可以是移动显示器。此外，在作业机械100通过远程操作来驱动的情况下，显示器145D也可以被设置在与作业机械100远程地设置的远程操作室中。同样地，在扬声器145S和控制装置145被分开设置的情况下，扬声器145S也可以被设置在驾驶室140外。此外，在作业机械100通过远程操作来驱动的情况下，扬声器145S也可以被设置在与作业机械100远程地设置的远程操作室中。
另外，控制装置145既可以由单独的计算机构成，也可以将控制装置145的结构分开配置给多个计算机，多个计算机通过互相协作来作为作业机械的障碍物报告系统发挥功能。作业机械100也可以具备作为控制装置145发挥功能的多个计算机。也可以是构成控制装置145的一部分计算机被搭载于作业机械100的内部，其他计算机被搭载于作业机械100的外部。
另外，上述的1台控制装置145也是作业机械的障碍物报告系统的一例。在其他实施方式中，也可以是构成作业机械的障碍物报告系统的一部分结构被搭载在作业机械100的内部，其他结构被设置在作业机械100的外部。例如，显示器145D也可以设为作为被设置在与作业机械100远程地设置的远程操作室中的结构的作业机械的障碍物报告系统。或者在其他实施方式中，构成作业机械的障碍物报告系统的1个或多个计算机也可以被全部设置在作业机械100的外部。
摄像机121、麦克风143、深度传感器144、显示器145D以及扬声器145S经由接口270被连接到处理器210。
作为储存器250的例子，可以举出光盘、磁盘、光磁盘、半导体存储器等。储存器250既可以是被直接连接在控制装置145的总线上的内部介质，也可以是经由接口270或通信线路而被连接到控制装置145的外部介质。储存器250存储用于实现作业机械100的周围监控的程序。此外，储存器250中预先存储了包含用于使显示器145D显示的图标的多个图像。
程序也可以用于实现一部分使控制装置145的计算机发挥的功能。例如，程序也可以通过与已经被存储在储存器250中的其他程序的组合、或与安装在其他装置的其他程序的组合来发挥功能。另外，在其他实施方式中，控制装置145除了上述结构以外，或取代上述结构，还可以具备PLD(Programmable Logic Device，可编程逻辑器件)等定制LSI(LargeScale Integrated Circuit，大规模集成电路)。作为PLD的例子，能够举出PAL(可编程阵列逻辑(Programmable Array Logic))、GAL(通用阵列逻辑(Generic Array Logic))、CPLD(复杂可编程逻辑器件(Complex Programmable Logic Device))、FPGA(现场可编程门阵列(Field Programmable Gate Array))。这种情况下，由处理器210实现的功能的一部分或者全部也可以由该集成电路实现。
此外，储存器250存储用于探测障碍物的障碍物词典数据D1和表示确认行为的行为词典数据D2。
障碍物词典数据D1也可以是例如从拍摄有障碍物的多个已知图像的每一个提取出的特征量的词典数据。作为特征量的例子，可以举出HOG(方向梯度直方图(Histogramsof Oriented Gradients))、CoHOG(共生矩阵HOG(Co-occurrence HOG))等。
行为词典数据D2存储表示在安全确认时由操作员执行的确认行为的数据。确认行为是指，用于确认障碍物的操作员的行为。作为行为的例子，可以举出操作员的发声、手势(Gesture)等。此外，作为确认行为的例子，可以举出用手指指示障碍物存在的方向、障碍物存在的方向的呼唤，优选地由这两者来进行确认。
图5是表示第1实施方式所涉及的行为词典数据D2所存储的信息的例子的图。例如，第1实施方式所涉及的行为词典数据D2将称呼模式、手势模式、以及确认方向进行关联并存储。
行为词典数据D2将确认方向“左后方区域Ra”，与“左后，好”的称呼模式、和表示食指朝向从驾驶室的正面方向向左侧倾斜了80度以上且小于160度的方向的手势模式进行关联而存储。
行为词典数据D2将确认方向“后方区域Rb”，与“后方，好”的称呼模式、和表示食指朝向从驾驶室的正面方向向右侧倾斜了20度以上且小于50度的方向的手势模式进行关联而存储。另外，表示食指朝向从驾驶室的正面方向向右侧倾斜了20度以上且小于50度的方向的手势模式，表示如图3所示的指示被设置于驾驶席141的右侧的显示器145D的手势。
行为词典数据D2将确认方向“右后方区域Rc”，与“右后，好”的称呼模式、和表示食指朝向从正面方向向右侧倾斜了80度以上且小于160度的方向的手势模式进行关联而存储。
行为词典数据D2将确认方向“右前方区域Rd”，与“右前，好”的称呼模式、和表示食指朝向从正面方向向右侧倾斜了0度以上且小于90度的方向的手势模式进行关联而存储。
另外，图5所示的手势模式为一例，只要是表示障碍物的确认动作的手势，则也可以是其他的手势。此外，与图5所示手势模式有关的角度的数值为一例，并不限定于该值。此外，图5所示的称呼模式为一例，只要是表示障碍物的确认的称呼，则也可以是其他的称呼。
处理器210通过执行程序而具备取得部211、俯瞰图像生成部212、障碍物检测部213、行为检测部214、行为判定部215、显示画面生成部216、显示控制部217、警报控制部218。
取得部211从作业机械100所具备的各种传感器取得测量数据。具体而言，取得部211从多个摄像机121取得拍摄图像，从麦克风143取得声音信号，从深度传感器144取得深度数据。
俯瞰图像生成部212通过对取得部211所取得的多个拍摄图像进行变形、合成，以作业机械100为中心，生成从上方俯视现场的俯瞰图像。俯瞰图像生成部212也可以通过将变形后的各个拍摄图像的一部分切出，将切出的拍摄图像进行合成，来生成俯瞰图像。在俯瞰图像生成部212所生成的俯瞰图像的中央预先粘贴有从上方俯视作业机械100的图像。俯瞰图像是拍摄作业机械100的周围的周围图像的一例。
障碍物检测部213从取得部211所取得的各拍摄图像检测障碍物。即，障碍物检测部213是用于判定作业机械100的周围是否存在障碍物的障碍物判定部的一例。作为障碍物的例子，可以举出人、车辆、岩石等。此外，障碍物检测部213在检测到障碍物的情况下，在左后方区域Ra、后方区域Rb、右后方区域Rc、右前方区域Rd中确定存在障碍物的区域。
障碍物检测部213以例如以下的顺序来检测障碍物。障碍物检测部213从取得部211所取得的各拍摄图像中提取特征量。障碍物检测部213基于提取出的特征量和障碍物词典数据来从拍摄图像检测障碍物。作为障碍物的检测方法的例子，可以举出基于模式匹配(Pattern Marching)、机器学习的物体检测处理等。
另外，在第1实施方式中，障碍物检测部213使用图像的特征量来进行人的检测，但不限于此。例如，在其他实施方式中，障碍物检测部213也可以基于LiDAR(光探测和测距(Light Detection and Ranging))的测量值等来检测障碍物。
行为检测部214基于取得部211所取得的麦克风143的声音信号以及深度传感器144来检测操作员的行为。例如，行为检测部214通过声音识别技术来从麦克风143的声音信号生成表示操作员的发声内容的称呼字符串。此外，行为检测部214通过骨骼跟踪(bonetracking)技术来从深度传感器144的拍摄图像生成表示操作员的骨骼姿势的三维数据(骨骼(skeleton)数据)。以下，将表示由行为检测部214检测到的行为的数据称为行为数据。
行为判定部215判定行为检测部214取得的行为数据所示的行为是否为在安全确认时所执行的确认行为。具体而言，行为判定部215判定行为检测部214取得的称呼字符串以及骨格姿势是否与行为词典数据D2所存储的称呼模式以及手势模式匹配。
在存在与行为数据匹配的手势模式的情况下，行为判定部215确定操作员的确认方向。即，行为判定部215在行为词典数据D2中读取与行为数据所匹配的手势模式进行关联的确认方向。
另外，其他实施方式所涉及的行为判定部215也可以将拍摄图像本身作为输入来进行行为的判定。例如，行为判定部215也可以使用模式匹配、机器学习后的判别器等，基于拍摄图像来进行是否为确认行为的判定。这种情况下，行为检测部214也可以将取得部211所取得的拍摄图像作为行为数据来检测。另外，取代深度传感器144，拍摄图像也可以通过摄像机来取得。
显示画面生成部216与俯瞰图像生成部212所生成的俯瞰图像G11重叠地生成在与障碍物的检测位置对应的位置配置了表示障碍物的位置的标记G12的显示画面数据G1。对显示画面数据G1配置标记G12，是报告障碍物的存在的一例。显示画面生成部216在行为判定部215确定了确认方向时，删除被配置在与该确认方向对应的区域中的标记G12。标记G12的删除是报告的形态的变更的一例。另外，在其他实施方式中，取代删除标记G12，也可以变更标记G12的颜色。
显示画面的例子将在后述。
显示控制部217将显示画面生成部216所生成的显示画面数据G1输出给显示器145D。据此，显示器145D对显示画面数据G1进行显示。显示控制部217是报告部的一例。
在障碍物检测部213检测到障碍物时，警报控制部218向扬声器145S输出警报的声音信号。据此，扬声器145S开始鸣响警报。警报是报告障碍物的存在的一例。在行为判定部215对于被检测到障碍物的全部区域确定了确认方向时，警报控制部218停止对扬声器145S的声音信号的供给。据此，扬声器145S停止警报。警报的停止是报告的形态的变更的一例。另外，在其他实施方式中，取代警报的停止，也可以变更警报的音量。例如，在对于被检测到障碍物的全部区域确定了确认方向的情况下，也可以降低警报的音量。警报控制部218是报告部的一例。
《关于显示画面》
图6是表示第1实施方式所涉及的显示画面的例子的图。
如图6所示，显示画面数据G1中包含俯瞰图像G11、标记G12、警报图标G13、以及单摄像机图像G14。另外，在其他实施方式中，标记G12以及警报图标G13的其中一方也可以被包含于显示画面数据G1中。
标记G12表示障碍物的位置。标记G12的形状可以举例圆、椭圆、正多边形、多边形等。
警报图标G13表示警报的状态。例如，警报图标G13在警报鸣响时显示为红色。例如，警报图标G13在警报不鸣响时显示为灰色。
单摄像机图像G14为1个摄像机121所拍摄到的单摄像机图像。另外，操作员虽然不容易从作业机械100的驾驶室140确认后方，但通过在显示画面数据G1中显示后方摄像机121B拍摄到的单摄像机图像、或俯瞰图像G11，能够通过显示器145D的指差呼唤(日文：指差呼称)来进行后方的确认。
《障碍物的报告方法》
图7是表示第1实施方式所涉及的控制装置145的动作的流程图。
控制装置145若开始周围监控处理，则在主存储器230中确保用于存储分别针对左后方区域Ra、后方区域Rb、右后方区域Rc、以及右前方区域Rd表示障碍物是否确认完毕的确认完毕标志的存储区域，反复执行图7所示的处理。确认完毕标志取例如0或1的值，0表示未确认，1表示确认完毕。确认完毕标志的初始值为0。
取得部211从多个摄像机121、麦克风143、以及深度传感器144取得测量数据(步骤S1)。即，取得部211从多个摄像机121取得拍摄图像，从麦克风143取得声音信号，从深度传感器144取得深度数据。
接下来，俯瞰图像生成部212通过对步骤S1中取得的多个拍摄图像进行变形、合成，来以作业机械100为中心生成从上方俯视现场的俯瞰图像G11(步骤S2)。接下来，障碍物检测部213对于步骤S1中取得的各拍摄图像来执行障碍物的检测处理，判定是否检测到障碍物(步骤S3)。
当在拍摄图像中检测到障碍物时(步骤S3：是)，障碍物检测部213在左后方区域Ra、后方区域Rb、右后方区域Rc、右前方区域Rd中确定检测到障碍物的区域(步骤S4)。即，当在左后方摄像机121A的拍摄图像中检测到障碍物时，障碍物检测部213判定为检测到障碍物的区域为左后方区域Ra。当在后方摄像机121B的拍摄图像中检测到障碍物时，障碍物检测部213判定为检测到障碍物的区域为后方区域Rb。当在右后方摄像机121C的拍摄图像中检测到障碍物时，障碍物检测部213判定为检测到障碍物的区域为右后方区域Rc。当在右前方摄像机121D的拍摄图像中检测到障碍物时，障碍物检测部213判定为检测到障碍物的区域为右前方区域Rd。
障碍物检测部213将与未检测到障碍物的区域有关的确认完毕标志全部复位为0(步骤S5)。与检测到障碍物的区域有关的确认完毕标志的值被维持。即，与检测到障碍物的区域中已经通过指差呼唤而确认完毕的区域有关的确认完毕标志的值维持1，与检测到障碍物的区域中未确认的区域有关的确认完毕标志的值维持0。据此，若未确认的障碍物变为未在拍摄图像中被检测到，则与该区域有关的确认完毕标志从1被复位为0。
行为检测部214基于步骤S1中取得的麦克风143的声音信号以及深度传感器144来检测行为数据(步骤S6)。即，行为检测部214检测表示操作员的行为的称呼字符串以及骨骼数据。另外，若从扬声器145S鸣响警报，则行为检测部214进行的声音信号的声音识别处理的精度有可能降低。因此，行为检测部214也可以探测声音信号中是否包含人声，当探测到人声时警报控制部218降低从扬声器145S输出的警报的音量。行为判定部215参考行为词典数据D2判定称呼字符串是否与存储于行为词典数据D2的任意一个称呼模式匹配(步骤S7)。
在称呼字符串与存储于行为词典数据D2的任意一个称呼模式匹配的情况下(步骤S7：是)，行为判定部215从步骤S6中取得的骨骼数据确定食指的指向方向，判定骨骼数据是否与该称呼模式所关联的手势模式匹配(步骤S8)。
在骨骼数据与手势模式匹配的情况下(步骤S8：是)，行为判定部215将步骤S5中检测到的行为判定为在安全确认时所执行的指差呼唤。行为判定部215读取与步骤S7所涉及的故障模式以及与步骤S8所涉及的手势模式进行了关联的确认方向，并将与该确认方向进行了关联的确认完毕标志的值改写为1(步骤S9)。
另一方面，在称呼字符串与哪一个称呼模式都不匹配的情况下(步骤S7：否)，或骨骼数据与手势模式不匹配的情况下(步骤S8：否)，因为指差呼唤不恰当，所以维持确认完毕标志的值。
警报控制部218判定步骤S3中检测到的障碍物中是否存在1个以上的未确认的障碍物(步骤S10)。例如，警报控制部218将确认完毕标志表示0的区域中存在的障碍物判定为未确认。在存在未确认的障碍物的情况下(步骤S10：是)，警报控制部218将警报的声音信号向扬声器145S输出(步骤S11)。另一方面，在步骤S3中未检测到障碍物的情况下，或检测到的全部障碍物都存在于确认完毕标志表示1的区域中的情况下(步骤S10：否)，警报控制部218停止警报的声音信号的输出(步骤S12)。
显示画面生成部216，显示画面生成部216在步骤S2中生成的俯瞰图像G11中与在步骤S10中确定的未确认的障碍物对应的位置配置标记G12(步骤S13)。另外，显示画面生成部216不在与确认完毕的障碍物、即步骤S4中检测到的障碍物之中存在于确认完毕标志表示1的区域的障碍物所对应的位置配置标记G12。即，在前次生成的显示画面数据G1中配置的标记G12之中，配置于步骤S9中确定的确认方向的标记G12会在本次生成的显示画面数据G1中变得不显示。
显示画面生成部216生成配置了俯瞰图像G11、步骤S1中取得的单摄像机图像G14、表示警报的状态的警报图标G13的显示画面数据G1(步骤S14)。显示控制部217向显示器145D输出生成的显示画面数据G1(步骤S15)。
通过反复执行上述的处理，控制装置145能够与俯瞰图像G11重叠地在检测到的障碍物上附加标记G12，若通过指差呼唤进行了确认则删除该标记G12。此外，控制装置145能够在检测到障碍物时从扬声器145S鸣响警报，若通过指差呼唤进行了全部障碍物的确认则停止该警报。
另外，图7所示的流程图为一例，在其他实施方式中也可以不执行全部的步骤。例如，在其他实施方式中，在不进行基于警报的报告的情况下，也可以不执行步骤S10-12的处理。此外例如，在其他实施方式中，在不进行基于显示的报告的情况下，也可以不执行步骤S13-15的处理。此外，在其他实施方式中，在将确认行为的判断仅仅通过称呼或手势的其中一方来进行的情况下，也可以不进行步骤S7或S8的判定。此外，在图7所示的流程图中，在步骤S1中取得多个拍摄图像、声音信号、以及深度数据，但并不限定于该定时，声音信号以及深度数据在基于步骤S6的行为数据的检测前取得即可。此外，在图7所示的流程图中，在步骤S10-S12的声音信号的输出或停止的处理之后，在步骤S13中在未确认的障碍物的位置配置标记，但在其他实施方式中也可以在步骤S11中输出声音信号的定时中在未确认的障碍物的位置配置标记。即，在其他实施方式中，也可以仅在存在1个以上的未确认的障碍物的情况下执行步骤S13的处理。
《动作例》
下面，使用图对第1实施方式所涉及的控制装置145的动作例进行说明。
图8是表示第1实施方式所涉及的控制装置145的第1动作例的图。
控制装置145的障碍物检测部213若在步骤S3中在作业机械100的周围检测到障碍物，则在步骤S4中确定检测到的区域。在此，若在例如右前方摄像机121D的拍摄图像中检测到障碍物的情况下，则障碍物检测部213将检测到障碍物的区域确定为右前方区域Rd。此时，全部的确认完毕标志都为0，因此显示画面生成部216在步骤S13中如图8所示地在俯瞰图像G11的障碍物的位置配置标记G12。此外，由于此时警报控制部218对扬声器145S输出声音信号，因此警报图标G13以例如红色来显示。
操作员听到从扬声器145S发出的警报，通过目视确认显示器145D来识别在右前方区域Rd中存在障碍物的情况。操作员为了确认障碍物而进行指差呼唤。即，操作员如图8所示地，称呼“右前，好”来指示右前方区域Rd的障碍物。
此时，控制装置145的行为检测部214在步骤S6中，从麦克风143的声音信号检测“右前，好”的字符串，并且从深度传感器144检测指示右前方向的骨骼数据。检测到的行为数据和与右前方区域Rd有关的确认行为的模式进行匹配。因此，行为检测部214将在步骤S9中与右前方区域Rd有关的确认完毕标志改写为1。由于与右前方区域Rd有关的确认完毕标志为1，因此显示画面生成部216在步骤S13中不在俯瞰图像G11的障碍物的位置配置标记G12。此外，由于警报控制部218停止向扬声器145S输出声音信号，因此警报图标G13以例如灰色来显示。
这样，第1实施方式所涉及的控制装置145能够通过操作员进行的指差呼唤的行为来停止障碍物的报告。
图9是表示第1实施方式所涉及的控制装置145的第2动作例的图。
控制装置145的障碍物检测部213若在步骤S3中在作业机械100的周围检测到障碍物，则在步骤S4中确定检测到的区域。在此，若在例如右前方摄像机121D的拍摄图像以及后方摄像机121B的拍摄图像中检测到障碍物的情况下，则障碍物检测部213将检测到障碍物的区域确定为右前方区域Rd以及后方区域Rb。此时，由于全部的确认完毕标志都为0，显示画面生成部216在步骤S13中如图9所示地在俯瞰图像G11的各障碍物的位置配置标记G12。此外，由于此时警报控制部218向扬声器145S输出声音信号，因此警报图标G13以例如红色来显示。
操作员听到从扬声器145S发出的警报，通过目视确认显示器145D来识别在右前方区域Rd以及后方区域Rb存在障碍物的情况。操作员首先为了确认右前方区域Rd的障碍物而进行指差呼唤。即，操作员如图9所示地称呼“右前，好”来指示右前方区域Rd的障碍物。
控制装置145的行为检测部214在步骤S6中从麦克风143的声音信号检测“右前，好”的字符串，并且从深度传感器144检测指示右前方向的骨骼数据。检测到的行为数据和与右前方区域Rd有关的确认行为的模式进行匹配。因此，行为检测部214在步骤S9中将与右前方区域Rd有关的确认完毕标志改写为1。由于与右前方区域Rd有关的确认完毕标志为1，因此显示画面生成部216在步骤S13中不在右前方区域Rd的障碍物的位置配置标记G12。另一方面，由于与后方区域Rb有关的确认完毕标志还保持为0，因此显示画面生成部216在步骤S13中在后方区域Rb的障碍物的位置配置标记G12。此外，由于在确认完毕标志为0的区域中检测到障碍物，因此警报控制部218继续声音信号的输出。因此，警报图标G13的颜色被维持。
接下来，操作员为了确认后方区域Rb的障碍物而进行指差呼唤。即，操作员如图9所示地称呼“后方，好”来指示显示器145D所显示的后方摄像机121B的单摄像机图像G14。
控制装置145的行为检测部214在步骤S6中从麦克风143的声音信号检测“后方，好”的字符串，并且从深度传感器144检测指示显示器145D的方向的骨骼数据。检测到的行为数据和与后方区域Rb有关的确认行为的模式进行匹配。因此，行为检测部214在步骤S9中将与后方区域Rb有关的确认完毕标志改写为1。据此，由于与右前方区域Rd以及后方区域Rb有关的确认完毕标志成为1，因此显示画面生成部216在步骤S13中不在障碍物的位置配置标记G12。此外，由于与检测到障碍物的区域有关的确认完毕标志全部为1，因此警报控制部218停止声音信号的输出。因此，警报图标G13以例如灰色来显示。
这样，第1实施方式所涉及的控制装置145维持与操作员没有进行指差呼唤的障碍物有关的报告。据此，控制装置145能够防止障碍物的确认遗漏。
《作用和效果》
第1实施方式所涉及的控制装置145在判定为在作业机械100的周围存在障碍物的情况下，开始报告该障碍物的存在，在操作员的行为被判定为在安全确认时所执行的确认行为的情况下，变更报告的形态。据此，操作员仅通过执行用于障碍物的确认所需要的确认行为就能够变更与确认完毕的障碍物有关的报告的形态。
第1实施方式所涉及的控制装置145判定以作业机械100为中心的多个区域各自是否存在障碍物，在多个区域中，基于与确认行为有关的区域来结束报告。据此，能够防止操作员进行的障碍物确认遗漏的发生。
《其他实施方式》
以上，参考附图对一实施方式进行了详细说明，但具体的结构不限于上述内容，而是能够进行各种各样的设计变更等。即，在其他实施方式中，也可以适当变更上述处理的顺序。此外，一部分处理也可以并行地被执行。
在上述的实施方式中，作业机械100具备用于检测障碍物的多个摄像机121、用于检测手势的麦克风143以及深度传感器144，以及用于输出警报的扬声器145S，但不限于此。例如，在其他实施方式中，上述结构的至少1个也可以被设置在作业机械100的外部。例如，其他实施方式所涉及的控制装置145也可以基于设置在现场的扬声器以及摄像机、以及其他作业机械100所具备的扬声器以及摄像机的测量数据来进行障碍物的检测、手势的检测、以及警报的输出的至少1个。
另外，上述的实施方式所涉及的确认行为为指差呼唤，但在其他实施方式中并不限定于此。
此外，上述的实施方式所涉及的控制装置145在进行了确认行为时结束报告，但不限于此。例如，在其他实施方式中进行了确认行为时，也可以改变标记G12的颜色或降低警报的音量。
此外，上述的实施方式所涉及的控制装置145进行向显示器145D的标记G12的显示、警报图标G13的显示、以及通过来自扬声器145S的警报来进行障碍物的报告，但在其他实施方式中不限于此。例如，其他实施方式所涉及的控制装置145也可以根据作业机械100的介入控制来进行障碍物的报告。例如，控制装置145限制回转体120向障碍物存在的方向回转，在检测到针对该障碍物的确认行为的情况下，也可以解除该限制。
此外，上述的实施方式所涉及的控制装置145从声音信号提取字符串并基于该字符串来进行称呼的匹配，但不限于此。例如，其他实施方式所涉及的控制装置145也可以按每个称呼模式来存储有通过该称呼模式的声音而学习的学习完毕模型，通过确定相似度最高的学习完毕模型来进行称呼的匹配。
此外，上述的实施方式所涉及的控制装置145根据称呼和手势的匹配来确定确认方向，但不限于此。例如，其他实施方式所涉及的控制装置145也可以不进行称呼模式的匹配。这种情况下，既可以仅通过手势模式来确定确认方向，也可以通过手势模式的匹配与有无操作员的发生的组合来确定确认方向。
此外，例如，其他实施方式所涉及的控制装置145也可以不进行手势模式的匹配。这种情况下，既可以仅通过称呼模式来确定确认方向，也可以通过称呼模式的匹配与手指形状的匹配的组合来确定确认方向。
此外，在上述的实施方式中，与后方区域有关的手势模式为表示指示显示器145D的手势模式，但不限于此。例如，在其他实施方式中，也可以是表示食指的方向朝向后方的手势模式。此外，在其他实施方式中，与其他区域有关的手势模式也可以是表示指示显示器145D的手势模式。
此外，在上述的实施方式中，与各区域有关的手势模式不同，但不限于此。例如，在其他实施方式中，各区域的手势模式也可以是公共的手势模式。例如，也可以是食指对映出各区域的显示器145D进行指示等表示确认动作的手势。
此外，在上述的实施方式中，与各区域有关的称呼模式不同，但不限于此。例如，在其他实施方式中，各区域的称呼模式也可以是“好”、“确认好了”等公共的称呼模式。
此外，在上述的实施方式中，在安全确认时所执行的确认行为包含直接目视障碍物来确认，但不限于此。例如，其他实施方式所涉及的确认行为也可以包含显示于显示器145D的障碍物的图像、或标记G12等的目视以及对显示器145D的确认动作。
此外，上述的实施方式所涉及的作业机械100是液压挖掘机，但不限于此。例如，其他实施方式所涉及的作业机械100也可以是例如自卸卡车(dump track)、推土机(bulldozer)、轮式装载机(foil loader)等其他作业机械。
工业上的可利用性
根据上述方式，作业机械的障碍物报告系统能够容易地变更与确认完毕的障碍物有关的报告的形态。
附图标记说明
100…作业机械110…行驶体120…回转体121…摄像机130…作业机143…麦克风144…深度传感器145…控制装置145D…显示器145S…扬声器211…取得部212…俯瞰图像生成部213…障碍物检测部214…行为检测部215…行为判定部216…显示画面生成部217…显示控制部218…警报控制部。

Claims (6)

1.一种作业机械的障碍物报告系统，具备：
障碍物判定部，判定在作业机械的周围是否存在障碍物；
行为检测部，检测所述作业机械的操作员的行为；
行为判定部，判定检测到的所述行为是否是在安全确认时所执行的确认行为；以及
报告部，在被判定为所述行为是所述确认行为的情况下，变更表示所述障碍物的报告的形态。
2.如权利要求1所述的作业机械的障碍物报告系统，其中，
在由所述障碍物判定部判定为存在多个障碍物的情况下，所述报告部变更与所述多个障碍物中被确认了所述确认行为的障碍物有关的所述报告的形态。
3.如权利要求1所述的作业机械的障碍物报告系统，其中，
在对于被判定为存在所述障碍物的全部障碍物进行了所述确认行为的情况下，所述报告部变更所述报告的形态。
4.如权利要求1至权利要求3中任一项所述的作业机械的障碍物报告系统，其中，
所述确认行为包含指示所述障碍物存在的方向的行为。
5.如权利要求1至权利要求4中任一项所述的作业机械的障碍物报告系统，其中，
所述确认行为包含呼唤所述障碍物存在的方向的行为。
6.一种作业机械的障碍物报告方法，具备：
判定在作业机械的周围是否存在障碍物的步骤；
检测所述作业机械的操作员的行为的步骤；
判定检测到的所述行为是否是在安全确认时所执行的确认行为的步骤；以及
在被判定为所述行为是所述确认行为的情况下，变更表示所述障碍物的报告的形态的步骤。
CN202180021697.9A 2020-04-20 2021-03-29 作业机械的障碍物报告系统以及作业机械的障碍物报告方法 Pending CN115298717A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-074754 2020-04-20
JP2020074754A JP2021174054A (ja) 2020-04-20 2020-04-20 作業機械の障害物報知システムおよび作業機械の障害物報知方法
PCT/JP2021/013287 WO2021215198A1 (ja) 2020-04-20 2021-03-29 作業機械の障害物報知システムおよび作業機械の障害物報知方法

Publications (1)

Publication Number Publication Date
CN115298717A true CN115298717A (zh) 2022-11-04

Family

ID=78270654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180021697.9A Pending CN115298717A (zh) 2020-04-20 2021-03-29 作业机械的障碍物报告系统以及作业机械的障碍物报告方法

Country Status (6)

Country Link
US (1) US20230120720A1 (zh)
JP (1) JP2021174054A (zh)
KR (1) KR20220123746A (zh)
CN (1) CN115298717A (zh)
DE (1) DE112021000659T5 (zh)
WO (1) WO2021215198A1 (zh)

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11139229A (ja) * 1997-11-11 1999-05-25 Mitsubishi Electric Corp 走行環境監視警報装置
US20020152079A1 (en) * 2000-08-07 2002-10-17 Hideto Furuta Voice-actuated control device of construction machine
CN101536057A (zh) * 2006-09-29 2009-09-16 爱信精机株式会社 车辆用警报装置及车辆用警报方法
CN101980890A (zh) * 2008-09-26 2011-02-23 松下电器产业株式会社 死角车辆检测装置以及检测方法
CN102774324A (zh) * 2012-07-06 2012-11-14 广东好帮手电子科技股份有限公司 一种全景泊车辅助系统及其实现方法
WO2012169229A1 (ja) * 2011-06-09 2012-12-13 本田技研工業株式会社 車両用操作装置
CN202686359U (zh) * 2011-11-30 2013-01-23 富士重工业株式会社 狭窄道路检测装置
CN103080990A (zh) * 2011-06-07 2013-05-01 株式会社小松制作所 作业车辆的周边监视装置
CN103098112A (zh) * 2011-06-07 2013-05-08 株式会社小松制作所 作业车辆的周边监视装置
CN103826919A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
WO2015001665A1 (ja) * 2013-07-05 2015-01-08 三菱電機株式会社 情報表示装置
CN105083291A (zh) * 2014-04-25 2015-11-25 歌乐株式会社 基于视线检测的驾驶员辅助系统
CN105474635A (zh) * 2014-01-23 2016-04-06 日立建机株式会社 作业机械的周围监视装置
CN205168320U (zh) * 2015-11-24 2016-04-20 赵克林 基于物联网的汽车行驶安全预警器
CN105531996A (zh) * 2014-02-18 2016-04-27 日立建机株式会社 作业机械的障碍物检测装置
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
CN107662607A (zh) * 2016-07-27 2018-02-06 夏普株式会社 自主行驶装置
CN107933810A (zh) * 2017-12-22 2018-04-20 江苏爱玛车业科技有限公司 电动自行车
US20180211663A1 (en) * 2017-01-23 2018-07-26 Hyundai Motor Company Dialogue system, vehicle having the same and dialogue processing method
CN108698550A (zh) * 2016-02-26 2018-10-23 三菱电机株式会社 停车辅助装置及停车辅助方法
CN109689983A (zh) * 2017-03-31 2019-04-26 日立建机株式会社 工程机械的周围监视装置
CN109831635A (zh) * 2019-03-25 2019-05-31 李洪军 一种安防记录仪
CN110088035A (zh) * 2016-12-09 2019-08-02 株式会社多田野 起重机
CN110121739A (zh) * 2017-12-06 2019-08-13 株式会社小松制作所 作业车辆的周边监视系统及作业车辆的周边监视方法
CN110770106A (zh) * 2017-06-23 2020-02-07 日产自动车株式会社 驻车控制方法及驻车控制装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2021716B1 (en) 2018-09-26 2020-05-07 Meyn Food Processing Tech Bv Slaughter installation for poultry suspended by the legs

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11139229A (ja) * 1997-11-11 1999-05-25 Mitsubishi Electric Corp 走行環境監視警報装置
US20020152079A1 (en) * 2000-08-07 2002-10-17 Hideto Furuta Voice-actuated control device of construction machine
CN101536057A (zh) * 2006-09-29 2009-09-16 爱信精机株式会社 车辆用警报装置及车辆用警报方法
CN101980890A (zh) * 2008-09-26 2011-02-23 松下电器产业株式会社 死角车辆检测装置以及检测方法
CN103080990A (zh) * 2011-06-07 2013-05-01 株式会社小松制作所 作业车辆的周边监视装置
CN103098112A (zh) * 2011-06-07 2013-05-08 株式会社小松制作所 作业车辆的周边监视装置
WO2012169229A1 (ja) * 2011-06-09 2012-12-13 本田技研工業株式会社 車両用操作装置
CN202686359U (zh) * 2011-11-30 2013-01-23 富士重工业株式会社 狭窄道路检测装置
CN102774324A (zh) * 2012-07-06 2012-11-14 广东好帮手电子科技股份有限公司 一种全景泊车辅助系统及其实现方法
CN103826919A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
CN105378813A (zh) * 2013-07-05 2016-03-02 三菱电机株式会社 信息显示装置
WO2015001665A1 (ja) * 2013-07-05 2015-01-08 三菱電機株式会社 情報表示装置
CN105474635A (zh) * 2014-01-23 2016-04-06 日立建机株式会社 作业机械的周围监视装置
CN105531996A (zh) * 2014-02-18 2016-04-27 日立建机株式会社 作业机械的障碍物检测装置
CN105083291A (zh) * 2014-04-25 2015-11-25 歌乐株式会社 基于视线检测的驾驶员辅助系统
CN205168320U (zh) * 2015-11-24 2016-04-20 赵克林 基于物联网的汽车行驶安全预警器
CN108698550A (zh) * 2016-02-26 2018-10-23 三菱电机株式会社 停车辅助装置及停车辅助方法
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
CN107662607A (zh) * 2016-07-27 2018-02-06 夏普株式会社 自主行驶装置
CN110088035A (zh) * 2016-12-09 2019-08-02 株式会社多田野 起重机
US20180211663A1 (en) * 2017-01-23 2018-07-26 Hyundai Motor Company Dialogue system, vehicle having the same and dialogue processing method
CN109689983A (zh) * 2017-03-31 2019-04-26 日立建机株式会社 工程机械的周围监视装置
CN110770106A (zh) * 2017-06-23 2020-02-07 日产自动车株式会社 驻车控制方法及驻车控制装置
CN110121739A (zh) * 2017-12-06 2019-08-13 株式会社小松制作所 作业车辆的周边监视系统及作业车辆的周边监视方法
CN107933810A (zh) * 2017-12-22 2018-04-20 江苏爱玛车业科技有限公司 电动自行车
CN109831635A (zh) * 2019-03-25 2019-05-31 李洪军 一种安防记录仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKUMA NAKAGAWA等: "A human machine interface framework for autonomous vehicle control", 《2017 IEEE 6TH GLOBAL CONFERENCE ON CONSUMER ELECTRONICS (GCCE)》, pages 1 - 3 *

Also Published As

Publication number Publication date
US20230120720A1 (en) 2023-04-20
JP2021174054A (ja) 2021-11-01
KR20220123746A (ko) 2022-09-08
DE112021000659T5 (de) 2022-12-01
WO2021215198A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
JP7058569B2 (ja) 作業機械
WO2016158265A1 (ja) 作業機械
EP3960938A1 (en) Excavator
US20220298756A1 (en) Display system for work vehicle, and method for displaying work vehicle
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
EP3960543A1 (en) Display device, shovel, information processing device
EP3960937A1 (en) Shovel, and safety equipment confirmation system for worksite
JP6878025B2 (ja) 作業機械用周辺監視システム
JP2020051156A (ja) 作業機械
WO2021200798A1 (ja) 検出システムおよび検出方法
CN115339383A (zh) 安全监视系统
WO2021010467A1 (ja) 作業車両の表示システムおよび作業車両の表示方法
EP3960936A1 (en) Excavator
CN115298717A (zh) 作业机械的障碍物报告系统以及作业机械的障碍物报告方法
CN115956150A (zh) 作业机械的障碍物报告系统和作业机械的障碍物报告方法
WO2022038923A1 (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
WO2023153722A1 (ko) 투명 디스플레이 기반의 건설기계 작업 보조 방법 및 장치
CN115698438A (zh) 实机状态监视系统以及实机状态监视方法
KR102063184B1 (ko) 건설장비 가이던스를 위한 토공작업 음성정보 제공 시스템 및 그 방법
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
CN114729521A (zh) 作业机械的远程操作辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination