CN114127809A - 基于运动信息从视频帧中排除作业机械的部件 - Google Patents

基于运动信息从视频帧中排除作业机械的部件 Download PDF

Info

Publication number
CN114127809A
CN114127809A CN202080052189.2A CN202080052189A CN114127809A CN 114127809 A CN114127809 A CN 114127809A CN 202080052189 A CN202080052189 A CN 202080052189A CN 114127809 A CN114127809 A CN 114127809A
Authority
CN
China
Prior art keywords
video frame
work machine
controller
additional
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052189.2A
Other languages
English (en)
Inventor
P·彼得兰尼
J·C·马莱
V·潘娜拉
R·S·麦克法兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of CN114127809A publication Critical patent/CN114127809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

一种控制器可处理多个视频帧以确定所述多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动。所述控制器可选择所述多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧，且可基于所述一个或多个经处理视频帧生成复合视频帧。控制器可以基于复合视频帧生成视频帧掩码，并且可以获得包括至少一个附加视频帧的附加视频数据。控制器可以使视频帧掩码应用于至少一个附加视频帧，并且可以使用对象检测技术来处理至少一个附加视频帧。

Description

基于运动信息从视频帧中排除作业机械的部件
技术领域
本发明总体上涉及处理视频数据并且涉及一种用于处理视频数据以基于运动信息从视频帧中排除作业机械的部件的控制器。
背景技术
在各种作业行业(例如，建筑、材料移动、采矿、拖运等)中，在工地上的作业机械的路径附近或路径内的对象可能干扰作业机械的作业操作。此外，如果这些对象与作业机械接触，则这些对象可能对作业机械或在工地上操作的其它作业机械造成损坏。因此，通常使用对象检测来确保作业机械的操作者知道位于作业机械在其中操作的工地上的作业机械附近的对象的存在。
在2018年3月19日由住友重机械工业有限公司(Sumitomo Heavy Industries，Ltd.)提交的美国专利申请公开第2018/0209122号(“′122公开”)中公开了一种监视作业机械的周围环境的尝试。特别地，′122公开公开了一种接收图像捕获设备的输出并执行软件程序以对应于控制器的提取部分和识别部分的控制器。根据′122公开文本，提取部分提取识别处理目标图像，其是要经受后续图像处理的部分图像(例如，捕获图像的一部分)。如在′122公开中所公开的，提取部分掩盖目标图像的目标图像区域的识别处理不适合区域(例如，其中捕获作业机械的铲的主体的区域)以生成目标图像的归一化图像。因此，根据′122公开，通过掩蔽识别不适合区域的图像，提取部分防止识别处理不适合区域的图像影响识别部分的识别处理。根据′122公开，这使得识别部分能够使用归一化图像中除了掩蔽区域之外的区域的图像来识别它是否是人物图像，而不受识别处理不适合区域的图像的影响。
虽然′122公开的控制器可以遮蔽目标图像的识别不适合区域，但是′122公开没有公开控制器如何识别识别不适合区域。此外，′122公开没有解决在目标图像流中与作业机械的移动机具(例如铲)相关联的识别区域。
本发明的控制器解决了上述一个或多个问题和/或本领域中的其它问题。
发明内容
根据一些实现，一种方法可以包括通过装置获得包括多个视频帧的视频数据；通过所述装置处理所述多个视频帧以确定所述多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动；由所述装置选择所述多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧；由所述装置基于所述一个或多个经处理视频帧生成复合视频帧；由所述装置基于所述复合视频帧生成视频帧掩码；通过所述装置获得包括至少一个附加视频帧的附加视频数据；由所述装置使所述视频帧掩码应用于所述至少一个附加视频帧；以及由所述装置使用对象检测图像处理技术并基于使所述视频帧掩码应用于所述至少一个附加视频帧来处理所述至少一个附加视频帧。
根据一些实现，一个装置可以包括一个或多个存储器；以及一个或多个处理器，通信地耦合到所述一个或多个存储器，被配置为：一个或多个处理器，通信地耦合到所述一个或多个存储器，以：获得包括多个视频帧的视频数据；处理所述多个视频帧以确定所述多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动；选择所述多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧；基于所述一个或多个经处理视频帧生成复合视频帧；确定与作业机械的至少一个部件相关联的复合视频帧的至少一个区域；基于所述复合视频帧和所述复合视频帧的所述至少一个区域生成视频帧掩码；获得包括至少一个附加视频帧的附加视频数据；使所述视频帧掩码应用于所述至少一个附加视频帧；以及使用对象检测图像处理技术并基于将所述视频帧掩码应用于所述至少一个附加视频帧来处理所述至少一个附加视频帧。
根据一些实现，作业机械可以包括机具；相机装置；以及控制装置，用于：从所述相机装置获得包括多个视频帧的视频数据；处理所述多个视频帧以确定所述多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动；选择所述多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧；基于所述一个或多个经处理视频帧生成复合视频帧；获得与机具或作业机械的运动有关的一个或多个控制指令或传感器数据；基于所述复合视频帧和所述一个或多个控制指令或传感器数据生成视频帧掩码；从所述相机装置获得包括至少一个附加视频帧的附加视频数据；使所述视频帧掩码应用于所述至少一个附加视频帧；以及使用对象检测图像处理技术并基于将所述视频帧掩码应用于所述至少一个附加视频帧来处理所述至少一个附加视频帧。
附图说明
图1是如本文所述的示例作业机械的图。
图2是以图形方式示出如本文所述的用于基于运动信息从视频帧中排除作业机械的部件的过程的流程图。
图3是示例视频帧的图。
图4是图1的一个或多个装置的示例部件的图。
图5是如本文所述的用于基于运动信息从视频帧中排除作业机械的部件的示例过程的流程图。
具体实施方式
图1是如本文所述的示例作业机械100的图。作业机械100可包括执行与诸如采矿、建筑、耕作等工业相关的一些类型的操作的任何机械。例如，作业机械100可以是运土机械，例如推土机、装载机、反铲挖土机、挖掘机、自动平地机或任何其它运土机械。作业机械100可横穿工地以操纵工作表面102下方的材料(例如，运输、耕作、挖掘、撕裂等)。作业机械100可包括配置为生成机械动力的动力源104、牵引装置106、至少一个机具108(例如，至少一个材料接合元件，诸如松土机)和容纳操作者控制装置的操作者站110。作业机械100还可包括配置为支承作业机械100的一个或多个部件的框架112。
动力源104可以是任何类型的内燃机，例如柴油机、汽油机或气体燃料动力发动机。此外，动力源104可以是非发动机类型的动力生成装置，例如燃料电池、电池、电动机或其它类型的动力源。动力源104可响应于一个或多个输入而生成指向机具108和牵引装置106的可变动力输出。
牵引装置106可包括位于作业机械100的每一侧(仅示出一侧)上并由一个或多个链轮114可操作地驱动的履带。链轮114可操作地连接到动力源104以从其接收动力并驱动牵引装置106。牵引装置106的运动可相对于工作表面102推进作业机械100。牵引装置106可以附加地或替代地包括轮、带或其他牵引装置，其可以是或可以不是可操纵的。牵引装置106可以是液压致动的、机械致动的、电子致动的或以任何其他合适的方式致动的。
机具108可配置为相对于框架112升高、降低和倾斜。例如，当机具108是松土机时，机具108可包括由安装构件118保持在适当位置的柄116。柄116可穿透工作表面102以扰乱或破坏(例如，撕裂)工作表面102下方的材料，并且可相对于安装构件118移动。安装构件118可通过连接系统和/或以任何其它合适的方式连接到框架112，其中至少一个机具致动器形成连接系统中的构件。例如，第一液压致动器120可被连接以提升和降低机具108，而第二液压致动器122可被连接以倾斜机具108。机具108可替代地包括犁、尖齿、耕耘机等。
液压致动器120和122可各自包括活塞-缸装置、液压马达和/或其中具有一个或多个流体腔室的另一已知液压装置。液压致动器120的移动可有助于使机具108相对于框架112和工作表面102移动，例如向下朝向和向上远离工作表面102。液压致动器120的延伸可与机具108相对于工作表面102的位置相关。类似地，液压致动器122的延伸可与机具108相对于框架112和/或工作表面102的取向相关，例如减小或增大机具108相对于工作表面102的角度。
操作者站110可为作业机械100的操作者提供控制接口。例如，操作者站110可包括加速踏板124、机具控制126和/或输出装置128。尽管未示出，操作者站110还可包括其它控制装置，例如机械方向控制装置、减速踏板和/或任何其它类似的控制装置。加速踏板124可以确定传递到牵引装置106以移动牵引装置106的机械功率的量。
机具控制126可允许作业机械100的操作者操纵机具108。更具体地，机具控制126可控制供应到液压致动器120和122以及从液压致动器120和122排出的流体的量或压力。因此，机具控制126可允许操作者设定柄116在工作表面102上方或下方的高度并设定柄116相对于工作表面102的角度。机具控制126还可允许操作者在柄116位于工作表面102上方或下方时改变柄116相对于工作表面102的角度。
输出装置128可以包括音频输出装置、振动输出装置、视觉显示器等。音频输出装置可以是能够向作业机械100的操作者提供可听信号的任何音频装置，例如扬声器。视觉显示器可以是屏幕或任何视觉装置，其可以被配置为向操作者提供任何形式的视觉刺激或视觉反馈。虽然视觉显示器在图1中被描绘为在作业机械100内，但视觉显示器可相对于作业机械100不在板上(例如，在远程操作者站处)或在适于由操作者或任何其它用户看到的任何定位。此外，振动输出装置可以是被配置为通过一个或多个振动来警报操作者的任何振动和/或触觉装置。
作业机械100可包括一个或多个感测装置130(单独称为“感测装置130”并统称为“感测装置130”)、控制器132和/或一个或多个传感器134(图1中未示出，单独称为“传感器134”并统称为“传感器134”)。感测装置130可通过例如将感测装置130安装或以其他方式附接至作业机械100而与作业机械100操作性地相关联。然而，传感装置130不需要附接到作业机械100，并且可以以任何方式相对于作业机械100定位，其中感测装置130在操作中可以获得与接近作业机械100的区域相关联的感测数据。感测装置130可以包括照相机装置、雷达装置、光检测和测距(激光雷达装置)、声纳装置等。
传感器134可通过例如将传感器134安装或以其它方式附接到作业机械100和/或作业机械100的部件而与作业机械100和/或作业机械100的部件可操作地相关联。在一个示例中，传感器134可以包括全球定位系统(GPS)装置、惯性测量单元(IMU)装置等，并且可以获得关于机械100和/或作业机械100的部件的定位、方位、位置、取向、加速度、比力等的传感器数据。在附加的示例中，传感器134可以与一个或多个链轮114和/或牵引装置106相关联并且可以获得关于牵引装置或链轮速度、牵引装置或链轮滑移等的传感器数据。在另一示例中，传感器134可与机具108相关联，并可获得关于机具108的高度、角度、扭矩、负载等的传感器数据。
感测装置130可以被配置为将感测数据传输到例如控制器132；然而，感测装置130不限于仅将感测数据传送到控制器132，并且可以附加地或替代地将感测数据传送到任何附加的或替代的控制器(例如，包括在作业机械100上、相对于作业机械100远程定位等)。在一些实现中，感测装置130可以包括控制器132，或者控制器132可以包括感测装置130。类似地，传感器134可以被配置为将传感器数据传输到控制器132或任何附加的或替代的控制器。
控制器132可以被配置处理传感数据和/或传感器数据。控制器132可以用硬件、固件或硬件和软件的组合来实现。控制器132的进一步功能在此关于图2进行描述。
图1所示的部件的数量和布置是作为示例提供的。实际上，作业机械100可以包括与图1中所示的那些相比附加的部件、更少的部件、不同的部件或不同布置的部件。作业机械100的一组部件(例如，一个或多个部件)可执行描述为由作业机械100的另一组部件执行的一个或多个功能。
图2是以图形方式示出如本文所述的用于基于运动信息从视频帧中排除作业机械的部件的过程200的流程图。在一些实现中，图2的一个或多个操作可以由控制器132单独地或与诸如输出装置128、感测装置130等的另一装置组合来执行。
关于附图标记210，控制器132可以从感测装置130获得感测数据。感测数据可以是与感测装置130的类型相关联的数据。例如，当感测装置130是照相机装置时，感测数据可以是视频数据。类似地，当感测装置130是雷达装置、激光雷达装置、声纳装置等时，感测数据可以是雷达数据、激光雷达数据、声纳数据等。传感数据可以包括一个或多个传感元件(也称为帧)。例如，视频数据可以包括多个视频帧(例如，结合附图标记210示出了单个视频帧215)，雷达数据可以包括多个雷达帧，激光雷达数据可以包括多个激光雷达帧，声纳数据可以包括多个声纳帧等。虽然如本文所述的一些实现涉及与视频数据和视频帧相关联的操作，但是也考虑了涉及与其他类型的感测数据和/或感测元件相关联的类似操作的实现。
结合附图标记220，控制器132可处理多个视频帧中的一个或多个视频帧(例如，展示为一个或多个经处理视频帧225)。控制器132可处理视频帧以确定视频帧的一个或多个像素中的每个像素的表观运动和/或视频帧的一个或多个像素中的每个像素组的表观运动。与另一视频帧中的对应像素相比，像素的表观运动可包括像素的运动的幅度和/或方向。幅度可以是像素的位置与对应像素的位置之差(例如，使用像素和对应像素的水平坐标和/或垂直坐标来测量)，方向可以是像素相对于对应像素的位置的位置(例如，以度来测量)。类似地，与另一视频帧中的对应像素组相比，像素组的表观运动可包括像素组的运动幅度和/或方向。幅度可以是像素组的位置与对应像素组的位置之差，方向可以是像素组的位置相对于对应像素组的位置。
例如，控制器132可以比较一个或多个视频帧中的第一视频帧和第二视频帧(例如，相邻视频帧)，以确定第二视频帧中的至少一个像素、至少一个像素组等的表观运动。控制器132可以识别第二视频帧中的至少一个像素、至少一个像素组等，并且搜索第一视频帧中的对应的至少一个像素、对应的至少一个像素组等(例如，通过搜索第一视频帧中与第二视频帧中的至少一个像素、至少一个像素组等相关联的一个或多个类似参数(例如，像素颜色值、像素亮度值、像素组颜色值、像素组亮度值等)的像素、像素组等)。控制器132可以将第二视频帧中的至少一个像素、至少一个像素组等的位置与第一视频帧中的对应的至少一个像素、对应的至少一个像素组等的位置进行比较，以确定第二视频帧中的至少一个像素、至少一个像素组等的表观运动(例如，运动的幅度和/或方向)。
在一些实现中，控制器132可以使用光流图像处理技术(例如，密集光流图像处理技术(例如，Lucas-Kanade图像处理技术)、粗糙光流图像处理技术(例如，Black-Jepson图像处理技术)等)来处理视频帧，以确定视频帧的一个或多个像素的表观运动(例如，一个像素的表观运动、一个像素组的表观运动等)。当使用光流图像处理技术时，像素、像素组等的表观运动也被称为像素、像素组等的流分量。
在确定视频帧的像素、像素组等的表观运动之后，控制器132可使与像素、像素组等相关联的参数(例如，像素颜色值、像素亮度值、像素组颜色值、像素组亮度值等)改变。例如，控制器132可以使至少一个像素的像素颜色值改变为表示至少一个像素的移动幅度和/或方向的值(例如，深绿色可以指示高幅度，向左移动；浅绿色可指示低幅度，向左移动；浅红色可指示低幅度，向右移动；暗红色可指示高幅度，向右移动；等等)。
在一些实现中，控制器132可选择经处理视频帧中的一个或多个。举例来说，控制器132可选择对应于持续时间的一个或多个经处理视频帧(例如，所述一个或多个经处理视频帧是在一秒持续时间、十秒持续时间、一分钟持续时间等期间依序生成)。
结合附图标记230，控制器132可基于所选择的一个或多个经处理视频帧(例如，对应于持续时间的一个或多个经处理视频帧)生成复合视频帧(例如，展示为复合视频帧235)。为了生成复合视频帧的像素、像素组等，控制器132可识别所选择的一个或多个经处理视频帧的每个经处理视频帧中的相应对应像素、相应对应像素组等(例如，其中每个对应像素、每个对应像素组等在每个经处理视频帧中具有与复合视频帧的像素、像素组等的位置相同的相应位置)。控制器132可以识别每个相应像素、每个像素组等的相应参数值(例如，像素颜色值、像素亮度值、像素组颜色值、像素组亮度值等)，并确定相应参数值的平均值。控制器132可使复合视频的像素、像素组等的参数值具有等于平均值的值。因此，复合视频帧的每个像素、每个像素组等指示一个或多个经处理视频帧中的对应像素、对应像素组等的平均表观运动(例如，运动的平均幅度和方向)。以此方式，复合视频帧可指示在持续时间内与一个或多个经处理视频帧相关联的运动(例如，平均表观运动)。
结合附图标记240，控制器132可以确定复合视频帧的至少一个区域(例如，如图2中的一个或多个区域245所示)。所述至少一个区域可与缺乏运动相关联(例如，所述至少一个区域的每个像素，每个像素组等的相应参数具有指示很少或没有表观运动的值)。因此，当作业机械100的至少一个部件(例如机具108、框架112等)相对于用于生成复合视频帧的一个或多个经处理视频帧中的环境看起来是不动的时，该至少一个区域可与作业机械100的至少一个部件相关联。为了确定复合视频帧的至少一个区域，控制器1 32可以识别复合视频帧的至少一个像素、至少一个像素组等，其具有在特定范围内的参数值，例如像素颜色值、像素组颜色等，所述特定范围例如是特定颜色范围(例如，指示像素、像素组等的很少或没有表观运动的颜色值范围)，并且可以基于所述至少一个像素、所述至少一个像素组等的参数值来确定所述复合视频帧的所述至少一个区域。
附加地，或可选地，控制器132可获得关于作业机械100的运动的信息(例如，由加速踏板124和/或减速踏板产生的关于作业机械100的运动的一个或多个控制指令，例如作业机械100的速度或加速度；由机械方向控制产生的关于作业机械100的运动的一个或多个控制指令，例如作业机械100的转向；由传感器134获得的关于作业机械100的运动的传感器数据，例如机械100的定位、方位、位置、取向、加速度、比力等，等等)。此外，控制器132可获得关于作业机械的至少一个部件的运动的信息(例如，由机具控制126生成的关于机具108的运动的一个或多个控制指令，例如机具108的高度或角度的变化；由加速踏板124和/或减速踏板生成的关于牵引装置106的运动的一个或多个控制指令，例如牵引装置106的速度或加速度；由传感器134获得的关于一个或多个链轮114和/或牵引装置106的运动的传感器数据，例如牵引装置或链轮速度和/或牵引装置或链轮滑移；由传感器134获得的关于机具108的运动的传感器数据，例如机具108的高度、角度、扭矩、负载等的变化；等等)。在一些实现中，控制器132可以基于关于作业机械100的运动的信息，关于至少一个部件的运动的信息等来确定复合视频帧的至少一个区域。复合视频帧的至少一个区域可以包括一个或多个像素、一个或多个像素组等，其每个指示与关于作业机械100的运动的信息，关于至少一个部件的运动的信息等相对应的表观运动(例如，运动的幅度和/或方向)。
例如，控制器132可基于关于所述至少一个部件的运动的信息来确定所述至少一个部件的运动的幅度和方向(例如，机具108正在以特定速度升高或降低)。控制器132可通过识别复合视频帧的一个或多个区域来确定复合视频帧的至少一个区域，其具有指示与至少一个部件的运动的幅度和方向(例如，像素、像素组等指示与以特定速度升高或降低的机具108相关的移动的幅度和方向)对应的表观运动(例如，移动的幅度和/或方向)的相应像素、相应像素组等。作为另一示例，控制器132可基于关于作业机械100的运动的信息来确定作业机械100的运动的幅度和方向(例如，作业机械100的行进方向和速度)，并可基于关于至少一个部件的运动的信息来确定至少一个部件的运动的幅度和方向(例如，牵引装置106的方向和速度)。控制器132可通过识别复合视频帧的一个或多个区域来确定复合视频帧的至少一个区域，其具有指示与至少一个部件的运动的幅度和方向(例如，像素、像素组等指示与牵引装置106的方向和速度相关的移动的幅度和方向)和/或不与作业机械100的运动的幅度和方向(例如，像素、像素组等指示与作业机械100的方向和速度不相关的移动的幅度和方向)相对应的表观运动(例如，移动的幅度和/或方向)的相应像素、相应像素组等。关于控制器132确定至少一个区域的其他示例在此关于图3进行描述。
关于附图标记250，控制器132可以基于复合视频帧、复合视频帧的至少一个区域、关于作业机械100的运动的信息、关于至少一个部件的运动的信息等来生成视频帧掩码(例如，在图2中示为视频帧掩码255)。为了生成视频帧掩码，控制器132可以生成包括多个像素的视频帧，并且对于对应于复合视频帧的至少一个区域的多个像素中的每个像素、每个像素组等，使像素、像素组等的参数与特定值相关联。例如，控制器132可使像素的像素颜色值与特定颜色(例如黑色)相关联。作为另一示例，控制器132可使像素的像素亮度值与特定量的亮度(例如不存在亮度)相关联。
在一些实施方案中，当生成视频帧掩码时，控制器132可忽略复合视频帧的部分。例如，控制器132可以忽略与复合视频帧的上部相关联的复合视频帧的一部分(例如，忽略与天空相关联的像素、像素组等)。因此，在一些实现中，为了生成视频帧掩码，控制器132可生成包括多个像素的视频帧，并且以与本文中描述的类似的方式，针对对应于复合视频帧的至少一个区域并且不对应于复合视频帧的忽略部分的多个像素中的每个像素、每个像素组等，使得像素的参数与特定值相关联。
结合附图标记260，控制器132可从感测装置130获得附加视频数据。附加视频数据可以包括至少一个附加视频帧(在图2中示出为附加视频帧265)，该附加视频帧包括一个或多个像素。控制器132可使视频帧掩码应用于至少一个附加视频帧(例如，组合至少一个附加视频帧和视频帧掩码)。
为了将视频帧掩码应用于至少一个附加视频帧，控制器132可以识别至少一个附加视频帧中与视频帧掩码的至少一个像素、像素组等相对应的至少一个像素、至少一个像素组等(例如，至少一个附加视频帧的至少一个像素、至少一个像素组等在至少一个附加视频帧中具有与视频帧掩码中的视频帧掩码的至少一个像素、至少一个像素组等的位置相同的位置)。控制器132可以使与至少一个附加视频帧的至少一个像素，至少一个像素组等相关联的参数值改变。例如，控制器132可以使至少一个像素、至少一个像素组等的亮度值具有特定值(例如，与特定量的亮度相关联的亮度值，例如亮度的缺失)。作为另一示例，控制器132可以使至少一个像素、至少一个像素组等的颜色值具有特定值(例如，与诸如黑色的特定颜色相关联的颜色值)。
在附加示例中，控制器132可以使对应于视频帧掩码的至少一个附加视频帧的至少一个区域具有特定颜色，诸如黑色，和/或可以使至少一个区域的一个或多个边缘模糊(例如，使一个或多个边缘从黑色渐变为灰色)。
在一些实现中，在将视频帧掩码应用于至少一个附加视频帧之后，控制器132使用对象检测图像处理技术来处理至少一个附加视频帧(例如，基于使视频帧掩码应用于至少一个附加视频帧)。例如，控制器132可使用对象检测图像处理技术(例如，Viola-Jones对象检测技术、尺度不变特征变换技术等)来处理至少一个附加视频帧以检测对象(例如，另一作业机械、另一车辆、人、建筑物等)。控制器132可确定(例如，基于关于作业机械100的运动的信息、关于至少一个部件的运动的信息等)对象是否在作业机械100或部件(例如，机具108)的运动路径中。
基于确定对象在作业机械100或部件的运动路径中，控制器132可通过输出装置128发出警报。例如，控制器132可以向输出装置128发送警报信号或消息，该警报信号或消息使得输出装置128经由输出装置128的音频输出装置发出可听警报，经由输出装置128的视觉显示器显示视觉警报，经由输出装置128的振动输出装置生成振动警报等。可听警报、视觉警报、振动警报等可以警报作业机械的操作者改变作业机械100和/或部件的运动路径以避免与对象碰撞。
附加地，或可选地，控制器132可基于确定对象在作业机械100或部件的运动路径中而使作业机械100的运动、部件的运动等改变。例如，控制器132可向加速踏板124发送控制信号以改变传递到牵引装置106的机械功率量，这可改变作业机械和/或牵引装置106的运动路径。作为另一示例，控制器132可向机具控制126发送控制信号以改变供应到液压致动器120和122并从液压致动器120和122排出的流体的压力量，这可改变机具108的运动路径。因此，控制器132可将一个或多个控制信号发送到其它控制器，例如机械方向控制器、减速踏板等，以改变作业机械100和/或作业机械100的部件的路径。
虽然图2示出了过程200的示例框，但是在一些实现中，过程200可以包括比图2中描绘的那些更多的框、更少的框、不同的框或不同布置的框。附加地，或可选地，可以并行执行过程200的两个或更多个框。
如上所述，图2是作为示例提供的。其它示例可以不同于结合图2所描述的。
图3是可由感测装置130捕获并由控制器132处理的示例视频帧的图300。在这些示例中，感测装置130附接至作业机械100的后部，并捕获描述机具108和周围环境的视频帧。
如示例视频帧310所示，作业机械100可沿向前方向移动(例如，由与周围环境相关联的指向向上方向的箭头指示)，而机具108可不移动(例如，由点指示)。在这种情况下，操作者可以接合加速器踏板124，而不接合机具控制126。以与本文所述类似的方式，控制器132可基于示例视频帧310和对应于持续时间的其它类似视频帧生成复合视频帧。控制器132可以确定与缺少运动相关联的复合视频帧的至少一个区域(例如，与点相关联的至少一个区域)，并基于该至少一个区域生成掩码。
如示例视频帧320所示，作业机械100可沿向前方向移动(例如，由与周围环境相关联的指向向上方向的箭头指示)，而机具108可向下移动(例如，由与机具108相关联的指向向下方向的箭头指示)。在这种情况下，操作者可以同时接合加速器踏板124和机具控制126。以与本文所述类似的方式，控制器132可基于示例视频帧320和对应于持续时间的其它类似视频帧生成复合视频帧。控制器132可以确定与关于机具108的运动的信息相关联的复合视频帧的至少一个区域(例如，与向下指向的箭头相关联的至少一个区域)和/或与关于作业机械100的运动的信息不相关联的复合视频帧的至少一个区域(例如，与向上指向的箭头不相关联的至少一个区域)。控制器132可基于所述至少一个区域生成掩码。
如示例视频帧330所示，作业机械100可沿向前方向移动(例如，由与周围环境相关联的指向向上方向的较小箭头指示)，而机具108可向上移动(例如，由与机具108相关联的指向向上方向的较大箭头指示)。在这种情况下，操作者可以同时接合加速器踏板124和机具控制126。如图所示，较大的箭头指示比由较小的箭头指示的表观运动的幅度(例如，与周围环境相关联)更大的表观运动的幅度(例如，与机具108相关联)。以与本文所述类似的方式，控制器132可基于示例视频帧330和对应于持续时间的其它类似视频帧生成复合视频帧。控制器132可确定与关于机具108的运动的信息相关联的复合视频帧的至少一个区域(例如，与较大箭头相关联的至少一个区域)和/或与关于作业机械100的运动的信息不相关联的复合视频帧的至少一个区域(例如，与较小箭头不相关联的至少一个区域)。控制器132可基于所述至少一个区域生成掩码。
如示例视频帧340所示，作业机械100可以是静止的(例如，由与周围环境相关联的点指示)并且机具108可以向下移动(例如，由与指向向下方向的机具108相关联的箭头指示)。在这种情况下，操作者可以接合机具控制126而不是加速器踏板124。以与本文所述类似的方式，控制器132可基于示例视频帧340和对应于持续时间的其它类似视频帧生成复合视频帧。控制器132可确定与关于机具108的运动的信息相关联的复合视频帧的至少一个区域(例如，与向下指向的箭头相关联的至少一个区域)和/或与关于作业机械100的运动的信息不相关联的复合视频帧的至少一个区域(例如，与点不相关联的至少一个区域)。控制器132可基于所述至少一个区域生成掩码。
因此，关于示例视频帧310、320、330和340，控制器132可基于关于作业机械100的运动的运动信息，关于机具108的运动的信息等来生成可用于从附加视频帧中排除机具108的掩码。
如上所述，图3是作为示例提供的。其它示例可以不同于结合图3所描述的。
图4是装置400的示例部件的图。装置400可以对应于输出装置128、感测装置130和/或控制器132。在一些实现中，输出装置128、感测装置130和/或控制器可以包括一个或多个装置400和/或装置400的一个或多个部件。如图4所示，装置400可以包括总线410、处理器420、存储器430、存储部件440、输入部件450、输出部件460和通信接口470。
总线410包括允许在装置400的部件之间通信的部件。处理器420以硬件、固件和/或硬件和软件的组合来实现。处理器420是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理部件。处理器420包括能够被编程为执行功能的一个或多个处理器。存储器430包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器420使用的信息和/或指令的另一类型的动态或静态存储装置(例如，闪存、磁存储器和/或光存储器)。
存储部件440存储与装置400的操作和使用有关的信息和/或软件。例如，存储部件440可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带和/或其它类型的非暂时性计算机可读介质以及相应的驱动器。
输入部件450包括允许装置400例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的部件。输入部件450可包括用于感测信息的传感器(例如，全球定位系统(GPS)部件、加速计、陀螺仪和/或致动器)。输出部件460包括提供来自装置400的输出信息的部件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。
通信接口470包括类似收发器的部件(例如，收发器和/或单独的接收器和传输器)，其使装置400能够例如经由有线连接、无线连接或有线和无线连接的组合与其它部件通信。通信接口470可以允许装置400从另一装置接收信息和/或向另一装置提供信息。例如，通信接口470可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
装置400可以执行如本文所述的一个或多个过程。装置400可基于处理器420执行由非暂时性计算机可读介质(例如，存储器430和/或存储部件440)存储的软件指令来执行这些过程。计算机可读介质在本文中定义为非暂时性存储器装置。存储器装置包括单个物理存储装置内的存储器空间或散布在多个物理存储装置上的存储器空间。
软件指令可从另一计算机可读介质或经由通信接口470从另一装置读入存储器430和/或存储部件440。当被执行时，存储在存储器430和/或存储部件440中的软件指令可以使处理器420执行本文描述的一个或多个过程。可使用硬连线电路来代替软件指令或与软件指令组合来执行本文中所描述的一个或多个过程。因此，本文描述的实现不限于硬件电路和软件的任何特定组合。
图4所示的部件的数量和布置是作为示例提供的。实际上，装置400可以包括与图4中所示的那些相比附加的部件、更少的部件、不同的部件或不同布置的部件。装置400的一组部件(例如，一个或多个部件)可执行描述为由装置400的另一组部件执行的一个或多个功能。
图5是用于基于运动信息从视频帧中排除作业机械的部件的示例过程500的流程图。在一些实现中，图5的一个或多个过程框可以由控制器(例如，控制器132)执行。在一些实现中，图5的一个或多个过程框可以由与控制器分离或包括控制器的另一装置或一组装置来执行，诸如感测装置(例如，感测装置130)、输出装置(例如，输出装置128)等。
如图5所示，过程500可包括获得包括多个视频帧的视频数据(框510)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可以获得包括多个视频帧的视频数据。
如图5中进一步所示，过程500可包含处理所述多个视频帧以确定所述多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动(框520)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可以处理多个视频帧以确定多个视频帧的每个视频帧的一个或多个像素的每个像素或一个或多个像素组的每个像素组的表观运动。
如图5中进一步所示，过程500可包含选择多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧(框530)。例如，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可选择多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧，如上文所描述。
如图5中进一步所示，过程500可包含基于所述一个或多个经处理视频帧生成复合视频帧(框540)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可基于一个或多个经处理视频帧来生成复合视频帧。
如图5中进一步所示，过程500可包括基于复合视频帧生成视频帧掩码(框550)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可以基于复合视频帧生成视频帧掩码。
如图5中进一步所示，过程500可包含获得包含至少一个附加视频帧的附加视频数据(框560)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可以获得包括至少一个附加视频帧的附加视频数据。
如图5中进一步所示，过程500可包括使视频帧掩码应用于至少一个附加视频帧(框570)。例如，如上所述，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可以使视频帧掩码被应用于至少一个附加视频帧。
如图5中进一步所示，过程500可包括使用对象检测图像处理技术并基于使视频帧掩码应用于至少一个附加视频帧来处理至少一个附加视频帧(框580)。例如，控制器(例如，使用处理器420、存储器430、存储部件440、输入部件450、输出部件460、通信接口470等)可使用对象检测图像处理技术并基于使视频帧掩码应用于至少一个附加视频帧来处理至少一个附加视频帧。
过程500可以包括附加实现，诸如结合本文别处描述的一个或多个其它过程描述的任何单个实现或实现的任何组合。
虽然图5示出了过程500的示例框，但是在一些实现中，过程500可以包括比图5中描绘的那些更多的框、更少的框、不同的框或不同布置的框。附加地，或可选地，可以并行执行过程500的两个或更多个框。
工业实用性
作业机械的控制器可使用对象检测处理技术来检测一个或多个图像(例如，与视频数据相关联的视频帧流)中的非作业机械对象，并基于检测到非作业机械对象来向作业机械的操作者呈现警报。然而，在一些情况下，一个或多个图像可包括与作业机械的部件(例如作业机械的机具)相关联的一个或多个区域。在这些情况下，一个或多个区域可能干扰控制器使用对象检测处理技术来准确检测非作业机械对象的能力。
例如，控制器可能将部件错误地识别为非作业机械对象。这可能导致向操作者呈现假阳性警报。作为另一示例，控制器可能无法识别在一个或多个图像中紧邻部件出现的非作业机械对象。这可能导致在应当呈现警报时不向操作者呈现警报。假阳性警报的呈现和/或未能向操作者呈现相关警报可能影响操作者有效操作作业机械的能力。这可能导致操作者以导致作业机械和/或部件与非作业机械对象碰撞的方式操作作业机械，这可能损坏作业机械、其它作业机械、其它车辆和/或其它财产。
因此，本文所描述的一些实现提供一种控制器，其处理包含在视频数据中的多个视频帧以确定所述多个视频帧中的每个视频帧的一个或多个像素中的每个像素或一个或多个像素组中的每个像素组的表观运动。所述控制器可选择所述多个经处理视频帧中对应于持续时间的一个或多个经处理视频帧，且可基于所述一个或多个经处理视频帧生成复合视频帧。控制器可以基于复合视频帧生成视频帧掩码，并且可以获得包括至少一个附加视频帧的附加视频数据。控制器可以使视频帧掩码应用于至少一个附加视频帧，并且可以使用对象检测图像处理技术来处理至少一个附加视频帧。
这样，基于运动信息，控制器从视频帧中排除作业机械的部件。这可以提高控制器使用对象检测图像处理技术检测非作业机械对象的准确性和/或可靠性，因为部件被从视频帧中排除。这可以使得控制器能够向作业机械的操作者呈现关于非作业机械对象的相关和/或及时的警报，这可以使得操作者以使得作业机械和/或部件避免与非作业机械对象碰撞的方式操作作业机械。附加地，或可选地，这可以使控制器能够自动控制作业机械和/或部件的运动路径，这可以使作业机械和/或部件避免与非作业机械对象碰撞。这可以降低作业机械、其它作业机械、其它车辆、其它财产等被损坏的可能性。

Claims (10)

1.一种方法，包括：
通过装置(132)获得包括多个视频帧(215)的视频数据；
由所述装置(132)处理所述多个视频帧(215)以确定与所述多个视频帧中的每个视频帧相关联的相应运动；
由所述装置(132)选择所述多个经处理视频帧中对应于一段时间的一个或多个经处理视频帧(225)；
由所述装置(132)生成指示与所述一个或多个经处理视频帧(225)相关联的运动的复合视频帧(235)；
由所述装置(132)基于所述复合视频帧(235)生成视频帧掩码(255)；
通过所述装置(132)获得包括至少一个附加视频帧(265)的附加视频数据；
由所述装置(132)使所述视频帧掩码(255)应用于所述至少一个附加视频帧(265)；以及
由所述装置(132)使用对象检测图像处理技术并基于使所述视频帧掩码(255)应用于所述至少一个附加视频帧(265)来处理所述至少一个附加视频帧(265)。
2.根据权利要求1所述的方法，其中处理所述多个视频帧(215)以确定与所述多个视频帧中的每个视频帧相关联的相应运动包括：
使用光流图像处理技术处理所述多个视频帧(215)。
3.根据权利要求1至2中任一项所述的方法，其中生成指示与所述一个或多个经处理视频帧(225)相关联的运动的所述复合视频帧(235)包括：
通过确定与所述一个或多个经处理视频帧(225)相关联的平均运动来生成所述复合视频帧(235)。
4.根据权利要求1至3中任一项所述的方法，其中生成所述视频帧掩码(255)包括：
确定与缺少运动相关联的所述复合视频帧的至少一个区域；以及
基于所述至少一个区域生成所述视频帧掩码(255)。
5.根据权利要求1至4中任一项所述的方法，其中所述复合视频帧(235)与作业机械(100)相关联。
其中生成视频帧掩码(255)包括：
获得关于作业机械(100)的运动的信息；以及
基于所述作业机械(100)的运动生成所述视频帧掩码。
6.一种装置(132)，包含：
一个或多个存储器；以及
一个或多个处理器，通信地耦合到所述一个或多个存储器，以：
获得包括多个视频帧(215)的视频数据；
处理所述多个视频帧(215)以确定与所述多个视频帧中的每个视频帧相关联的相应运动；
选择所述多个经处理视频帧中对应于一段时间的一个或多个经处理视频帧(225)；
生成指示与所述一个或多个经处理视频帧(225)相关联的运动的复合视频帧(235)；
确定与作业机械(100)的至少一个部件(106、108、112)相关联的复合视频帧的至少一个区域；
基于所述复合视频帧(235)和所述复合视频帧(235)的所述至少一个区域生成视频帧掩码(255)；
获得包括至少一个附加视频帧(265)的附加视频数据；
使所述视频帧掩码(255)应用于所述至少一个附加视频帧(265)；以及
使用对象检测图像处理技术并基于使所述视频帧掩码(255)应用于所述至少一个附加视频帧(265)来处理所述至少一个附加视频帧(265)。
7.根据权利要求6所述的装置(132)，其中当使所述视频帧掩码(255)应用于所述至少一个附加视频帧(265)时，所述一个或多个处理器用于：
对于包括在所述至少一个附加视频帧(265)中的多个像素中的每个像素，使与所述像素相关联的参数具有特定值。
8.根据权利要求6至7中任一项所述的装置(132)，其中当确定所述复合视频帧(235)的所述至少一个区域时，所述一个或多个处理器用于：
获得关于作业机械(100)的至少一个部件(106、108、112)的运动的信息；以及
基于关于所述至少一个部件(106、108、112)的运动的信息来确定所述复合视频帧(235)的所述至少一个区域。
9.根据权利要求6至8中任一项所述的装置(132)，其中当确定所述复合视频帧(235)的所述至少一个区域时，所述一个或多个处理器用于：
获得关于机具(108)或作业机械(100)的运动的一个或多个或控制指令；
基于所述一个或多个控制指令确定与所述机具(108)相关联的运动的幅度和方向；以及
确定所述复合视频帧(235)的对应于与所述机具(108)相关联的运动的幅度和方向的所述至少一个区域。
10.根据权利要求6至9中任一项所述的装置(132)，其中当使用所述对象检测图像处理技术来处理所述至少一个附加视频帧(265)时，所述一个或多个处理器用于：
使用所述对象检测图像处理技术来处理所述至少一个附加视频帧(265)以检测对象；
确定所述对象是否处于所述作业机械(100)或所述机具(108)的运动路径中；以及
基于确定对象处于作业机械(100)或机具(108)的运动路径中，使警报显示在作业机械(100)的显示器上。
CN202080052189.2A 2019-07-22 2020-07-10 基于运动信息从视频帧中排除作业机械的部件 Pending CN114127809A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/518777 2019-07-22
US16/518,777 US10949685B2 (en) 2019-07-22 2019-07-22 Excluding a component of a work machine from a video frame based on motion information
PCT/US2020/041478 WO2021015960A1 (en) 2019-07-22 2020-07-10 Excluding a component of a work machine from a video frame based on motion information

Publications (1)

Publication Number Publication Date
CN114127809A true CN114127809A (zh) 2022-03-01

Family

ID=74190282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052189.2A Pending CN114127809A (zh) 2019-07-22 2020-07-10 基于运动信息从视频帧中排除作业机械的部件

Country Status (5)

Country Link
US (1) US10949685B2 (zh)
CN (1) CN114127809A (zh)
AU (1) AU2020318839A1 (zh)
DE (1) DE112020003003T5 (zh)
WO (1) WO2021015960A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6729793B2 (ja) 2017-03-30 2020-07-22 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2023105944A1 (ja) * 2021-12-10 2023-06-15 日立建機株式会社 作業機械

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951639B2 (ja) 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
CN103547747A (zh) 2011-05-13 2014-01-29 日立建机株式会社 作业机械的周围监视装置
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP5629740B2 (ja) 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US10909845B2 (en) * 2013-07-01 2021-02-02 Conduent Business Services, Llc System and method for enhancing images and video frames
JP6267972B2 (ja) 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP5995899B2 (ja) 2014-03-24 2016-09-21 日立建機株式会社 自走式産業機械の画像処理装置
JP6178280B2 (ja) 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US9390329B2 (en) 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
JP6262068B2 (ja) 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE112014000134B4 (de) 2014-06-04 2016-09-22 Komatsu Ltd. Stellungsberechnungsvorrichtung für eine Arbeitsmaschine, Arbeitsmaschine und Stellungsberechnungsverfahren für eine Arbeitsmaschine
JP6456173B2 (ja) 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
EP3057061B1 (en) 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
US9710713B2 (en) 2015-06-03 2017-07-18 GM Global Technology Operations LLC Methods and apparatus to perform image masking based on relative motion of objects
EP3386195A4 (en) * 2015-11-30 2018-12-19 Sumitomo Heavy Industries, LTD. Periphery monitoring system for work machine
JP6868805B2 (ja) 2016-06-07 2021-05-12 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム
JP6729146B2 (ja) 2016-08-03 2020-07-22 コベルコ建機株式会社 障害物検出装置
DE102016118227A1 (de) 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
JP6868996B2 (ja) 2016-10-13 2021-05-12 日立建機株式会社 障害物検知システム及び建設機械
CN107431789B (zh) 2017-02-09 2018-12-21 株式会社小松制作所 作业车辆的周边监视系统、作业车辆以及作业车辆的周边监视方法
US20190068829A1 (en) 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
KR20190028103A (ko) 2017-09-08 2019-03-18 삼성에스디에스 주식회사 비관심 객체에 대한 마스크 처리 방법 및 그 장치

Also Published As

Publication number Publication date
US10949685B2 (en) 2021-03-16
WO2021015960A1 (en) 2021-01-28
AU2020318839A1 (en) 2022-02-17
DE112020003003T5 (de) 2022-03-10
US20210027072A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
US9457718B2 (en) Obstacle detection system
US10444755B2 (en) Autonomous travel vehicle control device, autonomous travel vehicle control system, and autonomous travel vehicle control method
JP4996928B2 (ja) 作業機械の周囲監視装置
CN110494613B (zh) 工作机械
EP3164769B1 (en) Machine safety dome
AU2014213529B2 (en) Image display system
JP7450083B2 (ja) 周辺監視システム及び周辺監視方法
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
JP7295785B2 (ja) 路面状況監視システム、作業車両、路面状況監視方法およびプログラム
CN114127809A (zh) 基于运动信息从视频帧中排除作业机械的部件
US20140293047A1 (en) System for generating overhead view of machine
KR20210139297A (ko) 건설기계, 지원시스템
CN113396257B (zh) 工程机械的目标位置推定装置
US20230272599A1 (en) Work machine safety zone control
US20190102902A1 (en) System and method for object detection
US20230150358A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
US20230151583A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
US20230133175A1 (en) Object detection system and method for a work machine using work implement masking
CN118215772A (zh) 监视区域设定系统
AU2023201721A1 (en) An object detection system and method on a work machine
JP2023093109A (ja) 建設機械、及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination