CN116195245A - 物体检测系统及物体检测方法 - Google Patents

物体检测系统及物体检测方法 Download PDF

Info

Publication number
CN116195245A
CN116195245A CN202180064647.9A CN202180064647A CN116195245A CN 116195245 A CN116195245 A CN 116195245A CN 202180064647 A CN202180064647 A CN 202180064647A CN 116195245 A CN116195245 A CN 116195245A
Authority
CN
China
Prior art keywords
information
driving target
blind spot
unit
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064647.9A
Other languages
English (en)
Inventor
一色昭寿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116195245A publication Critical patent/CN116195245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/17Construction vehicles, e.g. graders, excavators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

根据本公开的一个实施方式的物体检测系统(10)包括:信息保存单元(20),保存关于构成操作对象的盲点的盲点区域的盲点信息,操作对象是施工机械或车辆;信息获取单元(30),获取关于操作对象的周围状况的周围状况信息;检测处理单元(40),基于周围状况信息来检测物体;状态确定单元(50),基于盲点信息和检测的物体的位置信息确定物体处于出现在盲点区域中的危险状态;以及通知单元(60),根据物体处于危险状态的确定结果,将指示物体处于危险状态的通知发布给操作操作对象的操作者和/或操作对象的周围。

Description

物体检测系统及物体检测方法
技术领域
本公开涉及一种物体检测系统和物体检测方法。
背景技术
挖掘机、推土机等施工机械(也包括重型机械)、叉车、汽车等车辆成为驾驶员驾驶的驾驶目标(驾驶目标机械)。在这些驾驶目标中,开发出了具有检测挖掘机周围的人或物等物体的传感器的挖掘机(例如参照专利文献1)。
引用列表
专利文献
专利文献1:JP 2018-197491 A
发明内容
技术问题
然而,驾驶员难以视觉识别处于这种驾驶目标的盲点位置处的物体(例如,人、动物、障碍物等),并且驾驶目标周围的人也难以领会该人处于驾驶目标的盲点处。因此,希望将物体对驾驶目标处于盲点位置通知给驾驶员及围绕其周围中的两者或者其中一者。
因此,本公开提出了一种物体检测系统和物体检测方法,物体检测系统和物体检测方法被配置为将物体对驾驶目标处于盲点位置通知给驾驶员和围绕其周围中的两者或者其中一者。
问题的解决方案
根据本公开的实施例的物体检测系统包括:信息保存单元,保存关于作为驾驶目标的盲点的盲点区域的盲点信息,驾驶目标是施工机械或车辆;信息获取单元,获取关于驾驶目标的周围状况的周围状况信息;检测处理单元,基于周围状况信息检测物体;状态确定单元,基于检测出的物体的位置信息和盲点信息确定物体处于危险状态,其中,物体处于盲点区域中;以及通知单元,根据物体处于危险状态的确定结果,将物体处于危险状态通知给驾驶驾驶目标的驾驶员和围绕驾驶目标的周围中的两者或其中一者。
根据本公开的实施例的物体检测方法包括:保存关于作为驾驶目标的盲点的盲点区域的盲点信息,驾驶目标是施工机械或车辆;获取驾驶目标的周围状况的周围状况信息;基于周围状况信息检测物体;基于检测出的物体的位置信息和盲点信息确定物体处于危险状态,其中,物体处于盲点区域中;以及根据物体处于危险状态的确定结果,将物体处于危险状态通知给驾驶驾驶目标的驾驶员和围绕驾驶目标的周围中的两者或其中一者。
附图说明
图1是示出根据第一实施例的挖掘机的示意性配置的示例的示图。
图2是示出根据第一实施例的物体检测系统的示意性配置的示例的示图。
图3是示出根据第一实施例的盲点的示例的示图。
图4是示出根据第一实施例的盲点的示例的示图。
图5是示出根据第一实施例的通知显示的示例的示图。
图6是示出根据第一实施例的物体检测过程的示例的流程图。
图7是示出根据第一实施例的通知过程的示例的流程图。
图8是示出根据第二实施例的物体检测系统的示意性配置的示例的示图。
图9是示出根据第二实施例的盲点信息更新过程的示例的流程图。
图10是示出根据第二实施例的特定操作停止过程的示例的流程图。
图11是示出根据第二实施例的周围状况信息发送过程的示例的流程图。
图12是示出根据第二实施例的周围状况信息接收过程的示例的流程图。
图13是示出硬件的示意性配置的示例的示图。
具体实施方式
下面将参考附图详细描述本公开的实施例。应注意,根据本公开的设备、系统、方法等不受实施例的限制。此外,在以下实施例中,相同的部分由相同的参考标号或符号表示,并且将省略其重复描述。
可以独立地实现以下描述的一个或多个实施例(包括示例和修改)。同时,在下面描述的实施例中,实施例中的至少一些可以与其他实施例中的至少一些适当地组合。这些实施例可以包括彼此不同的新颖特征。因此,这些实施例可有助于解决不同的目的或问题,并且可具有不同的效果。
此外,将按照以下示出的项的顺序描述本公开。
1.第一实施例
1-1.挖掘机的示例性配置
1-2.物体检测系统的示例性配置
1-3.盲点的示例
1-4.通知显示的示例
1-5.物体检测过程的示例
1-6.通知过程的示例
1-7.功能和效果
2.第二实施例
2-1.物体检测系统的示例性配置
2-2.盲点信息更新过程的示例
2-3.特定操作停止过程的示例
2-4.周围状况信息发送过程的示例
2-5.周围状况信息接收过程的示例
2-6.功能和效果
3.其他实施例
4.示例性硬件配置
5.补充说明
<1.第一实施例>
<1-1.挖掘机的示例性配置>
参见图1,对本实施例的施工机械的示例(即挖掘机100)的示例性配置进行说明。图1是示出根据本实施例的挖掘机100的示意性配置的示例的示图。
如图1所示,挖掘机100包括托架101、摆动机构102、摆动体103、吊杆104、臂105、铲斗106、吊杆缸107、臂缸108、铲斗缸109、驾驶室110。挖掘机100设置有根据本实施例的物体检测系统10。物体检测系统10是检测挖掘机100周围的目标(例如人、事物等)的系统(细节将在后面描述)。
托架101处于挖掘机100的下方。摆动体103通过摆动机构102安装在托架101的上方。吊杆104安装于摆动体103,臂105安装于吊杆104的端部,铲斗106安装于臂105的端部。吊杆104、臂105及铲斗106构成挖掘附属装置,分别由吊杆缸107、臂缸108及铲斗缸109进行液压驱动。此外,驾驶室110和动力源(诸如发动机)安装在摆动体103上。
驾驶室110和摆动体103的上部安装有成像单元111。成像单元111由例如多个相机111a、111b和111c实现。这些相机111a、111b和111c布置成对挖掘机100的整个周围(例如,沿所有方向)成像。在图1的示例中,成像单元111包括三个相机111a、111b和111c,以便对挖掘机100的至少盲点区域成像,但是相机的数量不受限制。
输入单元112、输出单元113、控制器114等安装在驾驶室110的内部。输入单元112是接受来自驾驶员等操作者的输入操作的设备,例如由操作单元(操作杆、操作踏板等)、门锁定杆、设于操作单元的端部的按钮、设于显示器、触摸面板等的按钮来实现。输出单元113是输出各种信息的设备,并且例如通过显示器、扬声器、蜂鸣器、灯等实现。控制器114是控制挖掘机100的各部分的驱动的设备,例如由CPU(中央处理单元)、MPU(微处理单元)等处理器实现。
在此,作为安装有物体检测系统10的施工机械,以挖掘机100为例进行了说明,但并不限定于此。作为由驾驶员驾驶的驾驶目标,除了挖掘机100以外,还包括推土机、起重机等施工机械(包括重型机械)、叉车、汽车等车辆。另外,卡车、翻斗卡车、挂车等汽车有时也分为作为施工机械的运输机械。此外,在某些情况下,诸如叉车的车辆可被分类为工业车辆。
<1-2.物体检测系统的示例性配置>
将参考图2描述根据本实施例的物体检测系统10的示例性配置。图2是示出根据本实施例的物体检测系统10的示意性配置的示例的示图。
如图2所示,物体检测系统10包括信息保存单元20、信息获取单元30、检测处理单元40、状态确定单元50和通知单元60。
信息保存单元20保存关于作为施工机械的示例的挖掘机100的盲点的盲点区域的盲点信息。信息保存单元20例如由诸如闪存或固态驱动器(SSD)的存储介质或经由网络连接的诸如云服务器的服务器设备实现。盲点信息由信息保存单元20保存。注意,信息保存单元20可以不保存预先设置的盲点信息,并且例如可以基于来自成像单元111的图像信息获取盲点信息并且保存盲点信息。
这里,挖掘机100的盲点例如基于用于确认围绕挖掘机100周围的镜子位置、挖掘机100的结构或形状等来设置,并且根据挖掘机100的挖掘附件(吊杆104、臂105和铲斗106)、驾驶室110等的预定移动来设置。关于盲点的盲点区域(例如,三维区域或二维区域)被存储在信息保存单元20中,作为盲点信息。
信息获取单元30获取与挖掘机100的周围状况有关的周围状况信息。信息获取单元30包括例如相机111a、111b和111c(见图1),每个相机111a、111b和111c均具有检测挖掘机100的周围状况的传感器。传感器例如是图像传感器(诸如视觉传感器或测距传感器)。视觉传感器由例如诸如RGB传感器的颜色传感器实现,并且距离测量传感器由例如飞行时间(ToF)传感器实现。例如,周围状况信息包括图像信息和测距信息中的两者或者其中一者。应注意,除了图像传感器以外,传感器可通过例如使用红外线等的运动传感器来实现,或者可通过组合视觉传感器、测距传感器、运动传感器等来实现。在该配置中,周围状况信息包括由运动传感器获得的图像信息。
检测处理单元40基于周围状况信息(例如,图像信息、距离测量信息等)检测物体(例如,人、动物、障碍物等),并且获取关于物体的位置、类型等的信息(例如,物体的位置信息、类型信息等)。物体的位置信息例如是指示物体在三维区域或二维区域中的位置的信息(例如,三维坐标、二维坐标等)。此外,物体的类型信息是,例如,指示物体是人,或者当物体不是人时指示物体是动物、障碍物等的信息。障碍物的示例包括碰撞后使施工机械破损的障碍物,或诸如动力杆、建筑物的不希望破损的障碍物。检测处理单元40通过例如具有用于通过使用机器学习技术(诸如深度学习)从输入信息检测目标物体(诸如人或事物)的算法的运算设备来实现。该演算设备例如由传感器模块中的CPU、连接至传感器模块的图形处理单元(GPU)等实现。注意,对于用于检测物体检测的算法,例如,基于区域/使用卷积神经网络(R-CNN)的算法,可以使用仅看一次(YOLO)、单镜头多框检测器(SSD)等。
例如,检测处理单元40从捕获图像检测物体并且识别检测到的物体的类型。此时,检测处理单元40使用诸如深度学习的机器学习技术来从输入信息中检测诸如人或事物的目标物体,并执行识别。该检测过程可以逐步执行。例如,可以在前述过程中检测和识别物体,并且可以在后续过程中确定物体的识别的正确性。此外,可以从检测到的物体中提取人候选,之后将所提取的人候选识别为人。在该配置中,在前述过程中,例如,通过基于局部亮度梯度或边缘提取简单特征、通过霍夫变换等提取几何特征、与基于亮度划分的区域的面积或纵横比有关的特征等的图像处理来提取人候选。在随后的过程中,例如,通过使用由方向梯度直方图(HOG)特征表示的图像特征描述和通过机器学习生成的分类器的图像处理(诸如图像识别处理),识别人候选是否是人。
状态确定单元50基于物体的位置信息和盲点信息确定物体处于危险状态,其中,物体处于盲点区域中。例如,状态确定单元50使用检测到的目标物体的位置和从由信息保存单元20保存的盲点信息中获得的盲点位置,基于目标物体与盲点之间的位置关系来确定物体是否处于危险状态,其中,物体在盲点区域中。状态确定单元50例如由基于盲点的坐标信息和物体的坐标信息之间的位置关系和重叠条件执行确定的演算设备或者由具有利用使用诸如深度学习的机器学习技术的算法执行确定的软件的演算设备实现。该演算设备例如由传感器模块中的CPU、连接至传感器模块的图形处理单元(GPU)等实现。
这里,危险状态包括但不限于物体在盲点区域中的状态。例如,除了物体处于盲点区域的状态以外,危险状态还可以包括物体处于与作为施工机械或车辆的驾驶目标相距预定距离内的状态、驾驶目标接近物体的状态的两者或其中一者。在该配置中,状态确定单元50根据物体的位置信息或距离测量信息,求出物体与挖掘机100之间的间隔距离,基于所求出的间隔信息,确定物体在规定距离内或驾驶目标接近物体。较短的间隔距离表示驾驶目标接近物体。
通知单元60根据物体存在于盲点区域中的确定结果,将物体的危险状态通知给驾驶员和围绕挖掘机100的周围中的两者或其中一者。例如,通知单元60利用视频(图像)、光、声音或振动来警告驾驶员和围绕挖掘机100的周围(例如,盲点区域中的人或其他周围的人等)中的两者或其中一者。例如,通知单元60包括输出单元113(见图1)。例如,通知单元60可以通过显示器执行可视通知,或者可以通过灯的闪烁、来自扬声器的声音、或者座位、方向盘等的振动执行通知。显示器例如设置在挖掘机100的驾驶室110内的驾驶席附近。此外,灯、扬声器等例如设置在挖掘机100的驾驶室110的内部或外部。
注意,通知单元60使作为输出单元113的示例的显示器即使在没有发出警报时显示图像。例如,显示图像为由成像单元111获得的视点转换图像、通过透镜图像等。视点转换图像是将相机111a、111b、111c的捕获图像合成而得到的俯瞰图像(从挖掘机100的正上方的虚拟视点观察到的图像)。通过透镜图像是通过从相机111a、111b和111c的每个位置捕获在相机111a、111b和111c中的每个指向的方向上观看的场景而获得的图像,并且通过透镜图像包括例如未经受视点转换处理的图像。此外,通知单元60根据由驾驶员等经由输入单元112(例如,触摸面板或开关)输入的指令切换由显示器显示的图像。
这里,构成物体检测系统10的每个块例如是表示物体检测系统10的功能的功能块(同样适用于其他实施例)。这些功能块可以是软件块或硬件块。例如,上述的每个功能块可以是由软件(包括微程序)实现的一个软件模块或半导体芯片(管芯)上的一个电路块。当然,每个功能块可以是一个处理器或一个集成电路。物体检测系统10可由与上述功能块不同的功能单元配置,并且可使用构成功能块的任何方法。另外,构成物体检测系统10的一些或所有块的操作可由另一设备(例如,经由网络连接的服务器设备等)执行。注意,处理器例如是诸如CPU或MPU的处理器。此外,集成电路是诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的电路。
<1-3.盲点的示例>
将参考图3和图4描述根据本实施例的盲点的示例。图3和图4各自是示出了根据本实施例的盲点的示例的示图。图3的示例示出了挖掘机100的盲点的示例,图4的示例示出了叉车200的盲点的示例。
如图3所示,挖掘机100的臂105、铲斗106等的前方的空间成为挖掘机100的驾驶员的盲点。坐在驾驶室110中的驾驶员座位上并驾驶挖掘机100的驾驶员可能不会注意到盲点中的物体。同时,成像单元111对盲点区域成像,从而盲点中的物体由成像单元111成像并且由检测处理单元40检测,并且通知单元60通知物体处于危险状态,其中,物体在盲点区域中。该配置使得驾驶员能够掌握物体处于挖掘机100周围的盲点区域。注意,在图3的示例中,物体的检测区域A1为二维矩形形状,但是也可以设为三维长方体形状。
如图4所示,装载在叉车200的升降机201上的多个包装(例如,纸板箱)等前面的空间对于叉车200的驾驶员来说变成盲点。注意,物体检测系统10如挖掘机100那样应用于叉车200。坐在叉车200的驾驶员座位上并且驾驶叉车200的驾驶员可能不会注意到盲点中的物体。同时,如在挖掘机100中,成像单元(例如,见成像单元111)设置在叉车200的上部,成像单元对盲点区域成像,盲点中的物体由此由成像单元111成像并且由检测处理单元40检测,并且通知单元60通知物体处于危险状态,其中物体处于盲点区域中。该配置使得驾驶员能够掌握物体处于叉车200周围的盲点区域中。注意,在图4的示例中,与图3的示例相同,物体的检测区域A1具有二维矩形形状,但是也可以设置为三维长方体形状。
(盲点信息的补充)
在此,作为盲点信息的补充,对挖掘机100、叉车200以及轮式装载机的示例进行说明。
(挖掘机100的示例)
除了由于车辆的形状/结构引起的不可见区域以外,盲点信息可包括例如盲点区域,该盲点区域根据臂105的控制状态(例如,停止状态、操作状态等)、与驾驶室110的旋转(摆动)相关的移动等动态地改变,驾驶室110是在车辆的上部具有驾驶员座位的部分。对于动态改变的盲点区域,使用用于从臂105的位置/控制状态、驾驶员座位的状态(角度)等计算盲点区域的计算公式,用于基于车辆的形状/结构从车辆的姿态计算盲点区域的计算公式等。通过这些计算公式获得盲点信息。应注意,还可考虑根据驾驶员的头部位置(例如,坐高、姿势等)的盲点区域的改变/移动。
(叉车200的示例)
除了由于车辆的结构对驾驶员来说为盲点的盲点区域以外,盲点信息可以包括关于作为根据升降机201的升高/降低的控制状态(例如,停止状态、操作状态等)的盲点的盲点区域的信息。对于取决于升降机201的控制状态的盲点,使用用于基于升降机/车辆控制信息计算盲点区域的计算公式。通过该计算公式得到盲点信息。
(轮式装载机的示例)
除了由于车辆的结构对驾驶员来说为盲点的盲点区域以外,盲点信息还可包括关于作为取决于铲斗的升高/降低的控制状态(例如,停止状态、操作状态等)的盲点的盲点区域的信息。对于取决于铲斗的控制状态的盲点,使用用于基于铲斗/车辆控制信息计算盲点区域的计算公式。通过该计算公式得到盲点信息。
<1-4.通知显示的示例>
将参考图5描述根据本实施例的通知显示的示例。图5是示出根据本实施例的通知显示的示例的示图。
如图5所示,作为输出单元113的示例的显示器在挖掘机100的盲点显示人。在图5的示例中,两个人被检测并显示为处于挖掘机100的盲点中的人,并且两个相应的人的检测区域A1和检测区域A2的边缘由正方形框表示。此时,根据挖掘机100与人之间的间隔距离来改变对驾驶员的通知的级别。例如,使两个人中距离挖掘机100较近的人的检测区域A1的正方形框比距离挖掘机100较远的人的检测区域A2的正方形框粗,与另一个人相比表现得突出。此外,诸如“1m”和“2m”的间隔距离被指示在正方形框旁边。此时,状态确定单元50确定距挖掘机100较近的人(即距挖掘机100较近的人)的危险级别比距挖掘机100较远的人的危险级别高。
注意,为了改变对驾驶者的通知的级别,除了改变正方形框的粗细以外,也可以改变正方形框的颜色、形状、表示间隔距离的数字的粗细等,或者使框或间隔距离的数字闪烁。此外,在输出单元113包括使用光、声音或振动的设备的情况下,光、声音或振动的强度可根据挖掘机100与物体之间的间隔距离而改变。例如,光、声音或振动可随着间隔距离变短而变强,或其输出间隔可变短。
当驾驶员在视觉上识别图5所示的显示图像时,驾驶员识别挖掘机100周围的盲点中的两个人,并且进一步意识到这两个人中靠近挖掘机100的人。之后,在人移动时,检测区域A1、A2(即正方形框)也跟随人的移动而移动。此时,当每个人与挖掘机100之间的间隔距离根据人的移动而改变时,靠近方框示出的间隔距离的数字(在图5的实施例中,“1m”和“2m”中的每一个)也改变。此外,当最靠近挖掘机100的人在两个人之间切换时,方形框的厚度也被切换。换言之,使与最靠近挖掘机100的人相对应的正方形框最厚。注意,除了使与最靠近挖掘机100的人相对应的正方形框最厚以外,还可以使与距挖掘机100的距离等于或小于预定阈值的人相对应的所有正方形框都厚。
如上所述,通过显示器显示挖掘机100周围的盲点区域中的人,并且还通过显示器上的正方形框来指示人,使得可以通知驾驶员挖掘机100周围的盲点中的人的存在,即,人的危险状态。此外,根据挖掘机100与人之间的间隔距离改变对驾驶员的通知的级别使得可以突出地显示更靠近挖掘机100的人。由此,能够向驾驶员通知人在挖掘机100的盲点区域,从而能够使驾驶员意识到靠近挖掘机100的人,适当地向驾驶员通知人的危险状态。
注意,在危险级别的确定中,基于挖掘机100与物体之间的间隔距离来确定物体的危险级别,但本发明不限于此。例如,物体的危险级别可基于物体是否定位在挖掘机100的移动的流线上来确定。此时,当物体处于流线上时,确定物体具有高级别的危险。
<1-5.物体检测过程的示例>
将参考图6描述根据本实施例的物体检测过程的示例。图6是示出根据本实施例的物体检测过程的示例的流程图。
如图6所示,在步骤S11中,信息获取单元30获取周围状况信息。在步骤S12中,检测处理单元40基于周围状况信息检测物体。在步骤S13中,状态确定单元50基于物体的位置信息和盲点信息确定物体是否处于危险状态,其中,物体在盲点区域中。当状态确定单元50确定物体处于危险状态时(步骤S13中的“是”),在步骤S14中,通知单元60通知物体处于危险状态。另一方面,当状态确定单元50确定物体未处于危险状态时(步骤S13中的“否”),过程返回至步骤S11。
根据这种物体检测过程,当物体处于盲点区域中的危险状态时,通知单元60通知例如驾驶员或围绕挖掘机100的周围(例如,盲点区域中的人或其他周围的人等)物体处于危险状态。由此,能够将物体处于危险状态的情况通知给驾驶员、围绕驾驶目标的周围中的两者或其中一者。
<1-6.通知过程的示例>
将参考图7描述根据本实施例的通知过程的示例。图7是示出根据本实施例的通知过程的示例的流程图。
如图7所示,在步骤S21中,状态确定单元50确定挖掘机100与物体之间的间隔距离是否等于或小于预定阈值,或者物体是否是人。在状态确定单元50确定挖掘机100与物体的间隔距离为预定阈值以下或确定是人的情况下(步骤S21中的“是”),在步骤S22中,通知单元60以第一级别进行通知。另一方面,在状态确定单元50确定挖掘机100与物体的间隔距离不为预定阈值以下或确定不是人的情况下(步骤S21中的“否”),在步骤S23中,通知单元60以第二级别进行通知。第一级别是比第二级别更强的级别。
根据通知过程,根据挖掘机100与物体之间的间隔距离是否为预定阈值以下或物体是否为人,变更物体的通知的级别。例如,当挖掘机100与物体之间的间隔距离等于或小于预定阈值时或当物体是人时,与挖掘机100与物体之间的间隔距离不等于或小于预定阈值时或当物体不是人时相比,物体的通知的级别升高。由此,能够强调更接近挖掘机100的物体或人,能够使驾驶员意识到该物体。
注意,图5的实施例是图像示例,其中通过在上述步骤S21中根据挖掘机100与物体之间的间隔距离是否等于或小于预定阈值而改变通知的级别的处理,来增强框、数字等的显示。
<1-7.功能和效果>
如上所述,根据本实施例,物体检测系统10包括信息保存单元20,信息保存单元20保存关于作为驾驶目标(例如,挖掘机100)的盲点的盲点区域的盲点信息,驾驶目标为施工机械或车辆;信息获取单元30,获取与驾驶目标的周围状况有关的周围状况信息;检测处理单元40,基于周围状况信息检测物体(例如,人、事物等);状态确定单元50,基于检测到的物体的位置信息和盲点信息,确定物体处于危险状态,其中,物体处于盲点区域中;以及通知单元60,根据确定物体处于危险状态的结果,将物体处于危险状态通知给驾驶员和围绕驾驶目标的周围中的两者或其中一者。该配置使得通知单元60能够根据处于盲点区域的危险状态的物体,将物体处于危险状态通知给驾驶员和围绕驾驶目标的周围中的两者或者其中一者。因此,能够将物体处于驾驶目标的盲点位置的情况通知给驾驶员或围绕驾驶目标的周围中的任意一者。
此外,除了物体在盲点区域中的状态以外,危险状态可包括物体在距驾驶目标的预定距离内的状态。根据物体处于距驾驶目标预定距离内的状况,该配置使得能够通知物体处于危险状态。
此外,除了驾驶目标接近物体的状态以外,危险状态可包括物体处于盲点区域中的状态。根据驾驶目标接近物体的状况,该配置使得能够通知物体处于危险状态。
此外,通知单元60可根据驾驶目标与物体之间的间隔距离改变表示物体处于危险状态的通知的级别。由此,例如与驾驶目标与物体的间隔距离长的情况相比,在驾驶目标与物体的间隔距离短的情况下,能够提高通知的级别。因此,可以根据驾驶目标与物体之间的间隔距离改变表示物体处于危险状态的通知的级别,从而实现适当的通知。
此外,通知单元60可根据物体是人或是人以外的事物(例如,动物、障碍物等)而改变表示物体处于危险状态的通知的级别。例如,与物体不是人时相比,当物体是人时,该配置使得可以增加通知的级别。因此,可根据物体是人类或不是人类来改变表示物体处于危险状态的通知的级别,从而实现适当的通知。
<2.第二实施例>
<2-1.物体检测系统的示例性配置>
将参考图8描述根据本实施例的物体检测系统10的示例性配置。图8是示出根据本实施例的物体检测系统10的示意性配置的示例的示图。
如图8所示,除了根据第一实施例的信息保存单元20、信息获取单元30、检测处理单元40、状态确定单元50和通知单元60以外,根据本实施例的物体检测系统10还包括信息更新单元70、通信单元80和控制单元90。通信单元80对应于发送单元和接收单元。
信息更新单元70更新保存在信息保存单元20中的盲点信息。例如,信息更新单元70基于挖掘机100的状态、驾驶员的状态和周围状况信息中的全部或任意(一或两个)来更新盲点信息。例如,信息更新单元70根据挖掘机100的状态(例如,挖掘机100被部分操作的操作状态)更新盲点信息。挖掘机100是臂105能够移动、驾驶室110能旋转的施工机械,信息更新单元70根据操作臂105的操作状态或驾驶室110进行旋转的操作状态来更新盲点信息。此外,信息更新单元70根据驾驶员的状态,例如,驾驶员的头部位置(例如,坐高、姿势等)、面部朝向、注视方向(视线方向)等,更新盲点信息。另外,信息更新单元70根据周围状况信息、例如墙壁、建筑物等障碍物、路面的倾斜等来更新盲点信息。
作为具体例,信息更新单元70由具备用于计算作为挖掘机100的盲点的盲点区域的软件程序的演算设备来实现。基于关于挖掘机100的臂105的角度或驾驶室110的旋转方向的角度的控制信息以及从由成像单元111获得的图像获取的驾驶员的注视方向中的两者或其中一者来计算盲点区域。在计算盲点区域时,还可以考虑基于驾驶员的头部位置的盲点区域的改变/移动。
通信单元80是用于与另一设备通信的通信接口。例如,通信单元80包括诸如Wi-Fi(注册商标)和蓝牙(注册商标)的无线通信模块。通信单元80能够在多个施工机械或车辆之间进行通信。由此,施工机械与车辆能够相互共享信息,能够进行协调操作。换言之,挖掘机100、另一施工机械、车辆等(例如,挖掘机、推土机、起重机、倾卸机等)均具有物体检测系统10,并被配置为经由无线网络和有线网络(通信网络)中的两者或其中一者发送和接收(通信)各种信息。
这里,通信单元80可被配置为通过使用除了Wi-Fi(注册商标)和蓝牙(注册商标)以外的诸如长期演进(LTE)或新无线电(NR)的无线电接入技术(RAT)连接至网络。此外,通信单元80可被配置为使用不同于上述无线电接入技术的无线电接入技术。例如,通信单元80可被配置为使用NR和Wi-Fi,或者可被配置为使用不同的蜂窝通信技术(例如,LTE和NR)。
注意,例如,网络可以包括诸如局域网(LAN)、广域网(WAN)、蜂窝网络、固定电话网络或区域互联网协议(IP)网络或互联网的通信网络。网络可以包括无线网络或有线网络。此外,网络可以包括核心网络。核心网络例如是演进分组核心(EPC)或者5G核心网络(5GC)。此外,网络可以包括除了核心网络以外的数据网络。例如,数据网络可以是电信运营商的服务网络,例如,IP多媒体子系统(IMS)网络。此外,数据网络可以是专用网络,诸如现场通信网络。
控制单元90根据物体处于危险状态的确定结果来控制挖掘机100的特定操作。例如,当物体处于危险状态时,控制单元90停止或限制特定操作。特定操作的实施例包括臂105的操作、驾驶室110的旋转操作(摆动操作)以及挖掘机100的向前和向后或向右和向左的操作。在具体的示例中,控制单元90由设置有指示挖掘机100执行操作(例如停止或操作限制)的软件程序的演算设备来实现。要注意的是,控制单元90包括例如控制器114(见图1)。控制器114是主要控制挖掘机100的移动的设备。例如,控制器114还控制控制阀、门锁阀、发动机控制设备等,以控制液压系统中的液压油的流动。
<2-2.盲点信息更新过程的示例>
将参考图9描述根据本实施例的盲点信息更新过程的示例。图9是示出根据本实施例的盲点信息更新过程的示例的流程图。
如图9所示,在步骤S31中,信息更新单元70确定挖掘机100的状态、驾驶员的状态或周围状况是否已经改变。当信息更新单元70确定挖掘机100的状态、驾驶员的状态或周围状况已改变时(步骤S31中的“是”),在步骤S32中,根据挖掘机100的状态、驾驶员的状态或周围状况的改变,更新信息保存单元20所保存的盲点信息。另一方面,信息更新单元70在确定挖掘机100的状态、驾驶员的状态或周围的状况没有改变的情况下(步骤S31中的“否”),过程返回到步骤S31。
根据这样的盲点信息更新过程,在挖掘机100的状态、驾驶员的状态或周围的状况改变的情况下,根据改变更新盲点信息。例如,虽然挖掘机100的盲点根据操作臂105或驾驶室110的操作状态而改变,但是基于关于臂105或驾驶室110的控制信息来更新盲点信息。此外,例如,驾驶员的盲点根据驾驶员的头部位置、面部朝向、注视方向等以及进一步根据障碍物(诸如墙壁或建筑物)、路面的倾斜等而改变,但是基于这些信息(例如,与其相关的图像信息)来更新盲点信息。这样,根据挖掘机100的状态、驾驶员的状态或周围状况的改变来更新盲点信息,使得能够使用适当的盲点信息。因此,能够适当地将物体处于挖掘机100的盲点位置通知给驾驶员和围绕挖掘机100的周围中的两者或其中一者。
<2-3.特定操作停止过程的示例>
接下来,参照图10,描述根据本实施例的特定操作停止过程的示例。图10是示出根据本实施例的特定操作停止过程的实施例的流程图。
如图10所示,在步骤S11中,信息获取单元30获取周围状况信息。在步骤S12中,检测处理单元40基于周围状况信息检测物体。在步骤S13中,状态确定单元50基于物体的位置信息和盲点信息确定物体是否处于危险状态,其中,物体在盲点区域中。当状态确定单元50确定物体处于危险状态时(步骤S13中的“是”),在步骤S14中,通知单元60通知物体处于危险状态。然后,在步骤S41中,控制单元90停止挖掘机100的特定操作。另一方面,当状态确定单元50确定物体未处于危险状态时(步骤S13中的“否”),过程返回至步骤S11。
根据特定操作停止过程,在物体处于盲点区域的危险状态的情况下,通知单元60例如向驾驶员或围绕挖掘机100的周围(例如,盲点区域的人或其他周围人等)通知物体处于危险状态,进而通过控制单元90使挖掘机100的特定操作停止。由此,能够抑制挖掘机100的一部分(例如臂105、铲斗106等)接近物体。注意,在停止特定操作之后,可以限制特定操作。在限制之后,例如,当物体不再处于危险状态时,解除特定操作的限制。
<2-4.周围状况信息发送过程的示例>
将参照图11描述根据本实施例的周围状况信息发送过程的示例。图11是示出根据本实施例的周围状况信息发送过程的示例的流程图。
如图11所示,在步骤S51中,检测处理单元40确定另一施工机械是否在挖掘机100的周围,或通信单元80确定是否已从另一施工机械接收到发送请求。在检测处理单元40确定另一施工机械处于挖掘机100的周围或通信单元80确定接收到来自另一施工机械的发送请求的情况下(步骤S51中的“是”),在步骤S52中,通信单元80向另一施工机械发送挖掘机100自身的周围状况信息。另一方面,在检测处理单元40确定另一施工机械不处于挖掘机100的周围的情况下、或通信单元80确定为没有接收到来自另一施工机械的发送请求的情况下(步骤S51中的“否”),返回到步骤S51。
根据这样的周围状况信息发送过程,在另一施工机械处于挖掘机100的周围的情况下、或从另一施工机械接收到发送请求(请求发送挖掘机100的周围状况信息的发送请求)的情况下,通过通信单元80向另一施工机械发送挖掘机100自身的周围状况信息。由此,在另一施工机械的周围状况信息的基础上,还能够使用从挖掘机100发送的挖掘机100的周围状况信息(例如图像信息)检测周围物体。注意,目标物体检测系统10也适用于另一施工机械。另外,也可以代替另一施工机械而使用设置有物体检测系统10的车辆。
注意,通信单元80向另一施工机械发送挖掘机100自身的周围状况信息,但并不限于此,例如也可以向另一驾驶目标发送物体处于另一施工机械的盲点区域的危险状态的通知。在该配置中,在物体检测系统10中,信息保存单元20保存另一施工机械的盲点信息,信息处理单元40和状态确定单元50基于该盲点信息和周围状况信息(例如图像信息等)进行检测处理和确定处理,通信单元80根据确定结果,将物体处于另一施工机械的盲点区域的情况发送到另一施工机械。具体地说,物体检测系统10通过使用安装在挖掘机100上的传感器(例如,成像单元111的相机111a、相机111b和相机111c中的每一者)检测安装在另一施工机械上的传感器不能检测的区域中的物体,并通知另一施工机械物体处于危险状态。即,通过安装于第二施工机械的传感器,检测安装于第一施工机械的传感器无法检测的区域的物体,向第一施工机械通知物体处于危险状态的系统。
<2-5.周围状况信息接收过程的示例>
接下来,将参照图12描述根据本实施例的周围状况信息接收过程的示例。图12是示出根据本实施例的周围状况信息接收过程的示例的流程图。
如图12所示,在步骤S61中,检测处理单元40确定另一施工机械是否处于挖掘机100的周围。在检测处理单元40确定为另一施工机械处于挖掘机100的周围的情况下(步骤S61中的“是”),在步骤S62中,通信单元80请求另一施工机械发送该另一施工机械的周围状况信息(发送请求)。然后,在步骤S63中,通信单元80接收从另一施工机械发送的另一施工机械的周围状况信息。另一方面,在检测处理单元40确定另一施工机械不处于挖掘机100的周围的情况下(步骤S61中的“否”),返回到步骤S61。
根据这样的周围状况信息接收过程,在另一施工机械处于挖掘机100的周围的情况下,由通信单元80向另一施工机械发送另一施工机械的周围状况信息的发送请求,由通信单元80从另一施工机械接收另一施工机械的周围状况信息。由此,挖掘机100能够使用从另一施工机械发送的另一施工机械的周围状况信息(例如图像信息、距离测量信息等),除了检测挖掘机100的周围状况信息以外,还检测周围的物体。另外,挖掘机100也利用另一施工机械的周围状况信息,更新盲点信息。另外,物体体检测系统10也适用于另一施工机械。另外,也可以代替另一施工机械而使用设置有物体检测系统10的车辆。
<2-6.功能和效果>
如上所述,根据本实施例,能够获得与第一实施例相同的效果。此外,物体检测系统10还包括更新盲点信息的信息更新单元70。该配置使得可以适当地更新盲点信息以使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标(例如挖掘机100)的周围中的两者或其中一者通知物体处于驾驶目标的盲点位置(即危险状态)。
另外,驾驶目标是部分可移动的施工机械或车辆,并且信息更新单元70可以根据驾驶目标被部分地操作的操作状态来更新盲点信息。例如,虽然驾驶目标的盲点根据驾驶目标被部分操作的操作状态而改变,但是根据驾驶目标的部分的操作状态来更新盲点信息。以这种方式,根据驾驶目标的操作状态更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
另外,驾驶目标是臂105能移动的施工机械,并且信息更新单元70可以根据臂105被操作的操作状态来更新盲点信息。例如,驾驶目标的盲点根据臂105被操作的操作状态而改变,但根据臂105的操作状态来更新盲点信息。以这种方式,根据臂105的操作状态更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
此外,驾驶目标是其中包括驾驶员座位的壳体(例如,驾驶室110)旋转(摆动)的施工机械,并且信息更新单元70可以根据壳体旋转的操作状态更新盲点信息。例如,虽然驾驶目标的盲点根据操作驾驶室110的操作状态而改变,但是盲点信息根据驾驶室110的操作状态进行更新。以这种方式,根据壳体的操作状态更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
此外,信息更新单元70可以根据驾驶员的头部位置、面部朝向或注视方向更新盲点信息。因此,根据驾驶员的头部位置、面部朝向或注视方向更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
此外,信息更新单元70可以基于周围状况信息(例如,障碍物或建筑物、路面的倾斜等)更新盲点信息。因此,根据周围状况信息更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
此外,物体检测系统10还可以包括接收单元(例如,通信单元80),其接收从驾驶目标周围的另一驾驶目标发送的关于另一驾驶目标的周围状况的周围状况信息,并且信息更新单元70可以基于除了关于驾驶目标本身的周围状况信息以外的关于另一驾驶目标的周围状况信息来更新盲点信息。因此,基于从另一驾驶目标发送的其他周围状况信息更新盲点信息使得能够使用适当的盲点信息。因此,能够适当地向驾驶员或围绕驾驶目标的周围中的两者或其中一者通知物体处于危险状态。
此外,物体检测系统10可进一步包括控制单元90,控制单元90根据目标处于危险状态的确定结果控制驾驶目标的特定操作。由此,能够根据确定结果控制驾驶目标的特定操作。
此外,控制单元90可以根据确定结果停止或限制驾驶目标的特定操作(例如,驾驶目标或驾驶目标部分地接近物体的操作)。由此,能够抑制驾驶目标的一部分(例如挖掘机100的臂105、铲斗106等)接近物体。
此外,物体检测系统10还可包括发送单元(例如,通信单元80),发送单元将周围状况信息发送至驾驶目标周围的另一驾驶目标。由此,能够将驾驶目标自身的周围状况信息发送到另一驾驶目标。因此,允许已接收到周围状况信息的驾驶目标通过使用从另一驾驶目标发送的周围状况信息来检测物体。
另外,在检测处理单元40检测出驾驶目标的周围存在另一驾驶目标的情况下,发送单元也可以向另一驾驶目标发送周围状况信息。由此,能够在适当的定时向另一驾驶目标发送周围状况信息。
此外,物体检测系统10还可包括接收单元(例如,通信单元80),其接收从驾驶目标周围的另一驾驶目标发送的发送请求,并且发送单元可响应于发送请求将周围状况信息发送至另一驾驶目标。由此,能够在适当的定时向另一驾驶目标发送周围状况信息。
此外,物体检测系统10可进一步包括发送单元(例如,通信单元80),发送单元将物体处于另一驾驶目标的盲点区域中的危险状态的通知发送至处于驾驶目标周围的另一驾驶目标。由此,即使在另一驾驶目标自身无法检测出物体处于盲点区域的危险状态的情况下,另一驾驶目标也能够获知物体处于盲点区域的危险状态。
此外,物体检测系统10还可包括接收单元(例如,通信单元80),其接收从驾驶目标周围的另一驾驶目标发送的关于另一驾驶目标的周围状况的周围状况信息,并且检测处理单元40可基于除了关于驾驶目标本身的周围状况信息以外的关于另一驾驶目标的周围状况信息来检测物体。该配置使得除了使用驾驶目标自身的周围状况信息以外,还能够使用从另一驾驶目标发送的另一周围状况信息来检测物体。因此,可以准确且容易地检测物体。
<3.其他实施例>
除了上述实施例以外,根据上述实施例(或修改)的过程还可以各种不同的形式(修改)来实现。例如,在上述实施例中已经描述的处理中,可以手动执行所描述的自动执行的处理的全部或部分,或者可以通过已知方法自动执行所描述的手动执行的处理的全部或部分。另外,除非另作说明,否则可以适当地改变上述描述中描述的或附图中示出的处理过程、具体名称和包括各种数据和参数的信息。例如,在附图中示出的各种信息不限于示出的信息。
此外,设备的组成元件被示出为功能概念,并且不一定需要如所示的物理配置。换言之,设备的分布或集成的具体形式不限于所示出的那些,并且其全部或一些可根据各种负载、使用条件等通过功能性或物理地分布或集成在任何单元中来配置。
另外,上述实施例(或变形例)能够在与处理内容一致的范围内适当地组合。此外,本文中描述的效果仅是示例并且不限于此,并且还可以提供其他效果。
<4.示例性硬件配置>
将描述根据上述实施例(或变形例)的物体检测系统10等的具体示例性硬件配置。根据实施例(或修改),物体检测系统10等的功能可通过例如具有如图13所示的配置的计算机500来实现。图13是示出根据实施例(或修改)的实现物体检测系统10等的功能的示例性硬件配置的示图。
如图13所示,计算机500包括CPU510、RAM520、只读存储器(ROM)530、硬盘驱动器(HDD)540、通信接口550和输入/输出接口560。计算机500的各个单元通过总线570连接。
CPU510基于存储在ROM530或HDD540中的程序来操作,并控制各个单元。例如,CPU510将存储在ROM530或HDD540中的程序部署到RAM520,并且执行与各种程序相对应的处理。
ROM530存储由CPU510在计算机500启动时执行的诸如基本输入输出系统(BIOS)的引导程序、取决于计算机500的硬件的程序等。
HDD540是可由计算机500读取的记录介质,以非暂时性地记录由CPU510执行的程序、程序所使用的数据等。具体地,HDD540是记录作为程序数据541的示例的根据本公开的信息处理程序的记录介质。
通信接口550是用于将计算机500连接到外部网络580(例如,互联网)的接口。例如,CPU510经由通信接口550从另一设备接收数据或者向另一设备发送由CPU510生成的数据。
输入/输出接口560是用于连接输入/输出设备590和计算机500的接口。例如,CPU510经由输入/输出接口560从诸如键盘或鼠标的输入设备接收数据。此外,CPU510经由输入/输出接口560将数据发送至诸如显示器、扬声器、或打印机的输出设备。
应注意,输入/输出接口560可用作用于读取记录在预定记录介质上的程序等的介质接口。例如,介质包括诸如数字通用盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
这里,例如,在计算机500用作根据实施例(或变形例)的物体检测系统10的信息设备的情况下,计算机500的CPU510执行加载到RAM520中的信息处理程序,从而实现根据实施例(或变形例)的物体检测系统10的各个单元的全部或一些功能。此外,HDD540存储根据本公开的各种程序和各种数据。注意,CPU510执行从HDD540读取的程序数据541,但是在另一示例中,CPU510可经由外部网络580从其他设备获取程序。
<5.补充说明>
应注意,本技术还可具有以下配置。
(1)
一种物体检测系统, 包括:
信息保存单元,保存关于作为驾驶目标的盲点的盲点区域的盲点信息,驾驶目标是施工机械或车辆;
信息获取单元, 获取关于驾驶目标的周围状况的周围状况信息;
检测处理单元,基于周围状况信息检测物体;
状态确定单元,基于检测出的物体的位置信息和盲点信息确定物体处于危险状态, 其中,物体处于盲点区域中; 以及
通知单元,根据物体处于危险状态的确定结果,将物体处于所述危险状态通知给驾驶驾驶目标的驾驶员和围绕驾驶目标的周围中的两者或其中一者。
(2)
根据上述(1)所述的物体检测系统,其中,
除了物体在盲点区域中的状态以外,危险状态还包括物体在自驾驶目标起的预定距离内的状态。
(3)
根据上述(1)或(2)所述的物体检测系统,其中,
除了物体在盲点区域中的状态以外,危险状态还包括驾驶目标和物体接近的状态。
(4)
根据上述(1)至(3)中的任一项所述的物体检测系统,其中,
通知单元根据驾驶目标与物体之间的间隔距离改变表示物体处于危险状态的通知的级别。
(5)
根据上述(1)至(4)中的任一项所述的物体检测系统,其中,
通知单元根据物体是人类或不是人类,改变表示物体处于危险状态的通知的级别。
(6)
根据上述(1)至(5)中的任一项所述的物体检测系统,进一步包括:
信息更新单元,更新盲点信息。
(7)
根据上述(6)所述的物体检测系统,其中,
驾驶目标是部分地能移动的施工机械或车辆,以及
信息更新单元根据驾驶目标的部分操作的操作状态来更新盲点信息。
(8)
根据上述(7)所述的物体检测系统,其中,
驾驶目标是臂能移动的施工机械,以及
信息更新单元根据臂进行操作的操作状态来更新盲点信息。
(9)
根据上述(7)所述的物体检测系统,其中,
驾驶目标是施工机械,在其中包括驾驶员座位的壳体旋转,以及
信息更新单元根据壳体进行旋转的操作状态来更新盲点信息。
(10)
根据上述(6)至(9)中的任一项所述的物体检测系统,其中,
信息更新单元根据驾驶员的头部位置、面部朝向或注视方向更新盲点信息。
(11)
根据上述(6)至(10)中的任一项所述的物体检测系统,其中,
信息更新单元基于周围状况信息更新盲点信息。
(12)
根据上述(11)的物体检测系统,进一步包括:
接收单元,接收从围绕驾驶目标的周围的另一驾驶目标发送的关于另一驾驶目标的周围状况的周围状况信息,
其中,除了关于驾驶目标的周围状况信息以外,信息更新单元还基于关于另一驾驶目标的周围状况信息来更新盲点信息。
(13)
根据上述(1)至(12)中的任一项所述的物体检测系统,进一步包括:
控制单元,根据确定结果控制驾驶目标的特定操作。
(14)
根据上述(13)所述的物体检测系统,其中,
控制单元根据确定结果停止或限制驾驶目标的特定操作。
(15)
根据上述(1)至(14)中的任一项所述的物体检测系统,进一步包括:
发送单元,将周围状况信息发送给围绕驾驶目标的另一驾驶目标。
(16)
根据上述(15)所述的物体检测系统,其中,
发送单元,在检测处理单元检测出围绕驾驶目标存在另一驾驶目标时,将周围状况信息发送给另一驾驶目标。
(17)
根据上述(15)的物体检测系统,进一步包括:
接收单元,接收从另一驾驶目标发送的发送请求,其中,
发送单元响应于发送请求将周围状况信息发送给另一驾驶目标。
(18)
根据上述(1)至(17)中的任一项所述的物体检测系统,进一步包括:
发送单元,将物体处于另一驾驶目标的盲点区域中的危险状态的通知发送给围绕驾驶目标的另一驾驶目标。
(19)
根据上述(1)至(18)中的任一项所述的物体检测系统,进一步包括:
接收单元,接收从围绕驾驶目标的另一驾驶目标发送的关于另一驾驶目标的周围状况的周围状况信息,其中,
除了驾驶目标的周围状况信息以外,检测处理单元还基于关于另一驾驶目标的周围状况信息来检测物体。
(20)
一种物体检测方法,包括:
保存关于作为驾驶目标的盲点的盲点区域的盲点信息,驾驶目标是施工机械或车辆;
获取关于驾驶目标的周围状况的周围状况信息;
基于周围状况信息检测物体;
基于检测出的物体的位置信息和盲点信息确定物体处于危险状态,其中,物体处于盲点区域中;以及
根据目标处于危险状态的确定结果,将物体处于危险状态通知给驾驶驾驶目标的驾驶员和围绕驾驶目标的周围中的两者或其中一者。
(21)
一种物体检测方法包括使用上述(1)至(19)的任一项所述的物体检测系统。
(22)
一种信息处理设备,包括关于根据上述(1)至(19)中的任一项所述的物体检测系统的组成元件。
参考标号列表
10 物体检测系统
20 信息保存单元
30 信息获取单元
40 检测处理单元
50 状态确定单元
60 通知单元
70 信息更新单元
80 通信单元
90 控制单元
100 挖掘机
101 托架
102 摆动机构
103 摆动体
104 吊杆
105 臂
106 铲斗
107 吊杆缸
108 臂缸
109 铲斗缸
110 驾驶室
111 成像单元
111a 相机
111b 相机
111c 相机
112 输入单元
113 输出单元
114 控制器
200 叉车
201 升降机
500 计算机
A1 检测区域
A2 检测区域

Claims (20)

1.一种物体检测系统,包括:
信息保存单元,保存关于作为驾驶目标的盲点的盲点区域的盲点信息,所述驾驶目标是施工机械或车辆;
信息获取单元,获取关于所述驾驶目标的周围状况的周围状况信息;
检测处理单元,基于所述周围状况信息检测物体;
状态确定单元,基于检测出的物体的位置信息和所述盲点信息确定所述物体处于危险状态,其中,所述物体处于盲点区域中;以及
通知单元,根据所述物体处于所述危险状态的确定结果,将所述物体处于所述危险状态通知给驾驶所述驾驶目标的驾驶员和围绕所述驾驶目标的周围中的两者或其中一者。
2.根据权利要求1所述的物体检测系统,其中,
除了所述物体在所述盲点区域中的状态以外,所述危险状态还包括所述物体在自所述驾驶目标起的预定距离内的状态。
3.根据权利要求1所述的物体检测系统,其中,
除了所述物体在所述盲点区域中的状态以外,所述危险状态还包括所述驾驶目标和所述物体接近的状态。
4.根据权利要求1所述的物体检测系统,其中,
所述通知单元根据所述驾驶目标与所述物体之间的间隔距离改变表示所述物体处于所述危险状态的通知的级别。
5.根据权利要求1所述的物体检测系统,其中,
所述通知单元根据所述物体是人类或不是人类,改变表示所述物体处于所述危险状态的通知的级别。
6.根据权利要求1所述的物体检测系统,进一步包括:
信息更新单元,更新所述盲点信息。
7.根据权利要求6所述的物体检测系统,其中,
所述驾驶目标是部分能移动的施工机械或车辆,以及
所述信息更新单元根据所述驾驶目标的部分操作的操作状态来更新所述盲点信息。
8.根据权利要求7所述的物体检测系统,其中,
所述驾驶目标是臂能移动的施工机械,以及
所述信息更新单元根据所述臂进行操作的操作状态来更新所述盲点信息。
9.根据权利要求7所述的物体检测系统,其中,
所述驾驶目标是施工机械,在所述施工机械中包括驾驶员座位的壳体旋转,以及
所述信息更新单元根据所述壳体进行旋转的操作状态来更新所述盲点信息。
10.根据权利要求6所述的物体检测系统,其中,
所述信息更新单元根据所述驾驶员的头部位置、面部朝向或注视方向更新所述盲点信息。
11.根据权利要求6所述的物体检测系统,其中,
所述信息更新单元基于所述周围状况信息更新所述盲点信息。
12.根据权利要求11所述的物体检测系统,进一步包括:
接收单元,接收从围绕所述驾驶目标的另一驾驶目标发送的关于所述另一驾驶目标的周围状况的周围状况信息,
其中,除了关于所述驾驶目标的所述周围状况信息以外,所述信息更新单元还基于关于所述另一驾驶目标的所述周围状况信息来更新所述盲点信息。
13.根据权利要求1所述的物体检测系统,进一步包括:
控制单元,根据所述确定结果控制所述驾驶目标的特定操作。
14.根据权利要求13所述的物体检测系统,其中,
所述控制单元根据所述确定结果停止或限制所述驾驶目标的特定操作。
15.根据权利要求1所述的物体检测系统,进一步包括:
发送单元,将所述周围状况信息发送给围绕所述驾驶目标的另一驾驶目标。
16.根据权利要求15所述的物体检测系统,其中,
所述发送单元,在所述检测处理单元检测出围绕所述驾驶目标存在所述另一驾驶目标时,将所述周围状况信息发送给所述另一驾驶目标。
17.根据权利要求15所述的物体检测系统,进一步包括:
接收单元,接收从所述另一驾驶目标发送的发送请求,其中,
所述发送单元响应于所述发送请求将所述周围状况信息发送给所述另一驾驶目标。
18.根据权利要求1所述的物体检测系统,进一步包括:
发送单元,将所述物体处于另一驾驶目标的盲点区域中的危险状态的通知发送给围绕所述驾驶目标的所述另一驾驶目标。
19.根据权利要求1所述的物体检测系统,进一步包括:
接收单元,接收从围绕所述驾驶对象目标的另一驾驶目标发送的关于所述另一驾驶目标的周围状况的周围状况信息,其中,
除了关于所述驾驶目标的周围状况信息以外,所述检测处理单元还基于关于所述另一驾驶目标的周围状况信息来检测所述物体。
20.一种物体检测方法,包括:
保存关于作为驾驶目标的盲点的盲点区域的盲点信息,所述驾驶目标是施工机械或车辆;
获取关于所述驾驶目标的周围状况的周围状况信息;
基于所述周围状况信息检测物体;
基于检测出的物体的位置信息和所述盲点信息确定所述物体处于危险状态,其中,所述物体处于盲点区域中;以及
根据所述物体处于所述危险状态的确定结果,将所述物体处于所述危险状态通知给驾驶所述驾驶目标的驾驶员和围绕所述驾驶目标的周围中的两者或其中一者。
CN202180064647.9A 2020-09-29 2021-09-14 物体检测系统及物体检测方法 Pending CN116195245A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063085087P 2020-09-29 2020-09-29
US63/085,087 2020-09-29
PCT/JP2021/033645 WO2022070872A1 (ja) 2020-09-29 2021-09-14 物体検出システム及び物体検出方法

Publications (1)

Publication Number Publication Date
CN116195245A true CN116195245A (zh) 2023-05-30

Family

ID=80951397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064647.9A Pending CN116195245A (zh) 2020-09-29 2021-09-14 物体检测系统及物体检测方法

Country Status (5)

Country Link
US (1) US20230365151A1 (zh)
JP (1) JPWO2022070872A1 (zh)
CN (1) CN116195245A (zh)
TW (1) TW202218410A (zh)
WO (1) WO2022070872A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックIpマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム

Also Published As

Publication number Publication date
JPWO2022070872A1 (zh) 2022-04-07
WO2022070872A1 (ja) 2022-04-07
US20230365151A1 (en) 2023-11-16
TW202218410A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
US11606516B2 (en) Image processing device, image processing method, and image processing system
JP6267972B2 (ja) 作業機械の周囲監視装置
RU2625438C2 (ru) Система изображения сверху для экскаватора
CN110088035B (zh) 起重机
EP3885495B1 (en) Excavator and excavator control device
JP6401141B2 (ja) 車両周囲障害物検出装置
CN116195245A (zh) 物体检测系统及物体检测方法
US20220364332A1 (en) Safety monitoring system
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP2016022906A (ja) 電子制御装置及び車載通信ネットワークシステム
KR20140095612A (ko) 작업용 차량의 주행 안전 장치 및 그 방법
JP6943004B2 (ja) 産業車両
US20230114366A1 (en) Work machine periphery monitoring system, work machine, and work machine periphery monitoring method
JP6886929B2 (ja) 運搬車両
JP2020142903A (ja) 画像処理装置、および制御プログラム
EP4207102A1 (en) Electronic device, method, and computer readable storage medium for obtaining location information of at least one subject by using plurality of cameras
JP7437835B1 (ja) 作業機械の安全装置
JP7145137B2 (ja) 作業機械の制御装置
KR20230081807A (ko) 센서 융합을 통한 물체 감지/분류 및 물체 거리 측정 성능 향상을 위한 시스템 및 방법
CN115701617A (zh) 信息处理装置、信息处理方法以及存储有程序的非临时性的存储介质
JP2023058204A (ja) 作業現場監視システム
JP2023093109A (ja) 建設機械、及び情報処理装置
JP2023106947A (ja) 撮像装置、移動体、撮像方法、及びコンピュータプログラム
WO2023091984A1 (en) Collision avoidance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination