CN113307192B - 处理装置、处理方法、通报系统及存储介质 - Google Patents

处理装置、处理方法、通报系统及存储介质 Download PDF

Info

Publication number
CN113307192B
CN113307192B CN202110197250.9A CN202110197250A CN113307192B CN 113307192 B CN113307192 B CN 113307192B CN 202110197250 A CN202110197250 A CN 202110197250A CN 113307192 B CN113307192 B CN 113307192B
Authority
CN
China
Prior art keywords
person
driver
vehicle
mode
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110197250.9A
Other languages
English (en)
Other versions
CN113307192A (zh
Inventor
亀尾成寿
杉本喜一
中尾健太
饭尾聡
椎崎弘司
南昭伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Logisnext Co Ltd
Original Assignee
Mitsubishi Logisnext Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Logisnext Co Ltd filed Critical Mitsubishi Logisnext Co Ltd
Publication of CN113307192A publication Critical patent/CN113307192A/zh
Application granted granted Critical
Publication of CN113307192B publication Critical patent/CN113307192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Geology (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本申请提供一种处理装置，可以以与车辆的驾驶员的状态相对应的模式通报车辆周围的人或对象物的存在。该处理装置包括：计算部，检测可能成为车辆的障碍物的对象物的位置；第一检测部，检测车辆的驾驶员的视线方向；决定部，基于所述位置和驾驶员的视线方向，决定警报的模式；以及控制部，控制与所述位置对应的扬声器输出上述模式的声音。

Description

处理装置、处理方法、通报系统及存储介质
技术领域
本公开涉及处理装置、处理方法、通报系统及存储介质。
背景技术
叉车等工业车辆具有不同于一般乘用车的特征，如车身所具备的车轮转向角和车辆结构等。因此，特别是对于工业车辆的驾驶经验较少的驾驶员来说，可能在操作工业车辆时存在实际车辆移动的区域与预期不同，或可能在操作工业车辆时存在死角区域。
在专利文献1中，作为相关技术，记载了在叉车后退时提醒驾驶员注意的技术。
现有技术文献
专利文献
专利文献1：日本特开2016-222428号公报
发明内容
发明所要解决的问题
当在车辆周围检测到人或货物等可能成为障碍物的对象物时，无论驾驶员是否识别到对象物，车辆均通报驾驶员检测到对象物。因此，当被通报时，驾驶员实际上已经识别到对象物而危险度比较低的情况也可能存在。如果反复进行这样的通报，驾驶员可能会习惯于该通报。
因此，需要一种技术，可以根据车辆驾驶员的状态来对车辆周围的对象物的存在进行通报。
本公开的至少一个实施方式是基于上述情况而完成的，其目的在于提供一种处理装置、处理方法、通报系统及存储介质，能够以与车辆驾驶员的状态相对应的模式，对车辆周围的对象物的存在进行通报。
用于解决问题的手段
为了解决上述课题，本公开提供的处理装置包括：计算部，检测可能成为车辆的障碍物的对象物的位置；第一检测部，检测所述车辆的驾驶员的视线方向；决定部，基于所述对象物的位置和所述驾驶员的视线方向，决定警报的模式；以及控制部，控制与所述对象物的位置对应的扬声器输出所述警报的模式的声音。
本公开提供的处理方法包括：检测可能成为车辆的障碍物的对象物的位置；检测所述车辆的驾驶员的视线方向；基于所述对象物的位置和所述驾驶员的视线方向，决定警报的模式；以及，控制与所述对象物的位置对应的扬声器输出所述警报的模式的声音。
本公开提供的存储介质，存储有程序，该程序使计算机执行以下步骤：检测可能成为车辆的障碍物的对象物的位置；检测所述车辆的驾驶员的视线方向；基于所述对象物的位置和所述驾驶员的视线方向，决定警报的模式；以及，控制与所述对象物的位置对应的扬声器输出所述警报的模式的声音。
发明效果
通过本公开的实施方式的处理装置、处理方法及存储介质，能够以与车辆驾驶员的状态相对应的模式，对车辆周围的对象物的存在进行通报。
附图说明
图1示出了本公开的至少一个实施方式的工业车辆的构成的一个示例。
图2是从正上方俯视本公开的至少一个实施方式的工业车辆时的示意图。
图3示出了本公开的至少一个实施方式的处理装置的构成的一个示例。
图4示出了本公开的至少一个实施方式的工业车辆的状态及间隔的一个示例。
图5示出了本公开的至少一个实施方式的上位装置的构成的一个示例。
图6示出了本公开的至少一个实施方式的处理装置的处理流程的一个示例。
图7示出了本公开的至少一个实施方式的处理装置的结构的一个示例。
图8示出了本公开的至少一个实施方式的工业车辆的处理流程的一个示例。
图9示出了本公开的至少一个实施方式的处理装置的构成的一个示例。
图10示出了本公开的至少一个实施方式的处理装置的构成的一个示例。
图11是本公开的至少一个实施方式的计算机的构成的示意框图。
图12是本公开的至少一个实施方式的通报系统的示意图。
符号说明：
1、工业车辆；2、上位装置；5、计算机；6、CPU；7、主内存；8、存储装置；9、接口；10、操作装置；20、拍摄装置；20a、第一相机；20b、第二相机；20c、第三相机；20d、第四相机；21、接收部；22、数据库；23、通知部；30、输出装置；30a、第一扬声器；30b、第二扬声器；30c、第三扬声器；30d、第四扬声器；40、处理装置；401、识别部；402、计算部；403、获取部；404、确定部；405、第一检测部；406、第一判定部；407、推定部；408、决定部；409、标签付与部；410、记录部；411、控制部；412、存储部；413、第二检测部；414、第二判定部；415、第三检测部；416、第三判定部；
具体实施方式
<第一实施方式>
下面对本公开第一实施方式的通报系统100进行说明。
(通报系统的构成)
通报系统100包括工业车辆1(车辆的一个示例)和上位装置2。
(工业车辆的构成)
工业车辆1根据驾驶员是否注意到对象物，从对象物存在的方向发出不同模式的声音。
工业车辆1为例如图1所示叉车。但也可以是诸如轮式装载机等的建筑机械、具有诸如货物装卸装置和后轮转向等类似机构的车辆、或是面临类似问题的车辆。
如图1所示，工业车辆1包括：操作装置10、车内相机15、第一相机20a、第二相机20b、第三相机20c、第四相机20d、第一扬声器30a、第二扬声器30b、第三扬声器30c、第四扬声器30d和处理装置40。处理装置40从传感器(图中未示出)和操作装置10的状态获取关于工业车辆1的当前速度、加速度和转向角的信息。
第一相机20a、第二相机20b、第三相机20c和第四相机20d统称为拍摄装置20。另外，第一扬声器30a、第二扬声器30b、第三扬声器30c和第四扬声器30d统称为输出装置30。
操作装置10是用于接收驾驶员使工业车辆1执行移动或货物装卸工作的操作的装置。例如，操作装置10是用于决定工业车辆1的前进/后退的档杆、用于决定工业车辆1的车轮的转向角的方向盘、以及用于调节工业车辆1的车速和加速度的加速踏板和制动踏板等。
车内相机15拍摄工业车辆的驾驶室的内部。车内相机15拍摄的图像中至少拍摄有驾驶员的面部。
图2是从正上方俯视工业车辆1时的示意图。拍摄装置20设置有多个相机，用于分别拍摄工业车辆1的外周方向，以拍摄工业车辆1的整个周围。
例如，如图1所示，第一相机20a、第二相机20b、第三相机20c和第四相机20d分别设置在工业车辆1的上部前方、上部右侧、上部后方和上部左侧。然后，例如，第一相机20a拍摄图2所示的第一拍摄区域A1。类似地，第二相机20b、第三相机20c和第四相机20d分别拍摄图2所示的第二拍摄区域A2、第三拍摄区域A3和第四拍摄区域A4。
尽管在本公开的第一实施方式中，相机分别设置在工业车辆1的上部前方、上部右侧、上部后方和上部左侧，但是相机也可以设置在其他朝向上。另外，上述相机通过采用具有广视角的镜头(诸如鱼眼镜头)，可以进一步减少相机的台数。另外，当存在死角时，也可以设置5台以上的相机。由这些相机识别的对象物中也包括人。这里的死角是指应当识别工业车辆1附近的对象物的区域之中任何相机都拍摄不到的区域。
输出装置30在处理装置40的控制下输出声音。
例如，如图1所示，第一扬声器30a、第二扬声器30b、第三扬声器30c和第四扬声器30d分别设置在驾驶员座椅的右前方、右后方、左后方和左前方。然后，当处理装置40在由拍摄装置20拍摄的图像中检测到对象物时，设置在与该对象物的位置相对应的方向上的扬声器输出声音。
此外，当检测到多个对象物时，输出装置30从与检测到的对象物分别对应的扬声器输出声音。
处理装置40基于工业车辆1的状态和所拍摄的图像中对象物的位置来推定工业车辆1的驾驶危险度。工业车辆1的状态是包括工业车辆1的转向角、工业车辆1的行进方向、工业车辆的车速和工业车辆的加速度的状态。另外，处理装置40是基于工业车辆1的状态来控制输出装置30的装置。此外，当检测到多个对象物时，处理装置40针对各个对象物来推定危险度。
如图3所示，处理装置40具备识别部401、计算部402、获取部403、确定部404、第一检测部405、第一判定部406、推定部407、决定部408、标签付与部409、记录部410、控制部411和存储部412。
识别部401在拍摄装置20拍摄的图像中识别对象物。
例如，识别部401预先存储包括人的对象物的特征。然后，识别部401以第一相机20a、第二相机20b、第三相机20c和第四相机20d的顺序反复地获取所拍摄的图像。每当获取图像时，当通过采用模式识别技术判定所获取的图像中包括预先存储的包括人在内的对象物时，则识别部401判定已经识别到对象物。
当识别部401在所获取的图像中识别到对象物时，计算部402根据图像计算对象物相对于工业车辆1的位置。也就是说，计算部402以工业车辆1为基准计算对象物的相对位置。
例如，计算部402通过以下步骤从图像中计算对象物相对于工业车辆1的位置。对象物相对于工业车辆1的位置由对象物相对于工业车辆1的方向和距离来表示。
例如，计算部402通过以下步骤计算对象物相对于工业车辆1的方向。首先，计算部402根据拍摄到对象物的部分在图像中的哪个位置来确定对象物相对于拍摄装置20的方向(以下称为识别方向信息)。接着，计算部402确定识别出对象物的图像是从第一相机20a、第二相机20b、第三相机20c和第四相机20d中的哪一个获取的(以下称为识别相机信息)。计算部402基于识别相机信息来确定相机相对于工业车辆1的位置和朝向。然后，计算部402基于所确定的相机的位置和朝向以及识别方向信息来计算对象物相对于工业车辆1的方向。
另外，计算部402通过例如以下步骤，计算所识别的对象物与工业车辆1之间的距离。例如，计算部402预先存储与对象物的尺寸相对应的图像尺寸(像素数)，并且根据所存储的图像尺寸与在图像中所识别的对象物的尺寸(像素数)的比来计算从工业车辆1到对象物的距离。
因此，计算部402可以通过确定对象物相对于工业车辆1的方向和距离信息来计算对象物相对于工业车辆1的位置。
包含在距离信息中的从工业车辆1到对象物的距离是指从识别出对象物的相机的距离。因此，计算部402可以通过考虑识别出对象物的相机在工业车辆1上设置的位置和朝向来确定从工业车辆1观察到的对象物的位置。
例如，当拍摄装置20为立体相机时，则计算部402可以通过对立体相机所拍摄的各拍摄时刻的一对拍摄图像采用三角测量技术来计算从工业车辆1到对象物的距离。此外，计算部402也可以基于从设置在工业车辆1上的距离传感器输出的检测信号来计算工业车辆1与对象物之间的距离。
获取部403从设置在工业车辆1上的传感器(图中未示出)和操作装置10的状态获取工业车辆1的车辆状态。
例如，获取部403从设置在工业车辆1上的传感器(图中未示出)获取当前的工业车辆1的车速。另外，获取部403获取因操作装置10的改变而输出的信号，或者周期性地获取表示操作装置10的状态的信号。其中，由获取部403从设置在工业车辆1上的传感器(图中未示出)和操作装置10获取的工业车辆1的车辆状态除了车速之外，还包括当驾驶员旋转方向盘时工业车辆1的转向角、当驾驶员将档杆切换到前进或后退时工业车辆1的行进方向、当驾驶员踩下加速踏板时工业车辆1的正加速度、以及当驾驶员踩下制动踏板时工业车辆1的减速度(负加速度)等状态。
确定部404基于由计算部402计算的对象物相对于工业车辆1的位置和由获取部403获取的工业车辆1的车辆状态来确定会导致工业车辆1和对象物接触的车辆状态(第一状态)。具体地，确定部404基于对象物相对于工业车辆1的位置和工业车辆1的当前车速来确定会导致工业车辆1和对象物接触的转向角和加速度的组合。加速度包括加速踏板导致的正加速度和制动踏板导致的负加速度两者。此外，可能存在多个导致接触的转向角和加速度的组合。这是因为车辆的速度由于加速度而改变，其与转向角的组合导致与检测物碰撞的行驶轨迹存在多个。也就是说，由于工业车辆1的转弯半径随着转向角变大而变小，并且随着速度变快(加速度变高)而变大，因此行驶轨迹根据转向角和速度(加速度)的组合而变化。
第一检测部405检测驾驶员的视线方向。例如，第一检测部405通过车内相机15获取驾驶员的面部图像，并通过进行图像解析来确定面部的朝向，或是面部及眼睛的朝向。然后，第一检测部405检测面部的朝向或面部及眼睛的朝向作为驾驶员的视线方向。
第一判定部406基于由计算部402计算的对象物的位置和由第一检测部405检测到的驾驶员的视线方向来判定驾驶员是否识别到对象物，并生成与判定结果相应的权重。
具体地，当对象物存在于以驾驶员的视线方向为中心的驾驶员的识别范围内时，第一判定部406判定驾驶员识别到对象物。
更具体地，当由作为基准的驾驶员的视线方向和对象物存在的方向形成的角度为0度时，第一判定部406生成使与标签信息相关联的危险度为最低的权重。例如，当由驾驶员的视线方向和对象物存在的方向形成的角度为0度时，第一判定部406将权重决定为小于1的候选权重中的最小值。
另外，随着由驾驶员的视线方向和对象物存在的方向形成的角度变大，第一判定部406生成使与标签信息相关联的危险度变高的权重。例如，随着由驾驶员的视线方向和对象物存在的方向形成的角度变大，第一判定部406将权重值决定为更大的值。
另外，当驾驶员的视线方向在驾驶员可以识别对象物的范围之外时，第一判定部406判定驾驶员没有识别到对象物，并且生成使与标签信息相关联的危险度最高的权重值。例如，当驾驶员的视线方向在驾驶员的识别范围之外时，第一判定部406将权重决定为大于1的候选权重中的最大值。
推定部407基于由获取部403获取的工业车辆1的车辆状态和由确定部404确定的会导致工业车辆1和对象物接触的车辆状态来推定工业车辆1的危险度。
推定部407通过以下步骤来推定危险度。
对于由确定部404确定的转向角和加速度的每个组合，推定部407计算其与由确定部404确定的当前的转向角和加速度(第二加速度的一个示例)的组合之间的差(间隔)。间隔的值越小，则意味着轻微的车辆状态变化就会导致与对象物接触。在保持当前车辆状态的情况下就会与对象物接触时，间隔为0。
推定部407基于由工业车辆1的车速和所确定的加速度以及转向角求得的轨迹，对于所确定的转向角和加速度的每个组合，计算与对象物接触所需的时间。
然后，推定部407对于转向角和加速度的每个组合，通过将间隔和与对象物接触所需的时间代入表示危险度的预定函数中来计算危险度。
推定部407推定危险度的具体推定方法将在后面介绍。
推定部407基于由获取部403获取的工业车辆1的车辆状态和由确定部404确定的会导致工业车辆1和对象物接触的车辆状态来推定工业车辆1的危险度。
推定部407通过以下步骤来推定危险度。
对于由确定部404确定的转向角和加速度的每个组合，推定部407计算其与由确定部404确定的当前的转向角和加速度(第二加速度的一个示例)的组合之间的差(间隔)。间隔的值越小，则意味着轻微的车辆状态变化就会导致与对象物接触。在保持当前车辆状态的情况下就会与对象物接触时，间隔为0。
推定部407基于由工业车辆1的车速和所确定的加速度以及转向角求得的轨迹，对于所确定的转向角和加速度的每个组合，计算与对象物接触所需的时间。
然后，推定部407对于转向角和加速度的每个组合，通过将间隔、与对象物接触所需的时间和作为第一判定部406的判定结果的权重代入表示危险度的预定函数中来计算危险度。
推定部407推定危险度的具体推定方法将在后面介绍。
每当推定部407计算危险度时，标签付与部409将该危险度与预定的标签信息相关联，并写入存储部412中。标签信息包括以下信息：工业车辆1的驾驶员的ID、危险度被计算时的时刻、由获取部403获取的工业车辆1的车辆状态、用于推定该危险度的图像、以及由识别部401所确定的对象物相对于工业车辆1的位置关系。在下文中，也将危险度与标签信息相关联的信息称为危险度信息。
记录部410通过将写入存储部412中的危险度信息发送到上位装置2来将危险度信息记录在上位装置2的数据库22中。
此外，记录部410可以不将所有危险度信息写入上位装置2，而是将危险度信息中处于第一阈值以上且处于第二阈值以下的危险度信息发送到上位装置2。当处于第一阈值以下时，则表示工业车辆1可以安全驾驶。另外，当处于第二阈值以上时，则表示工业车辆1与对象物接触的可能性较高且有危险。处于第一阈值以上且处于第二阈值以下的危险度表示尽管不会直接导致事故但存在危险的状态(即“潜在危险”状态)。另外，通过为每个驾驶员设定第一阈值和第二阈值，上位装置2可以向每个驾驶员通知潜在危险。此外，记录部410也可以将第一阈值以上的危险度写入上位装置2。
决定部408基于由推定部407计算的危险度来决定使输出装置30所输出的警报的音量。警报音量是警报模式的一个示例。另外，其他实施方式中决定部408也可以决定警报的音色和频率等其他的模式，而非音量。
当判定危险度超过预定阈值时，决定部408决定警报的音量为相对较大的音量(第一音量的一个示例)。
另外，当判定危险度没有超过预定阈值时，判定部408决定警报的音量为小于第一音量的音量(第二音量的一个示例)。
具体地，如果由计算部402计算的对象物的方向在右前方，当危险度超过预定阈值时，决定部408决定由第一扬声器30a输出的警报的音量为较大的声音(第一音量)。
另外，如果由计算部402计算的对象物的方向在右前方，当危险度没有超过预定阈值时，决定部408决定由第一扬声器30a输出的警报的音量为较小的声音(第二音量)。
另外，如果由计算部402计算的对象物的方向在右后方，当危险度超过预定阈值时，决定部408决定由第二扬声器30b输出的警报的音量为较大的声音(第一音量)。
另外，如果由计算部402计算的对象物的方向在右后方，当危险度没有超过预定阈值时，决定部408决定由第二扬声器30b输出的警报的音量为较小的声音(第二音量)。
另外，如果由计算部402计算的对象物的方向在左后方，当危险度超过预定阈值时，决定部408决定由第三扬声器30c输出的警报的音量为较大的声音(第一音量)。
另外，如果由计算部402计算的对象物的方向在左后方，当危险度没有超过预定阈值时，决定部408决定由第三扬声器30c输出的警报的音量为较小的声音(第二音量)。
另外，如果由计算部402计算的对象物的方向在左前方，当危险度超过预定阈值时，决定部408决定由第四扬声器30d输出的警报的音量为较大的声音(第一音量)。
另外，如果由计算部402计算的对象物的方向在左前方，当危险度没有超过预定阈值时，决定部408决定由第四扬声器30d输出的警报的音量为较小的声音(第二音量)。
此外，此处所示的具体例中，说明了决定部408根据从推定部407接收的危险度是否超过预定的一个阈值，输出大的声音或者比该声音小的声音。但是，在本公开的另一实施方式中，可以预先设定多个阈值，决定部408将从推定部407接收到的危险度与该多个阈值进行比较，并控制输出装置30，使得声音与从推定部407接收到的危险度的高低相对应，即随着从推定部407接收到的危险度变高，声音变大。
另外，在本公开的另一实施方式中，当从推定部407接收到的危险度比阈值低时，决定部408可以决定警报的模式为不输出声音。
另外，在本公开的另一实施方式中，危险度权重本身可以根据更多的条件来划分。
另外，在本公开的另一实施方式中，决定部408也可以不依赖于危险度，而是基于作为第1判定部406的判定结果的权重来决定警报的模式。
控制部411控制与对象物的位置相对应的扬声器以输出由决定部408决定的音量的警报。
例如，当从所获取的图像求出的对象物相对于工业车辆1的位置在工业车辆1的右前方时，并且当与该图像相关联的危险度超过预定的第三阈值时，控制部411控制输出装置30从第一扬声器30a输出声音。此外，第三阈值是用于判定是否输出声音的危险度阈值。第三阈值可以是与第一阈值或第二阈值相同的值。当第三阈值不同于第一阈值或第二阈值时，则可以执行与第一阈值或第二阈值不同的控制。
类似地，当对象物相对于工业车辆1的位置在工业车辆1的右后方、左后方、左前方时，并且当与该图像相关联的危险度超过第三阈值时，控制部411控制输出装置30分别从第二扬声器30b、第三扬声器30c和第四扬声器30d输出声音。
存储部412存储处理装置40进行的处理所需的各种信息。
(危险度的推定方法)
下面将对推定部407推定危险度的方法的示例进行说明。
首先，如图4所示，确定部404将对象物相对于工业车辆1的位置和工业车辆1的当前车速作为初始条件，针对工业车辆1可以采取的转向角范围内的多个转向角(例如，以1度为单位)，计算会导致工业车辆1与对象物接触的加速度。例如，确定部404在初始速度、加速度和转向角为常数，时间为解释变量，且工业车辆1的位置为目标变量的函数(即，描述工业车辆1的轨迹的曲线函数)中求出会导致工业车辆1的轨迹经过对象物的位置的加速度。根据转向角的不同，可能不存在会导致工业车辆1与对象物接触的加速度。确定部404从多个转向角中提取会导致工业车辆1与对象物接触的加速度存在的转向角。下面也将所提取的转向角和加速度的组合称为接触状况。如图4所示，确定部404将状况编号分配给各接触状况。在图4中，无论是否发生与工业车辆1的接触，0号状况都被分配给工业车辆1的当前状态。
对于提取的各个接触状况，推定部407计算工业车辆1的当前的状态(0号状况的状态)与接触状况的状态之间的间隔。例如，推定部407通过将当前的转向角与接触状况的转向角之间的差乘以预定权重而获得的值与通过将当前的加速度与接触状况的加速度之间的差乘以预定权重而获得的值之和(加权曼哈顿距离)计算为间隔。另外，推定部407可以基于其他基准(诸如欧几里得距离等)来计算间隔。
具体地，在图4所示的示例中，2号状况的间隔为8。与此相对，与2号状况相比，3号状况在转向角和加速度两方面与当前状态的差异更大。因此，3号状况的间隔大于2号状况的间隔，其为10。
对于提取的各个接触状况，推定部407基于工业车辆1的当前车速和该接触状况的加速度来计算工业车辆1与对象物接触所需的时间。例如，推定部407基于上述曲线函数求出工业车辆1的位置与对象物的位置一致时的时间。
然后，针对各接触状况，推定部407通过将间隔、与对象物接触所需的时间以及与驾驶员对对象物的识别相关的权重代入表示危险度的预定函数来推定危险度。如图5所示，推定部407使用预定函数来推定危险度，该预定函数随着间隔变小而危险度变高，且随着与对象物接触所需的时间变短而危险度变高。例如，推定部407可以通过求出将间隔乘以预定权重而获得的值、将接触所需的时间乘以预定权重而获得的值、以及与驾驶员对对象物的识别相关的权重之和的倒数来推定危险度。
(上位装置的构成)
如图5所示，上位装置2包括接收部21、数据库22和通知部23。
接收部21从工业车辆1接收危险度信息。接收部21将接收到的危险度信息记录在数据库22中。
数据库22存储由上位装置2进行的处理所需的各种信息。
对于每个驾驶员，通知部23通知与存储部412存储的标签信息以及图像相关联的危险度。这样，驾驶员可以掌握在驾驶工业车辆1时产生潜在危险的状态时的操作。驾驶员通过练习在产生这样的潜在危险的状态时的操作，提高工业车辆1的驾驶技能。其结果是，可以减少危险驾驶，减少事故。
(由处理装置进行的处理)
下面，将说明由推定危险度的处理装置40进行的处理。
下面，将对如图6所示的处理装置40的处理流程进行说明。
此外，假设拍摄装置20拍摄工业车辆1的整个周围。处理装置40在每个预定的控制周期执行如图6所示的处理。
步骤S1，识别部401获取拍摄装置20所拍摄的图像。步骤S2，识别部401通过使用模式识别技术，来判定在步骤S1中获取的图像中是否包含对象物。
当识别部401判定所获取的图像中不包含对象物(步骤S2中的“否”)时，结束处理。
步骤S3，当识别部401判定所获取的图像中包含对象物时(步骤S2中的“是”)时，计算部402基于该图像计算对象物相对于工业车辆1的位置。
步骤S4，获取部403从设置在工业车辆上的传感器等(图中未示出)获取当前的工业车辆1的车辆状态。
步骤S5，第一检测部405获取驾驶员的面部图像，并通过进行图像解析来检测驾驶员的视线方向。步骤S6，第一判定部406基于在步骤S3中检测到的对象物的位置和在步骤S5中检测到的驾驶员的视线方向，来判定驾驶员是否识别到对象物，并生成与判定结果相对应的权重。
步骤S7，确定部404基于在步骤S3中由识别部401确定的对象物相对于工业车辆1的位置和在步骤S4中获得的工业车辆1的当前车速，确定会导致工业车辆1与对象物接触的转向角和加速度的组合(接触状况)。
步骤S8，对于每个所确定的接触状况，推定部407计算在步骤S4中获取的当前的车辆状态与接触状况的车辆状态之间的间隔。
步骤S9，推定部407基于在步骤S4中获取的工业车辆1的车速以及所确定的接触状况的加速度和转向角求得的轨迹，对于每个所确定的接触状况，计算与对象物接触所需的时间。
步骤S10，推定部407基于在步骤S8中计算出的间隔、在步骤S9中计算出的与对象物接触所需的时间，以及在步骤S6中计算出的权重来推定各接触状况的危险度。
步骤S11，决定部408判定在步骤S10中推定的危险度是否超过预定阈值。步骤S12，当危险度超过阈值时(步骤S11中的“是”)，决定部408将警报的模式决定为音量较大的第一音量的模式。步骤S13，另一方面，当危险度没有超过阈值时(步骤S11中的“否”)，决定部408将警报的模式决定为音量较小的第二音量的模式。
步骤S14，控制部411判定由推定部407推定的危险度是否超过预定的第三阈值。步骤S15，当危险度超过第三阈值时(步骤S14中的“是”)，控制部411控制输出装置30，使得从与对象物对应的扬声器输出由决定部408决定的模式的声音。另一方面，当危险度没有超过第三阈值时(步骤S14中的“否”)，控制部411不从扬声器输出声音。
步骤S16，每次推定部407计算危险度时，标签付与部409通过将预定标签信息与危险度相关联来生成危险度信息，并写入存储部412。步骤S17，然后，记录部410立即或在规定的时刻将与存储部412相关联的危险度信息发送到上位装置2。
上位装置2的接收部21接收危险度信息，并将该危险度信息记录在数据库22中。通知部23基于存储在数据库22中的危险度信息生成每个驾驶员的潜在危险报告。然后，通知部23将所生成的潜在危险报告向每个驾驶员通知。这样，驾驶员可以掌握在驾驶工业车辆1时产生潜在危险的状态时的操作。
(作用、效果)
以上对本公开第一实施方式的通报系统100进行了说明。
在通报系统100的处理装置40中，控制部411基于工业车辆1的驾驶员是否识别到可能是障碍物的对象物，使扬声器(第一扬声器30a、第二扬声器30b、第三扬声器30c或第四扬声器30d)输出不同模式的声音，以指示对象物的存在。
这样，处理装置40可以以与工业车辆1的驾驶员的状态相对应的模式，通报工业车辆1周围的对象物的存在。
<第二实施方式>
下面，对本公开的第二实施方式的通报系统100进行说明。
此外，本公开的第二实施方式中的对象物是人。
在第二实施方式的通报系统100中，处理装置40的构成与第一实施方式中不同。
(处理装置的构成)
如图7所示，本公开第二实施方式的处理装置40在第一实施方式的构成的基础上，还包括第二检测部413和第二判定部414。
第二检测部413检测人的视线方向。例如，第二检测部413获取人的面部图像，通过进行图像解析，确定面部的朝向或者面部及眼睛的朝向。然后，第二检测部413检测面部的朝向或者面部及眼睛的朝向作为人的视线方向。
第二判定部414对于基于驾驶员是否识别到人而加权的危险度，进一步判定人是否识别到工业车辆1，生成权重。即，第二判定部414进行与第二检测部413检测出的人的视线方向相应的加权。
具体地，当人的视线方向在人能够识别到工业车辆1的范围内时，第二判定部414判定人识别到工业车辆1，并且以人的视线方向(0度)为基准，根据工业车辆1存在于多少度的方向来生成权重。
更具体地，当工业车辆1存在的方向与基准之间的角度为0度时，第二判定部414生成使危险度最低的权重。另外，随着工业车辆1存在的方向与基准之间角度变大时，第二判定部414生成使危险度变高的权重。
另外，例如，当人的视线方向在人能够识别到工业车辆1的范围之外时，第二判定部414判定人没有识别到工业车辆1，并生成使危险度最高的权重。
(工业车辆进行的处理)
接下来，将对由工业车辆1进行的处理进行说明，该处理用于通报驾驶员工业车辆1的驾驶正处于危险状态。
下面，将对如图8所示的工业车辆1的处理流程进行说明。
另外，这里所示的示例中，将对使用第四阈值、第五阈值和第六阈值这三个阈值时的处理流程进行说明，这些阈值作为是否从设置在对象物存在的方向上的扬声器向驾驶员输出声音的判定基准。此外，假设第四阈值大于第五阈值，并且第五阈值大于第六阈值。设置三个阈值的原因是，根据驾驶员是否识别到人来划分两种情况，并且根据人是否识别到工业车辆1来划分两种情况，也就是说，通过将危险度划分为四种情况来执行加权。这里的四种情况的划分是：驾驶员识别到人，并且人也识别到工业车辆1的情况；驾驶员识别到人，但是人没有识别到工业车辆1的情况；驾驶员没有识别到人，但是人识别到工业车辆1的情况；驾驶员没有识别人，并且人也没有识别到工业车辆1的情况。
工业车辆1的处理装置40从步骤S1到步骤S6进行与第一实施方式相同的处理。步骤S31，接下来，处理装置40的第二检测部413获取人的面部图像，通过进行图像解析，检测人的视线方向。步骤S32，第二判定部414判定人是否识别到工业车辆1，并生成权重。
处理装置40在步骤S32之后，进行与第一实施方式相同的从步骤S7到步骤S10的处理。此外，在步骤S10中，推定部407基于在步骤S8中计算出的间隔、在步骤S9中计算出的与对象物接触所需的时间，在步骤S6生成的权重、以及在步骤S32中生成的权重来推定各接触状况的危险度。
步骤S33，接下来，决定部408判定在步骤S10中推定的危险度是否超过预定的第四阈值。
步骤S34，当判定危险度超过预定的第四阈值时(步骤S33中的“是”)，决定部408将警报的音量决定为最大的音量(第三音量的一个示例)。
步骤S35，当决定部408判定危险度没有超过预定的第四阈值时(步骤S33中的“否”)，决定部408判定在步骤S10中推定的危险度是否超过预定的第五阈值。
步骤S36，当判定危险度超过预定的第五阈值时(步骤S35中的“是”)，决定部408将警报的音量决定为第二大的音量(第四音量的一个示例)。
步骤S37，当决定部408判定危险度没有超过预定的第五阈值时(步骤S35中的“否”)，决定部408判定在步骤S10中推定的危险度是否超过预定的第六阈值。
步骤S38，当判定危险度超过预定的第六阈值时(步骤S37中的“是”)，决定部408将警报的音量决定为第三大的音量(第一音量的一个示例)。
步骤S39，当判定危险度没有超过预定的第六阈值时(步骤S37中的“否”)，决定部408将警报的音量决定为最小的音量(第二音量的一个示例)。然后，处理装置40进行与第一实施方式相同的从步骤S14到步骤S17的处理，并结束处理。
此外，此处所示的具体例中，说明了决定部408根据从推定部407接收的危险度是否超过预定的三个阈值，将警报的音量决定为4级大小的音量中的其中一个的情况。但是，在本公开的另一实施方式中，可以预先设定三个之外的单个或多个阈值，决定部408将从推定部407接收到的危险度与阈值进行比较，并控制输出装置30，使得声音与从推定部407接收到的危险度的高低相对应，即随着从推定部407接收到的危险度变高，声音变大。
另外，在本公开的另一实施方式中，当从推定部407接收到的危险度比阈值低时，控制部411可以控制输出装置30不输出声音。
另外，在本公开的另一实施方式中，危险度权重本身可以根据更多的条件来划分。
另外，在本公开的另一实施方式中，当危险度被判定为在某个阈值以上时，决定部408可以决定输出一定大小的声音，并且对于该一定大小的声音，根据驾驶员识别到人并且人也识别到工业车辆1的情况、驾驶员识别到人但是人没有识别到工业车辆1的情况、驾驶员没有识别到人但是人识别到工业车辆1的情况、驾驶员没有识别到人并且人也没有识别到工业车辆1的情况，进行声音大小的加权。
另外，在本公开的另一实施方式中，决定部408可以获取基于第二判定部414进行的人是否识别到工业车辆1的权重，当所获取的权重表示人没有识别到工业车辆1时，或者，当所获取的权重表示虽然人识别到工业车辆1但是在预定的权重以上时，向人发出警报(例如，喇叭)。
(作用、效果)
以上对本公开第二实施方式的通报系统100进行了说明。
在通报系统100的处理装置40中，决定部408基于作为对象物的人是否识别到工业车辆1来决定警报的模式。
这样，通过检测人的视线方向，处理装置40不仅以与工业车辆1的驾驶员的状态，还可以与人的状态相对应的模式来通报工业车辆1周围的对象物的存在。
<第三实施方式>
下面，对本公开的第三实施方式的通报系统100进行说明。
此外，本公开的第三实施方式中的对象物是人。
在第三实施方式的通报系统100中，处理装置40的构成与第一实施方式中不同。
(处理装置的构成)
如图9所示，本公开第三实施方式的处理装置40在第一实施方式的构成的基础上，还包括第三检测部415和第三判定部416。
第三检测部415检测人的姿势。
例如，第三检测部415获取人的整体图像，并且通过进行诸如模式匹配等的图像分析，检测人的姿势是站姿还是座姿等的姿势。
第三判定部416基于第三检测部415的检测结果判定人是否处于可移动状态，并生成权重。即，第三判定部416进行与第三检测部415检测出的人的姿势相应的加权。
具体地，当人的姿势是站姿时，第三判定部416判定人处于可移动状态，并生成降低危险度的权重。另外，当人的姿势是坐姿时，第三判定部416判定人处于难以移动的状态，并且使危险度与人的姿势是站姿时的危险度相比更高。
此外，如果与从推定部407接收到的危险度进行比较的、作为是否从设置在对象物存在的方向上的扬声器向驾驶员输出声音的判定基准的阈值与第一实施方式中的阈值相同时，则工业车辆1进行的处理可以如图6所示的工业车辆1的处理流程进行同样的说明。
此外，在本公开的另一实施方式中，可以预先设定多个阈值，决定部408将从推定部407接收到的危险度与这些多个阈值进行比较，并控制输出装置30，使得声音与从推定部407接收到的危险度的高低相对应，即随着从推定部407接收到的危险度变高，声音变大(第五音量的一个示例)。
另外，在本公开的另一实施方式中，当从推定部407接收到的危险度比阈值低时，控制部411可以控制通知装置30不输出声音(第六音量的一个示例)。
另外，在本公开的另一实施方式中，危险度权重本身可以根据更多的条件来划分。
另外，在本公开的另一实施方式中，控制部411可以获取基于第三判定部416进行的人是否可移动的权重，当所获取的权重表示该人不可移动时，或者，当所获取的权重表示虽然该人可以移动但是在预定的权重以上时，向人发出警报(例如，喇叭)。
此外，在本发明的另一实施方式中，例如，第三检测部415获取人的整体图像。将每张第三检测部415所获取的人的整体图像与表示人的实际移动结果的实绩信息相关联。将这些图像作为训练数据。
在这种情况下，第三判定部416可以由机器学习的学习模型来实现。然后，将与实绩信息相关联的图像输入到学习模型中，并且调整学习模型的系数，使得学习模型的输出与对应于输入图像的人的实际移动结果相一致，从而生成已学习模型。可以通过向该已学习模型输入第三检测部415新获取的表示姿势的图像，来判定人是否可以移动来避免与工业车辆1接触，从而对危险度加权。
(作用、效果)
以上对本公开第三实施方式的通报系统100进行了说明。
在通报系统100的处理装置40中，控制部411基于作为对象物的人是否处于可移动的状态，使扬声器(第一扬声器30a、第二扬声器30b、第三扬声器30c或第四扬声器30d)输出不同模式的声音，以指示对象物的存在。
这样，处理装置40不仅以与工业车辆1的驾驶员的状态，还可以与作为对象物的人的状态相对应的模式来通报工业车辆1周围的人或对象物的存在。
此外，在本公开的另一实施方式中，如图10所示，处理装置40在第三实施方式的处理装置40的构成的基础上，还可以包括第二检测部413以及第二判定部414。该第二检测部413以及第二判定部414具有与第二实施方式的第二检测部413以及第二判定部414相同的功能。
推定部407可以使用基于驾驶员是否识别到人的权重、基于人是否识别到工业车辆1的权重以及基于人是否处于可移动状态的权重来推定危险度。
这样，通过检测人的姿势，处理装置40不仅以与工业车辆1的驾驶员的状态，还可以与人的状态相对应的模式来通报工业车辆1周围的对象物的存在。
(各个实施方式的概要)
对以上说明的本公开的第一至第三实施方式的概要进行叙述。
在本公开的第一实施方式中，说明了一种通报系统，该通报系统根据工业车辆的驾驶员是否注意到可能成为障碍物的对象物，通过从对象物存在的方向发出不同模式的声音来向驾驶员通报对象物的存在(图1中的“实施方式1”)。
在本公开的第二实施方式中，说明了一种通报系统，当对象物是人时，根据人是否注意到工业车辆的存在，通过从对象物存在的方向发出不同模式的声音来向驾驶员通报对象物的存在(图1中的“实施方式2-1”)。另外，在本公开的第二实施方式中，说明了一种通报系统，该通报系统根据人是否注意到工业车辆的存在而通过声音将工业车辆的存在通报给人(图1中的“实施方式2-2”)。
在本公开的第三实施方式中，说明了一种通报系统，当对象物是人时，根据人是否处于可移动状态，通过从对象物存在的方向发出不同模式的声音来向驾驶员通报对象物的存在(图1中的“实施方式3-1”)。另外，在本公开的第三实施方式中，说明了一种通报系统，当对象物是人时，根据人是否处于可移动状态而通过声音将工业车辆的存在通报给人(图1中的“实施方式3-2”)。
此外，在本公开的第一至第三实施方式中，说明了拍摄装置20包括第一相机20a、第二相机20b、第三相机20c和第四相机20d。然而，在本公开的另一实施方式中，只要拍摄装置20拍摄工业车辆1的整个周围而不产生大的死角即可，拍摄装置20中包括的相机的台数和设置相机的位置不受限制。
例如，拍摄装置20可以包括一台相机。在这种情况下，例如，这一台相机可以设置在工业车辆1的上部的中央，并且通过反复地旋转相机来拍摄工业车辆1的整个周围。
另外，根据工业车辆1的尺寸和相机的可拍摄范围，在本公开一实施方式中所示的四台相机的死角可能过大。在这种情况下，例如，拍摄装置20可以包括五台以上相机，并使死角变小。
此外，在本公开的第一至第三实施方式中，说明了输出装置30包括第一扬声器30a、第二扬声器30b、第三扬声器30c和第四扬声器30d。然而，在本公开的另一实施方式中，当检测到对象物时，只要输出装置30是从以工业车辆1为基准时对象物存在的位置相对应的方向或区域输出声音的扬声器即可，扬声器的台数和设置扬声器的位置不受限制。
此外，在本公开的第一至第三实施方式中，说明了由控制部411控制以输出声音的扬声器是在以工业车辆1的正面为基准时的对象物的方向上的扬声器。然而，在本公开的另一实施方式中，由控制部411控制以输出声音的扬声器可以是在以工业车辆1的驾驶员的面部的朝向为基准时的对象物的方向上的扬声器。也就是说，控制部411可以控制扬声器，使声音从一方向被听到，该方向是从对象物存在的方向旋转驾驶员的面部角度的方向。
驾驶员并不一定总是面向工业车辆1的正面。因此，例如，当驾驶员的面部朝向工业车辆1的右侧时，如果从工业车辆1的左前方的扬声器(图1和图2中的扬声器30d)输出声音，就变成了从不在驾驶员视野中的扬声器输出声音。在这种情况下，一些驾驶员可能感觉从驾驶员的左后方发出了声音。因此，尽管实际对象物存在于工业车辆1的左前方，但是驾驶员可能错误地识别为对象物存在于工业车辆1的左后方。
因此，在本公开的另一实施方式中，当以工业车辆1的正面为基准，在工业车辆1的右前方存在对象物时，控制部411可以调整从扬声器30a、30b、30c和30d输出的声音的相位，使得能够以工业车辆1的驾驶员的面部朝向为基准，从面部朝向的右前方听到声音。另外，当以工业车辆1的正面为基准，在工业车辆1的右后方存在对象物时，控制部411可以调整从扬声器30a、30b、30c和30d输出的声音的相位，使得能够以工业车辆1的驾驶员的面部朝向为基准，从面部朝向的右后方听到声音。另外，当以工业车辆1的正面为基准，在工业车辆1的左后方存在对象物时，控制部411可以调整从扬声器30a、30b、30c和30d输出的声音的相位，使得能够以工业车辆1的驾驶员的面部朝向为基准，从面部朝向的左后方听到声音。另外，当以工业车辆1的正面为基准，在工业车辆1的左前方存在对象物时，控制部411可以调整从扬声器30a、30b、30c和30d输出的声音的相位，使得能够以工业车辆1的驾驶员的面部朝向为基准，从面部朝向的左前方听到声音。例如，控制部411可以调节从各个扬声器输出的声音的相位，使得从以工业车辆1的驾驶员的面部朝向为基准的方向听到声音。
此外，本公开的实施方式的处理可以在进行适当处理的范围内调换处理的顺序。
在适当传送和接收信息的范围内，本公开的实施方式中的数据库22、存储部412、以及其他存储装置中的每一个都可以被设置在任何位置。另外，在适当传送和接收信息的范围内，数据库22、存储部412、以及其他存储装置的每一个都可以存在多个来分散存储数据。
虽然对本公开的实施方式进行了说明，但是上述的处理装置40和其他的控制装置在内部也可以具有计算机系统。并且，上述处理的过程以程序的形式存储在计算机可读取的存储介质中，通过计算机读取并执行该程序来进行上述处理。计算机的具体例如下所示。
图11是示出了至少一个实施方式的计算机的构成的示意框图。
如图11所示，计算机5包括CPU6、主内存7、存储装置8和接口9。
例如，上述处理装置40和其它控制装置分别安装在计算机5中。并且，上述各处理部的操作以程序的形式存储在存储装置8中。CPU6从存储装置8读取程序，在主内存7中展开程序，并根据该程序执行上述处理。另外，CPU6根据程序在主内存7中确保与上述存储部相对应的存储区域。
作为存储装置8的例子，可以列举出HDD(Hard Disk Drive)、SSD(Solid StateDrive)、磁盘、磁光盘、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DigitalVersatile Disc Read Only Memory)、半导体存储器等。存储装置8可以是直接连接到计算机5的总线的内部介质，也可以是经由接口9或通信线路连接到计算机5的外部介质。另外，当通过通信线路将该程序传送给计算机5时，接收传送的计算机5可以在主内存7中展开该程序并执行处理。在至少一个实施方式中，存储装置8是非临时性的有形存储介质。
此外，上述程序也可以仅实现上述功能的一部分。另外，上述程序也可以是能够通过与已经存储在计算机系统中的程序的组合来实现上述功能的文件，也即差分文件(差分程序)。
此外，在其他实施方式中，在上述构成的基础上或代替上述构成，处理装置40和其他控制装置中的每一个也可以包括诸如PLD(Programmable Logic Device)等的定制LSI(Custom Large Scale Integrated Circuit)、ASIC(Application Specific IntegratedCircuit)、GPU(Graphics Processing Unit)以及类似的处理装置。作为PLD的例子，可以举出PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(ComplexProgrammable Logic Device)、FPGA(Field Programmable Gate Array)。在这种情况下，由处理器实现的部分或全部功能可以由该集成电路实现。
虽然对本公开的多个实施方式进行了说明，但这些实施方式仅是示例，并不限制公开的范围。在不脱离本公开的要旨的范围内，这些实施方式可以进行各种添加、省略、替换或改变。
<附记>
本公开的各实施方式中记载的处理装置40、处理方法以及程序可以如下地进行把握。
(1)第一方面提供一种处理装置(40)，包括：计算部(402)，检测可能成为车辆的障碍物的对象物的位置；第一检测部(405)，检测所述车辆的驾驶员的视线方向；决定部(408)，基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及控制部(411)，控制与所述位置对应的扬声器输出所述模式的声音。
通过该处理装置(40)可以以与车辆(1)的驾驶员的状态相对应的模式，通报车辆(1)周围的人或对象物的存在。
(2)第二方面提供一种如(1)所述的处理装置(40)，其中，还包括：第一判定部(406)，基于所述位置和所述驾驶员的视线方向判定所述驾驶员是否识别到所述对象物；当所述第一判定部(406)判定所述驾驶员没有识别到所述对象物时，所述控制部(411)从所述扬声器(30a、30b、30c或30d)输出第一音量的声音；当所述第一判定部(406)判定所述驾驶员识别到所述对象物时，所述控制部(411)从所述扬声器输出第二音量的声音，所述第二音量小于所述第一音量。
通过该处理装置(40)，控制部(411)的控制内容变得更明确，并且可以让用于通报车辆(1)周围的人或对象物的存在的控制变得明确。
(3)第三方面提供一种如(1)或(2)所述的处理装置(40)，其中，还包括：第二检测部(413)，当所述对象物是人时检测人的视线方向；所述决定部(408)基于所述人的视线方向决定所述模式。
通过该处理装置(40)，在车辆(1)的驾驶员的状态之外，还可以以与作为对象物的人的状态相对应的模式来通报车辆(1)周围的人或对象物的存在。
(4)第四方面提供一种如(3)所述的处理装置(40)，其中，还包括：第二判定部(414)，基于所述人的视线方向判定所述人是否识别到所述车辆；当所述第二判定部(414)判定所述人没有识别到所述车辆(1)时，所述控制部(411)从所述扬声器(30a、30b、30c或30d)输出第三音量的声音；当所述第二判定部(414)判定所述人识别到所述车辆(1)时，所述控制部(411)从所述扬声器(30a、30b、30c或30d)输出第四音量的声音，所述第四音量小于所述第三音量。
通过该处理装置(40)，控制部(411)的控制内容变得更明确，并且可以让用于通报车辆(1)周围的人或对象物的存在的控制变得明确。
(5)第五方面提供一种如(1)到(4)中任一项所述的处理装置(40)，其中，当所述人的视线方向存在于所述人能够识别到所述车辆(1)的范围之外时，所述第二判定部(414)判定所述人没有识别到所述车辆(1)。
通过该处理装置(40)，可以基于作为对象物的人的视线方向适当地判定人是否识别到车辆(1)。
(6)第六方面提供一种如(1)到(5)中任一项所述的处理装置(40)，其中，还包括：第三检测部(415)，当所述对象物是人时检测所述人的姿势；所述决定部(408)基于所述姿势决定所述模式。
通过该处理装置(40)，在车辆(1)的驾驶员的状态之外，还可以以与作为对象物的人的状态相对应的模式来通报车辆(1)周围的人或对象物的存在。
(7)第七方面提供一种如(6)所述的处理装置(40)，其中，还包括：第三判定部(416)，基于所述姿势判定所述人是否处于可移动状态；当所述第三判定部(416)判定所述人处于不可移动状态时，所述决定部(408)从所述扬声器(30a、30b、30c或30d)输出第五音量的声音；当所述第三判定部(416)判定所述人处于可移动状态时，所述决定部(408)从所述扬声器(30a、30b、30c或30d)输出第六音量的声音，所述第六音量小于所述第五音量。
通过该处理装置(40)，控制部(411)的控制内容变得更明确，并且可以让用于通报车辆(1)周围的人或对象物的存在的控制变得明确。
(8)第八方面提供一种如(7)所述的处理装置(40)，其中，所述第三检测部(415)获取能够检测所述人的姿势的图像，所述第三判定部(416)通过将所述图像输入到已学习模型中来判定所述人是否处于可移动状态，所述学习模型使用学习用数据集来学习参数，所述学习用数据集包括拍摄到人的图像和表示该人的实际移动结果的实绩信息。
通过该处理装置(40)，第三判定部(416)可以基于实绩来判定人是否处于可移动状态。
(9)第九方面提供一种如(1)到(8)中任一项所述的处理装置(40)，其中，还包括：推定部(407)，基于所述计算部(402)检测出的所述对象物的位置和所述第一检测部(405)检测出的所述视线方向，来推定与所述对象物相关的危险度；所述决定部(408)基于所述危险度决定所述模式，所述控制部(411)在所述危险度低于阈值时，不输出所述警报。
通过该处理装置(40)，即使检测到对象物，如果不是处于潜在危险的状态就可以抑制警报的输出。这样，可以防止驾驶员由于不必要的警报而习惯于警报。
(10)第十方面提供一种如(1)到(9)中任一项所述的处理装置(40)，其中，还包括：确定部(404)，基于所述计算部(402)检测出的所述对象物的位置来确定所述车辆与所述对象物可能接触的第一状态；所述推定部(407)基于所述计算部(402)检测出的所述对象物的位置、所述第一检测部(405)检测出的所述视线方向、以及第二状态与所述第一状态的距离来推定所述危险度，所述第二状态是当检测出所述对象物的位置时的车辆状态。
通过该处理装置(40)，不仅是驾驶员的识别，还可以根据对象物和车辆状态综合地计算危险度，并决定是否输出警报。
(11)第十一方面提供一种如(1)到(10)中任一项所述的处理装置(40)，其中，所述控制部(411)可以控制所述扬声器，使所述驾驶员从一方向听到声音，该方向是从所述对象物位置的方向旋转驾驶员的面部角度的方向。
通过该处理装置(40)，即使当驾驶员没有面向正面时，也可以适当地将对象物存在于哪个方向通报给驾驶员。
(12)第十二方面提供一种处理方法，包括：检测可能成为车辆(1)的障碍物的对象物的位置；检测所述车辆(1)的驾驶员的视线方向；基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及，控制与所述位置对应的扬声器输出所述模式的声音。
通过该处理方法可以以与车辆(1)的驾驶员的状态相对应的模式，通报车辆(1)周围的人或对象物的存在。
(13)第十三方面提供一种程序，该程序使计算机执行以下步骤：检测可能成为车辆(1)的障碍物的对象物的位置；检测所述车辆(1)的驾驶员的视线方向；基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及，控制与所述位置对应的扬声器输出所述模式的声音。
通过该程序可以以与车辆(1)的驾驶员的状态相对应的模式，通报车辆(1)周围的人或对象物的存在。

Claims (17)

1.一种处理装置，其特征在于，包括：
计算部，检测可能成为车辆的障碍物的对象物的位置；
第一检测部，检测所述车辆的驾驶员的视线方向；
决定部，基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及
控制部，控制与所述位置对应的扬声器输出所述模式的声音，
所述处理装置还包括：
第二检测部，当所述对象物是人时检测所述人的视线方向；
所述决定部基于所述人的视线方向决定所述模式。
2.如权利要求1所述的处理装置，其特征在于，还包括：
第二判定部，基于所述人的视线方向判定所述人是否识别到所述车辆；
当所述第二判定部判定所述人没有识别到所述车辆时，所述决定部将所述模式决定为第三音量的模式；
当所述第二判定部判定所述人识别到所述车辆时，所述决定部将所述模式决定为第四音量的模式，所述第四音量小于所述第三音量。
3.如权利要求2所述的处理装置，其特征在于，当所述人的视线方向存在于所述人能够识别到所述车辆的范围之外时，所述第二判定部判定所述人没有识别到所述车辆。
4.一种处理装置，其特征在于，包括：
计算部，检测可能成为车辆的障碍物的对象物的位置；
第一检测部，检测所述车辆的驾驶员的视线方向；
决定部，基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及
控制部，控制与所述位置对应的扬声器输出所述模式的声音，所述处理装置还包括：
第三检测部，当所述对象物是人时检测所述人的姿势；
所述决定部基于所述姿势决定所述模式。
5.如权利要求4所述的处理装置，其特征在于，还包括：
第三判定部，基于所述姿势判定所述人是否处于可移动状态；
当所述第三判定部判定所述人处于不可移动状态时，所述决定部将所述模式决定为第五音量的模式；
当所述第三判定部判定所述人处于可移动状态时，所述决定部将所述模式决定为第六音量的模式，所述第六音量小于所述第五音量。
6.如权利要求5所述的处理装置，其特征在于，所述第三检测部获取能够检测所述人的姿势的图像，所述第三判定部通过将所述图像输入到已学习模型中来判定所述人是否处于可移动状态，所述已学习模型使用学习用数据集来学习参数，所述学习用数据集包括拍摄到人的图像和表示该人的实际移动结果的实绩信息。
7.一种处理装置，其特征在于，包括：
计算部，检测可能成为车辆的障碍物的对象物的位置；
第一检测部，检测所述车辆的驾驶员的视线方向；
决定部，基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及
控制部，控制与所述位置对应的扬声器输出所述模式的声音，
所述控制部控制所述扬声器，使所述驾驶员从一方向听到声音，该方向是从所述对象物位置的方向旋转所述驾驶员的面部角度的方向。
8.如权利要求1至7中任一项所述的处理装置，其特征在于，还包括：
第一判定部，基于所述位置和所述驾驶员的视线方向判定所述驾驶员是否识别到所述对象物；
当所述第一判定部判定所述驾驶员没有识别到所述对象物时，所述决定部将所述模式决定为第一音量的模式；
当所述第一判定部判定所述驾驶员识别到所述对象物时，所述决定部将所述模式决定为第二音量的模式，所述第二音量小于所述第一音量。
9.如权利要求1至8中任一项所述的处理装置，其特征在于，还包括：
推定部，基于所述计算部检测出的所述对象物的位置和所述第一检测部检测出的所述视线方向，来推定与所述对象物相关的危险度；
所述决定部基于所述危险度决定所述模式，所述控制部在所述危险度低于阈值时，不输出所述警报。
10.如权利要求9所述的处理装置，其特征在于，还包括：
确定部，基于所述计算部检测出的所述对象物的位置来确定所述车辆与所述对象物可能接触的第一状态；
所述推定部根据所述计算部检测出的所述对象物的位置、所述第一检测部检测出的所述视线方向、以及第二状态与所述第一状态的距离来推定所述危险度，所述第二状态是当检测出所述对象物的位置时的车辆状态。
11.一种通报系统，其特征在于，具有如权利要求1至10中任一项所述的处理装置和所述车辆。
12.一种处理方法，其特征在于，包括：
检测可能成为车辆的障碍物的人的位置；
检测所述车辆的驾驶员的视线方向；
检测所述人的视线方向；
基于所述位置、所述驾驶员的视线方向和所述人的视线方向，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音。
13.一种处理方法，其特征在于，包括：
检测可能成为车辆的障碍物的人的位置；
检测所述车辆的驾驶员的视线方向；
检测所述人的姿势；
基于所述位置、所述驾驶员的视线方向和所述人的姿势，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音。
14.一种处理方法，其特征在于，包括：
检测可能成为车辆的障碍物的对象物的位置；
检测所述车辆的驾驶员的视线方向；
基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音，其中，控制所述扬声器，使所述驾驶员从一方向听到声音，该方向是从所述对象物位置的方向旋转所述驾驶员的面部角度的方向。
15.一种存储介质，存储有程序，该程序使计算机执行以下步骤：
检测可能成为车辆的障碍物的人的位置；
检测所述车辆的驾驶员的视线方向；
检测所述人的视线方向；
基于所述位置、所述驾驶员的视线方向和所述人的视线方向，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音。
16.一种存储介质，存储有程序，该程序使计算机执行以下步骤：
检测可能成为车辆的障碍物的人的位置；
检测所述车辆的驾驶员的视线方向；
检测所述人的姿势；
基于所述位置、所述驾驶员的视线方向和所述人的姿势，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音。
17.一种存储介质，存储有程序，该程序使计算机执行以下步骤：
检测可能成为车辆的障碍物的对象物的位置；
检测所述车辆的驾驶员的视线方向；
基于所述位置和所述驾驶员的视线方向，决定警报的模式；以及
控制与所述位置对应的扬声器输出所述模式的声音，其中，控制所述扬声器，使所述驾驶员从一方向听到声音，该方向是从所述对象物位置的方向旋转所述驾驶员的面部角度的方向。
CN202110197250.9A 2020-02-26 2021-02-22 处理装置、处理方法、通报系统及存储介质 Active CN113307192B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-030842 2020-02-26
JP2020030842A JP7267222B2 (ja) 2020-02-26 2020-02-26 処理装置、処理方法、報知システム及びプログラム

Publications (2)

Publication Number Publication Date
CN113307192A CN113307192A (zh) 2021-08-27
CN113307192B true CN113307192B (zh) 2024-02-06

Family

ID=74946951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110197250.9A Active CN113307192B (zh) 2020-02-26 2021-02-22 处理装置、处理方法、通报系统及存储介质

Country Status (4)

Country Link
US (1) US11802032B2 (zh)
EP (1) EP3872787B1 (zh)
JP (1) JP7267222B2 (zh)
CN (1) CN113307192B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023223524A1 (zh) * 2022-05-20 2023-11-23

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099899A (ja) * 2001-09-25 2003-04-04 Toyota Central Res & Dev Lab Inc 運転行動危険度演算装置
JP2006350934A (ja) * 2005-06-20 2006-12-28 Denso Corp 情報表示装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN101630369A (zh) * 2009-07-30 2010-01-20 南京航空航天大学 一种基于小波分形特征的行人检测方法
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
CN102249169A (zh) * 2010-05-18 2011-11-23 南京梅山冶金发展有限公司 炮筒叉车操作可视定位方法及装置
CN102298702A (zh) * 2010-06-28 2011-12-28 北京中星微电子有限公司 一种人体姿态的检测方法及装置
CN102992229A (zh) * 2011-09-13 2013-03-27 株式会社丰田自动织机 工业车辆
CN103601113A (zh) * 2013-10-25 2014-02-26 青岛现代海麟重工有限公司 一种无门架叉车的使用方法
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
WO2015037117A1 (ja) * 2013-09-13 2015-03-19 日立マクセル株式会社 情報表示システム及び情報表示装置
CN107031650A (zh) * 2015-11-04 2017-08-11 福特全球技术公司 基于驾驶员肢体语言来预测车辆运动
CN107176567A (zh) * 2016-12-19 2017-09-19 林德（中国）叉车有限公司 一种叉车门架防撞方法及装置
JP2017224165A (ja) * 2016-06-15 2017-12-21 矢崎総業株式会社 車両用方向提示装置
CN207468161U (zh) * 2017-11-16 2018-06-08 国网江苏省电力公司泰州供电公司 一种基于UWB技术和LoRa技术的叉车防撞智能报警系统
JP2018156176A (ja) * 2017-03-15 2018-10-04 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP2019171901A (ja) * 2018-03-27 2019-10-10 パナソニックＩｐマネジメント株式会社 車両警告システム、コントローラ及びプログラム
CN110580039A (zh) * 2018-06-07 2019-12-17 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
WO2020031695A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2351668A4 (en) 2008-09-12 2013-03-13 Toshiba Kk IMAGE RADIATION SYSTEM AND IMAGE RADIATION PROCESS
US9786177B2 (en) * 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
JP5985704B1 (ja) 2015-06-01 2016-09-06 サンコー・エア・セルテック株式会社 フォークリフト安全装置
JP6589734B2 (ja) 2016-04-20 2019-10-16 株式会社デンソー 乗員状態推定装置
JP2018036937A (ja) 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US20200398743A1 (en) * 2019-06-24 2020-12-24 GM Global Technology Operations LLC Method and apparatus for learning how to notify pedestrians

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099899A (ja) * 2001-09-25 2003-04-04 Toyota Central Res & Dev Lab Inc 運転行動危険度演算装置
JP2006350934A (ja) * 2005-06-20 2006-12-28 Denso Corp 情報表示装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
CN101630369A (zh) * 2009-07-30 2010-01-20 南京航空航天大学 一种基于小波分形特征的行人检测方法
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
CN102249169A (zh) * 2010-05-18 2011-11-23 南京梅山冶金发展有限公司 炮筒叉车操作可视定位方法及装置
CN102298702A (zh) * 2010-06-28 2011-12-28 北京中星微电子有限公司 一种人体姿态的检测方法及装置
CN102992229A (zh) * 2011-09-13 2013-03-27 株式会社丰田自动织机 工业车辆
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
WO2015037117A1 (ja) * 2013-09-13 2015-03-19 日立マクセル株式会社 情報表示システム及び情報表示装置
CN103601113A (zh) * 2013-10-25 2014-02-26 青岛现代海麟重工有限公司 一种无门架叉车的使用方法
CN107031650A (zh) * 2015-11-04 2017-08-11 福特全球技术公司 基于驾驶员肢体语言来预测车辆运动
JP2017224165A (ja) * 2016-06-15 2017-12-21 矢崎総業株式会社 車両用方向提示装置
CN107176567A (zh) * 2016-12-19 2017-09-19 林德（中国）叉车有限公司 一种叉车门架防撞方法及装置
JP2018156176A (ja) * 2017-03-15 2018-10-04 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
CN207468161U (zh) * 2017-11-16 2018-06-08 国网江苏省电力公司泰州供电公司 一种基于UWB技术和LoRa技术的叉车防撞智能报警系统
JP2019171901A (ja) * 2018-03-27 2019-10-10 パナソニックＩｐマネジメント株式会社 車両警告システム、コントローラ及びプログラム
CN110580039A (zh) * 2018-06-07 2019-12-17 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
WO2020031695A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN113307192A (zh) 2021-08-27
US20210261136A1 (en) 2021-08-26
EP3872787A1 (en) 2021-09-01
JP2021135694A (ja) 2021-09-13
EP3872787B1 (en) 2022-10-12
US11802032B2 (en) 2023-10-31
JP7267222B2 (ja) 2023-05-01

Similar Documents

Publication Publication Date Title
JP3102250B2 (ja) 車両用周囲情報表示装置
US20210086772A1 (en) Vehicle control system
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
TWI592883B (zh) Image recognition system and its adaptive learning method
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
CN112046502B (zh) 自动驾驶装置和方法
CN107415861A (zh) 用于车辆用来探测驾驶员对电子的设备的使用的方法和装置
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
US11584399B2 (en) Driving handover control device and driving handover control method
WO2019166084A1 (en) Automated driving system and method of autonomously driving a vehicle
CN113307192B (zh) 处理装置、处理方法、通报系统及存储介质
JP2007058751A (ja) 物体判別装置、物体判別方法および物体判別プログラム
JP2017142591A (ja) 車両用支援システム
JP7267221B2 (ja) 処理装置、処理方法、推定システム及びプログラム
WO2020250962A1 (ja) 画像処理装置、画像処理方法、記録媒体
US11983896B2 (en) Line-of-sight detection apparatus and line-of-sight detection method
WO2021156989A1 (ja) 予兆検知装置、運転支援制御装置及び予兆検知方法
JP4619064B2 (ja) 先行車選択方法及び先行車選択装置
EP4439491A1 (en) Visual detection of hands on steering wheel
CN115690748B (zh) 用于占据类预测的方法和用于遮挡值确定的方法
WO2024150369A1 (ja) 監視システム、情報処理装置、方法及び非一時的なコンピュータ記録媒体
US20240227843A1 (en) Alarm device, alarm method and non-transitory recording medium
JP2022149751A (ja) 車両の運転支援装置
JP2024029612A (ja) 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
CN118810618A (zh) 一种多重防碰撞保护方法和系统、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant