CN112479037B - 一种穿戴式监控系统、起重机及工程机械 - Google Patents

Abstract

本公开涉及一种穿戴式监控系统、起重机及工程机械，其中的穿戴式监控系统包括车身传感单元；控制器；摄像单元；以及可穿戴设备，被配置为：响应于操作人员发出的设定指令，将对应的姿态信息、运行信息、故障诊断信息和/或图像信息生成目标画面，并投射至操作人员的视野内。基于此，本公开实施例能够根据需求，在操作人员的眼前自动呈现指定的监控信息，使操作人员减少低头查看车载显示器仪表或影像监视器的频率，避免注意力中断而对作业现场环境状态失去控制从而发生事故。

Description

一种穿戴式监控系统、起重机及工程机械

技术领域

本公开涉及工程机械制造领域，尤其涉及一种穿戴式监控系统、起重机及工程机械。

背景技术

工程机械，以在一定范围内垂直提升和水平搬运重物的起重机为例，多需要通过机械臂或操作单元完成一定的机械动作。而为了对工程机械的机械动作和行驶进行控制，工程机械的司机室通常设有挡风玻璃，并在司机的平视视角范围内具有良好的视野。

然而工程机械在作业过程中，操作人员一方面需要透过司机室的挡风玻璃关注作业现场的环境，另一方面还需要关注工程机械自身的姿态信息、运动过程信息、故障诊断信息及辅助作业影像信息等多种监控信息。目前上述多种监控信息主要通过车载显示器及影像监控器获取，如操纵室内的吊装作业信息显示器、卷扬影像监视器、底盘驾驶室内的底盘作业信息显示器、倒车影像监控器等。

由于工程机械的车载显示器多设置在操作人员平视视角的正前方偏下位置，当需要查看各个监控信息时，需要操作人员低头查看。从实际作业过程中的操作体验上分析，操作人员会在“抬头观察现场环境、低头观察数据”之间频繁切换，这无疑增加了其作业疲劳程度，降低了操作体验，甚至会在一定程度上因视线偏移而给作业带来安全隐患。

此外，工程机械要实现对多种监控信息的采集及展现，通常需要多个车载数据显示器和影像监控器，这导致司机室内的元器件较多，线路较为复杂，成本较高，同时，由于工程机械多在野外工作，路况颠簸、环境恶劣，这对各类元器件及其连接线路的可靠性及工作寿命也会产生不利影响。

发明内容

有鉴于此，本公开实施例提供一种穿戴式监控系统、起重机及工程机械，能够根据需求，在操作人员的眼前自动呈现指定的监控信息，使操作人员减少低头查看车载显示器仪表或影像监视器的频率，避免注意力中断而对作业现场环境状态失去控制从而发生事故。

在本公开的一个方面，提供一种穿戴式监控系统，包括：

车身传感单元，被配置为采集工程机械的姿态信息和运行信息；

控制器，通信连接于所述车身传感单元，被配置为根据对所述姿态信息和所述运行信息的解析得到工程机械的故障诊断信息；

摄像单元，被配置为实时采集工程机械的作业机构和/或作业环境的图像信息；以及

可穿戴设备，通信连接于所述控制器和所述摄像单元，能够由工程机械的操作人员佩戴于头部，并被配置为：响应于操作人员发出的设定指令，将对应的所述姿态信息、所述运行信息、所述故障诊断信息和/或所述图像信息生成目标画面，并投射至操作人员的视野内。

在一些实施例中，所述工程机械包括起重机，所述姿态信息包括起重机臂架的长度和角度，所述运行信息包括起重机的吊重量和发动机转速，所述图像信息包括起重机的起升机构钢丝绳运动实时图像和车辆后方作业环境图像，所述故障诊断信息包括硬件故障和逻辑故障。

在一些实施例中，所述可穿戴设备包括：

外置摄像头，被配置为拍摄操作人员视角范围内的物体；以及

显示屏，被配置为显示由所述外置摄像头所拍摄的物体的虚拟画面，并响应于操作人员发出的设定指令，将所述姿态信息、所述运行信息、所述故障诊断信息和所述图像信息叠加显示于所述虚拟画面中。

在一些实施例中，所述可穿戴设备被进一步配置为：在未收到由操作人员发出的所述设定指令时，使所述显示屏仅显示由所述外置摄像头所拍摄物体的虚拟画面。

在一些实施例中，所述可穿戴设备包括：

镜片，被配置为透射操作人员视角范围内的物体；以及

投影装置，被配置为响应于操作人员发出的设定指令，将所述姿态信息、所述运行信息、所述故障诊断信息和所述图像信息投射至所述镜片上。

在一些实施例中，所述可穿戴设备还包括：

外置摄像头，被配置为扫描操作人员视角范围内的物体；

所述操作人员发出的设定指令包括将设定物体纳入自身的视角范围内，所述可穿戴设备被进一步配置为：

在所述外置摄像头扫描到所述设定物体时，将扫描的结果与预设的内容进行对比，并在扫描的结果与预设的内容相一致时，将与所述设定物体相对应的所述姿态信息、所述运行信息、所述故障诊断信息和/或所述图像信息投射至操作人员的视野内。

在一些实施例中，所述设定物体包括第一设定物体和第二设定物体，所述可穿戴设备被进一步配置为：

在所述外置摄像头扫描到所述第一设定物体时，将所述姿态信息、所述运行信息和所述故障诊断信息投射至操作人员的视野内；以及

在所述外置摄像头扫描到所述第二设定物体时，将所述图像信息投射至操作人员的视野内。

在一些实施例中，所述第一设定物体包括具有第一纹理的二维图像，所述第二设定物体包括具有第二纹理的二维图像，所述第一设定物体和所述第二设定物体贴设于司机室挡风玻璃上方不遮挡操作人员视野的区域。

在一些实施例中，所述穿戴式监控系统还包括：

无线通信模块，通信连接于所述控制器、所述摄像单元和所述可穿戴设备，被配置为将所述控制器发送的车载数据信息和所述摄像单元发送的实时图像数据传递给所述可穿戴设备。

在一些实施例中，所述车身传感单元与所述控制器通过电连接或CAN总线连接，所述控制器与所述无线通信模块通过CAN总线连接或以太网连接，所述摄像单元与所述无线通信模块通过CAN总线连接或以太网连接，所述无线通信模块与所述可穿戴设备通过位于同意局域网内的无线网络连接。

在本公开的另一个方面，提供一种起重机，包括如前文任一实施例所述的穿戴式监控系统。

在本公开的另一个方面，提供一种工程机械，包括如前文任一实施例所述的穿戴式监控系统。

因此，根据本公开实施例，能够根据需求，在操作人员的眼前自动呈现指定的监控信息，使操作人员减少低头查看车载显示器仪表或影像监视器的频率，避免注意力中断而对作业现场环境状态失去控制从而发生事故。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是根据本公开一些实施例的穿戴式监控系统的结构示意图；

图2是根据本公开一些实施例的穿戴式监控系统的流程示意图；

图3是根据本公开一些实施例的穿戴式监控系统的车载数据监控画面示意图。

图中：

1，车身传感单元；2，控制器；3，摄像单元；4，可穿戴设备；5，无线通信模块。

应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。

本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在本公开中，当描述到特定器件位于第一器件和第二器件之间时，在该特定器件与第一器件或第二器件之间可以存在居间器件，也可以不存在居间器件。当描述到特定器件连接其它器件时，该特定器件可以与所述其它器件直接连接而不具有居间器件，也可以不与所述其它器件直接连接而具有居间器件。

本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

如图1～3所示，在本公开的一个方面，提供一种穿戴式监控系统，包括车身传感单元1、控制器2、摄像单元3和可穿戴设备4。

其中的车身传感单元1被配置为采集工程机械的姿态信息和运行信息；控制器2通信连接于车身传感单元1，被配置为根据对姿态信息和运行信息的解析得到工程机械的故障诊断信息；摄像单元3被配置为实时采集工程机械的作业机构和/或作业环境的图像信息。

而可穿戴设备4，通信连接于控制器2和摄像单元3，能够由工程机械的操作人员佩戴于头部，并被配置为：响应于操作人员发出的设定指令，将对应的姿态信息、运行信息、故障诊断信息和/或图像信息生成目标画面，并投射至操作人员的视野内。

具体而言，以起重机为例：

车身传感单元1所采集的姿态信息包括起重机臂架的长度和角度，运行信息包括起重机的吊重量和发动机转速，由此，车身传感单元1可以包括位移传感器、角度/惯性传感器、重量/拉力传感器及转速传感器，用以测量对应的物理量。

而摄像单元3所采集的图像信息包括起重机的起升机构中钢丝绳运动实时图像和车辆后方作业环境图像，由此，摄像单元3可以包括两个摄像头，其一设置于起升机构上并正对于钢丝绳，其二设置于起重机的车架后方并正对于车辆后方的作业环境。考虑到工程机械的作业环境通常较为恶劣，摄像单元3可以布置更多的摄像头，或是采用激光传感器并获取目标探测区域的激光成像。

本公开中的控制器2能够根据对姿态信息和运行信息的解析得到工程机械的故障诊断信息，此处的故障诊断信息包括硬件故障和逻辑故障。

为了实现各类监控信息在操作人员的眼前动态呈现，在一些实施例中，可穿戴设备4包括：外置摄像头和显示屏。其中外置摄像头被配置为拍摄操作人员视角范围内的物体；而显示屏则被配置为显示由外置摄像头所拍摄的物体的虚拟画面，并响应于操作人员发出的设定指令，将姿态信息、运行信息、故障诊断信息和图像信息叠加显示于虚拟画面中。

由此，本公开利用虚拟现实技术实现了驾驶场景和监控信息的相互融和，也即可穿戴设备4中的显示屏实时显示外置摄像头所拍摄的物体的虚拟画面的同时，将经过处理后的各类监控信息叠加显示于虚拟画面中，从而为操作人员提供必要参数的同时，不影响操作人员正常查看作业现场。

进一步的，为了简化操作人员对工程机械的操作难度，借助于虚拟显示技术，还可以有选择性地在虚拟画面中强调特定的物体。例如操作人员驾驶工程机械行驶的过程中，将对行驶安全性可能产生影响的障碍物或不平坦地形标注于虚拟画面中，提醒操作人员及时避让。

当然，在操作人员无须关注监控信息时，在一些实施例中，可穿戴设备4被进一步配置为：在未收到由操作人员发出的设定指令时，使显示屏仅显示由外置摄像头所拍摄物体的虚拟画面，由此不影响操作人员正常查看作业现场。

进一步的，在一些实施例中，可穿戴设备4包括镜片和投影装置，其中的镜片被配置为透射操作人员视角范围内的物体；而投影装置则被配置为响应于操作人员发出的设定指令，将姿态信息、运行信息、故障诊断信息和图像信息投射至镜片上。

由镜片和投影装置所构成的基于增强现实的可穿戴设备4，可以通过透视镜片更真实且更实时地反映操作人员的视野内容，而由本公开车身传感单元1、控制器2和摄像单元3所提供的各类监控信息，则有选择地由投影装置投射到镜片上，使操作人员的视线始终不离开操作现场的同时，就能掌握各类需要关注的监控信息。

为了使操作人员向可穿戴设备4发出设定指令，在一些实施例中，可穿戴设备4还包括外置摄像头，被配置为扫描操作人员视角范围内的物体；操作人员发出的设定指令包括将设定物体纳入自身的视角范围内，可穿戴设备4被进一步配置为：在外置摄像头扫描到设定物体时，将扫描的结果与预设的内容进行对比，并在扫描的结果与预设的内容相一致时，将与设定物体相对应的姿态信息、运行信息、故障诊断信息和/或图像信息投射至操作人员的视野内。

举例而言，当操作人员需要查看车载关键数据时，将视角对准扫描对象A，可穿戴设备4将扫描的结果和预设的内容作对比，识别通过后会自动将车载数据画面显示在可穿戴设备4生成的虚拟环境中，并投射到操作人员眼前；而当操作人员需要查看影像数据时，将视角对准扫描对象B,可穿戴设备4将扫描的结果和预设的内容作对比，识别通过后会自动将影像画面显示在可穿戴设备4生成的虚拟环境中，并投射到操作人员眼前。

也即，在一些实施例中，设定物体包括第一设定物体和第二设定物体，可穿戴设备4被进一步配置为：在外置摄像头扫描到第一设定物体时，将姿态信息、运行信息和故障诊断信息投射至操作人员的视野内；以及在外置摄像头扫描到第二设定物体时，将图像信息投射至操作人员的视野内。

在一些实施例中，第一设定物体包括具有第一纹理的二维图像，第二设定物体包括具有第二纹理的二维图像，第一设定物体和第二设定物体贴设于司机室挡风玻璃上方不遮挡操作人员视野的区域。

上述二维图像可以包括黑白或彩色照片，例如一片竹林的图片，也可以是二维码。当然，第一设定物体和第二设定物体也可以包括指定的三维物体，此时可穿戴设备4通过解析三维物体的二维图像，并据此判断操作人员需要调取的监控信息种类。

在一些实施例中，穿戴式监控系统还包括：

无线通信模块5，通信连接于控制器2、摄像单元3和可穿戴设备4，被配置为将控制器2发送的车载数据信息和摄像单元3发送的实时图像数据传递给可穿戴设备4。

在一些实施例中，车身传感单元1与控制器2通过电连接或CAN总线连接，控制器2与无线通信模块5通过CAN总线连接或以太网连接，摄像单元3与无线通信模块5通过CAN总线连接或以太网连接，无线通信模块5与可穿戴设备4通过位于同意局域网内的无线网络连接。

具体而言，车身传感单元1与控制器2可通过电连接或CAN总线连接；控制器2与无线通信模块5可通过CAN总线连接或以太网连接，通过CAN总线连接时使用CANOpen或J1939协议通信，使用以太网连接时使用TCP协议通信；摄像单元3与无线通信模块5可通过CAN总线连接或以太网连接，通过CAN总线连接时使用CANOpen或J1939协议通信，使用以太网连接时使用TCP或UDP协议通信；无线通信模块5与可穿戴设备4通过无线网络连接，保证两者在同一局域网内。

以下结合附图对本公开做进一步说明：

如图1所示，本公开中的穿戴式监控系统由车身传感单元1、控制器2、摄像单元3、无线通信模块5、扫描对象、可穿戴设备4终端组成，各部件功能说明如下：车身传感单元1用于采集起重机姿态信息、运行信息等，如起重机臂架长度、角度、吊重量、发动机转速等信息；控制器2用于解析起重机姿态信息、运行信息，并进行起重机故障诊断；摄像单元3用于采集起重机关键机构或作业环境的实时图像，如起升机构钢丝绳运动实时图像；无线通信模块5用于信息传递中介，将控制器2发送的车载数据信息和摄像单元3发送的实时图像数据传递给可穿戴设备4终端；扫描对象为纹理复杂的二维图像，可使用纸张打印并粘贴在司机室内挡风玻璃上方或其他任意位置；可穿戴设备4，有外置摄像头和显示屏，可通过WIFI或网络接口连接网络，可以安装app应用软件，如增强现实智能眼镜，主要用于解析车载数据、影像数据及扫描的图像信息，并按照扫描物体和画面对应关系生成目标画面，投射到操作人员眼前。其中，车载数据画面可为多个画面。

如图2所示，起重机作业时，控制系统实时处理车身传感器采集的起重机姿态信息、运行信息及故障诊断信息，通过无线网络传递给可穿戴设备4以生成车载数据画面；摄像单元3实时采集关键机构及作业环境的影像信息，通过无线网络传递给穿戴式可穿戴设备4以生成影像画面。

当操作人员通过可穿戴设备4的外置摄像单元3扫描到指定图像时，可穿戴设备4根据扫描到的内容按照预设的对应关系显示目标画面，其中显示车载数据画面与影像画面对应的指定图像不同。当可穿戴设备4的外置摄像单元3视角范围内没有指定图像时，生成空白画面投射到操作人员眼前，不影响操作人员正常查看作业现场。

系统通电后，控制器2实时向无线通信模块5传递起重机姿态数据、运行数据、故障诊断数据，摄像单元3实时向无线通信模块5传递影像数据。当可穿戴设备4与无线通信模块5进行网络及通讯连接后，可穿戴设备4开始接收无线通信模块5传递的车载监控数据及影像数据，并生成车载数据画面和影像画面，为画面呈现和投射做好准备。

其中，车载数据画面的内容包括起重机姿态信息，如起重臂长、角度；起重机运行数据，如吊重量、发动机转速等；起重机故障诊断信息，如硬件故障、逻辑故障等；影像画面如起升机构钢丝绳状态、车辆后方作业环境等。车载数据画面示意图参见附图3.

基于此，本公开提出的起重机穿戴式监控系统中车身传感器、控制器2、摄像单元3为通用电气部件；无线通信模块5通过CAN总线或网线连接，线路简单；扫描对象的体积较小，安装方便；可穿戴设备4可便捷携带，由于展示的车载数据或影像画面为可穿戴设备4在虚拟空间生成，无需额外的显示装置。因此本公开实施例可有效减少电气元件布置，简化电气线路，降低成本。

此外，本公开中提出的起重机穿戴式监控方法，利用可穿戴设备4外置摄像头扫描安装在司机室内的扫描对象，并按照预设的对应关系生成车载数据监控或影像画面投射到眼前，且可穿戴设备4视场范围内没有指定图像时显示空白画面，不会影像操作人员正常查看作业现场环境。因此本发明的实施可以使操作人员更便捷地查看车载数据或影像，降低低头查看数据的频率，减少视线转移带来的安全隐患，提高作业安全性及产品智能化程度。

在本公开的另一个方面，提供一种起重机，包括如前文任一实施例的穿戴式监控系统。

在本公开的另一个方面，提供一种工程机械，包括如前文任一实施例的穿戴式监控系统。

因此，根据本公开实施例，能够根据需求，在操作人员的眼前自动呈现指定的监控信息，使操作人员减少低头查看车载显示器仪表或影像监视器的频率，避免注意力中断而对作业现场环境状态失去控制从而发生事故。

至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (11)

1.一种穿戴式监控系统，其特征在于，包括：

车身传感单元(1)，被配置为采集工程机械的姿态信息和运行信息；

控制器(2)，通信连接于所述车身传感单元(1)，被配置为根据对所述姿态信息和所述运行信息的解析得到工程机械的故障诊断信息；

摄像单元(3)，被配置为实时采集工程机械的作业机构和/或作业环境的图像信息；

可穿戴设备(4)，通信连接于所述控制器(2)和所述摄像单元(3)，能够由工程机械的操作人员佩戴于头部，并被配置为：响应于操作人员发出的设定指令，将对应的所述姿态信息、所述运行信息、所述故障诊断信息和/或所述图像信息生成目标画面，并投射至操作人员的视野内；以及

外置摄像头，被配置为扫描操作人员视角范围内的物体；

其中，所述操作人员发出的设定指令包括将设定物体纳入自身的视角范围内，所述可穿戴设备(4)被进一步配置为：

在所述外置摄像头扫描到所述设定物体时，将扫描的结果与预设的内容进行对比，并在扫描的结果与预设的内容相一致时，将与所述设定物体相对应的所述姿态信息、所述运行信息、所述故障诊断信息和/或所述图像信息投射至操作人员的视野内。

2.根据权利要求1所述的穿戴式监控系统，其特征在于，所述工程机械包括起重机，所述姿态信息包括起重机臂架的长度和角度，所述运行信息包括起重机的吊重量和发动机转速，所述图像信息包括起重机的起升机构钢丝绳运动实时图像和车辆后方作业环境图像，所述故障诊断信息包括硬件故障和逻辑故障。

3.根据权利要求1所述的穿戴式监控系统，其特征在于，所述可穿戴设备(4)还包括：

显示屏，被配置为显示由所述外置摄像头所拍摄的物体的虚拟画面，并响应于操作人员发出的设定指令，将所述姿态信息、所述运行信息、所述故障诊断信息和所述图像信息叠加显示于所述虚拟画面中。

4.根据权利要求3所述的穿戴式监控系统，其特征在于，所述可穿戴设备(4)被进一步配置为：在未收到由操作人员发出的所述设定指令时，使所述显示屏仅显示由所述外置摄像头所拍摄物体的虚拟画面。

5.根据权利要求1所述的穿戴式监控系统，其特征在于，所述可穿戴设备(4)还包括：

镜片，被配置为透射操作人员视角范围内的物体；以及

投影装置，被配置为响应于操作人员发出的设定指令，将所述姿态信息、所述运行信息、所述故障诊断信息和所述图像信息投射至所述镜片上。

6.根据权利要求1所述的穿戴式监控系统，其特征在于，所述设定物体包括第一设定物体和第二设定物体，所述可穿戴设备(4)被进一步配置为：

在所述外置摄像头扫描到所述第一设定物体时，将所述姿态信息、所述运行信息和所述故障诊断信息投射至操作人员的视野内；以及

在所述外置摄像头扫描到所述第二设定物体时，将所述图像信息投射至操作人员的视野内。

7.根据权利要求6所述的穿戴式监控系统，其特征在于，所述第一设定物体包括具有第一纹理的二维图像，所述第二设定物体包括具有第二纹理的二维图像，所述第一设定物体和所述第二设定物体贴设于司机室挡风玻璃上方不遮挡操作人员视野的区域。

8.根据权利要求1所述的穿戴式监控系统，其特征在于，还包括：

无线通信模块(5)，通信连接于所述控制器(2)、所述摄像单元(3)和所述可穿戴设备(4)，被配置为将所述控制器(2)发送的车载数据信息和所述摄像单元(3)发送的实时图像数据传递给所述可穿戴设备(4)。

9.根据权利要求8所述的穿戴式监控系统，其特征在于，所述车身传感单元(1)与所述控制器(2)通过电连接或CAN总线连接，所述控制器(2)与所述无线通信模块(5)通过CAN总线连接或以太网连接，所述摄像单元(3)与所述无线通信模块(5)通过CAN总线连接或以太网连接，所述无线通信模块(5)与所述可穿戴设备(4)通过位于同一局域网内的无线网络连接。

10.一种起重机，其特征在于，包括如权利要求1～9任一所述的穿戴式监控系统。

11.一种工程机械，其特征在于，包括如权利要求1～9任一所述的穿戴式监控系统。

Images