CN110555913B - 一种基于工业人机界面的虚拟成像方法及装置 - Google Patents

Abstract

本发明提供一种基于工业人机界面的虚拟成像方法及装置，涉及虚拟成像技术领域。该方法通过工业人机界面获取由塔吊的操作者选择的观看方向显示模式，然后根据显示模式从预设观看方向列表中选择观看方向作为当前观看方向；工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息，以当前观看方向显示塔吊的操作现场的三维虚拟图像。通过工业人机界面根据来自相关采集模块的信息对塔吊的操作现场进行三维虚拟图像，可以详细且清晰地呈现塔吊的操作现场的环境情况，并且可以根据操作者设定来选择观看方向，从而帮助塔吊操作者全面地获知现场环境情况，从而提高了塔吊操作的安全性。

Description

一种基于工业人机界面的虚拟成像方法及装置

技术领域

本发明涉及虚拟成像技术领域，具体涉及一种基于工业人机界面的虚拟成像方法及装置。

背景技术

塔吊是建筑行业常用的起重设备。通常，塔吊的起重重量大、操作人员对塔吊吊钩以及周围环境的可视性差，任何的操作不当都可能发生严重事故。

现有的塔吊监控系统通过摄像机直接采集实时视频影像，并将视频影像传输到控制室，以供操作者观看。然而，由于摄像机的拍摄视野限制，每台摄像机所获取的视频影像仅能呈现塔吊现场某个观看方向的局部环境情况，操作者无法获知塔吊的整个操作现场的详细环境情况或者某个操作区域内的详细环境情况。在塔吊现场施工环境恶劣时，视频影像的质量会受到严重影响，从而影响操作者对操作现场环境的判断，提高事故风险。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供了一种基于工业人机界面的虚拟成像方法及装置，以解决塔吊操作现场环境的详细呈现问题。

为实现上述目的，本发明采用的技术方案如下：

第一方面，本发明提供了一种基于工业人机界面的虚拟成像方法，用于塔吊监控系统，塔吊监控系统包括塔吊实时动作采集模块、塔吊实时状态采集模块、塔吊实时现场环境采集模块和工业人机界面，

塔吊实时动作采集模块与塔吊的控制台连接，用于从控制台获取塔吊的当前动作信息；塔吊实时状态采集模块用于获取塔吊的实时状态信息，实时状态信息包括塔吊的起重臂的实时方向、起重臂上的小车的实时位置以及塔吊的吊钩的实时高度；塔吊实时现场环境采集模块用于获取塔吊周围预定区域内的全部物体的形状和尺寸信息以及每个物体相对于塔吊的实时相对位置信息；工业人机界面用于根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息对塔吊以及其周围预定区域内的全部物体进行三维虚拟成像，

所述方法包括：

通过工业人机界面获取由塔吊的操作者选择的观看方向显示模式，观看方向显示模式包括固定观看方向显示模式和自动观看方向显示模式；

在操作者选择固定观看方向显示模式的情况下，通过工业人机界面获取由操作者在预设观看方向列表中选择的观看方向，并且将该观看方向作为当前观看方向，预设观看方向列表包括用于平视观看塔吊全景的第一观看方向、用于俯视观看吊钩及吊钩正下方环境的第二观看方向、用于平视观看吊钩及吊钩周围环境的第三观看方向；在操作者选择自动观看方向显示模式的情况下，工业人机界面根据来自塔吊实时动作采集模块和塔吊实时状态采集模块的信息，从预设观看方向列表中自动选择观看方向作为当前观看方向；

工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息，以当前观看方向显示塔吊的操作现场的三维虚拟图像。

可选地，在存在两台或更多台塔吊协同工作的情况下，每台塔吊均配备有塔吊监控系统，并且每台塔吊还包括通信模块，通信模块用于两台或更多台塔吊彼此共享传输来自各自的塔吊监控系统的信息，在通过工业人机界面获取由塔吊的操作者选择的观看方向显示模式之前，所述方法还包括：通过工业人机界面获取由塔吊的操作者选择的工作模式，工作模式包括单台工作模式和多台协同工作模式；在所述操作者选择多台协同工作模式的情况下，观看方向显示模式默认设置为固定观看方向显示模式，并且将第一观看方向作为当前观看方向；

工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息，以当前观看方向显示塔吊的操作现场的三维虚拟图像，包括：针对所述两台或更多台塔吊中的每一台塔吊，工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息以及经由通信模块获取的来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，以当前观看方向显示所述两台或更多台塔吊协同操作现场的三维虚拟图像；

针对所述两台或更多台塔吊中的每一台塔吊，所述方法还包括：

工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块的信息以及来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置是否存在碰撞风险，并且在确定存在碰撞风险时，以预设方式显示相关联的起重臂，以提醒操作者。

可选地，所述确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置是否存在碰撞风险，包括：

确定该塔吊的起重臂的摆动范围与其他塔吊的起重臂的摆动范围是否存在交叠区域，若不存在交叠区域，则确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置不存在碰撞风险；若存在交叠区域，确定该塔吊的起重臂与其他塔吊的起重臂之间的距离，并且在距离小于第一预设阈值时，则确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置存在碰撞风险。

可选地，在确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置存在碰撞风险的情况下，工业人机界面以着色闪烁形式显示相关联的起重臂。

可选地，所述工业人机界面以着色闪烁形式显示相关联的起重臂，包括：在距离小于第一预设阈值并且大于或等于第二预设阈值时，工业人机界面以黄色闪烁形式显示相关联的起重臂，并且在距离小于第二预设阈值时，工业人机界面以红色闪烁形式显示相关联的起重臂，第二预设阈值小于第一预设阈值。

可选地，塔吊实时现场环境采集模块包括：设置在小车上以朝下的方向拍摄吊钩及其周围预定范围内的环境的第一双目相机；设置在起重臂的左侧以水平朝向起重臂左侧的方向拍摄起重臂左侧预定范围内的环境的第二双目相机；设置在起重臂的右侧以水平朝向起重臂右侧的方向拍摄起重臂右侧预定范围内的环境的第三双目相机；设置在塔吊的塔身上距地面预定距离处的多个第四双目相机，所述多个第四双目相机环绕塔身布置，以使得所述多个第四双目相机的拍摄方向的视野范围覆盖塔身周围起重臂的摆动范围，所述多个第四双目相机用于拍摄塔身周围的地面以上预定高度范围内的环境。

可选地，当前动作信息包括吊钩起落动作、小车运动动作、起重臂摆动动作和无操作动作；

在操作者选择自动观看方向显示模式的情况下：

在当前动作信息为吊钩起落动作时，确定吊钩的实时高度是否大于预设吊钩高度阈值，在吊钩的实时高度大于预设吊钩高度阈值时，工业人机界面以第二观看方向显示塔吊的操作现场的三维虚拟图像，在吊钩的实时高度小于或等于预设吊钩高度阈值时，工业人机界面以第三观看方向显示塔吊的操作现场的三维虚拟图像；

在当前动作信息为小车运动动作或起重臂摆动动作或无操作动作时，工业人机界面以第一观看方向显示塔吊的操作现场的三维虚拟图像。

可选地，塔吊实时状态采集模块包括用于测量起重臂的实时方向的转角传感器、用于测量小车位置的位置传感器和用于测量吊钩高度的高度传感器。

可选地，通过OpenGL对待显示的三维虚拟图像进行渲染，以生成经渲染的虚拟图像，通过工业人机界面显示经渲染的虚拟图像。

第二方面，本发明还提供了一种基于工业人机界面的虚拟成像装置，用于塔吊监控系统，该塔吊监控系统包括塔吊实时动作采集模块、塔吊实时状态采集模块、塔吊实时现场环境采集模块和工业人机界面，

塔吊实时动作采集模块与塔吊的控制台连接，用于从控制台获取塔吊的当前动作信息；塔吊实时状态采集模块用于获取塔吊的实时状态信息，实时状态信息包括塔吊的起重臂的实时方向、起重臂上的小车的实时位置以及塔吊的吊钩的实时高度；塔吊实时现场环境采集模块用于获取塔吊周围预定区域内的全部物体的形状和尺寸信息以及每个物体相对于塔吊的实时相对位置信息；工业人机界面用于根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息对塔吊以及其周围预定区域内的全部物体进行三维虚拟成像；

虚拟成像装置用于实施根据第一方面所述的基于工业人机界面的虚拟成像方法。

本发明的有益效果包括：

本发明提供的方法通过工业人机界面获取由塔吊的操作者选择的观看方向显示模式，观看方向显示模式包括固定观看方向显示模式和自动观看方向显示模式；在操作者选择固定观看方向显示模式的情况下，通过工业人机界面获取由操作者在预设观看方向列表中选择的观看方向，并且将该观看方向作为当前观看方向，预设观看方向列表包括用于平视观看塔吊全景的第一观看方向、用于俯视观看吊钩及吊钩正下方环境的第二观看方向、用于平视观看吊钩及吊钩周围环境的第三观看方向；在操作者选择自动观看方向显示模式的情况下，工业人机界面根据来自塔吊实时动作采集模块和塔吊实时状态采集模块的信息，从预设观看方向列表中自动选择观看方向作为当前观看方向；工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息，以当前观看方向显示塔吊的操作现场的三维虚拟图像。通过工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息对塔吊的操作现场进行三维虚拟图像，可以详细且清晰地呈现塔吊的操作现场的环境情况，并且可以根据操作者设定选择观看方向，从而帮助塔吊操作者全面地获知现场环境情况，从而提高了塔吊操作的安全性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的塔吊监控系统的结构示意图；

图2示出了本发明一实施例提供的基于工业人机界面的虚拟成像方法的流程示意图；

图3示出了本发明一实施例提供的工业人机界面以第一观看方向显示的虚拟成像屏幕；

图4示出了本发明另一实施例提供的基于工业人机界面的虚拟成像方法的流程示意图；

图5示出了本发明另一实施例提供的工业人机界面以第一观看方向显示的虚拟成像屏幕；

图6示出了本发明一实施例提供的工业人机界面以第二观看方向显示的虚拟成像屏幕；

图7示出了本发明一实施例提供的工业人机界面以第三观看方向显示的虚拟成像屏幕。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现场环境的虚拟成像技术是具有计算处理能力的设备根据所采集的真实环境相关数据，通过建立模型，以三维形式进行仿真显示图像的系统。虚拟成像具有与真实环境一致性好、可视性好、易于根据用户需求对成像进行处理等优点。

由于现有技术中采用摄像机获取塔吊的现场环境的视频数据并直接呈现给操作者存在各种缺点，因此，本发明基于虚拟成像技术，针对塔吊的现场环境监控，提供了一种基于工业人机界面的虚拟成像方法及装置。

图1示出了本发明实施例提供的塔吊监控系统的结构示意图；图2示出了本发明一实施例提供的基于工业人机界面的虚拟成像方法的流程示意图。

本发明实施例提供的基于工业人机界面的虚拟成像方法用于如图1所示的塔吊监控系统，塔吊监控系统包括塔吊实时动作采集模块101、塔吊实时状态采集模块102、塔吊实时现场环境采集模块103和工业人机界面104。该塔吊监控系统安装在塔吊上，并且工业人机界面104安装在塔吊的操作控制室内，工业人机界面104与塔吊的操作者进行交互。

图3示出了本发明一实施例提供的工业人机界面以第一观看方向显示的虚拟成像屏幕，具体地，图3是利用塔吊将物体吊起以放置在货车车厢上的操作现场的三维虚拟成像屏幕，下面将结合图3进行详细描述。

塔吊实时动作采集模块101与塔吊的控制台连接，用于从控制台获取塔吊的当前动作信息；塔吊实时状态采集模块102用于获取塔吊的实时状态信息，实时状态信息包括塔吊的起重臂301的实时方向、起重臂上的小车302的实时位置以及塔吊的吊钩303的实时高度；塔吊实时现场环境采集模块103用于获取塔吊周围预定区域内的全部物体(例如，如图3中所示，吊钩303上的被吊物体304、货车305、行人306、其他建筑或障碍物307等等)的形状和尺寸信息以及每个物体相对于塔吊的实时相对位置信息；工业人机界面104用于根据来自塔吊实时动作采集模块101、塔吊实时状态采集模块102和塔吊实时现场环境采集模块103的信息对塔吊以及其周围预定区域内的全部物体进行三维虚拟成像。

需要说明的是，由于塔吊自身的形状和尺寸信息是预先已知的，因此可以将塔吊自身的形状和尺寸信息预先存储在工业人机界面104中，由工业人机界面104直接使用，而无需另外获取。工业人机界面104可以根据塔吊自身的形状和尺寸信息以及来自相关采集模块的信息可以实现对塔吊以及其周围预定区域(该预定区域例如可以为起重壁301的摆动覆盖范围)内全部物体进行三维建模和虚拟成像，然后将该虚拟成像以预定的观看方向显示在工业人机界面104的屏幕上，如图3所示。该三维虚拟成像例如可以呈现为三维透视虚拟图像，以方便塔吊操作者更详细获知环境情况。

基于上述的塔吊监控系统，本发明实施例提供的基于工业人机界面的虚拟成像方法包括：通过工业人机界面104获取由塔吊的操作者选择的观看方向显示模式(步骤201)，观看方向显示模式包括固定观看方向显示模式和自动观看方向显示模式。

在操作者选择固定观看方向显示模式的情况下，通过工业人机界面获取由操作者在预设观看方向列表中选择的观看方向，并且将该观看方向作为当前观看方向，预设观看方向列表包括用于平视(例如，大约水平方向)观看塔吊全景的第一观看方向(图3中为以该第一观看方向进行显示的屏幕)、用于俯视(例如，沿垂直于地面方向向下，如图6所示)观看吊钩及吊钩正下方环境的第二观看方向、用于平视(例如，大约水平方向，如图7所示)观看吊钩及吊钩周围环境的第三观看方向；在操作者选择自动观看方向显示模式的情况下，工业人机界面根据来自塔吊实时动作采集模块和塔吊实时状态采集模块的信息，从预设观看方向列表中自动选择观看方向作为当前观看方向(步骤202)。

工业人机界面104根据来自塔吊实时动作采集模块101、塔吊实时状态采集模块102和塔吊实时现场环境采集模块103的信息，以在步骤202中确定的当前观看方向显示塔吊的操作现场的三维虚拟图像(步骤203)。

综上所述，通过工业人机界面根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息对塔吊的操作现场进行三维虚拟图像，可以详细且清晰地呈现塔吊的操作现场的环境情况，并且可以根据操作者设定选择观看方向，从而帮助塔吊操作者全面地获知现场环境情况，从而提高了塔吊操作的安全性。

图4示出了本发明另一实施例提供的基于工业人机界面的虚拟成像方法的流程示意图；图5示出了本发明另一实施例提供的工业人机界面以第一观看方向显示的虚拟成像屏幕，具体地，图5中示出了两台塔吊协同工作的操作现场的三维虚拟成像屏幕。

在存在两台或更多台塔吊协同工作的情况下，每台塔吊均配备有图1中所示的塔吊监控系统，并且每台塔吊还包括通信模块，通信模块用于两台或更多台塔吊彼此共享传输来自各自的塔吊监控系统的信息。

参照图4，针对每一台塔吊，在通过工业人机界面104获取由塔吊的操作者选择的观看方向显示模式之前，基于工业人机界面的虚拟成像方法还包括：通过工业人机界面104获取由塔吊的操作者选择的工作模式(步骤401)，工作模式包括单台工作模式和多台协同工作模式。在操作者选择多台协同工作模式的情况下，观看方向显示模式默认设置为固定观看方向显示模式，并且将第一观看方向作为当前观看方向(步骤402)。在操作者选择多台协同工作模式的情况下，如图5所示，每一台塔吊的工业人机界面104将显示自身塔吊及其周围预定范围内的全部物体、以及其他塔吊及其周围预定范围内的全部物体的三维虚拟图像。如上所述，每一台塔吊的工业人机界面104显示自身塔吊相关环境的信息来自于该塔吊自身的塔吊监控系统的采集模块。每一台塔吊的工业人机界面104显示其他塔吊的相关环境的信息来自于通信模块的信息共享传输。

在操作者选择多台协同工作模式的情况下，在将第一观看方向作为当前观看方向之后，针对所述两台或更多台塔吊中的每一台塔吊，工业人机界面104根据来自塔吊实时动作采集模块101、塔吊实时状态采集模块102和塔吊实时现场环境采集模块103的信息以及经由通信模块获取的来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，以当前观看方向(也就是第一观看方向)显示所述两台或更多台塔吊协同操作现场的三维虚拟图像(步骤403)。

针对所述两台或更多台塔吊中的每一台塔吊，所述方法还包括：

工业人机界面104根据来自塔吊实时动作采集模块101、塔吊实时状态采集模块102的信息以及来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置是否存在碰撞风险，并且在确定存在碰撞风险时，以预设方式显示相关联的起重臂(步骤404)，以提醒操作者。例如，如图5所示，在存在两台塔吊协同工作的情况下，可以确定该两台塔吊的起重臂之间的相对位置是否存在碰撞风险，并且在确定存在碰撞风险时，以预设方式显示该两台塔吊的起重臂。

通过对两台或更多台塔吊协同操作现场进行三维虚拟图像，并且在确定起重臂之间存在碰撞风险时，以预设方式显示相关联的起重臂以提醒操作者，可以尽可能避免多台塔吊协同操作时出现起重臂碰撞事故，从而提高了塔吊操作的安全性。

可选地，所述确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置是否存在碰撞风险，包括：确定该塔吊的起重臂的摆动范围与其他塔吊的起重臂的摆动范围是否存在交叠区域，若不存在交叠区域，则确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置不存在碰撞风险；若存在交叠区域，确定该塔吊的起重臂与其他塔吊的起重臂之间的距离(如图5中所示的距离L)，并且在该距离小于第一预设阈值时，则确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置存在碰撞风险。可选地，在确定该塔吊的起重臂与其他塔吊的起重臂之间的相对位置存在碰撞风险的情况下，工业人机界面以着色闪烁形式显示相关联的起重臂(例如，如图5所示，也就是以着色闪烁形式显示该两台塔吊的起重臂)。可选地，所述工业人机界面以着色闪烁形式显示相关联的起重臂，包括：在距离小于第一预设阈值并且大于或等于第二预设阈值时，工业人机界面以黄色闪烁形式显示相关联的起重臂，并且在距离小于第二预设阈值时，工业人机界面以红色闪烁形式显示相关联的起重臂，第二预设阈值小于第一预设阈值。第一预设阈值和第二预设阈值均可以根据经验设定。黄色闪烁为第一次警告，以提醒操作者起重臂之间的距离较近，存在碰撞风险，需要操作者重新调整操作，如果操作者未采取相关应对措施，使得两台或更多台塔吊的起重臂之间的距离更近，则在距离小于第二预设阈值时进行红色闪烁第二次警告，以提醒操作者必须立即停止操作，否则将出现事故。

在操作者选择单台工作模式的情况下，接下来的虚拟成像步骤与上述结合图2所描述的相同，在此不再赘述。

本发明实施例中提供的塔吊实时现场环境采集模块103包括：设置在小车302上以朝下的方向拍摄吊钩303及其周围预定范围内的环境的第一双目相机；设置在起重臂301的左侧以水平朝向起重臂301左侧的方向拍摄起重臂301左侧预定范围内的环境的第二双目相机；设置在起重臂301的右侧以水平朝向起重臂301右侧的方向拍摄起重臂301右侧预定范围内的环境的第三双目相机；设置在塔吊的塔身308上距地面预定距离处的多个第四双目相机，所述多个第四双目相机环绕塔身308布置，以使得所述多个第四双目相机的拍摄方向的视野范围覆盖塔身308周围起重臂301的摆动范围，所述多个第四双目相机用于拍摄塔身308周围的地面以上预定高度范围内的环境。双目相机不仅可以获得拍摄对象的形状信息，还可以获得拍摄对象的尺寸以及位置信息。应当理解，塔吊实时现场环境采集模块103还可以包括除了上述第一至第四双目相机之外的设置在塔吊的其他位置上的另外的双目相机。

可选地，本发明实施例中所述的当前动作信息包括吊钩起落动作、小车运动动作、起重臂摆动动作和无操作动作；在操作者选择自动观看方向显示模式的情况下：例如针对图3中所示的现场操作环境，在当前动作信息为吊钩起落动作时，确定吊钩303的实时高度是否大于预设吊钩高度阈值(针对具体的现场环境，该预设吊钩高度阈值根据经验确定)，在吊钩303的实时高度大于预设吊钩高度阈值时，工业人机界面104以第二观看方向显示塔吊的操作现场的三维虚拟图像(如图6所示)，以方便操作者查看被吊物体304是否将落入货车305的车厢范围内，由于此时吊钩303的实时高度较高，因此，如果操作者根据图6所示的屏幕发现被吊物体304可能落入货车305的车厢范围外时，可以通过操作起重臂301和/或小车302来及时做出调整操作，以使得被吊物体304落入货车305的车厢范围内。在吊钩303的实时高度小于或等于预设吊钩高度阈值时，此时，被吊物体304与车厢距离较近，工业人机界面104以第三观看方向显示塔吊的操作现场的三维虚拟图像(如图7所示)，以方便操作者查看被吊物体304是否将与车厢接触，以有助于操作者适当地控制吊钩303的下降速度。

在当前动作信息为小车运动动作或起重臂摆动动作或无操作动作时，工业人机界面104以第一观看方向显示塔吊的操作现场的三维虚拟图像。也就是说，在当前动作信息为除了吊钩起落动作之外的其他动作或无操作时，工业人机界面104默认设置以第一观看方向显示塔吊的操作现场的三维虚拟图像。

在操作者选择自动观看方向显示模式的情况下，在操作者进行塔吊操作的同时，工业人机界面104会根据实时获取的当前动作信息自动切换观看方向，从而以适当的观看方向来向操作者呈现现场环境，避免了操作者的手动切换操作，提高了操作者的用户体验。

可选地，本发明实施例中所述的塔吊实时状态采集模块102包括用于测量起重臂301的实时方向的转角传感器、用于测量小车302位置的位置传感器和用于测量吊钩303高度的高度传感器。应当理解，塔吊实时状态采集模块102还可以包括用于获取塔吊实时状态信息的其他传感器。

OpenGL(Open Graphics Library，开放图形库)是用于渲染二维或三维矢量图形的跨语言、跨平台的应用程序编程接口，这个接口由近350个不同的函数调用组成，用来绘制从简单的图形比特到复杂的三维景象。例如，在本发明实施例中，可以通过OpenGL对待显示的三维虚拟图像进行渲染，以生成经渲染的虚拟图像，然后通过工业人机界面104显示经渲染的虚拟图像，这使得工业人机界面104所显示的现场环境的虚拟图像更加逼真、可视性更好。

另外，本发明实施例还提供了一种基于工业人机界面的虚拟成像装置，用于上述的塔吊监控系统，该塔吊监控系统包括塔吊实时动作采集模块、塔吊实时状态采集模块、塔吊实时现场环境采集模块和工业人机界面，塔吊实时动作采集模块与塔吊的控制台连接，用于从控制台获取塔吊的当前动作信息；塔吊实时状态采集模块用于获取塔吊的实时状态信息，实时状态信息包括塔吊的起重臂的实时方向、起重臂上的小车的实时位置以及塔吊的吊钩的实时高度；塔吊实时现场环境采集模块用于获取塔吊周围预定区域内的全部物体的形状和尺寸信息以及每个物体相对于塔吊的实时相对位置信息；工业人机界面用于根据来自塔吊实时动作采集模块、塔吊实时状态采集模块和塔吊实时现场环境采集模块的信息对塔吊以及其周围预定区域内的全部物体进行三维虚拟成像；该虚拟成像装置用于实施根据本发明上述实施例所述的基于工业人机界面的虚拟成像方法。

上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (9)

1.一种基于工业人机界面的虚拟成像方法，其特征在于，用于塔吊监控系统，所述塔吊监控系统包括塔吊实时动作采集模块、塔吊实时状态采集模块、塔吊实时现场环境采集模块和工业人机界面，

所述塔吊实时动作采集模块与塔吊的控制台连接，用于从所述控制台获取所述塔吊的当前动作信息；所述塔吊实时状态采集模块用于获取所述塔吊的实时状态信息，所述实时状态信息包括所述塔吊的起重臂的实时方向、所述起重臂上的小车的实时位置以及所述塔吊的吊钩的实时高度；所述塔吊实时现场环境采集模块用于获取所述塔吊周围预定区域内的全部物体的形状和尺寸信息以及每个物体相对于所述塔吊的实时相对位置信息；所述工业人机界面用于根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块和所述塔吊实时现场环境采集模块的信息对所述塔吊以及其周围预定区域内的全部物体进行三维虚拟成像，

所述方法包括：

通过所述工业人机界面获取由所述塔吊的操作者选择的观看方向显示模式，所述观看方向显示模式包括固定观看方向显示模式和自动观看方向显示模式；

在所述操作者选择固定观看方向显示模式的情况下，通过所述工业人机界面获取由所述操作者在预设观看方向列表中选择的观看方向，并且将该观看方向作为当前观看方向，所述预设观看方向列表包括用于平视观看塔吊全景的第一观看方向、用于俯视观看吊钩及吊钩正下方环境的第二观看方向、用于平视观看吊钩及吊钩周围环境的第三观看方向；在所述操作者选择自动观看方向显示模式的情况下，所述工业人机界面根据来自所述塔吊实时动作采集模块和所述塔吊实时状态采集模块的信息，从所述预设观看方向列表中自动选择观看方向作为当前观看方向；

所述工业人机界面根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块和所述塔吊实时现场环境采集模块的信息，以所述当前观看方向显示所述塔吊的操作现场的三维虚拟图像；其中，

所述当前动作信息包括吊钩起落动作、小车运动动作、起重臂摆动动作和无操作动作；

在所述操作者选择自动观看方向显示模式的情况下：

在所述当前动作信息为吊钩起落动作时，确定所述吊钩的实时高度是否大于预设吊钩高度阈值，在所述吊钩的实时高度大于所述预设吊钩高度阈值时，所述工业人机界面以所述第二观看方向显示所述塔吊的操作现场的三维虚拟图像，在所述吊钩的实时高度小于或等于所述预设吊钩高度阈值时，所述工业人机界面以所述第三观看方向显示所述塔吊的操作现场的三维虚拟图像；

在所述当前动作信息为小车运动动作或起重臂摆动动作或无操作动作时，所述工业人机界面以所述第一观看方向显示所述塔吊的操作现场的三维虚拟图像。

2.根据权利要求1所述的基于工业人机界面的虚拟成像方法，其特征在于，在存在两台或更多台塔吊协同工作的情况下，每台塔吊均配备有所述塔吊监控系统，并且每台塔吊还包括通信模块，所述通信模块用于所述两台或更多台塔吊彼此共享传输来自各自的塔吊监控系统的信息，

在所述通过所述工业人机界面获取由所述塔吊的操作者选择的观看方向显示模式之前，所述方法还包括：通过所述工业人机界面获取由所述塔吊的操作者选择的工作模式，所述工作模式包括单台工作模式和多台协同工作模式；在所述操作者选择多台协同工作模式的情况下，所述观看方向显示模式默认设置为固定观看方向显示模式，并且将所述第一观看方向作为当前观看方向；

所述工业人机界面根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块和所述塔吊实时现场环境采集模块的信息，以所述当前观看方向显示所述塔吊的操作现场的三维虚拟图像，包括：针对所述两台或更多台塔吊中的每一台塔吊，所述工业人机界面根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块和所述塔吊实时现场环境采集模块的信息以及经由所述通信模块获取的来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，以所述当前观看方向显示所述两台或更多台塔吊协同操作现场的三维虚拟图像；

针对所述两台或更多台塔吊中的每一台塔吊，所述方法还包括：

所述工业人机界面根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块的信息以及来自所述两台或更多台塔吊中的其他塔吊的塔吊监控系统的信息，确定该塔吊的起重臂与所述其他塔吊的起重臂之间的相对位置是否存在碰撞风险，并且在确定存在碰撞风险时，以预设方式显示相关联的起重臂，以提醒所述操作者。

3.根据权利要求2所述的基于工业人机界面的虚拟成像方法，其特征在于，所述确定该塔吊的起重臂与所述其他塔吊的起重臂之间的相对位置是否存在碰撞风险，包括：

确定该塔吊的起重臂的摆动范围与所述其他塔吊的起重臂的摆动范围是否存在交叠区域，若不存在交叠区域，则确定该塔吊的起重臂与所述其他塔吊的起重臂之间的相对位置不存在碰撞风险；若存在交叠区域，确定该塔吊的起重臂与所述其他塔吊的起重臂之间的距离，并且在所述距离小于第一预设阈值时，则确定该塔吊的起重臂与所述其他塔吊的起重臂之间的相对位置存在碰撞风险。

4.根据权利要求3所述的基于工业人机界面的虚拟成像方法，其特征在于，在确定该塔吊的起重臂与所述其他塔吊的起重臂之间的相对位置存在碰撞风险的情况下，所述工业人机界面以着色闪烁形式显示相关联的起重臂。

5.根据权利要求4所述的基于工业人机界面的虚拟成像方法，其特征在于，所述工业人机界面以着色闪烁形式显示相关联的起重臂，包括：在所述距离小于第一预设阈值并且大于或等于第二预设阈值时，所述工业人机界面以黄色闪烁形式显示相关联的起重臂，并且在所述距离小于第二预设阈值时，所述工业人机界面以红色闪烁形式显示相关联的起重臂，所述第二预设阈值小于所述第一预设阈值。

6.根据权利要求1所述的基于工业人机界面的虚拟成像方法，其特征在于，所述塔吊实时现场环境采集模块包括：设置在所述小车上以朝下的方向拍摄所述吊钩及其周围预定范围内的环境的第一双目相机；设置在所述起重臂的左侧以水平朝向所述起重臂左侧的方向拍摄所述起重臂左侧预定范围内的环境的第二双目相机；设置在所述起重臂的右侧以水平朝向所述起重臂右侧的方向拍摄所述起重臂右侧预定范围内的环境的第三双目相机；设置在所述塔吊的塔身上距地面预定距离处的多个第四双目相机，所述多个第四双目相机环绕所述塔身布置，以使得所述多个第四双目相机的拍摄方向的视野范围覆盖所述塔身周围所述起重臂的摆动范围，所述多个第四双目相机用于拍摄所述塔身周围的地面以上预定高度范围内的环境。

7.根据权利要求1所述的基于工业人机界面的虚拟成像方法，其特征在于，所述塔吊实时状态采集模块包括用于测量起重臂的实时方向的转角传感器、用于测量小车位置的位置传感器和用于测量吊钩高度的高度传感器。

8.根据权利要求1至7中任一项所述的基于工业人机界面的虚拟成像方法，其特征在于，通过OpenGL对待显示的三维虚拟图像进行渲染，以生成经渲染的虚拟图像，通过所述工业人机界面显示所述经渲染的虚拟图像。

9.一种基于工业人机界面的虚拟成像装置，其特征在于，用于塔吊监控系统，所述塔吊监控系统包括塔吊实时动作采集模块、塔吊实时状态采集模块、塔吊实时现场环境采集模块和工业人机界面，

所述塔吊实时动作采集模块与塔吊的控制台连接，用于从所述控制台获取所述塔吊的当前动作信息；所述塔吊实时状态采集模块用于获取所述塔吊的实时状态信息，所述实时状态信息包括所述塔吊的起重臂的实时方向、所述起重臂上的小车的实时位置以及所述塔吊的吊钩的实时高度；所述塔吊实时现场环境采集模块用于获取所述塔吊周围预定区域内的全部物体的形状和尺寸信息以及每个物体相对于所述塔吊的实时相对位置信息；所述工业人机界面用于根据来自所述塔吊实时动作采集模块、所述塔吊实时状态采集模块和所述塔吊实时现场环境采集模块的信息对所述塔吊以及其周围预定区域内的全部物体进行三维虚拟成像；

所述虚拟成像装置用于实施根据权利要求1至8中任一项所述的基于工业人机界面的虚拟成像方法。

Images