CN113593078A - 作业机械的辅助图像显示方法、装置及系统 - Google Patents

Abstract

本发明提供一种作业机械的辅助图像显示方法、装置及系统，该方法包括：获取作业机械的工况信息和环境图像信息；基于所述工况信息和所述环境图像信息，得到工况场景信息；确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。该方法通过结合工况信息和环境图像信息，得到工况场景信息这一辅助图像，且在确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，使得用户可以清楚准确地获取到工况和环境相关的信息，有助于提高作业机械的作业效率，还可以降低事故发生率。

Description

作业机械的辅助图像显示方法、装置及系统

技术领域

本发明涉及作业机械技术领域，尤其涉及一种作业机械的辅助图像显示方法、装置及系统。

背景技术

作业机械是工程建设中的重要工具，应用于交通运输建设，能源工业建设、农林水利建设、城市建设工业和环境保护等领域。

作业机械作业时，操作人员需要观察周边环境情况和作业机械本身工况信息，观察过程需要在环境情况和工况信息间不断切换，操作复杂，给作业机械的作业带来不便，降低作业效率，在夜间工况场景下，由于环境情况的准确度较低，还可能导致安全事故的发生。

发明内容

本发明提供一种作业机械的辅助图像显示方法、装置及系统，用以解决现有技术中由于观察周边环境情况和工况信息而导致的作业效率低下的问题。

本发明提供一种作业机械的辅助图像显示方法，包括：

获取作业机械的工况信息和环境图像信息；

基于所述工况信息和所述环境图像信息，得到工况场景信息；

确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

根据本发明提供的一种作业机械的辅助图像显示方法，在所述得到工况场景信息后，所述方法还包括：

在所述当前时刻处于目标临界时段的范围内的情况下，获取所述作业机械的目标照明装置的开关状态，其中，昼夜交替时刻在所述目标临界时段之内，且与所述目标临界时段的起止点均间隔开；

确定所述目标照明装置处于开启状态，在夜间模式下显示所述工况场景信息。

根据本发明提供的一种作业机械的辅助图像显示方法，在所述获取所述作业机械的目标照明装置的开关状态后，所述方法还包括：

确定所述目标照明装置处于关闭状态，在日间模式下显示所述工况场景信息。

根据本发明提供的一种作业机械的辅助图像显示方法，在所述得到工况场景信息后，所述方法还包括：

确定所述当前时刻在目标日间时段的范围内，在日间模式下显示所述工况场景信息。

根据本发明提供的一种作业机械的辅助图像显示方法，所述确定当前时刻在目标夜间时段的范围内，包括：

获取所述作业机械的位置信息；

基于所述位置信息，得到所述目标夜间时段；

将所述当前时刻和所述目标夜间时段进行比对，确定所述当前时刻在所述目标夜间时段的范围内。

根据本发明提供的一种作业机械的辅助图像显示方法，所述基于所述位置信息，得到所述目标夜间时段，包括：

基于所述位置信息，确定所述作业机械所处的经纬度区域；

基于所述经纬度区域和所述当前时刻，得到目标昼夜交替时刻；

根据所述目标昼夜交替时刻，得到所述目标夜间时段。

根据本发明提供的一种作业机械的辅助图像显示方法，在所述工况信息更新的情况下，同步更新所述工况场景信息。

根据本发明提供的一种作业机械的辅助图像显示方法，在所述获取作业机械的工况信息和环境图像信息后，所述方法还包括：

确定所述工况信息在工况信息告警范围内，进行告警；

或，确定所述环境图像信息在环境图像信息告警范围内，进行告警。

本发明还提供一种作业机械的辅助图像显示装置，包括：

获取模块，用于获取作业机械的工况信息和环境图像信息；

处理模块，用于基于所述工况信息和所述环境图像信息，得到工况场景信息；

控制模块，用于确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

本发明还提供一种作业机械的辅助图像显示系统，包括：

图像采集装置，所述图像采集装置用于采集作业机械的环境图像信息；

整车控制器，所述整车控制器用于采集所述作业机械的工况信息AR可视化装置，所述AR可视化装置与所述图像采集装置和所述整车控制器通过硬接线连接，所述AR可视化装置用于基于所述工况信息和所述环境图像信息，得到工况场景信息；

所述AR可视化装置确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械的辅助图像显示方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械的辅助图像显示方法的步骤。

本发明提供的作业机械的辅助图像显示方法、装置及系统，通过结合工况信息和环境图像信息，得到工况场景信息这一辅助图像，且在确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，使得用户可以清楚准确地获取到工况和环境相关的信息，有助于提高作业机械的作业效率，还可以降低安全事故的发生率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的作业机械的辅助图像显示方法的流程示意图之一；

图2是本发明提供的作业机械的辅助图像显示方法的流程示意图之二；

图3是本发明提供的作业机械的辅助图像显示方法的流程示意图之三；

图4是本发明提供的作业机械的辅助图像显示方法的流程示意图之四；

图5是本发明提供的作业机械的辅助图像显示系统的结构示意图；

图6是本发明提供的作业机械的辅助图像显示装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图5描述本发明的作业机械的辅助图像显示方法，该方法的执行主体，可以为设备端的控制器，或者云端，或者边缘服务器。

作业机械可以为臂架型起重机，桥架型起重机、塔式起重机、汽车起重机、挖掘机、打桩机、压路机、掘进机、泵车或消防车等作业机械。

如图1所示，本发明提供的辅助图像显示方法，包括步骤110至步骤130。

步骤110、获取作业机械的工况信息和环境图像信息。

工况信息指作业机械的动力机构、执行机构及行走机构等设备的工况信息，例如，发动机转速、臂架角度、起吊重量及驱动轮转速等工况信息。

整车控制器通过布置在作业机械各处的传感器，可以监控作业机械中各个机构的动作状态。

在该步骤中，可以从整车网络中获取工况信息，整车网络指整车控制器与各传感器构成的网络结构，整车网络可以采集作业机械的动力机构、执行机构及行走机构等设备的工况信息。

可以理解的是，获取的工况信息可以以图形或数据等方式在作业机械设备端的显示屏上显示，为用户提供作业机械的工况情况，以便用户进行操作处理。

以起重机为例，工况信息可以包括起重机的起吊下吊的高度、回转角度、变幅角度和起吊重量等信息。

环境图像信息指作业机械所处的作业环境的实时图像信息，可以通过安装于作业机械各个区域的摄像头采集环境图像信息。

可以理解的是，不同区域的摄像头采集环境图像信息的视角不同，包括但不限于作业机械前后左右的视角。

不同区域的摄像头采集环境图像信息可以通过视频控制器进行初步处理，再传输给作业机械的控制器，以供控制器结合工况信息进行进一步处理。

步骤120、基于工况信息和环境图像信息，得到工况场景信息。

工况场景信息是基于工况信息和环境图像信息进行处理，模拟作业机械作业现场的情况得到的。

可以理解的是，通过工况场景信息可以得到作业机械上的各个机构与作业环境中的作业对象或人员的控制情况及距离信息。

工况场景信息是图像信息，以环境图像信息为基础，根据工况信息，在环境图像信息上增加作业机械相关的工况数据。

工况场景信息可以是环境图像与工况信息数据的结合，也可以是根据工况信息模拟作业机械的图像，将作业机械图像和环境图像进行结合得到。

在实际执行中，工况信息和环境图像信息用于模拟生成实时的工况场景信息，辅助用户作业，同时，也可以将工况信息和环境图像信息分别进行存储，以供后续查看。

步骤130、确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

在实际执行中，可以根据作业机械的作业场景建立工况场景信息显示模型，通过显示模型，在显示装置中显示工况场景信息。

其中，显示装置可以为显示屏或AR眼镜等显示装置。

以起重机为例，根据起重机的起吊、下吊及回转等作业场景建立工况场景信息显示模型，在显示装置中显示工况场景信息。

在显示工况场景信息时，可以根据当前时刻选择夜间模式和日间模式，通过调节显示亮度、色调和透明度等参数，提高显示的工况场景信息的清晰度。

目标夜间时段通常指下午太阳落山到次日太阳升起前的这一段时间，在这段时间内，天空通常为黑色。

目标夜间时段作业环境的光线较暗，不利于用户观察，作业效率较低，且易发生安全事故。

确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，其中，夜间模式下工况场景信息的显示亮度得以调高，用户可以清晰的观察作业机械的工况信息和环境图像信息，作业效率得以提高，还可以降低安全事故的发生率。

相关技术中，用户需要不停切换，观察作业环境和工况信息，以完成作业，切换过程繁琐，作业效率低，还可以由于观察的延迟，而导致安全事故。

本发明通过将工况信息和环境图像信息模拟生成工况场景信息，用户无需切换观察视角，通过显示的工况场景信息就能获取需要的信息，以辅助作业。

根据本发明提供的作业机械的辅助图像显示方法，通过结合工况信息和环境图像信息，得到工况场景信息这一辅助图像，且在确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，使得用户可以清楚准确地获取到工况和环境相关的信息，有助于提高作业机械的作业效率，还可以降低安全事故的发生率。

在一些实施例中，在步骤120得到工况场景信息后，还需要对当前时刻进行更加精确的判断，以确定工况场景信息的显示模式。

工况场景信息的显示模式包括日间模式和夜间模式，当前时刻在目标夜间时段内以夜间模式显示，当前时刻在目标日间时段内以日间模式显示。

在目标日间时段和目标夜间时段之间存在目标临界时段，作业机械所处位置的昼夜交替时刻在目标临界时段内，且昼夜交替时刻与目标临界时段的起止点均间隔开。

在昼夜交替时刻前后目标时长范围内的时段即为和目标临界时段，其中，昼夜交替时刻前的目标时长范围和昼夜交替时刻后的目标时长范围可以相同，也可以不同。

例如，昼夜交替时刻为上午6:00和晚上19:00，目标日间时段为6:30至18:30的时段，目标夜间时段为19：30至5:30的时段，目标临界时段包括上午5:30至6:30以及晚上18：30至19：30的时段。

再例如，昼夜交替时刻为上午6:00和晚上19:00，目标日间时段为6:20至18:30的时段，目标夜间时段为19:20至5:40的时段，目标临界时段包括上午5:40至6:20以及晚上18:30至19:20的时段。

在当前时刻处于目标临界时段的范围内情况下，根据作业机械的目标照明装置的开关状态，判断工况场景信息的显示模式。

其中，目标照明装置是作业机械用于照明作业的照明装置，例如，作业机械车身前方的大灯。

目标照明装置的开关状态由用户根据环境情况自行控制，目标照明装置处于开启状态证明作业环境光线较暗，不符合作业需求；目标照明装置处于关闭状态证明作业环境光线符合作业需求。

确定目标照明装置处于开启状态，在夜间模式下显示工况场景信息，确定目标照明装置处于关闭状态，在日间模式下显示工况场景信息；为用户提供清晰准确的工况场景信息，显示模式的切换更加灵活，满足用户的使用需求。

在一些实施例中，步骤130中确定当前时刻在目标夜间时段的范围内，包括：获取作业机械的位置信息；基于位置信息，得到目标夜间时段；将当前时刻和目标夜间时段进行比对，确定当前时刻在目标夜间时段的范围内。

在该实施例中，根据作业机械所处的位置，确定该位置的目标夜间时段的区间范围，同时也可以确定出目标日间时段以及目标临界时段的区间范围。

可以理解的是，不同地方的昼夜交替时刻不同，通过作业机械所处的位置，确定目标夜间时段，再确定当前时刻是否处于目标夜间时段内，能够更加准确地调整工况场景信息在日间模式还是夜间模式显示。

在一些实施例中，基于位置信息，确定作业机械所处的经纬度区域；基于经纬度区域和当前时刻，得到目标昼夜交替时刻；根据目标昼夜交替时刻，得到目标夜间时段。

在该实施例中，位置信息包括该位置的经度信息和纬度信息，根据位置信息，能够确定作业机械所处的经纬度区域。

作业机械所处的经纬度区域不同，相应地昼夜交替时刻也是不同的。

当前时刻包括月份和时间，不同季节相应的昼夜交替时刻也是不同的，结合当前时刻，能够更加准确的得到作业机械所处的经纬度区域的目标昼夜交替时刻。

根据目标昼夜交替时刻，得到目标夜间时段的区间范围，同时也可以确定出目标日间时段以及目标临界时段的区间范围。

如图2所示，下面介绍一个具体的实施例。

步骤210、获取作业机械的位置信息。

在该步骤中，可以通过定位装置定位获取作业机械的位置信息，也可以通过输入设备输入作业机械所处的位置信息。

步骤211、在经纬度矩阵模型中，判断作业机械所处区域。

根据获取的作业机械的位置信息，在经纬度矩阵模型中，判断作业机械所处的经纬度区域，结合作业机械的当前时刻，能够获得作业机械所处位置的目标昼夜交替时刻。

根据目标昼夜交替时刻，确定该位置的目标夜间时段、目标日间时段以及目标临界时段的区间范围。

步骤212、获取作业机械的当前时刻，当前时刻包括月份和时间。

可以理解的是，不同季节相应的昼夜交替时刻也是不同的，获取月份和时间，能够更加准确的判断当前时刻是否处于目标夜间时段、目标日间时段或目标临界时段内。

步骤213、在区域/月份/时间矩阵模型中判断作业机械的工况场景信息显示的日/夜间模式。

在区域/月份/时间矩阵模型中，判断当前时刻处于目标夜间时段或目标日间时段。

当前时刻处于目标日间时段内时，在日间模式显示作业机械的工况场景信息；当前时刻处于目标夜间时段内时，在夜间模式显示作业机械的工况场景信息。

步骤214、判断当前时刻是否处于目标临界时段。

步骤220、当前时刻不处于目标临界时段，保持目前显示的日间模式或夜间模式。

在当前时刻处于目标临界时段，且与目标临界时段的起止点均间隔开的情况下。

步骤230、获取作业机械的目标照明装置的信号，判断目标照明装置的开关状态。

步骤215、判断目标照明装置是否开启。

步骤231、目标照明装置关闭，作业机械所处的光线环境可以满足作业需求，在日间模式显示工况场景信息。

步骤232、目标照明装置开启，作业机械所处的光线环境不满足作业需求，在夜间模式显示工况场景信息，是的用户可以清楚准确地获取作业机械的工况信息和环境信息。

在一些实施例中，在工况信息更新的情况下，同步更新工况场景信息。

在该实施例中，作业机械的工况信息发生变化，同步更新工况场景信息，例如，作业机械起重机的工况信息从起吊工况信息变为了回转工况信息，相应显示的工况场景信息也发生变化。

如图3所示，下面介绍一个具体的实施例。

步骤310、获取作业机械的工况信息和环境图像信息

步骤320、基于作业机械的作业场景，对工况信息和环境图像信息进行工况场景建立

步骤330、实时获取作业机械的当前工况信息。

步骤340、判断工况信息是否发生变化。

步骤341、工况信息发生变化，根据当前工况信息，更新工况场景信息，结合当前时刻，在日间模式或夜间模式显示当前工况场景信息。

步骤342、工况信息未发生变化，在日间模式或夜间模式保持目前工况场景信息的显示。

在一些实施例中，在步骤110获取作业机械的工况信息和环境图像信息后，该方法还包括：确定工况信息在工况信息告警范围内，进行告警；或，确定环境图像信息在环境图像信息告警范围内，进行告警。

在该实施例中，通过对工况信息和环境图像信息进行实时监控，当工况信息和环境图像信息到达各自的告警范围内，通过作业机械的告警装置进行告警，提醒用户，减少事故发生率。

其中，告警方式可以包括声音告警和视觉告警等方式。

以起重机为例，在起重力矩超过100％，也即起重机处于超载状态下，通过提示告警信息、发出告警声或告警灯光提醒操作人员。

起重机的摄像头监控到钢丝绳乱绳，通过提示告警信息、发出告警声或告警灯光提醒操作人员。

起重机在进行回转作业时，起重机后方摄像头监控到有出现障碍物体或对象时，通过提示告警信息、发出告警声或告警灯光提醒操作人员。

其中，起重机后方摄像头可以包括起重机左后方、右后方以及后侧盲区的摄像头。

如图4所示，下面介绍一个具体的实施例。

步骤410、获取作业机械的工况信息。

步骤411、基于作业机械工况信息预警模型，判断当前工况信息是否达到告警范围。

步骤420、获取作业机械的环境图像信息。

步骤421、基于作业机械环境图像信息预警模型，判断当前环境图像信息是否达到告警范围。

步骤430、在当前工况信息达到告警范围或当前环境图像信息达到告警范围的情况下，通过声音或视觉的方式提醒作业危险。

可以理解的是，可以单独通过声音或视觉的方式进行告警，也可以同时使用声音和视觉方式进行告警，提醒操作人员。

下面介绍本发明提供的作业机械的辅助图像显示系统。

如图5所示，辅助图像显示系统包括：图像采集装置520、整车控制器540和AR可视化装置510。

其中，图像采集装置520用于采集作业机械的环境图像信息，整车控制器540用于采集作业机械的工况信息。

AR可视化装置510包括AR控制器和AR显示装置，AR显示装置可以为AR眼镜，其中，AR控制器用于工况信息、环境图像信息和工况场景信息的处理，AR显示装置用于工况场景信息的显示。

该系统中AR可视化装置510与图像采集装置520和整车控制器540通过硬接线的连接方式连接，将工况信息和环境图像信息快速、准确反馈给辅助图像显示系统，以供操作人员查看。

可以理解的是，相对于无线网络方式显示视频信息，保证了工况信息和环境图像信息的实时性，不会造成AR可视化装置510显示延迟。

AR可视化装置510用于基于工况信息和环境图像信息，得到工况场景信息，并确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

整车控制器540与各传感器构成的CAN网络结构为整车网络，整车控制器540采集作业机械的动力机构、执行机构及行走机构等设备的工况信息。

获取的工况信息可以以图形或数据等方式在作业机械设备端的显示屏530上显示，为用户提供作业机械的工况情况，以便用户进行操作处理。

图像采集装置520包括安装于作业机械各个区域的摄像头，例如，安装于作业机械前侧的1号摄像头521、安装于作业机械左侧的2号摄像头522、安装于作业机械右侧的3号摄像头523以及安装于作业机械后侧的4号摄像头524。

可以理解的是，不同区域的摄像头采集环境图像信息的视角不同，包括但不限于作业机械前后左右的视角。

AR可视化装置510基于工况信息和环境图像信息进行处理，模拟作业机械作业现场的情况得到工况场景信息。

工况场景信息可以是环境图像与工况信息数据的结合，也可以是根据工况信息模拟作业机械的图像，将作业机械图像和环境图像进行结合得到。

在实际执行中，可以根据作业机械的作业场景建立工况场景信息显示模型，通过显示模型，在AR眼镜中显示工况场景信息。

在显示工况场景信息时，可以根据当前时刻选择夜间模式和日间模式，通过调节显示亮度、色调和透明度等参数，提高显示的工况场景信息的清晰度。

确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，其中，AR可视化装置510夜间模式下工况场景信息的显示亮度得以调高，用户可以清晰的观察作业机械的工况信息和环境图像信息，作业效率得以提高，还可以降低安全事故的发生率。

相关技术中，用户需要不停切换，观察作业环境和工况信息，以完成作业，切换过程繁琐，作业效率低，还可以由于观察的延迟，而导致安全事故。

本发明通过将工况信息和环境图像信息传输给可透视的AR眼镜，操作人员通过AR眼镜关注工况信息和环境图像信息，无需切换视角去观察情况，提高了作业效率和作业安全性。

根据本发明提供的作业机械的辅助图像显示系统，通过AR可视化装置510结合工况信息和环境图像信息，得到工况场景信息这一辅助图像，且在确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，使得用户可以清楚准确地获取到工况和环境相关的信息，有助于提高作业机械的作业效率，还可以降低安全事故的发生率。

在一些实施例中，AR可视化装置510可以对当前时刻进行更加精确的判断，以确定工况场景信息的显示模式。

在当前时刻处于目标临界时段的范围内的情况下，根据作业机械的目标照明装置的开关状态，判断工况场景信息在AR可视化装置510中的显示模式。

确定目标照明装置处于开启状态，在夜间模式下显示工况场景信息，确定目标照明装置处于关闭状态，在日间模式下显示工况场景信息；为用户提供清晰准确的工况场景信息，显示模式的切换更加灵活，满足用户的使用需求。

在一些实施例中，AR可视化装置510可以通过作业机械的位置信息，得到目标夜间时段；准确判断当前时刻所处的时段，进而进行日间模式和夜间模式的切换。

在一些实施例中，作业机械的辅助图像显示系统在工况信息更新的情况下，同步更新工况场景信息。

在该实施例中，整车控制器540所采集到的工况信息发生变化，AR可视化装置510同步更新工况场景信息，例如，作业机械起重机的工况信息从起吊工况信息变为了回转工况信息，相应AR可视化装置510显示的工况场景信息也发生变化。

可以理解的是，在作业机械的辅助图像显示系统中，用户可以通过对AR可视化装置510的输入，包括但不限于触控输入和语音输入，控制AR可视化装置510显示的工况场景信息。

作业机械的辅助图像显示系统可以自动切换日夜间模式及工况场景信息，增加操作人员的便捷性和安全性。

在一些实施例中，作业机械的辅助图像显示系统通过对工况信息和环境图像信息进行实时监控，当工况信息和环境图像信息到达各自的告警范围内，通过作业机械的告警装置进行告警，提示危险作业，减少事故发生率。

下面对本发明提供的作业机械的辅助图像显示装置进行描述，下文描述的作业机械的辅助图像显示装置与上文描述的作业机械的辅助图像显示方法可相互对应参照。

如图6所示，本发明提供的作业机械的辅助图像显示装置，包括：

获取模块610，用于获取作业机械的工况信息和环境图像信息；

处理模块620，用于基于工况信息和环境图像信息，得到工况场景信息；

控制模块630，用于确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

根据本发明提供的作业机械的辅助图像显示装置，通过结合工况信息和环境图像信息，得到工况场景信息这一辅助图像，且在确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息，使得用户可以清楚准确地获取到工况和环境相关的信息，有助于提高作业机械的作业效率，还可以降低安全事故的发生率。

在一些实施例中，处理模块620得到工况场景信息后，还用于在当前时刻处于目标临界时段的范围内情况下，获取作业机械的目标照明装置的开关状态，其中，昼夜交替时刻在目标临界时段之内，且与目标临界时段的起止点均间隔开；控制模块630还用于确定目标照明装置处于开启状态，在夜间模式下显示工况场景信息。

在一些实施例中，处理模块620获取作业机械的目标照明装置的开关状态后，控制模块630还用于确定目标照明装置处于关闭状态，在日间模式下显示工况场景信息。

在一些实施例中，处理模块620得到工况场景信息后，控制模块630确定当前时刻在目标日间时段的范围内，在日间模式下显示工况场景信息。

在一些实施例中，控制模块630还用于获取作业机械的位置信息；基于位置信息，得到目标夜间时段；将当前时刻和目标夜间时段进行比对，确定当前时刻在目标夜间时段的范围内。

在一些实施例中，处理模块620还用于在工况信息更新的情况下，同步更新工况场景信息。

在一些实施例中，作业机械的辅助图像显示装置还包括告警模块。

告警模块用于确定工况信息在工况信息告警范围内，进行告警；或，告警模块用于确定环境图像信息在环境图像信息告警范围内，进行告警。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行作业机械的辅助图像显示方法，该方法包括：获取作业机械的工况信息和环境图像信息；基于工况信息和环境图像信息，得到工况场景信息；确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械的辅助图像显示方法，该方法包括：获取作业机械的工况信息和环境图像信息；基于工况信息和环境图像信息，得到工况场景信息；确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的作业机械的辅助图像显示方法，该方法包括：获取作业机械的工况信息和环境图像信息；基于工况信息和环境图像信息，得到工况场景信息；确定当前时刻在目标夜间时段的范围内，在夜间模式下显示工况场景信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种作业机械的辅助图像显示方法，其特征在于，包括：

获取作业机械的工况信息和环境图像信息；

基于所述工况信息和所述环境图像信息，得到工况场景信息；

确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

2.根据权利要求1所述的作业机械的辅助图像显示方法，其特征在于，在所述得到工况场景信息后，所述方法还包括：

在所述当前时刻处于目标临界时段的范围内的情况下，获取所述作业机械的目标照明装置的开关状态，其中，昼夜交替时刻在所述目标临界时段之内，且与所述目标临界时段的起止点均间隔开；

确定所述目标照明装置处于开启状态，在夜间模式下显示所述工况场景信息。

3.根据权利要求2所述的作业机械的辅助图像显示方法，其特征在于，在所述获取所述作业机械的目标照明装置的开关状态后，所述方法还包括：

确定所述目标照明装置处于关闭状态，在日间模式下显示所述工况场景信息。

4.根据权利要求1所述的作业机械的辅助图像显示方法，其特征在于，所述确定当前时刻在目标夜间时段的范围内，包括：

获取所述作业机械的位置信息；

基于所述位置信息，得到所述目标夜间时段；

将所述当前时刻和所述目标夜间时段进行比对，确定所述当前时刻在所述目标夜间时段的范围内。

5.根据权利要求4所述的作业机械的辅助图像显示方法，其特征在于，所述基于所述位置信息，得到所述目标夜间时段，包括：

基于所述位置信息，确定所述作业机械所处的经纬度区域；

基于所述经纬度区域和所述当前时刻，得到目标昼夜交替时刻；

根据所述目标昼夜交替时刻，得到所述目标夜间时段。

6.根据权利要求1所述的作业机械的辅助图像显示方法，其特征在于，在所述工况信息更新的情况下，同步更新所述工况场景信息。

7.一种作业机械的辅助图像显示装置，其特征在于，包括：

获取模块，用于获取作业机械的工况信息和环境图像信息；

处理模块，用于基于所述工况信息和所述环境图像信息，得到工况场景信息；

控制模块，用于确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

8.一种作业机械的辅助图像显示系统，其特征在于，包括：

图像采集装置，所述图像采集装置用于采集作业机械的环境图像信息；

整车控制器，所述整车控制器用于采集所述作业机械的工况信息AR可视化装置，所述AR可视化装置与所述图像采集装置和所述整车控制器通过硬接线连接，所述AR可视化装置用于基于所述工况信息和所述环境图像信息，得到工况场景信息；

所述AR可视化装置确定当前时刻在目标夜间时段的范围内，在夜间模式下显示所述工况场景信息。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述作业机械的辅助图像显示方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述作业机械的辅助图像显示方法的步骤。

Images