CN115467387A - 用于工程机械的辅助控制系统、方法及工程机械 - Google Patents

用于工程机械的辅助控制系统、方法及工程机械 Download PDF

Info

Publication number
CN115467387A
CN115467387A CN202210568566.9A CN202210568566A CN115467387A CN 115467387 A CN115467387 A CN 115467387A CN 202210568566 A CN202210568566 A CN 202210568566A CN 115467387 A CN115467387 A CN 115467387A
Authority
CN
China
Prior art keywords
angle
reflection
image
driver
windshield
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210568566.9A
Other languages
English (en)
Inventor
王鑫
邓付军
沈小健
余炯
徐敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Earth Moving Machinery Co Ltd
Shaanxi Zoomlion West Earthmoving Machinery Co Ltd
Original Assignee
Zoomlion Earth Moving Machinery Co Ltd
Shaanxi Zoomlion West Earthmoving Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Earth Moving Machinery Co Ltd, Shaanxi Zoomlion West Earthmoving Machinery Co Ltd filed Critical Zoomlion Earth Moving Machinery Co Ltd
Priority to CN202210568566.9A priority Critical patent/CN115467387A/zh
Publication of CN115467387A publication Critical patent/CN115467387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Abstract

本申请实施例提供一种用于工程机械的辅助控制系统、方法、工程机械及机器可读存储介质。用于工程机械的辅助控制系统包括:显示装置,被配置为获取并投射显示图像;反射装置,反射装置的反射角度可调,被配置为将显示图像反射至工程机械的挡风玻璃;图像采集装置,被配置为获取工程机械的驾驶员的图像;处理装置,与图像采集装置通信,被配置为:根据驾驶员的图像确定驾驶员的人眼位置;根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置。通过上述技术方案,降低了工程机械的平地难度,提高了工程机械的平地效率。

Description

用于工程机械的辅助控制系统、方法及工程机械
技术领域
本申请涉及工程机械技术领域,具体涉及一种用于工程机械的辅助控制系统、方法、工程机械及机器可读存储介质。
背景技术
平整地面作业(简称平地作业)是挖掘机、推土机、装载机等工程机械设备经常执行的一种的作业模式,其对驾驶员的驾驶技术有着较高的要求。例如,挖掘机在进行平地作业时,不仅需要挖掘机左右履带处于同一平面,被称为“坐平”,还需要循环操作,保证工作装置在每个循环过程中的起始位置都处于同一平面内。
现有技术中,工程机械设备在执行平地作业时,往往需要驾驶员通过肉眼判断设备是否处于“坐平”状态以及每个循环的起点,一旦设备未处于“坐平”状态,将会导致完成平地作业的地面出现整体倾斜,降低了平地作业的质量,而如果每个循环过程中工作装置的开始位置不在同一直线上,则需要反复补充操作,增加了平地作业整体的难度,作业效率较低。
发明内容
为至少部分地解决现有技术中存在的上述问题,本申请实施例的目的是提供一种用于工程机械的辅助控制系统、方法、工程机械及机器可读存储介质。
为了实现上述目的,本申请第一方面提供一种用于工程机械的辅助控制系统,包括:
显示装置,被配置为获取并投射显示图像;
反射装置,反射装置的反射角度可调,被配置为将显示图像反射至工程机械的挡风玻璃;
图像采集装置,被配置为获取工程机械的驾驶员的图像;
处理装置,与图像采集装置通信,被配置为:
根据驾驶员的图像确定驾驶员的人眼位置;
根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置。
可选地,处理装置根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,包括:
获取人眼位置与预设人眼位置的高度差值;
根据高度差值确定反射装置的目标反射角度;
将反射装置的反射角度调节至目标反射角度,以调整显示图像在挡风玻璃上的成像位置,使得调整后的成像位置位于驾驶员的视线的正前方。
可选地,处理装置根据高度差值确定反射装置的目标反射角度,包括:
确定高度差值是否大于高度阈值;
在确定高度差值大于高度阈值的情况下,根据高度差值确定反射装置的目标反射角度。
可选地,反射装置包括平面反射镜、曲面反射镜和调节机构;
平面反射镜被配置为将显示图像反射至曲面反射镜;
曲面反射镜被配置为将显示图像进行放大并反射至挡风玻璃;
调节机构与处理装置通信,被配置为根据处理装置的控制指令调节平面反射镜和/或曲面反射镜的反射角度。
可选地,辅助控制系统还包括:
倾角检测装置,与处理装置通信,被配置为检测工程机械的倾斜角度;
处理装置还被配置为:
根据倾斜角度确定工程机械是否处于坐平状态;
在确定工程机械未处于坐平状态的情况下,发出提示信息。
可选地,处理装置被配置为根据倾斜角度确定工程机械是否处于坐平状态,包括:
获取倾斜角度与预设角度的角度差值;
确定角度差值是否大于角度阈值;
在角度差值大于角度阈值的情况下,确定工程机械未处于坐平状态。
可选地,辅助控制系统还包括:
图像生成装置,与处理装置和显示装置通信,被配置为根据倾斜角度生成的重心方向图像,并将重心方向图像发送至显示装置。
可选地,辅助控制系统还包括:
环境感知装置,与处理装置通信,被配置为检测工程机械的环境感知信息;
图像生成装置还被配置为:
根据环境感知信息生成环境感知图像,并将环境感知图像发送至显示装置。
本申请第二方面提供一种用于工程机械的辅助控制方法,应用于上述的用于工程机械的辅助控制装置,该用于工程机械的辅助控制方法包括:
通过显示装置获取并投射显示图像;
通过反射装置将显示图像反射至工程机械的挡风玻璃;
通过图像采集装置获取工程机械的驾驶员的图像;
根据驾驶员的图像确定驾驶员的人眼位置;
根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置。
可选地,根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,包括:
获取人眼位置与预设人眼位置的高度差值;
根据高度差值确定反射装置的目标反射角度;
将反射装置的反射角度调节至目标反射角度,以调整显示图像在挡风玻璃上的成像位置,使得调整后的成像位置位于驾驶员的视线的正前方。
可选地,根据高度差值确定反射装置的目标反射角度,包括:
确定高度差值是否大于高度阈值;
在确定高度差值大于高度阈值的情况下,根据高度差值确定反射装置的目标反射角度。
可选地,辅助控制方法还包括:
获取工程机械的倾斜角度;
根据倾斜角度确定工程机械是否处于坐平状态;
在确定工程机械未处于坐平状态的情况下,发出提示信息。
可选地,根据倾斜角度确定工程机械是否处于坐平状态,包括:
获取倾斜角度与预设角度的角度差值;
确定角度差值是否大于角度阈值;
在角度差值大于角度阈值的情况下,确定工程机械未处于坐平状态。
本申请第三方面提供一种工程机械,包括上述的用于工程机械的辅助控制系统。
本申请第四方面提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时使得所述处理器被配置成执行上述的用于工程机械的辅助控制方法。
通过上述技术方案,即通过显示装置获取并投射显示图像,反射装置将显示图像反射至工程机械的挡风玻璃,且反射装置的反射角度可调,图像采集装置获取工程机械的驾驶员的图像,处理装置与图像采集装置通信,根据驾驶员的图像确定驾驶员的人眼位置,根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,通过该类方式,能够将显示图像投影至挡风玻璃上,并根据驾驶员视线的变化自动调整显示图像在挡风玻璃上的成像位置,从而在工程机械平地作业时为驾驶员提供一个很好的辅助,降低了工程机械的平地难度,提高了工程机械的平地效率。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请实施例,但并不构成对本申请实施例的限制。在附图中:
图1是本申请实施例中所提供的用于工程机械的辅助控制系统的结构示意图;
图2是本申请实施例中所提供的用于工程机械的辅助控制系统的位置关系示意图;
图3是本申请实施例中所提供的工程机械处于坐平状态下显示图像在挡风玻璃上的示意图;
图4是本申请实施例中所提供的工程机械未处于坐平状态下显示图像在挡风玻璃上的示意图;
图5是本申请实施例中所提供的用于工程机械的辅助控制方法的流程示意图;
图6是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S15的流程示意图;
图7是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S152的流程示意图;
图8是本申请实施例中所提供的用于工程机械的辅助控制方法的另一流程示意图;
图9是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S17的流程示意图;
图10是本申请实施例中所提供的计算机设备的内部结构图。
附图标记说明
1、显示装置;2、挡风玻璃;
3、图像采集装置;4、处理装置;
5、平面反射镜;6、曲面反射镜;
7、驾驶室支架;8、倾角检测装置;
9、图像生成装置;10、环境感知装置。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施例,并不用于限制本申请实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是本申请实施例中所提供的用于工程机械的辅助控制系统的结构示意图。如图1所示,在本申请一实施例中,提供了一种用于工程机械的辅助控制系统,包括:显示装置1,被配置为获取并投射显示图像;反射装置,反射装置的反射角度可调,被配置为将显示图像反射至工程机械的挡风玻璃2;图像采集装置3,被配置为获取工程机械的驾驶员的图像;处理装置4,与图像采集装置3通信,被配置为:根据驾驶员的图像确定驾驶员的人眼位置;根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃2 上的成像位置。
具体地,显示装置1可以包括显示器,还可以包括荧光灯以及投影仪等,显示图像可以包括工程机械在作业过程中的行车图像,还可以包括由仪表信息转换成的文字图像等,显示装置1将显示图像以投射的方式发送至反射装置。反射装置具有反射功能,能够将接收到的显示图像反射至工程机械的挡风玻璃2(一般为驾驶室的前挡风玻璃),使驾驶员能够看到显示图像,从而在工程机械平地作业时为驾驶员提供一个很好的辅助。图像采集装置3可以采用相机,实时获取工程机械的驾驶员的图像,并发送至处理装置4。其中,反射装置的反射角度可调,处理装置4根据驾驶员的图像可以确定驾驶员的人眼位置,进而根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃2上的成像位置。可以理解的是,由于驾驶员的身高存在差异,且驾驶员在驾驶位置上的坐姿也有所不同,因此不同的驾驶员会有不同的人眼位置。根据驾驶员的人眼位置调节反射装置的反射角度,以自动调整显示图像在挡风玻璃上的成像位置,可以使驾驶员在挡风玻璃2上看到全部的显示图像。通过该类方式,能够将显示图像投影至挡风玻璃上,并根据驾驶员视线的变化自动调整显示图像在挡风玻璃上的成像位置,从而在工程机械平地作业时为驾驶员提供一个很好的辅助,降低了工程机械的平地难度,提高了工程机械的平地效率。
在一个实施例中,处理装置4根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,包括:获取人眼位置与预设人眼位置的高度差值;根据高度差值确定反射装置的目标反射角度;将反射装置的反射角度调节至目标反射角度,以调整显示图像在挡风玻璃2上的成像位置,使得调整后的成像位置位于驾驶员的视线的正前方。
具体地,处理装置4可以预先对一个人眼位置进行标定,将其设置为预设人眼位置,再通过图像采集装置3采集工程机械的驾驶员的图像,并确定驾驶员的人眼位置,然后计算该人眼位置与预设人眼位置的高度差值,进而根据该高度差值确定反射装置的目标反射角度,即需要将反射装置调节至的反射角度,将反射装置的反射角度调节至该目标反射角度后,可以调整显示图像在挡风玻璃2上的成像位置,使得调整后的成像位置位于驾驶员的视线的正前方,即保证眼盒(允许驾驶员的眼睛能够看到全部显示图像的范围) 的中心位置与驾驶员的人眼位置在同一水平线上。
进一步地,在一个实施例中,处理装置4根据高度差值确定反射装置的目标反射角度,包括:确定高度差值是否大于高度阈值;在确定高度差值大于高度阈值的情况下,根据高度差值确定反射装置的目标反射角度。
具体地,由于图像采集装置3本身具有一定的测量公差,因此处理装置 4可以根据图像采集装置3的测量公差设置一个高度阈值,当处理装置4计算出人眼位置与预设人眼位置的高度差值后,先判断该高度差值是否大于高度阈值,当该高度差值大于高度阈值时,进一步根据高度差值确定反射装置的目标反射角度,进而将反射装置的反射角度调节至该目标反射角度,以保证眼盒中心位置与驾驶员的人眼位置在同一水平线上。可以理解的是,当该高度差值小于或等于高度阈值时,无需对反射装置的反射角度进行调节。
在一个实施例中,反射装置包括平面反射镜5、曲面反射镜6和调节机构;平面反射镜5被配置为将显示图像反射至曲面反射镜6;曲面反射镜6 被配置为将显示图像进行放大并反射至挡风玻璃2;调节机构与处理装置4 通信,被配置为根据处理装置4的控制指令调节平面反射镜5和/或曲面反射镜6的反射角度。
具体地,平面反射镜5可以使显示图像经过一次反射后入射至曲面反射镜6,增加光线的光程。曲面反射镜6可以配合挡风玻璃的形状,消除显示图像的畸变,并对显示图像进行放大,增大光线呈现图像的观察区域。为了保证眼盒中心位置与驾驶员的人眼位置在同一水平线上,调节机构可以仅调节平面反射镜5的反射角度,或者仅调节曲面反射镜6的反射角度,还可以同时调节平面反射镜5的反射角度和曲面反射镜6的反射角度。优选的实施方式为调节机构仅调节曲面反射镜6的反射角度,且调节机构与曲面反射镜 6集成为电控曲面反射镜,显示装置1、平面反射镜5和曲面反射镜6(集成有调节机构的电控曲面反射镜)均固定在驾驶室支架7的上方。
需要说明的是,反射装置的目标反射角度可以根据反射装置、挡风玻璃 2、图像采集装置3之间的位置关系以及预设人眼位置、高度差值等确定。
举例说明,请参阅图2,图2是本申请实施例中所提供的用于工程机械的辅助控制系统的位置关系示意图。如图2所示,h0表示预设人眼位置,h 表示驾驶员的实际人眼位置,hx0表示图像采集装置3距离预设人眼位置的高度,hx表示图像采集装置3距离实际人眼位置的高度,Ax0表示图像采集装置3与预设人眼位置和挡风玻璃2的交点之间的距离,Ax表示图像采集装置3与实际人眼位置和挡风玻璃2的交点之间的距离,L表示图像采集装置3与曲面反射镜6之间的距离,a0表示调节前的曲面反射镜6的反射角度,a表示调节后的曲面反射镜6的反射角度(目标反射角度),c0表示调节前的曲面反射镜6的反射光线与水平方向之间的夹角,c表示调节后的曲面反射镜6的反射光线与水平方向之间的夹角,θ表示挡风玻璃2与水平方向之间的夹角。则由图中几何关系可知:
Figure RE-GDA0003892791040000091
Figure RE-GDA0003892791040000092
Figure RE-GDA0003892791040000101
其中,△c表示调节前后的曲面反射镜6的反射光线与水平方向之间的夹角的变化量,Δc=c0-c,根据光线反射原理:
Δc=2Δα=2(α0-α) (4)
将等式(2)带入等式(3)可得:
Figure RE-GDA0003892791040000102
将等式(1)带入等式(5)可得:
Figure RE-GDA0003892791040000103
由几何关系可得:
h0-h=hx0-hx (7)
将等式(4)和等式(7)带入等式(6)可得:
Figure RE-GDA0003892791040000104
其中,a0、h0、hx0均为已知,L和θ为常数,当确定出图像采集装置3 距离实际人眼位置的高度hx后,处理装置4即可确定出调节后的曲面反射镜6的反射角度a,即目标反射角度。
在一个实施例中,该辅助控制系统还包括:倾角检测装置8,与处理装置4通信,被配置为检测工程机械的倾斜角度;处理装置4还被配置为:根据倾斜角度确定工程机械是否处于坐平状态;在确定工程机械未处于坐平状态的情况下,发出提示信息。
具体地,倾角检测装置8可以采用重力传感器,通过测量由于重力引起的加速度,可以确定工程机械相对于水平面的倾斜角度,并将其发送至处理装置4。处理装置4根据工程机械的倾斜角度可以判断工程机械是否处于坐平状态,当工程机械未处于坐平状态时发出提示信息,提醒驾驶员调整工程机械使其处于坐平状态,防止工程机械未处于坐平状态时进行平地作业,保证工程机械的平地质量。
进一步地,在一个实施例中,处理装置4被配置为根据倾斜角度确定工程机械是否处于坐平状态,包括:获取倾斜角度与预设角度的角度差值;确定角度差值是否大于角度阈值;在角度差值大于角度阈值的情况下,确定工程机械未处于坐平状态。
具体地,预设角度可以为90°,角度阈值可以根据平地的要求进行设置,处理装置4在计算出倾斜角度与预设角度的角度差值后,判断该角度差值是否大于角度阈值,当角度差值大于角度阈值时,确定工程机械未处于坐平状态,并发出提示信息,提醒驾驶员调整工程机械使其处于坐平状态;当角度差值小于或等于角度阈值时,确定工程机械处于坐平状态,驾驶员可以开始平地作业。
更进一步地,在一个实施例中,该辅助控制系统还包括:图像生成装置 9,与处理装置4和显示装置1通信,被配置为根据倾斜角度生成的重心方向图像,并将重心方向图像发送至显示装置1。
具体地,图像生成装置9可以采用GPU(英文全称:Graphics Processing Unit,中文全称:图形处理器),图像生成装置9从处理装置4处获取工程机械的倾斜角度数据,并根据倾斜角度数据生成重心方向图像,然后将重心方向图像发送至显示装置1,以便显示装置1显示重心方向图像,进而通过反射装置将重心方向图像反射至挡风玻璃2上,使驾驶员对工程机械当前的倾斜状态有更直观的感受,从而更好地将工程机械调整至坐平状态。
更进一步地,在一个实施例中,该辅助控制系统还包括:环境感知装置 10,与处理装置4通信,被配置为检测工程机械的环境感知信息;图像生成装置9还被配置为:根据环境感知信息生成环境感知图像,并将环境感知图像发送至显示装置1。
具体地,环境感知装置10可以采用摄像头、激光雷达、红外传感器等检测设备,在工程机械平地作业时实时检测工程机械的环境感知信息,并将其发送至处理装置4。图像生成装置9从处理装置4处获取工程机械的环境感知信息,并根据环境感知信息生成环境感知图像,然后将环境感知图像发送至显示装置1,以便显示装置1显示环境感知图像,进而通过反射装置将环境感知图像反射至挡风玻璃2上,以增强驾驶员对工程机械的实际作业环境的感知,为驾驶员提供一个很好的辅助,进一步降低工程机械平地作业的难度与驾驶员的准入门槛。
实际应用时,请参阅图3和图4,图3是本申请实施例中所提供的工程机械处于坐平状态下显示图像在挡风玻璃上的示意图,图4是本申请实施例中所提供的工程机械未处于坐平状态下显示图像在挡风玻璃上的示意图。如图3和图4所示,左上角的水平虚线、竖直虚线分别表示地面的水平方向、垂直方向,箭头表示工程机械的重心方向,当工程机械处于坐平状态时,箭头会与水平虚线垂直,并与竖直虚线重合,即图3所示;当工程机械未处于坐平状态时,箭头会与水平虚线及竖直虚线具有一定的夹角,即图4所示,此时驾驶员可以根据箭头与水平虚线或竖直虚线之间的夹角来调整工程机械使其处于坐平状态,方便直观,从而缩短驾驶员平地作业的准备时间,提高平地作业的效率。
请继续参阅图3和图4,粗实线表示工程机械的工作装置的初始位置和终点位置所在的直线,驾驶员在平地作业时只需要在每一个循环过程中将工作装置移至每条直线的同一位置,例如每条直线的最外侧点,即可保证每次循环的起点都处于同一距离,无需因每个循环的平地长度不同而补充作业,并且可以沿着每条直线的方向完成工程机械平地操作的一个循环。此外,还可以通过显示水平方向和垂直方向的网格,进一步辅助驾驶员将工作装置移至每条直线的同一位置。如此,不仅可以减少驾驶员反复的补充操作,降低工程机械的平地难度,提高工程机械的平地效率,还可以提高工程机械的平地质量。
通过上述技术方案,即通过显示装置获取并投射显示图像,反射装置将显示图像反射至工程机械的挡风玻璃,且反射装置的反射角度可调,图像采集装置获取工程机械的驾驶员的图像,处理装置与图像采集装置通信,根据驾驶员的图像确定驾驶员的人眼位置,根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,通过该类方式,能够将显示图像投影至挡风玻璃上,并根据驾驶员视线的变化自动调整显示图像在挡风玻璃上的成像位置,从而在工程机械平地作业时为驾驶员提供一个很好的辅助,降低了工程机械的平地难度,提高了工程机械的平地效率。
请参阅图5,图5是本申请实施例中所提供的用于工程机械的辅助控制方法的流程示意图。如图5所示,本申请实施例还提供一种用于工程机械的辅助控制方法,应用于上述的用于工程机械的辅助控制装置,该用于工程机械的辅助控制方法包括:
步骤S11:通过显示装置获取并投射显示图像;
步骤S12:通过反射装置将显示图像反射至工程机械的挡风玻璃;
步骤S13:通过图像采集装置获取工程机械的驾驶员的图像;
步骤S14:根据驾驶员的图像确定驾驶员的人眼位置;
步骤S15:根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置。
进一步地,请参阅图6,图6是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S15的流程示意图。对步骤S15中根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,可以包括以下步骤:
步骤S151:获取人眼位置与预设人眼位置的高度差值;
步骤S152:根据高度差值确定反射装置的目标反射角度;
步骤S153:将反射装置的反射角度调节至目标反射角度,以调整显示图像在挡风玻璃上的成像位置,使得调整后的成像位置位于驾驶员的视线的正前方。
更进一步地,请参阅图7,图7是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S152的流程示意图。对步骤S152中根据高度差值确定反射装置的目标反射角度,可以包括以下步骤:
步骤S1521:确定高度差值是否大于高度阈值;
步骤S1522:在确定高度差值大于高度阈值的情况下,根据高度差值确定反射装置的目标反射角度。
请参阅图8,图8是本申请实施例中所提供的用于工程机械的辅助控制方法的另一流程示意图。如图8所示,基于步骤S11至步骤S15,该用于工程机械的辅助控制方法还包括:
步骤S16:获取工程机械的倾斜角度;
步骤S17:根据倾斜角度确定工程机械是否处于坐平状态;
步骤S18:在确定工程机械未处于坐平状态的情况下,发出提示信息。
进一步地,请参阅图9,图9是本申请实施例中所提供的用于工程机械的辅助控制方法中的步骤S17的流程示意图。对步骤S17中根据倾斜角度确定工程机械是否处于坐平状态,可以包括以下步骤:
步骤S171:获取倾斜角度与预设角度的角度差值;
步骤S172:在角度差值大于角度阈值的情况下,确定工程机械未处于坐平状态。
关于本申请实施例中用于工程机械的辅助控制方法的更多的细节可以参照上文关于用于工程机械的辅助控制系统的描述,并能够取得与上述的用于工程机械的辅助控制系统相同或相应的技术效果,故在此不再赘述。
综上,通过上述方法,即通过显示装置获取并投射显示图像,通过反射装置将显示图像反射至工程机械的挡风玻璃,通过图像采集装置获取工程机械的驾驶员的图像,根据驾驶员的图像确定驾驶员的人眼位置,根据人眼位置调节反射装置的反射角度,以调整显示图像在挡风玻璃上的成像位置,通过该类方式,能够将显示图像投影至挡风玻璃上,并根据驾驶员视线的变化自动调整显示图像在挡风玻璃上的成像位置,从而在工程机械平地作业时为驾驶员提供一个很好的辅助,降低了工程机械的平地难度,提高了工程机械的平地效率。
本申请实施例还提供一种工程机械,包括上述的用于工程机械的辅助控制系统。
在一个实施例中,该工程机械为挖掘机。
在一个实施例中,该挖掘机还可以包括:
通信接口,能够与其他设备(比如网络设备、终端等)进行信息交互;
存储器,用于存储能够在处理器上运行的计算机程序。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现上述一个或多个技术方案提供的方法。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
实际应用时,挖掘机中的各个组件可以通过总线系统耦合在一起。可以理解,总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请实施例中的存储器用于存储各种类型的数据以支持挖掘机的操作。这些数据的示例包括:用于在挖掘机上操作的任何计算机程序。
上述本申请实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成前述方法的步骤。
在示例性实施例中,处理器可以被一个或多个应用专用集成电路(A S I C,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable LogicDevice)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现,用于执行前述方法。
可以理解,本申请实施例的存储器可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,ReadOnly Memory)、可编程只读存储器(PROM, Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM, Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器 (EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器 (FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器 (ESDRAM,Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时实现上述的用于工程机械的辅助控制方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、显示屏A04、输入装置A05和存储器(图中未示出)。其中,该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A06。该非易失性存储介质A06存储有操作系统B01和计算机程序B02。该内存储器A03为非易失性存储介质A06中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序被处理器A01执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏A04可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置A05可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述任意一项实施例的方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有上述任意一项实施例的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种用于工程机械的辅助控制系统,其特征在于,包括:
显示装置,被配置为获取并投射显示图像;
反射装置,所述反射装置的反射角度可调,被配置为将所述显示图像反射至所述工程机械的挡风玻璃;
图像采集装置,被配置为获取所述工程机械的驾驶员的图像;
处理装置,与所述图像采集装置通信,被配置为:
根据所述驾驶员的图像确定所述驾驶员的人眼位置;
根据所述人眼位置调节所述反射装置的反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置。
2.根据权利要求1所述的辅助控制系统,其特征在于,所述处理装置根据所述人眼位置调节所述反射装置的反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置,包括:
获取所述人眼位置与预设人眼位置的高度差值;
根据所述高度差值确定所述反射装置的目标反射角度;
将所述反射装置的反射角度调节至所述目标反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置,使得调整后的所述成像位置位于所述驾驶员的视线的正前方。
3.根据权利要求2所述的辅助控制系统,其特征在于,所述处理装置根据所述高度差值确定所述反射装置的目标反射角度,包括:
确定所述高度差值是否大于高度阈值;
在确定所述高度差值大于所述高度阈值的情况下,根据所述高度差值确定所述反射装置的目标反射角度。
4.根据权利要求1所述的辅助控制系统,其特征在于,所述反射装置包括平面反射镜、曲面反射镜和调节机构;
所述平面反射镜被配置为将所述显示图像反射至所述曲面反射镜;
所述曲面反射镜被配置为将所述显示图像进行放大并反射至所述挡风玻璃;
所述调节机构与所述处理装置通信,被配置为根据所述处理装置的控制指令调节所述平面反射镜和/或所述曲面反射镜的反射角度。
5.根据权利要求1所述的辅助控制系统,其特征在于,所述辅助控制系统还包括:
倾角检测装置,与所述处理装置通信,被配置为检测所述工程机械的倾斜角度;
所述处理装置还被配置为:
根据所述倾斜角度确定所述工程机械是否处于坐平状态;
在确定所述工程机械未处于所述坐平状态的情况下,发出提示信息。
6.根据权利要求5所述的辅助控制系统,其特征在于,所述处理装置被配置为根据所述倾斜角度确定所述工程机械是否处于坐平状态,包括:
获取所述倾斜角度与预设角度的角度差值;
确定所述角度差值是否大于角度阈值;
在所述角度差值大于所述角度阈值的情况下,确定所述工程机械未处于坐平状态。
7.根据权利要求5所述的辅助控制系统,其特征在于,所述辅助控制系统还包括:
图像生成装置,与所述处理装置和所述显示装置通信,被配置为根据所述倾斜角度生成的重心方向图像,并将所述重心方向图像发送至所述显示装置。
8.根据权利要求7所述的辅助控制系统,其特征在于,所述辅助控制系统还包括:
环境感知装置,与所述处理装置通信,被配置为检测所述工程机械的环境感知信息;
所述图像生成装置还被配置为:
根据所述环境感知信息生成环境感知图像,并将所述环境感知图像发送至所述显示装置。
9.一种用于工程机械的辅助控制方法,其特征在于,应用于根据权利要求1至8中任一项所述的用于工程机械的辅助控制装置,所述辅助控制方法包括:
通过所述显示装置获取并投射显示图像;
通过所述反射装置将所述显示图像反射至所述工程机械的挡风玻璃;
通过所述图像采集装置获取所述工程机械的驾驶员的图像;
根据所述驾驶员的图像确定所述驾驶员的人眼位置;
根据所述人眼位置调节所述反射装置的反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置。
10.根据权利要求9所述的辅助控制方法,其特征在于,所述根据所述人眼位置调节所述反射装置的反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置,包括:
获取所述人眼位置与预设人眼位置的高度差值;
根据所述高度差值确定所述反射装置的目标反射角度;
将所述反射装置的反射角度调节至所述目标反射角度,以调整所述显示图像在所述挡风玻璃上的成像位置,使得调整后的所述成像位置位于所述驾驶员的视线的正前方。
11.根据权利要求10所述的辅助控制方法,其特征在于,所述根据所述高度差值确定所述反射装置的目标反射角度,包括:
确定所述高度差值是否大于高度阈值;
在确定所述高度差值大于所述高度阈值的情况下,根据所述高度差值确定所述反射装置的目标反射角度。
12.根据权利要求9所述的辅助控制方法,其特征在于,所述辅助控制方法还包括:
获取所述工程机械的倾斜角度;
根据所述倾斜角度确定所述工程机械是否处于坐平状态;
在确定所述工程机械未处于所述坐平状态的情况下,发出提示信息。
13.根据权利要求12所述的辅助控制方法,其特征在于,所述根据所述倾斜角度确定所述工程机械是否处于坐平状态,包括:
获取所述倾斜角度与预设角度的角度差值;
确定所述角度差值是否大于角度阈值;
在所述角度差值大于所述角度阈值的情况下,确定所述工程机械未处于坐平状态。
14.一种工程机械,其特征在于,包括根据权利要求1至8中任一项所述的用于工程机械的辅助控制系统。
15.一种机器可读存储介质,该机器可读存储介质上存储有指令,其特征在于,该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求9至13中任一项所述的用于工程机械的辅助控制方法。
CN202210568566.9A 2022-05-24 2022-05-24 用于工程机械的辅助控制系统、方法及工程机械 Pending CN115467387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210568566.9A CN115467387A (zh) 2022-05-24 2022-05-24 用于工程机械的辅助控制系统、方法及工程机械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210568566.9A CN115467387A (zh) 2022-05-24 2022-05-24 用于工程机械的辅助控制系统、方法及工程机械

Publications (1)

Publication Number Publication Date
CN115467387A true CN115467387A (zh) 2022-12-13

Family

ID=84364432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210568566.9A Pending CN115467387A (zh) 2022-05-24 2022-05-24 用于工程机械的辅助控制系统、方法及工程机械

Country Status (1)

Country Link
CN (1) CN115467387A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154505A1 (en) * 2003-12-17 2005-07-14 Koji Nakamura Vehicle information display system
CN102277891A (zh) * 2011-05-19 2011-12-14 徐工集团工程机械股份有限公司科技分公司 步履式工程机械及其调平装置
CN104884713A (zh) * 2012-12-28 2015-09-02 株式会社小松制作所 建设机械的显示系统及其控制方法
CN108028901A (zh) * 2015-09-16 2018-05-11 富士胶片株式会社 投影型显示装置及投影控制方法
CN109541804A (zh) * 2017-09-21 2019-03-29 比亚迪股份有限公司 调整hud投影装置的投影位置的方法、hud投影装置及车辆
CN110905021A (zh) * 2019-12-03 2020-03-24 深知智能科技(金华)有限公司 一种平地机工作装置作业姿态自动调整控制方法及系统
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN114200675A (zh) * 2021-12-09 2022-03-18 奇瑞汽车股份有限公司 显示方法、装置、抬头显示系统和车辆
CN114508135A (zh) * 2021-08-27 2022-05-17 伊斯顿机电工程(江苏)有限公司 一种无人操作挖掘机及控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154505A1 (en) * 2003-12-17 2005-07-14 Koji Nakamura Vehicle information display system
CN102277891A (zh) * 2011-05-19 2011-12-14 徐工集团工程机械股份有限公司科技分公司 步履式工程机械及其调平装置
CN104884713A (zh) * 2012-12-28 2015-09-02 株式会社小松制作所 建设机械的显示系统及其控制方法
CN108028901A (zh) * 2015-09-16 2018-05-11 富士胶片株式会社 投影型显示装置及投影控制方法
CN109541804A (zh) * 2017-09-21 2019-03-29 比亚迪股份有限公司 调整hud投影装置的投影位置的方法、hud投影装置及车辆
CN110905021A (zh) * 2019-12-03 2020-03-24 深知智能科技(金华)有限公司 一种平地机工作装置作业姿态自动调整控制方法及系统
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN114508135A (zh) * 2021-08-27 2022-05-17 伊斯顿机电工程(江苏)有限公司 一种无人操作挖掘机及控制方法
CN114200675A (zh) * 2021-12-09 2022-03-18 奇瑞汽车股份有限公司 显示方法、装置、抬头显示系统和车辆

Similar Documents

Publication Publication Date Title
EP3565739B1 (en) Rear-stitched view panorama for rear-view visualization
US20190187790A1 (en) Vehicle display device and control method thereof
US10913355B2 (en) Head-up display
US11095802B2 (en) Method for processing a captured image and electronic device
JP6299863B2 (ja) モニタ装置及び表示画像切替用コンピュータプログラム
JP6726006B2 (ja) 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定
JP2016155446A (ja) 車両用表示装置
US20210092327A1 (en) Sensor fusion based perceptually enhanced surround view
JP2016159656A (ja) 車両用表示装置
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
US20220044032A1 (en) Dynamic adjustment of augmented reality image
WO2021257126A1 (en) System for correcting rolling shutter artifacts
US20230102878A1 (en) Projector and projection method
US11548432B2 (en) Apparatus for emitting road surface information and method thereof
US11275248B2 (en) Head mounted display apparatus, virtual reality display system and driving method thereof
US11394938B2 (en) Projection apparatus, system and projection method
CN114286068B (zh) 对焦方法、装置、存储介质以及投影设备
CN113596276B (zh) 便携式电子设备的扫描方法及系统、电子设备及存储介质
WO2018180596A1 (ja) 車両用表示装置
KR20200009271A (ko) 차량, 헤드업 디스플레이 장치 및 그 제어 방법
CN115467387A (zh) 用于工程机械的辅助控制系统、方法及工程机械
KR20220032448A (ko) 크로스토크를 보정하는 방법 및 장치
WO2018168418A1 (ja) 表示装置、表示方法及びプログラム
US20180108173A1 (en) Method for improving occluded edge quality in augmented reality based on depth camera
JP2019026198A (ja) ヘッドアップディスプレイ装置とそのためのドライバ視点検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination