CN113928320B - 用于工程车辆的倒车引导方法、装置及处理器 - Google Patents

用于工程车辆的倒车引导方法、装置及处理器 Download PDF

Info

Publication number
CN113928320B
CN113928320B CN202111194367.8A CN202111194367A CN113928320B CN 113928320 B CN113928320 B CN 113928320B CN 202111194367 A CN202111194367 A CN 202111194367A CN 113928320 B CN113928320 B CN 113928320B
Authority
CN
China
Prior art keywords
vehicle
engineering vehicle
coordinates
engineering
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111194367.8A
Other languages
English (en)
Other versions
CN113928320A (zh
Inventor
周阳
黄跃峰
廖超
虢彦
江谷强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Zhongke Yungu Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Zhongke Yungu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd, Zhongke Yungu Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN202111194367.8A priority Critical patent/CN113928320B/zh
Publication of CN113928320A publication Critical patent/CN113928320A/zh
Application granted granted Critical
Publication of CN113928320B publication Critical patent/CN113928320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)

Abstract

本申请实施例提供一种用于工程车辆的倒车引导方法、装置及处理器。方法包括：获取图像采集设备采集的工程车辆的车辆图片；将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线；根据图像采集设备的安装位置确定卸料间的卸料口中心线；根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。通过获取车身中心线与卸料口中线的相对位置提前引导工程车辆进行倒车，减轻对人工的依赖，提高倒车的效率与精确性，在一定程度上减少溢料情况的发生。

Description

用于工程车辆的倒车引导方法、装置及处理器
技术领域
本申请涉及工程车辆技术领域，具体地涉及一种用于工程车辆的倒车引导方法、装置及处理器。
背景技术
在现有技术中，工程车辆倒车进入卸料间卸料一般靠驾驶员的经验进行，但通过驾驶员的主观判断移动车辆无法保证准确性，同时对驾驶员的经验要求较高。在经验不足或外在因素的影响下，当工程车辆倒车进入卸料间后发现并未对齐卸料间的卸料口，只能引导工程车辆出库后再次倒车入库，而反复调整工程车辆导致工作效率低下。且，在工程车辆还未对齐卸料间的情况下，工程车辆就开始卸料容易发生溢料，增加物料成本。
发明内容
本申请实施例的目的是提供一种用于工程车辆的倒车引导方法、装置及处理器。
为了实现上述目的，本申请第一方面提供一种用于工程车辆的倒车引导方法，包括：
获取图像采集设备采集的工程车辆的车辆图片；
将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线；
根据图像采集设备的安装位置确定卸料间的卸料口中心线；
根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。
可选地，将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线包括：将车辆图片输入至立体目标物检测模型中，以确定工程车辆的三维坐标；根据三维坐标确定工程车辆车尾对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
可选地，方法还包括：将工程车辆的立体中心点坐标假设为第一预设坐标；确定工程车辆尺寸的实际数据；通过第一预设坐标和实际数据确定工程车辆的预设三维坐标，其中，预设三维坐标包括工程车辆的多个预设顶点坐标；获取工程车辆的二维平面坐标；通过二维平面坐标与预设三维坐标之间的约束条件确定立体中心点的实际坐标；根据实际坐标确定工程车辆对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
可选地，方法还包括：通过公式（1）对二维平面坐标与三维坐标进行转换：
（1）
其中，M为工程车辆的二维平面坐标，x0为工程车辆的多个顶点的三维坐标，K为图像采集设备内参矩阵，R为工程车辆的旋转矩阵，n为工程车辆相对于图像采集设备在三维坐标系上的平移量。
可选地，通过公式（2）确定旋转矩阵R：
（2）
其中，θ为工程车辆的旋转角。
可选地，获取工程车辆尺寸的实际数据包括：确定工程车辆尺寸的测量数据；获取与工程车辆属于同类型车辆尺寸的标准数据以及标准数据的中位数；根据中位数和预设偏移量确定工程车辆尺寸的实际数据。
可选地，通过回归确定标准数据的中位数与预设偏移量之间的表达式（3）：
（3）
其中，为工程车辆尺寸的目标函数，n为标准数据的个数，/>为工程车辆尺寸的历史实际数据，/>为标准数据的中位数，/>为工程车辆尺寸的预设偏移量。
可选地，根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆包括：在车身中心线相对于卸料口中心线向左偏移的情况下，确定倒车建议为建议工程车辆右移；在车身中心线相对于卸料口中心线向右偏移的情况下，确定倒车建议为建议工程车辆左移；在车身中心线相对于卸料口中心线之间存在夹角的情况下，确定倒车建议为建议工程车辆的车身摆正。
可选地，工程车辆还包括显示装置，方法还包括：在获取到车身中心线与卸料口中心线的情况下，将车身中心线与卸料口中心线的相对位置发送至显示装置；根据显示装置的显示情况确定工程车辆的倒车建议；将倒车建议反馈至驾驶员以使驾驶员根据倒车建议调整工程车辆。
可选地，工程车辆还包括语音装置，方法还包括： 在确定工程车辆的倒车建议的情况下，将倒车建议发送至工程车辆的语音装置；根据语音装置播报的倒车建议引导驾驶员对工程车辆进行倒车。
本申请第二方面提供一种用于工程车辆的倒车引导装置，包括图像采集设备，用于采集工程车辆的车辆图片；以及根据权利要求11的处理器。
本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的用于工程车辆的倒车引导方法。
本申请第四方面提供一种处理器，被配置成执行上述的用于工程车辆的倒车引导方法。
通过上述技术方案，获取车身中心线与卸料口中线的相对位置提前引导工程车辆进行倒车，减轻对人工的依赖，提高倒车的效率与精确度，在一定程度上减少溢料情况的发生。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的用于工程车辆的倒车引导方法的流程示意图；
图2示意性示出了根据本申请实施例的用于工程车辆的倒车引导装置的结构框图；
图3示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示意性示出了根据本申请实施例的用于工程车辆的倒车引导方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种用于工程车辆的倒车引导方法，包括以下步骤：
步骤101，获取图像采集设备采集的工程车辆的车辆图片。
步骤102，将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线。
步骤103，根据图像采集设备的安装位置确定卸料间的卸料口中心线。
步骤104，根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。
工程车辆可以指搅拌车，图像采集设备指的是相机，图像采集设备可以采集搅拌车的车辆图片，图像采集设备采集的区域可以位于卸料间门前的区域，图像采集设备的安装位置可以位于卸料间内侧的上平面且垂直卸料间门口平面的法线上。立体目标物检测模型可以通过立体目标物检测技术识别搅拌车完整的立体区域在二维平面上的投影，投影区域可以用3D Bounding Box表示，可以用3D-BBox简单表示。车身中心线与卸料口中心线的相对位置可以是车身中心线相对于卸料口中心线向左偏移，可以是车身中心线相对于卸料口中心线向右偏移，可以是车身中心线相对于卸料口中心线之间存在夹角。倒车建议可以指的是建议车辆左移、右移或者建议将工程车辆的车身摆正。
对于步骤101与步骤102，在图像采集设备采集到的搅拌车的车辆图片后，处理器可以获取图像采集设备采集的搅拌车的车辆图片。在获取到车辆图片后，处理器可以将车辆图片输入至立体目标物检测模型中，以得到搅拌车的车身中心线。
在一个实施例中，将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线包括：将车辆图片输入至立体目标物检测模型中，以确定工程车辆的三维坐标；根据三维坐标确定工程车辆车尾对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
处理器可以将车辆图片输入至立体目标物检测模型中以确定搅拌车的三维坐标。立体目标物检测模型可以通过立体目标物检测技术识别搅拌车完整的立体区域在二维平面上的投影，投影区域可以用3D Bounding Box表示，可以用3D-BBox简单表示。通过识别出来的3D-BBox可以获取到搅拌车的三维坐标。其中，三维坐标可以指3D-BBox的八个顶点的三维坐标，可以用x1、x2、x3、x4、x5、x6、x7、x8来进行表示。处理器根据三维坐标可以确定搅拌车车尾对应的车尾坐标，并确定车尾的中心点坐标。在确定车尾的中心点坐标的情况下，处理器根据车尾中心点坐标可以确定搅拌车的车身中心线。
在一个实施例中，方法还包括：将工程车辆的立体中心点坐标假设为第一预设坐标；确定工程车辆尺寸的实际数据；通过第一预设坐标和实际数据确定工程车辆的预设三维坐标，其中，预设三维坐标包括工程车辆的多个预设顶点坐标；获取工程车辆的二维平面坐标；通过二维平面坐标与预设三维坐标之间的约束条件确定立体中心点的实际坐标；根据实际坐标确定工程车辆对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
处理器可以将搅拌车的立体中心点坐标假设为第一预设坐标，第一预设坐标可以用（tx,ty,tz）进行表示。处理器可以确定搅拌车尺寸的实际数据，搅拌车尺寸的实际数据包括搅拌车的长、宽和高，其中，长可以用dx来表示，宽可以用dy来表示，高可以用dz来表示。
在一个实施例中，获取工程车辆尺寸的实际数据包括：确定工程车辆尺寸的测量数据；获取与工程车辆属于同类型车辆尺寸的标准数据以及标准数据的中位数；根据中位数和预设偏移量确定工程车辆尺寸的实际数据。其中，工程车辆可以指的是搅拌车。处理器可以确定工程车辆尺寸的测量数据。在确定搅拌车尺寸的测量数据后，处理器可以获取与同类型搅拌车尺寸的标准数据以及标准数据的中位数，根据中位数和预设偏移量可以确定搅拌车的实际数据，其中，实际数据是指当前获取的实际数据，预设偏移量是指工程车辆尺寸的预设偏移量。
在一个实施例中，通过回归确定标准数据的中位数与预设偏移量之间的表达式（3）：
（3）
其中，为工程车辆尺寸的目标函数，n为标准数据的个数，/>为工程车辆尺寸的历史实际数据，/>为标准数据的中位数，/>为工程车辆尺寸的预设偏移量。
历史实际数据是在确定上述实际数据之前获取到的数据，可以简单理解为：之前获取到的实际数据。历史实际数据可以有多个，工程车辆的尺寸的历史实际数据可以与当前获取到的实际数据相同。在获取到与工程车辆属于同类型车辆尺寸的标准数据的中位数后，可以根据表达式（3）确定预设偏移量，在确定预设偏移量后，处理器可以根据中位数和预设偏移量确定工程车辆尺寸的实际数据。
通过第一预设坐标与搅拌车尺寸的实际数据，处理器可以确定搅拌车的预设三维坐标，其中，预设的三维坐标可以包括搅拌车的多个预设顶点坐标。在获取到搅拌车的三维坐标的情况下，处理器可以获取搅拌车的二维平面坐标。具体地，可以通过利用约束条件将三维坐标转换成二维坐标。在一个实施例中，方法还包括：通过公式（1）对二维平面坐标与三维坐标进行转换：
（1）
其中，M为工程车辆的二维平面坐标，x0为工程车辆的多个顶点的三维坐标，K为图像采集设备内参矩阵，R为工程车辆的旋转矩阵，n为工程车辆相对于图像采集设备在三维坐标系上的平移量。
公式（1）可以认为是工程车辆3D-BBox的每个三维坐标点都能包含在2D-BBox内，其中，2D-BBox指的是搅拌车在二维平面上的投影，可以通过目标物检测技术获取。图像采集设备内参矩阵可以通过标定获取，搅拌车的旋转矩阵可以通过计算获得，具体地，在一个实施例中，通过公式（2）确定旋转矩阵R：
（2）
其中，θ为工程车辆的旋转角。
工程车辆可以指搅拌车，搅拌车的旋转角可以用θ表示。搅拌车在路面上行驶，只能绕Z轴旋转，由于图像采集设备的位置固定，也就是说相机的位置固定，搅拌车与相机所在的水平线形成一个相对夹角，这里的相对夹角可以指是搅拌车的旋转角θ。
对于步骤103，在处理器将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线后，处理器可以根据图像采集设备的安装位置确定卸料间的卸料口中心线。其中，图像采集设备的安装位置可以位于卸料间内侧的上平面且垂直卸料间门口平面的法线上，且图像采集设备采集区域可以是卸料间门前区域。
对于步骤104，在获取到车身中心线与卸料口中心线的情况下，处理器可以根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。其中，车身中心线与卸料口中心线的相对位置可以是车身中心线相对于卸料口中心线向左偏移，可以是车身中心线相对于卸料口中心线向右偏移，可以是车身中心线相对于卸料口中心线之间存在夹角。倒车建议可以指的是建议车辆左移、右移或者建议将工程车辆的车身摆正。
具体地，在一个实施例中，根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆包括：在车身中心线相对于卸料口中心线向左偏移的情况下，确定倒车建议为建议工程车辆右移；在车身中心线相对于卸料口中心线向右偏移的情况下，确定倒车建议为建议工程车辆左移；在车身中心线相对于卸料口中心线之间存在夹角的情况下，确定倒车建议为建议工程车辆的车身摆正。
在一个实施例中，工程车辆还包括显示装置，方法还包括：在获取到车身中心线与卸料口中心线的情况下，将车身中心线与卸料口中心线的相对位置发送至显示装置；根据显示装置的显示情况确定工程车辆的倒车建议；将倒车建议反馈至驾驶员以使驾驶员根据倒车建议调整工程车辆。
在获取到车身中心线与卸料口中心线的情况下，处理器可以将车身中心线与卸料口中心线的相对位置发送至显示装置，显示装置可以是智能显示装置，智能显示装置可以通过无线通信装置与工程车辆进行通信，以将卸料口中心线和车身中心线的相对位置发送至工程车辆的显示装置进行展示，处理器可以根据显示装置的显示情况确定工程车辆的倒车建议，倒车建议可以指的是建议车辆左移、右移或者建议将工程车辆的车身摆正等。在确定工程车辆的倒车建议的情况下，处理器可以将倒车建议反馈至驾驶员以使驾驶员根据倒车建议调整工程车辆。
在一个实施例中，工程车辆还包括语音装置，方法还包括：在确定工程车辆的倒车建议的情况下，将倒车建议发送至工程车辆的语音装置；根据语音装置播报的倒车建议引导驾驶员对工程车辆进行倒车。
在确定工程车辆的倒车建议的情况下，处理器可以通过无线传输装置将倒车建议发送至工程车辆的语音装置，以进行对应的语音播报提示，语音播报提示指的是语音播报倒车提示，即可以建议工程车辆向左平移，可以建议工程车辆向右平移，也可以建议工程车辆摆正车身。
上述技术方案通过获取车身中心线与卸料口中线的相对位置提前引导工程车辆进行倒车，减轻对人工的依赖，提高倒车的效率与精确性，在一定程度上减少溢料情况的发生。
图1为一个实施例中用于工程车辆的倒车引导方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种用于工程车辆的倒车引导装置，包括图像采集设备以及无线通信装置，其中：
图像采集设备201，用于采集工程车辆的车辆图片。
无线通信装置202，用于与工程车辆通信，以将卸料口中心线和车身中心线的相对位置发送至工程车辆的显示装置进行展示，或将倒车建议发送至工程车辆的语音装置，以进行对应的语音播报提示。
图像采集设备可以是相机，可以采集工程车辆的车辆图片，其中，工程车辆可以是搅拌车。无线通信装置可以通过无线传输技术将卸料口中心线和车身中心线的相对位置发送至搅拌车的显示装置进行展示，也可以将倒车建议发送至搅拌车的语音装置，以进行对应的语音播报提示，其中，语音播报提示可以是建议搅拌车向左平移，可以建议搅拌车向右平移，也可以建议搅拌车摆正车身。
用于工程车辆的倒车引导装置包括处理器和存储器，上述图像采集设备以及无线通信装置等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对用于工程车辆的倒车引导的方法。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于工程车辆的倒车引导方法。
本申请实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述用于工程车辆的倒车引导方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器（图中未示出）和数据库（图中未示出）。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库（图中未示出）。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储车辆图片数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于工程车辆的倒车引导方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取图像采集设备采集的工程车辆的车辆图片；将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线；根据图像采集设备的安装位置确定卸料间的卸料口中心线；根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。
在一个实施例中，将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线包括：将车辆图片输入至立体目标物检测模型中，以确定工程车辆的三维坐标；根据三维坐标确定工程车辆车尾对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
在一个实施例中，方法还包括：将工程车辆的立体中心点坐标假设为第一预设坐标；确定工程车辆尺寸的实际数据；通过第一预设坐标和实际数据确定工程车辆的预设三维坐标，其中，预设三维坐标包括工程车辆的多个预设顶点坐标；获取工程车辆的二维平面坐标；通过二维平面坐标与预设三维坐标之间的约束条件确定立体中心点的实际坐标；根据实际坐标确定工程车辆对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
在一个实施例中，方法还包括：通过公式（1）对二维平面坐标与三维坐标进行转换：
（1）
其中，M为工程车辆的二维平面坐标，x0为工程车辆的多个顶点的三维坐标，K为图像采集设备内参矩阵，R为工程车辆的旋转矩阵，n为工程车辆相对于图像采集设备在三维坐标系上的平移量。
在一个实施例中，通过公式（2）确定旋转矩阵R：
（2）
其中，θ为工程车辆的旋转角。
在一个实施例中，获取工程车辆尺寸的实际数据包括：确定工程车辆尺寸的测量数据；获取与工程车辆属于同类型车辆尺寸的标准数据以及标准数据的中位数；根据中位数和预设偏移量确定工程车辆尺寸的实际数据。
在一个实施例中，通过回归确定标准数据的中位数与预设偏移量之间的表达式（3）：
（3）
其中，为工程车辆尺寸的目标函数，n为标准数据的个数，/>为工程车辆尺寸的历史实际数据，/>为标准数据的中位数，/>为工程车辆尺寸的预设偏移量。
在一个实施例中，根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆包括：在车身中心线相对于卸料口中心线向左偏移的情况下，确定倒车建议为建议工程车辆右移；在车身中心线相对于卸料口中心线向右偏移的情况下，确定倒车建议为建议工程车辆左移；在车身中心线相对于卸料口中心线之间存在夹角的情况下，确定倒车建议为建议工程车辆的车身摆正。
在一个实施例中，工程车辆还包括显示装置，方法还包括：在获取到车身中心线与卸料口中心线的情况下，将车身中心线与卸料口中心线的相对位置发送至显示装置；根据显示装置的显示情况确定工程车辆的倒车建议；将倒车建议反馈至驾驶员以使驾驶员根据倒车建议调整工程车辆。
在一个实施例中，工程车辆还包括语音装置，方法还包括：在确定工程车辆的倒车建议的情况下，将倒车建议发送至工程车辆的语音装置；根据语音装置播报的倒车建议引导驾驶员对工程车辆进行倒车。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取图像采集设备采集的工程车辆的车辆图片；将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线；根据图像采集设备的安装位置确定卸料间的卸料口中心线；根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆。
在一个实施例中，将车辆图片输入至立体目标物检测模型中，以得到工程车辆的车身中心线包括：将车辆图片输入至立体目标物检测模型中，以确定工程车辆的三维坐标；根据三维坐标确定工程车辆车尾对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
在一个实施例中，方法还包括：将工程车辆的立体中心点坐标假设为第一预设坐标；确定工程车辆尺寸的实际数据；通过第一预设坐标和实际数据确定工程车辆的预设三维坐标，其中，预设三维坐标包括工程车辆的多个预设顶点坐标；获取工程车辆的二维平面坐标；通过二维平面坐标与预设三维坐标之间的约束条件确定立体中心点的实际坐标；根据实际坐标确定工程车辆对应的车尾坐标，并确定车尾中心点坐标；根据车尾中心点坐标确定工程车辆的车身中心线。
在一个实施例中，方法还包括：通过公式（1）对二维平面坐标与三维坐标进行转换：
（1）
其中，M为工程车辆的二维平面坐标，x0为工程车辆的多个顶点的三维坐标，K为图像采集设备内参矩阵，R为工程车辆的旋转矩阵，n为工程车辆相对于图像采集设备在三维坐标系上的平移量。
在一个实施例中，通过公式（2）确定旋转矩阵R：
（2）
其中，θ为工程车辆的旋转角。
在一个实施例中，获取工程车辆尺寸的实际数据包括：确定工程车辆尺寸的测量数据；获取与工程车辆属于同类型车辆尺寸的标准数据以及标准数据的中位数；根据中位数和预设偏移量确定工程车辆尺寸的实际数据。
在一个实施例中，通过回归确定标准数据的中位数与预设偏移量之间的表达式（3）：
（3）
其中，为工程车辆尺寸的目标函数，n为标准数据的个数，/>为工程车辆尺寸的历史实际数据，/>为标准数据的中位数，/>为工程车辆尺寸的预设偏移量。
在一个实施例中，根据车身中心线与卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据倒车建议调整工程车辆包括：在车身中心线相对于卸料口中心线向左偏移的情况下，确定倒车建议为建议工程车辆右移；在车身中心线相对于卸料口中心线向右偏移的情况下，确定倒车建议为建议工程车辆左移；在车身中心线相对于卸料口中心线之间存在夹角的情况下，确定倒车建议为建议工程车辆的车身摆正。
在一个实施例中，工程车辆还包括显示装置，方法还包括：在获取到车身中心线与卸料口中心线的情况下，将车身中心线与卸料口中心线的相对位置发送至显示装置；根据显示装置的显示情况确定工程车辆的倒车建议；将倒车建议反馈至驾驶员以使驾驶员根据倒车建议调整工程车辆。
在一个实施例中，工程车辆还包括语音装置，方法还包括：在确定工程车辆的倒车建议的情况下，将倒车建议发送至工程车辆的语音装置；根据语音装置播报的倒车建议引导驾驶员对工程车辆进行倒车。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于工程车辆的倒车引导方法，其特征在于，所述倒车引导方法包括：
获取图像采集设备采集的工程车辆的车辆图片；
将所述车辆图片输入至立体目标物检测模型中，以得到所述工程车辆的车身中心线；
根据所述图像采集设备的安装位置确定卸料间的卸料口中心线；
根据所述车身中心线与所述卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据所述倒车建议调整所述工程车辆；
其中，所述将所述车辆图片输入至立体目标物检测模型中，以得到所述工程车辆的车身中心线包括：
将所述车辆图片输入至立体目标物检测模型中，以确定所述工程车辆的三维坐标；根据所述三维坐标确定所述工程车辆车尾对应的车尾坐标，并确定车尾中心点坐标；根据所述车尾中心点坐标确定所述工程车辆的车身中心线；或
将所述工程车辆的立体中心点坐标假设为第一预设坐标；确定所述工程车辆尺寸的实际数据；通过所述第一预设坐标和所述实际数据确定所述工程车辆的预设三维坐标，其中，所述预设三维坐标包括所述工程车辆的多个预设顶点坐标；获取所述工程车辆的二维平面坐标；通过所述二维平面坐标与所述预设三维坐标之间的约束条件确定所述立体中心点的实际坐标；根据所述实际坐标确定所述工程车辆对应的车尾坐标，并确定车尾中心点坐标；根据所述车尾中心点坐标确定所述工程车辆的车身中心线；
通过公式（1）对所述二维平面坐标与所述三维坐标进行转换：
（1）
其中，M为所述工程车辆的二维平面坐标，x0为所述工程车辆的多个顶点的三维坐标，K为所述图像采集设备内参矩阵，R为所述工程车辆的旋转矩阵，n为所述工程车辆相对于图像采集设备在三维坐标系上的平移量。
2.根据权利要求1所述的方法，其特征在于，通过公式（2）确定所述旋转矩阵R：
（2）
其中，θ为所述工程车辆的旋转角。
3.根据权利要求1所述的方法，其特征在于，所述获取所述工程车辆尺寸的实际数据包括：
确定所述工程车辆尺寸的测量数据；
获取与所述工程车辆属于同类型车辆尺寸的标准数据以及所述标准数据的中位数；
根据所述中位数和预设偏移量确定所述工程车辆尺寸的实际数据。
4.根据权利要求3所述的方法，其特征在于，通过回归确定所述标准数据的中位数与预设偏移量之间的表达式（3）：
（3）
其中，为所述工程车辆尺寸的目标函数，n为所述标准数据的个数，/>为工程车辆尺寸的历史实际数据，/>为所述标准数据的中位数，/>为所述工程车辆尺寸的预设偏移量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述车身中心线与所述卸料口中心线的相对位置确定对应的倒车建议，以使驾驶员根据所述倒车建议调整所述工程车辆包括：
在所述车身中心线相对于所述卸料口中心线向左偏移的情况下，确定所述倒车建议为建议所述工程车辆右移；
在所述车身中心线相对于所述卸料口中心线向右偏移的情况下，确定所述倒车建议为建议所述工程车辆左移；
在所述车身中心线相对于所述卸料口中心线之间存在夹角的情况下，确定所述倒车建议为建议所述工程车辆的车身摆正。
6.根据权利要求1所述的方法，其特征在于，所述工程车辆还包括显示装置，所述方法还包括：
在获取到所述车身中心线与所述卸料口中心线的情况下，将所述车身中心线与所述卸料口中心线的相对位置发送至所述显示装置；
根据所述显示装置的显示情况确定所述工程车辆的倒车建议；
将所述倒车建议反馈至驾驶员以使驾驶员根据所述倒车建议调整所述工程车辆。
7.根据权利要求6所述的方法，其特征在于，所述工程车辆还包括语音装置，所述方法还包括：
在确定所述工程车辆的倒车建议的情况下，将倒车建议发送至所述工程车辆的语音装置；
根据所述语音装置播报的倒车建议引导驾驶员对所述工程车辆进行倒车。
8.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任意一项所述的用于工程车辆的倒车引导方法。
9.一种用于工程车辆的倒车引导装置，其特征在于，包括：
图像采集设备，用于采集工程车辆的车辆图片；以及
根据权利要求8所述的处理器。
10.根据权利要求9所述的倒车引导装置，其特征在于，还包括：
无线通信装置，用于与所述工程车辆通信，以将所述卸料口中心线和所述车身中心线的相对位置发送至所述工程车辆的显示装置进行展示，或将所述倒车建议发送至所述工程车辆的语音装置，以进行对应的语音播报提示。
CN202111194367.8A 2021-10-13 2021-10-13 用于工程车辆的倒车引导方法、装置及处理器 Active CN113928320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111194367.8A CN113928320B (zh) 2021-10-13 2021-10-13 用于工程车辆的倒车引导方法、装置及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111194367.8A CN113928320B (zh) 2021-10-13 2021-10-13 用于工程车辆的倒车引导方法、装置及处理器

Publications (2)

Publication Number Publication Date
CN113928320A CN113928320A (zh) 2022-01-14
CN113928320B true CN113928320B (zh) 2023-07-21

Family

ID=79278965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111194367.8A Active CN113928320B (zh) 2021-10-13 2021-10-13 用于工程车辆的倒车引导方法、装置及处理器

Country Status (1)

Country Link
CN (1) CN113928320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116968743B (zh) * 2023-08-30 2024-03-19 梁山华鲁专用汽车制造有限公司 自卸车及倒车辅助装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0747446Y2 (ja) * 1991-04-18 1995-11-01 株式会社新潟鉄工所 アスファルトフィニッシャにおけるダンプカーの誘導装置
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
CN112216142B (zh) * 2020-10-13 2021-07-13 英博超算(南京)科技有限公司 基于特定场景的车辆视觉定位系统
CN113306557B (zh) * 2021-06-19 2022-07-08 北京美宝高科技有限责任公司 一种倒车控制的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113928320A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
JP7206371B2 (ja) 地図データ更新方法、地図データ更新装置、地図データ更新システムおよびコンピュータ可読記憶媒体
EP3876141A1 (en) Object detection method, related device and computer storage medium
CN111383279B (zh) 外参标定方法、装置及电子设备
US20210274100A1 (en) Systems and methods for determining a target field angle of an image capturing device
CN111640180B (zh) 一种三维重建方法、装置及终端设备
CN113928320B (zh) 用于工程车辆的倒车引导方法、装置及处理器
CN111222387B (zh) 对象检测的系统和方法
US11205281B2 (en) Method and device for image rectification
CN112330537B (zh) 一种应急救援活动中无人机航拍影像快速拼接的方法
EP3918417A1 (en) Systems and methods for automatically adjusting aperture of a camera
US11240477B2 (en) Method and device for image rectification
CN115082565A (zh) 相机标定方法、装置、服务器及介质
CN113452926B (zh) 图像采集设备、系统及方法
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
CN114078247A (zh) 目标检测方法及装置
CN115291624B (zh) 一种无人机定位降落方法、存储介质和计算机设备
CN112654999A (zh) 标注信息的确定方法及装置
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
CN111507894A (zh) 一种图像拼接处理方法及装置
CN113733354B (zh) 用于搅拌车的控制方法、处理器和控制装置
US10331946B2 (en) Gesture control device and method
CN114604175B (zh) 用于确定工程车辆的方法、处理器、装置及系统
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
CN115115704A (zh) 确定汽车位姿信息的方法及装置
CN114056428B (zh) 用于工程车辆的倒车引导方法、装置、处理器及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant