CN111942391A - 铰接式工程机械、全景环视系统及其标定方法 - Google Patents

铰接式工程机械、全景环视系统及其标定方法 Download PDF

Info

Publication number
CN111942391A
CN111942391A CN202010967431.0A CN202010967431A CN111942391A CN 111942391 A CN111942391 A CN 111942391A CN 202010967431 A CN202010967431 A CN 202010967431A CN 111942391 A CN111942391 A CN 111942391A
Authority
CN
China
Prior art keywords
calibration
articulated
structure section
shooting
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010967431.0A
Other languages
English (en)
Other versions
CN111942391B (zh
Inventor
崔吉胜
武博文
庄坤
张天骄
薛力戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou XCMG Road Construction Machinery Co Ltd
Original Assignee
Xuzhou XCMG Road Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou XCMG Road Construction Machinery Co Ltd filed Critical Xuzhou XCMG Road Construction Machinery Co Ltd
Priority to CN202010967431.0A priority Critical patent/CN111942391B/zh
Publication of CN111942391A publication Critical patent/CN111942391A/zh
Priority to US18/025,731 priority patent/US20230347827A1/en
Priority to PCT/CN2020/130042 priority patent/WO2022057077A1/zh
Priority to DE112020007380.7T priority patent/DE112020007380T5/de
Application granted granted Critical
Publication of CN111942391B publication Critical patent/CN111942391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/004—Devices for guiding or controlling the machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/22—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for consolidating or finishing laid-down unset materials
    • E01C19/23—Rollers therefor; Such rollers usable also for compacting soil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/22—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for consolidating or finishing laid-down unset materials
    • E01C19/23—Rollers therefor; Such rollers usable also for compacting soil
    • E01C19/26—Rollers therefor; Such rollers usable also for compacting soil self-propelled or fitted to road vehicles
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C2301/00—Machine characteristics, parts or accessories not otherwise provided for
    • E01C2301/30—Cabin details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本公开涉及一种铰接式工程机械、全景环视系统及其标定方法，其中，铰接式工程机械包括通过铰接架(3)依次连接的至少两个铰接结构段，至少两个铰接结构段包括第一铰接结构段(1)，第一铰接结构段包括：第一车体(11)和设在第一车体(11)上的驾驶室(12)，全景环视系统包括：多个拍摄部件(6)，安装于第一铰接结构段(1)，被配置为拍摄铰接式工程机械周围的环境；图像处理部件(8)，被配置为接收多个拍摄部件(6)拍摄的图像，并拼接为第一铰接结构段(1)周围整周的环视图像；和人机交互部件(9)，被配置为显示图像处理部件(8)拼接形成的环视图像。

Description

铰接式工程机械、全景环视系统及其标定方法
技术领域
本公开涉及工程机械辅助驾驶技术领域，尤其涉及一种铰接式工程机械、全景环视系统及其标定方法。
背景技术
现代科学技术的发展，极大地推动了工程机械的智能化，越来越多的高端技术被引入工程机械领域，使工程机械向着更高效、更安全的目标不断迈进。通常工程机械在施工过程中大都只能依赖后视镜或倒车影像的辅助观察周围环境，但是由于存在车头、车窗、柱子等遮挡物，且工程机械驾驶室普遍偏高视野有限，使得驾驶员视野存在盲区，无法判断遮挡区域有无障碍物以及障碍物的间距。
而且，为了提高工程机械转向和操作的灵活性，出现了驾驶室与后车架通过铰接机构连接的工程机械，在工程机械转向过程中，由于后车架相对于驾驶室的角度在不断发生变化，因此，驾驶员更加难以判断工程机械周围的环境，增加了操作难度，难以保证驾驶过程的安全性。
发明内容
本公开的实施例提供了一种铰接式工程机械、全景环视系统及其标定方法，能够提高工程机械在驾驶过程中的安全性。
本公开第一方面提供了一种铰接式工程机械全景环视系统，铰接式工程机械包括通过铰接架依次连接的至少两个铰接结构段，至少两个铰接结构段包括第一铰接结构段，第一铰接结构段包括：第一车体和设在第一车体上的驾驶室，全景环视系统包括：
多个拍摄部件，安装于第一铰接结构段，被配置为拍摄铰接式工程机械周围的环境；
图像处理部件，被配置为接收多个拍摄部件拍摄的图像，并拼接为第一铰接结构段周围整周的环视图像；和
人机交互部件，被配置为显示图像处理部件拼接形成的环视图像。
在一些实施例中，多个拍摄部件均位于同一个铰接架沿铰接式工程机械长度方向的相同侧。
在一些实施例中，至少两个铰接结构段还包括：分别位于第一铰接结构段两侧的第二铰接结构段和第三铰接结构段，多个拍摄部件均位于与第一铰接结构段连接的两个铰接架之间。
在一些实施例中，多个拍摄部件围绕驾驶室的外周或第一铰接结构段的外周设置。
在一些实施例中，若第一铰接结构段的长度小于单个拍摄部件的有效识别范围，多个拍摄部件包括四个拍摄部件，分别设在第一铰接结构段的前部、后部、左侧和右侧；和/或
若第一铰接结构段的长度不小于单个拍摄部件的有效识别范围，多个拍摄部件至少包括六个拍摄部件，第一铰接结构段的前部和后部分别设有一个拍摄部件，第一铰接结构段的左侧和右侧分别间隔设置至少两个拍摄部件。
在一些实施例中，多个拍摄部件设在第一铰接结构段的顶部，拍摄部件的拍摄面朝向第一铰接结构段的外侧且斜向下。
在一些实施例中，全景环视系统还包括：
行走控制部件，与图像处理部件电连接，被配置为控制铰接式工程机械的行进方向及行进速度，并将行进方向及行进速度信息传递给图像处理部件；
其中，图像处理部件被配置为根据行进方向上下移动在人机交互部件中显示的环视图像，在行进方向为前时向下移动环视图像，在行进方向为后时向上移动环视图像，并且根据行进速度确定环视图像移动的快慢和最终图像停止的位置。
在一些实施例中，全景环视系统还包括多个标定装置，设在第一铰接结构段之外的预设基准平面上，且围绕驾驶室或第一铰接结构段的外周设置，多个标定装置各自的顶面均低于对应位置的拍摄部件的安装高度，多个标定装置被配置为在多个拍摄部件正式使用前对拍摄的图像进行标定。
在一些实施例中，人机交互部件被配置为接收操作人员将标定光标移动至标定装置中特征识别物上的标定指令，并将标定指令发送给图像处理部件；图像处理部件被配置为接收标定指令，并根据多个标定装置的实际参数校正多个拍摄部件拍摄图像中的畸变。
在一些实施例中，多个标定装置的实际参数包括：相邻两个标定装置之间的距离和单个标定装置中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件中通过标定光标执行标定。
在一些实施例中，多个标定装置设在预设参考框外，预设参考框相对于驾驶室或第一铰接结构段的外廓形成的矩形区域整体向外偏移预设距离；
结合人机交互部件的显示，多个拍摄部件的拍摄角度被配置为调整至能够拍摄到铰接式工程机械的车体至预设参考框之间的范围。
在一些实施例中，多个标定装置设在预设参考框外，预设参考框相对于驾驶室外廓所在的区域整体向外偏移预设距离；
在第一铰接结构段的长度小于单个拍摄部件的有效识别范围时，多个标定装置分别设在预设参考框的四个角；或者
在第一铰接结构段的长度不小于单个拍摄部件的有效识别范围时，标定装置分别设在预设参考框的四个角以及左右两侧边位于相邻两个拍摄部件之间的位置。
在一些实施例中，标定装置的高度可调。
在一些实施例中，人机交互部件被配置为接收外部输入的多个拍摄部件中至少部分拍摄部件的图像修订参数，从而使环视图像处于同一高度。
在一些实施例中，标定装置包括：
底座；
第一支撑架，第一支撑架的第一端固定在底座上；
第二支撑架，位于第一支撑架上方，第二支撑架的第一端与第一支撑架的第二端连接且高度可调；和
框架，连接在第二支撑架的第二端，且框架作为操作人员在人机交互部件中标定时的特征识别物。
本公开第二方面提供了一种铰接式工程机械，包括：通过铰接架依次连接的至少两个铰接结构段以及上述实施例的铰接式工程机械全景环视系统；
其中，至少两个铰接结构段包括第一铰接结构段，第一铰接结构段包括：第一车体和设在第一车体上的驾驶室。
本公开第三方面提供了一种基于上述实施例铰接式工程机械全景环视系统的标定方法，包括：
结合人机交互部件的显示，将多个拍摄部件的拍摄角度调整至能够拍摄到铰接式工程机械的车体至预设参考框之间的范围，预设参考框相对于驾驶室或第一铰接结构段的外廓所在的区域整体向外偏移预设距离；
将多个标定装置在基准平面上围绕预设参考框外设置；
将人机交互部件中的标定光标移动至标定装置的特征识别物上，以在多个拍摄部件正式使用前对拍摄的图像进行标定。
在一些实施例中，标定方法还包括：
在拼接形成环视图像之后，根据环视图像中各部分图像的高度匹配程度，通过人机交互部件设定多个拍摄部件中至少部分拍摄部件的图像修订参数，以使环视图像处于同一高度。
在一些实施例中，将多个标定装置布置在预设参考框外的基准平面上包括：
获得铰接式工程机械的整体俯视模型；
将整体俯视模型只保留驾驶室或第一铰接结构段的外廓所在区域的部分模型；
在实际车体中找出与部分模型对应的实际区域，并相对于实际区域向外偏移预设距离，在基准平面上标记出预设参考框；
在基准平面上围绕预设参考框外布置多个标定装置。
在一些实施例中，在对拍摄的图像进行标定之前，标定方法还包括：
通过人机交互部件输入多个标定装置的实际参数，以供图像处理部件校正多个拍摄部件拍摄图像中的畸变实现标定；
其中，多个标定装置的实际参数包括相邻两个标定装置之间的距离和单个标定装置中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件中进行标定。
在一些实施例中，在将多个标定装置布置在预设参考框外的基准平面上之后，标定方法还包括：
调节多个标定装置的高度，以调整标定后铰接式工程机械的车体在环视图像中的占比。
在一些实施例中，多个拍摄部件至少包括四个拍摄部件，第一铰接结构段的前部和后部分别设有一个拍摄部件，第一铰接结构段的左侧和右侧分别设置至少一个拍摄部件，预设参考框的四个角分别一个标定装置；其中，
至少两个铰接结构段还包括：第二铰接结构段，第一铰接结构段与第二铰接结构段连接且位于最后端，调节多个标定装置的高度包括：
将左前、右前位置的标定装置的高度调节到与第二铰接结构段高度接近，且低于前部的拍摄部件的安装高度；
将左后、右后位置的标定装置的高度调节到低于后部的拍摄部件的安装高度，且与左前、右前位置的标定装置的高度差不超过预设高度；或者
至少两个铰接结构段还包括：第二铰接结构段，第一铰接结构段与第二铰接结构段连接且位于最前端，调节多个标定装置的高度包括：
将左后、右后位置的标定装置的高度调节到与第二铰接结构段接近，且低于后部的拍摄部件的安装高度；
将左前、右前位置的标定装置的高度调节到低于前部的拍摄部件的安装高度，且与左后、右后位置的标定装置的高度差不超过预设高度；或者
至少两个铰接结构段还包括：分别连接于第一铰接结构段前侧和后侧的第二铰接结构段和第三铰接结构段调节多个标定装置的高度包括：
将左前、右前位置的标定装置的高度调节到与第二铰接结构段接近，且低于前部的拍摄部件的安装高度；
将左后、右后位置的标定装置的高度调节到与第三铰接结构段接近，且低于后部的拍摄部件的安装高度。
在一些实施例中，第一铰接结构段的左侧和右侧分别间隔设置至少两个拍摄部件，在预设参考框的左中、右中位置也分别布置至少一个标定装置，标定装置位于同侧相邻两个拍摄部件之间，在调节完预设参考框的四个角的标定装置之后，调节多个标定装置的高度还包括：
将左中位置的标定装置的高度调节到四个角的标定装置的高度之间，且低于左侧的至少两个拍摄部件的安装高度；
将右中位置的标定装置的高度调节到四个角的标定装置的高度之间，且低于右侧的至少两个拍摄部件的安装高度。
基于上述技术方案，本公开实施例的铰接式工程机械全景环视系统，将多个拍摄部件均安装于第一铰接结构段，在工程机械行进过程中第二铰接结构段相对于包括驾驶室的第一铰接结构段发生摆动时，拍摄部件也能清晰地拍摄到第二铰接结构段的位置变化以及驾驶室以外的情况，使图像拼接更容易，可优化图像拼接效果，防止出现视觉盲区；而且也无需加装角度传感器检测车体结构的摆动角度以实现图像拼接，使全景环视系统的结构更加简单，易于实现。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为本公开铰接式工程机械的第一实施例的侧视图；
图2为本公开铰接式工程机械的第一实施例的俯视图；
图3A为图1和图2所示第一实施例的整体俯视模型；
图3B为图3A的整体俯视模型中只保留第一铰接结构段的模型；
图3C为第一实施例中确定出的预设参考框的示意图；
图3D为第一实施例在预设参考框外的四个角布置标定装置的示意图；
图4为第一实施例中多个标定装置的实际参数的示意图；
图5为本公开铰接式工程机械的第二实施例的俯视图；
图6A为图5所示第二实施例的整体俯视模型；
图6B为图6A中只保留第一铰接结构段的模型；
图6C为第二实施例中确定出的预设参考框的示意图；
图6D为第二实施例在预设参考框外布置六个标定装置的示意图；
图7为标定装置的一些实施例的结构示意图；
图8为本公开铰接式工程机械全景环视系统的一些实施例的模块组成示意图。
附图标记说明
1、第一铰接结构段；11、第一车体；12、驾驶室；13、弹性联轴器；2、第二铰接结构段；2’、第三铰接结构段；21、第二车体；3、铰接架；4、前轮；5、后轮；6、拍摄部件；7、标定装置；71、底座；711、横梁；72、第一支撑架；73、第二支撑架；74、框架；741、梁；742、加强梁；X、标定光标；8、图像处理部件；9、人机交互部件；10、行走控制部件。
具体实施方式
以下详细说明本公开。在以下段落中，更为详细地限定了实施例的不同方面。如此限定的各方面可与任何其他的一个方面或多个方面组合，除非明确指出不可组合。尤其是，被认为是优选的或有利的任何特征可与其他一个或多个被认为是优选的或有利的特征组合。
本公开中出现的“第一”、“第二”等用语仅是为了方便描述，以区分具有相同名称的不同组成部件，并不表示先后或主次关系。
在本公开的描述中，采用了“上”、“下”、“左”、“右”、“前”、“后”、“内”和“外”等指示的方位或位置关系均是基于操作者坐在驾驶室中的方位进行定义，仅是为了便于描述本公开，而不是指示或暗示所指的装置必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。
如图1至图8所示，本公开提供了一种铰接式工程机械全景环视系统，在一些实施例中，铰接式工程机械包括通过铰接架3连接的至少两个铰接结构段，至少两个铰接结构段包括第一铰接结构段1，第一铰接结构段1包括第一车体11和设在第一车体11上的驾驶室12，驾驶室12可通过弹性联轴器13安装在第一车体11上。工程机械可以只包括两个铰接结构段，例如，装载机、平地机、矿用运输车或矿卡等。或者工程机械也可包括三个铰接结构段，例如，热风加热车或红外加热车等。
在工程机械行驶时，其它铰接结构段可相对于驾驶室12所在的第一铰接结构段1在水平面内摆动。若第一铰接结构段1位于前端，在工程机械行驶时，后面的铰接结构段可相对于第一铰接结构段1在水平面内摆动；或者，第一铰接结构段1也可位于后端，前面的铰接结构段可相对于第一铰接结构段1在水平面内摆动；或者，第一铰接结构段1也可位于中间位置，前面和后面的铰接结构段均可相对于第一铰接结构段1在水平面内摆动。
全景环视系统可包括：多个拍摄部件6、图像处理部件8和人机交互部件9。
其中，多个拍摄部件6安装于第一铰接结构段1，例如，多个拍摄部件6可全部安装于驾驶室12，或者同时安装于驾驶室12和第一车体11上。多个拍摄部件6被配置为拍摄铰接式工程机械周围的环境，包括车体、地面及周围情况，例如，拍摄部件6可安装在驾驶室12或第一车体11的外侧，拍摄部件6可以是摄像头，如全景摄像头、广角摄像头或鱼眼摄像头等。
图像处理部件8与多个拍摄部件6电连接，被配置为接收多个拍摄部件6拍摄的图像，可以是图片或视频，并拼接为第一铰接结构段1周围整周360°的环视图像。由此，图像处理部件8对多个拍摄部件拍摄的图像进行畸变校正、透视变换和全景拼接融合等处理，生成环视图像，由此可以获得第一铰接结构段1外围的实时影像。例如，图像处理部件8可以是DSP、PLC控制器等。
人机交互部件9被配置为显示图像处理部件8拼接形成的环视图像，以便驾驶员能够更清楚地看到工程机械周围环境，为控制工程机械的行进和作业提供依据。例如，人机交互部件9可以是显示器或触摸式显示屏等。
该实施例将多个拍摄部件6均安装于第一铰接结构段1，在工程机械行进过程中其它铰接结构段相对于第一铰接结构段1发生摆动时，拍摄部件6能够清晰地拍摄到第一铰接结构段1以外其它铰接结构段的位置变化以及驾驶室12以外的情况，使图像拼接更容易，可优化图像拼接效果，使环视图像更清楚地反映车体周围的情况，防止出现视觉盲区。这样能够在工程机械处于各类复杂作业工况时为操作者提供更直观清晰的判断依据。而且也无需加装角度传感器检测铰接结构段之间的相对摆动角度以实现图像拼接，使全景环视系统的结构更加简单，易于实现。
而如果将多个拍摄部件6围绕整个车体周围，在相邻铰接结构段之间相对摆动时会涉及到拍摄部件6的大幅摆动，使多个拍摄部件6拍摄的图像之间产生裂开的效果，还需要加装角度传感器检测摆动角度，以不断将存储的车辆模型根据实际情况进行修正，实现复杂，且各个角度车辆模型的存储量也较大，在最终实现过程中较为复杂且成本较高，角度传感器如果产生损坏则无法完成铰接时车辆模型的切换与图像拼接，即便采用其他视觉识别等补偿算法，因为摄像头本身会跟随车体发生偏移，使得摄像头拍摄到的车周视野也发生了位移，最终无法得到一个接近真实的全景视图。
如图1所示，多个拍摄部件6均位于同一个铰接架3沿铰接式工程机械长度方向的相同侧。例如，驾驶室12位于前车体上，则多个拍摄部件6全部位于铰接架3的前侧。此种设置方式能够使除第一铰接结构段1以外的其它铰接结构段完全处于拍摄部件6的拍摄范围之内，不容易出现遮挡，可使全景图像更清楚地体现出第一铰接结构段1周围的环境，防止出现视觉盲区。
进一步地，至少两个铰接结构段还包括：分别位于第一铰接结构段1两侧的第二铰接结构段2和第三铰接结构段2’，多个拍摄部件6均位于与第一铰接结构段2连接的两个铰接架3之间。对于包括至少三个铰接结构段的工程机械，此种设置方式能够使除第一铰接结构段1以外的其它铰接结构段完全处于拍摄部件6的拍摄范围之内，不容易出现遮挡，可使全景图像更清楚地体现出第一铰接结构段1周围的环境，防止出现视觉盲区。
在一些实施例中，多个拍摄部件6设在第一铰接结构段1的顶部，拍摄部件6的拍摄面朝向第一铰接结构段1的外侧且斜向下，由此，拍摄部件6既能拍摄到车体的部分图像，也能拍摄到驾驶室周围的图像。例如，在采用鱼眼摄像头时，在横向上可以拍摄190°的范围，在纵向上可以拍摄140°的范围。
针对不同类型的工程机械，多个拍摄部件6的设置方式也不同，下面将进行举例说明。
在第一实施例中，若第一铰接结构段1的长度小于单个拍摄部件6的有效识别范围，多个拍摄部件6包括四个拍摄部件6，分别设在第一铰接结构段1的前部、后部、左侧和右侧。
在第一铰接结构段1长度较短时，左侧和右侧分别设置一个拍摄部件6就能清楚地拍摄到两侧的图像，此种结构能够在清楚全面观察到驾驶室12外面情况的基础上，尽量减少拍摄部件6的使用数量，简化环视系统的结构和设置成本。
以压路机为例，如图1和图2所示，第一车体11为前车体和后车体中的一个，第二铰接结构段2包括第二车体21，第二车体21为前车体和后车体中的另一个。如图1所示，驾驶室12的前侧设有前轮4，前轮4可以是钢轮，第二车体21的后侧位置设有后轮5，后轮5可以是钢轮或轮胎。
在压路机贴着路边压实时，通过在第一铰接结构段1上设置多个拍摄部件6，多个操作者在驾驶室内也能清楚地观测到车体侧面的情况，可防止出现漏压问题。
在一些实施例中，多个拍摄部件6围绕驾驶室12的外周或第一铰接结构段1的外周设置。
若第一车体11的长度较小，由于驾驶室12较高，则将多个拍摄部件6围绕驾驶室12的外周设置能够获得更广的视野范围。
如图2所示，四个拍摄部件6分别设在驾驶室12的前部、后部、左侧和右侧，以分别拍摄驾驶室12的前方、后方、左侧和右侧环境的图像。例如，四个拍摄部件6可分别设在驾驶室12的前部、后部、左侧和右侧的中间位置。此种设置方式能够使驾驶室12各个方位的情况都清晰地体现在环视图像中。
若第一车体11的长度较大，例如，第一车体11为后车体，后车体的底部安装有两个轮胎，此种工程机械在后车体靠近铰接架3的一侧安装驾驶室12后，在驾驶室12后侧仍有较长的距离，如果将所有拍摄部件6均设在驾驶室12上，会造成后侧的拍摄部件6被后车体遮挡的盲区过大，若将后部的拍摄部件6安装到第一车体11远离铰接架3的一端，就能够避免被车体遮挡出现盲区。
对于此种结构，四个拍摄部件6分别设在驾驶室12靠近铰接架3的一侧、驾驶室12的左侧、驾驶室12的右侧和第一车体11远离铰接架3的一侧。
在第二实施例中，如图5至图6D所示，若第一铰接结构段1的长度不小于单个拍摄部件6的有效识别范围，多个拍摄部件6至少包括六个拍摄部件6，第一铰接结构段1的前部和后部分别设有一个拍摄部件6，第一铰接结构段1的左侧间隔设置至少两个拍摄部件6，右侧也间隔设置至少两个拍摄部件6。
在第一铰接结构段1长度较大的情况下，左侧和右侧分别设置一个拍摄部件6难以全面地拍摄到车体侧面的情况，该实施例通过在左侧和右侧分别布置两个拍摄部件6，能够更清楚全面地拍摄到车体侧面的情况，使环视图像更清楚地反映车体周围的情况，防止出现视觉盲区。
在一些实施例中，如图8所示，全景环视系统还可包括：行走控制部件10，与图像处理部件8电连接，被配置为控制铰接式工程机械的行进方向及行进速度，并将行进方向及行进速度信息传递给图像处理部件8。例如，行走控制部件10可以是DSP、PLC控制器等。
其中，图像处理部件8被配置为根据工程机械的行进方向上下移动在人机交互部件9中显示的环视图像，此处的上下移动是在人机交互部件9的显示区域上下移动。在行进方向为前时向下移动环视图像，以便增大工程机械前方的显示范围；在行进方向为后时向上移动环视图像，以便增大工程机械后方的显示范围，并且根据行进速度确定环视图像移动的快慢和在人机交互部件9的显示区域中停止的位置，使人机交互部件9中环视图像的显示变化跟随工程机械的行进过程并使得显示的范围满足当前速度下的安全制动距离范围的要求。车辆的运行速度和最终车辆的制动安全距离成正比，而画面中显示的区域与实际车辆前或后侧的实际空间成正比，即速度越快，画面中显示的安全区域就应该越多，例如从3m～10m随速度线性变化。
该实施例能够使车辆模型更靠向与行进方向相反的方向，使行进向上的图像更多地呈现在人机交互部件9中，使操作者能够更大范围地观察到工程机械行进方向前方的环境情况，以便根据工程机械的行进情况提前进行预判，在出现特殊情况时可提前采取措施。
而且，由于拼接的环视图像本身大于人机交互部件9中显示的图像，所以当画面整体上下移动时，只是将预先拼接好的图像移入显示区域进行显示，并不是完全将新的图像重新进行拼接再显示，所以不会影响整体画面的协调度，而且拼接图像也不会发生变形。
在上述实施例的基础上，如图3A至图7所述，全景环视系统还包括多个标定装置7，设在第一铰接结构段1之外的预设基准平面上，且围绕驾驶室12或第一铰接结构段1的外周设置，多个标定装置7各自的顶面均低于对应位置的拍摄部件6的安装高度，由此标定装置7的顶面处于基准平面以上且拍摄部件6以下的半空中，多个标定装置7被配置为在多个拍摄部件6正式使用前对拍摄的图像进行标定。例如，基准平面可以是地面，也可以是平台。
例如，对于压路机，标定装置7的高度可接近于前轮4的高度，以使车体在显示图像中的占比合适，若标定装置7的高度过高，则车体在显示图像中的占比很小，无法清晰且直观的观测车辆周围的障碍物；若标定装置的高度过低，则车体在显示图像中的占比很大，造成车体周围的可视区域很小，无法满足系统所需要的安全距离要求。
该实施例在正式使用全景环视系统时，先通过标定装置7对拍摄部件6拍摄的图像进行标定，能够使车体及周围的场景在环视图像中调节至更加合适的比例，以更接近与真实的上帝视角，使驾驶员看到的显示图像更加真实，更容易识别出车辆周围的情况。该实施例使标定装置7的顶面在空中处于合适的高度，能够使拍摄部件6获得更清晰且比例合适的图像，从而使环视图像的画面比例更协调。而且，人从图像拼接处经过时尽量减少对人识别的盲区。
对于前面提到的第一实施例和第二实施例，多个标定装置7的设置位置也不同，下面将详细说明。
对于第一实施例，如图3A至图3D所示，四个拍摄部件6均设在驾驶室12上，在将预设参考框K外的基准平面上布置四个标定装置7，具体方法如下：
1、如图3A，获得铰接式工程机械的整体俯视模型；
2、如图3B，将整体俯视模型只保留驾驶室12外廓所在区域的部分模型，驾驶室12外廓指驾驶室12的实际外边缘；
3、如图3C，在实际车体中找出与部分模型对应的实际区域，并相对于实际区域向外偏移预设距离L，在基准平面上标记出预设参考框K，预设参考框K为矩形；
4、如图3D，第一铰接结构段1的长度小于单个拍摄部件6的有效识别范围，将四个标定装置7在基准平面上围绕预设参考框K外，且分别设在预设参考框K的四个角，并使标定装置7的特征识别物的内顶点在基准平面上的投影与预设参考框K的角部重合。
在拍摄图像中，驾驶室12外廓所在区域的部分模型变化不大，实际被拍摄部件6拍摄到的真实车体部分会受到标定装置7的高度影响，因为标定装置7是被拍摄部件6直接观测到的。
在一些实施例中，如图4所示，人机交互部件9被配置为接收操作人员将标定光标X移动至标定装置7中特征识别物上的标定指令，并将标定指令发送给图像处理部件8；图像处理部件8被配置为接收标定指令，并根据多个标定装置7的实际参数校正多个拍摄部件6拍摄图像中的畸变。
对于一些拍摄部件6例如鱼眼摄像头，为了拍摄更大的范围，按照近大远小的拍摄图像中的物体会发生畸变，即物体的部分线条会由直线变为曲线，该实施例通过标定装置7中的特征标记物，可对拍摄的图像进行校正，从而使人机交互部件9中显示出更真实的图像供操作者观察。
在一些实施例中，多个标定装置7的实际参数包括：相邻两个标定装置7之间的距离和单个标定装置7中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件9中通过标定光标X执行标定。
例如，预设参考框K的四个角分别布置一个标定装置7，标定装置7的特征标记物的外廓为矩形，多个标定装置7的实际参数包括：前方或后方的左右两个标定装置7之间的距离L1，左侧或右侧的前后两个标定装置7之间的距离L2，特征标记物的长度尺寸L3，以及特征标记物的宽度尺寸L4。
在放置标定装置7后，通过人机交互部件9输入实际参数，能够适应不同的车型。多个标定装置的实际参数可通过人工测量获得，也可通过布置视觉识别部件的方式获得，例如布置摄像头，且视觉识别部件的焦距、安装位置以及与标定装置7和拍摄部件6的距离已知。
在一些实施例中，多个标定装置7围绕预设参考框K外设置，标定装置7整体位于预设参考框K之外，且标定装置7的特征标记物在基准平面上的投影部分落在预设参考框K上，预设参考框K相对于驾驶室12或第一铰接结构段1的外廓所在的区域整体向外偏移预设距离L，预设距离L可以是1m，或者也可结合安全工作的需求设定。例如，驾驶室12外廓所在的区域为矩形区域。结合人机交互部件9的显示，多个拍摄部件6的拍摄角度被配置为调整至能够拍摄到铰接式工程机械的车体至预设参考框K之间的范围。
该实施例能够使拍摄部件6全面地拍摄到车体至预设参考框K之间的区域，提高工程机械行进和作业过程中的安全性。而且，也能使车体在显示画面中所占的比例合适。
在一些实施例中，多个标定装置7设在预设参考框K外，预设参考框K相对于驾驶室12或第一铰接结构段1外廓所在的矩形区域整体向外偏移预设距离L。
如图3D所示，标定装置7设置四个，分别设在预设参考框K的四个角。
在一些实施例中，标定装置7的高度可调。通过高度标定装置7的高度调整，可使标定装置7中框架74所在高度的平面畸变达到最小，若标定装置7距离拍摄部件6过近，标定后可以看到更多车体外的场景，但车体在显示图像中的占比很小，无法清晰且直观的观测车辆周围的障碍物；若标定装置7距离拍摄部件6过远，标定后看到车体外的场景就会减少，车体在显示图像中的占比很大，造成车体周围的可视区域很小，无法满足系统所需要的安全距离要求。因此，将标定装置7调整至合适的高度，可使车体和车体外的环境在图像中的占比合适，并且使得车体关注区域所在的平面标定后的畸变最小。
在一些实施例中，人机交互部件9被配置为接收外部输入的多个拍摄部件6中至少部分拍摄部件6的图像修订参数，从而使环视图像处于同一高度。由此，操作人员可实现对拍摄部件6的标定及关键参数设置。
由于各个拍摄部件6的安装高度难以达到完全一致，通过观察环视图像，对于图像高度不匹配的拍摄部件6可通过操作者输入图像修订参数改变图像显示的深度，以使相邻图像之间衔接过渡平滑，使环视图像处于同一高度，优化图像质量。
对于第二实施例，多个标定装置7的布置方式与第一实施例的不同之处在于，在将预设参考框K外的基准平面上布置六个标定装置7，具体方法如下：
1、如图6A，获得铰接式工程机械的整体俯视模型；
2、如图6B，将整体俯视模型只保留第一铰接结构段1外廓所在区域的部分模型，第一铰接结构段1外廓指第一铰接结构段1的实际外边缘；
3、如图6C，在实际车体中找出与部分模型对应的实际区域，并相对于实际区域向外偏移预设距离L，在基准平面上标记出预设参考框K，预设参考框K为矩形；
4、如图6D，在第一铰接结构段1的长度不小于单个拍摄部件6的有效识别范围时，标定装置7分别设在预设参考框K的四个角以及左右两侧边位于相邻两个拍摄部件6之间的位置。
具体地，将六个标定装置7在基准平面上围绕预设参考框K外。其中四个标定装置7分别设在预设参考框K的四个角，并使标定装置7的特征识别物的内顶点在基准平面上的投影与预设参考框K的角部重合；另外两个标定装置7分别位于预设参考框K左右两侧，标定装置7在工程机械的长度方向上位于同侧的相邻两个拍摄部件6之间，例如可位于预设参考框K侧面沿长度方向的中间位置。
标定装置7的特征标记物的外廓为矩形，多个标定装置7的实际参数包括：前方或后方的左右两个标定装置7之间的距离L1，左侧或右侧的前中两个标定装置7之间的距离L2，中后两个标定装置7之间的距离L2’，特征标记物的长度尺寸L3，以及特征标记物的宽度尺寸L4。除此之外，对于第二实施例，其余部分均可借鉴第一实施例。
在一些实施例中，如图7所示，标定装置7包括：底座71、第一支撑架72、第二支撑架73和框架。其中，第一支撑架72的第一端固定在底座71上；第二支撑架73位于第一支撑架72上方，第二支撑架73的第一端与第一支撑架72的第二端连接且高度可调；框架74连接在第二支撑架73的第二端，且框架74作为操作人员在人机交互部件9中标定时的特征识别物，例如框架74可采用矩形框架。
具体地，如图7所示，底座71包括呈十字交叉布置的两根横梁711；第一支撑架72采用立杆，立杆的第一端连接在两根横梁711的交点处；第二支撑架73也采用立杆，第二支撑架73的第一端可插入第一支撑架72的第二端，或者套设在第一支撑架72的第二端外，且高度可调；框架74包括四根梁741围合形成的矩形框，加强梁742连接在相对的两根梁741之间，且位于梁741沿长度方向的中间位置，第二支撑架73的第二端与加强梁742连接。
框架74尺寸已知，作为特征标识物，便于操作人员通过将标记光标X移动到框架74的外框上对拍摄部件6进行标定。进一步地，底座71的尺寸大于框架74的尺寸，可防止标定装置7在标定过程中倾倒，提高标定的安全性和效率。
其次，本公开还提供了一种铰接式工程机械，包括：通过铰接架3依次连接的至少两个铰接结构段以及上述实施例的铰接式工程机械全景环视系统。其中，至少两个铰接段包括第一铰接结构段1，第一铰接结构段1包括第一车体11和设在第一车体11上的驾驶室12。
在一些实施例中，至少两个铰接段包括第一铰接结构段1和第二铰接结构段2，第二铰接结构段2可通过铰接架3连接在第一铰接结构段1的前部或后部。
在另一些实施例中，至少两个铰接段包括第一铰接结构段1、第二铰接结构段2和第三铰接结构段2’，第二铰接结构段2和第三铰接结构段2’分别连接在第一铰接结构段1的前端和后端。
其次，本公开还提供了一种基于上述实施例的铰接式工程机械全景环视系统的标定方法，在一些实施例中，包括：
步骤101、结合人机交互部件9的显示，将多个拍摄部件6的拍摄角度调整至能够拍摄到铰接式工程机械的车体至预设参考框K之间的范围，预设参考框K相对于驾驶室12或第一铰接结构段1的外廓所在区域整体向外偏移预设距离L；例如，预设参考框K为矩形。
步骤102、将多个标定装置7在基准平面上围绕预设参考框K外布置；其中，在标定装置7设在预设参考框K的角部时，标定装置7中特征标识物内侧的顶点在基准平面内的投影可与预设参考框K的角部重合；在标定装置7设在预设参考框K的边部时，标定装置7中特征标识物的内侧边在基准平面内的投影可与预设参考框K的边部重合。
步骤103、将人机交互部件9中的标定光标X移动至标定装置7的特征识别物上，以在多个拍摄部件6正式使用前对拍摄的图像进行标定。
其中，步骤101-103可顺序执行。该实施例能够通过对多个拍摄部件6的拍摄角度进行调整，并对拍摄的图像进行标定，既能够使拍摄部件6全面地拍摄到车体至预设参考框K之间的区域，提高工程机械行进和作业过程中的安全性。而且，能够使车体及周围的场景在环视图像中调节至更加合适的比例，以更接近与真实的上帝视角，使驾驶员看到的显示图像更加真实，更容易识别出车辆周围的情况。
在一些实施例中，本公开的标定方法还包括：
步骤104、在拼接形成环视图像之后，根据环视图像中各部分图像的高度匹配程度，通过人机交互部件9设定多个拍摄部件6中至少部分拍摄部件6的图像修订参数，以使环视图像处于同一高度。
其中，步骤104可在步骤103之后执行。由于各个拍摄部件6的安装高度难以达到完全一致，通过观察环视图像，对于图像高度不匹配的拍摄部件6可通过操作者输入图像修订参数改变图像高度，以使相邻图像之间衔接过渡平滑，使环视图像处于同一高度，优化图像质量。
在一些实施例中，步骤102将多个标定装置7在基准平面上围绕预设参考框K外布置包括：
步骤102A、获得铰接式工程机械的整体俯视模型，如图3A所示；
步骤102B、将整体俯视模型只保留驾驶室12或第一铰接结构段1的外廓所在区域的部分模型。在多个拍摄部件6均设在驾驶室1上时，只保留驾驶室12外廓所在区域的部分模型；在多个拍摄部件6同时设在驾驶室1和第一车体11上时，保留一铰接结构段1的外廓所在区域的部分模型。
步骤102C、在实际车体中找出与部分模型对应的实际区域，并相对于实际区域整体向外偏移预设距离L，在基准平面上标记出预设参考框K，例如在地面上或平台上标记出预设参考框K；
步骤102D、在基准平面上围绕预设参考框K外布置多个标定装置7，标定装置7的特征标识物整体位于预设参考框K之外，且在基准平面上的投影部分落在预设参考框K上，例如，可以是特征标识物的顶点或内侧边落于预设参考框K上。
在一些实施例中，步骤102将多个标定装置7在基准平面上围绕预设参考框K外布置包括：
标定装置7设置四个，分别设在预设参考框K的四个角；
在一些实施例中，在步骤103中对拍摄的图像进行标定之前，本公开的标定方法还包括：
步骤105、通过人机交互部件9输入多个标定装置7的实际参数，以供图像处理部件8校正多个拍摄部件6拍摄图像中的畸变实现标定；
其中，多个标定装置7的实际参数包括相邻两个标定装置7之间的距离和单个标定装置7中特征识别物的外廓尺寸，特征识别物被配置为供操作人员在人机交互部件9中进行标定。
该实施例通过输入多个标定装置7的实际参数，能够在实际拍摄的图像中，以标定装置7的特征标识物为目标，依据其实际参数对实际图像的畸变进行校正，以使人机交互部件9呈现出更加真实的视景，便于操作者观察，提高工程机械在行进和工作过程中的安全性。
在一些实施例中，在步骤102将多个标定装置7在基准平面上围绕预设参考框K外布置之后，且在步骤103之前，本公开的标定方法还包括：
步骤106、调节多个标定装置7的高度，以调整标定后铰接式工程机械的车体在环视图像中的占比。例如，标定装置7的高度可实现自动调整。
通过高度标定装置7的高度调整，可使标定装置7所在高度的平面畸变达到最小，若标定装置7距离拍摄部件6过近，标定后可以看到更多车体外的场景；若标定装置7距离拍摄部件6过远，标定后看到车体外的场景就会减少。因此，将标定装置7调整至合适的高度，可使车体和车体外的环境在图像中的占比合适。
在一些实施例中，多个拍摄部件6包括四个拍摄部件6，第一铰接结构段1的前部和后部分别设有一个拍摄部件6，第一铰接结构段1的左侧和右侧分别设置至少一个拍摄部件6，预设参考框K的四个角分别一个标定装置7。
基于此种布置形式，在一些实施例中，在至少两个铰接结构段还包括：第二铰接结构段2，第一铰接结构段1与第二铰接结构段2连接且位于最后端的情况下，步骤106中调节多个标定装置7的高度包括：
步骤106A、将左前、右前位置的标定装置7的高度调节到与第二铰接结构段2的高度差不超过第一预设高度，即高度较为接近，且低于前部的拍摄部件6的安装高度；
步骤106B、将左后、右后位置的标定装置7的高度调节到低于后部的拍摄部件6的安装高度，且与左前、右前位置的标定装置7的高度差不超过第二预设高度。
在另一些实施例中，在至少两个铰接结构段还包括：第二铰接结构段2，第一铰接结构段1与第二铰接结构段2连接且位于最前端的情况下，步骤106中调节多个标定装置7的高度包括：
步骤106C、将左后、右后位置的标定装置7的高度调节到与第二铰接结构段2的高度差不超过第三预设高度，且低于后部的拍摄部件6的安装高度；
步骤106D、将左前、右前位置的标定装置7的高度调节到低于前部的拍摄部件6的安装高度，且与左后、右后位置的标定装置7的高度差不超过第四预设高度。
在再一些实施例中，在至少两个铰接结构段还包括：分别连接于第一铰接结构段1前侧和后侧的第二铰接结构段2和第三铰接结构段2’的情况下，步骤106调节多个标定装置7的高度包括：
步骤106E、将左前、右前位置的标定装置7的高度调节到与第二铰接结构段2接近，且低于前部的拍摄部件6的安装高度；
步骤106F、将左后、右后位置的标定装置7的高度调节到与第三铰接结构段2’接近，且低于后部的拍摄部件6的安装高度。
该实施例能够使靠近铰接架3的拍摄部件6清楚全面地拍摄到车体结构，并使整个车体在拍摄图像中的占比合适，若标定装置7距离拍摄部件6过近，车体在显示图像中的占比很小，无法清晰且直观的观测车辆周围的障碍物；若标定装置7距离拍摄部件6过远，车体在显示图像中的占比很大，造成车体周围的可视区域很小，无法满足系统所需要的安全距离要求。因此，将标定装置7调整至合适的高度，可使车体和车体外的环境在图像中的占比合适，并且使得车体被关注区域所在的平面标定后的畸变最小。
在一些实施例中，第一铰接结构段1的左侧和右侧分别间隔设置至少两个拍摄部件6，在预设参考框K的左中、右中位置也分别布置至少一个标定装置7，标定装置7位于同侧相邻两个拍摄部件6之间，例如，标定装置7位于所在侧沿长度方向的中间位置。在调节完预设参考框K的四个角的标定装置7之后，步骤106调节多个标定装置7的高度还包括：
步骤106G、将左中位置的标定装置7的高度调节到四个角的标定装置7的高度之间，且低于左侧的至少两个拍摄部件6的安装高度；
步骤106H、将右中位置的标定装置7的高度调节到四个角的标定装置7的高度之间，且低于右侧的至少两个拍摄部件6的安装高度。
本公开的上述实施例通过安装在工程机械驾驶室上的拍摄部件6采集车辆周围原始图像，操作人员通过人机交互部件9结合标定装置7完成标定，图像处理部件根据标定信息得到车辆完整的环视图像，拍摄部件6全部安装在驾驶室12所在的铰接段，利用特制的标定装置7可以根据车辆需要调节特征标识物距地面的高度，铰接架3以及车体结构将转化为鸟瞰图呈现在环视图像中，最终实现无死角铰接工程机械全景系统的上帝视角，并且根据行走控制部件10提供的行走方向和行走速度信息控制人机交互部件9中显示的环视区域上下移动。
以上对本公开所提供的实施例进行了详细介绍。本文中应用了具体的实施例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以对本公开进行若干改进和修饰，这些改进和修饰也落入本公开权利要求的保护范围内。

Claims (23)

1.一种铰接式工程机械全景环视系统，其特征在于，所述铰接式工程机械包括通过铰接架(3)依次连接的至少两个铰接结构段，所述至少两个铰接结构段包括第一铰接结构段(1)，所述第一铰接结构段包括：第一车体(11)和设在所述第一车体(11)上的驾驶室(12)，所述全景环视系统包括：
多个拍摄部件(6)，安装于所述第一铰接结构段(1)，被配置为拍摄所述铰接式工程机械周围的环境；
图像处理部件(8)，被配置为接收所述多个拍摄部件(6)拍摄的图像，并拼接为所述第一铰接结构段(1)周围整周的环视图像；和
人机交互部件(9)，被配置为显示所述图像处理部件(8)拼接形成的所述环视图像。
2.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)均位于同一个所述铰接架(3)沿所述铰接式工程机械长度方向的相同侧。
3.根据权利要求2所述的铰接式工程机械全景环视系统，其特征在于，所述至少两个铰接结构段还包括：分别位于所述第一铰接结构段(1)两侧的第二铰接结构段(2)和第三铰接结构段(2’)，所述多个拍摄部件(6)均位于与所述第一铰接结构段(1)连接的两个铰接架(3)之间。
4.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)围绕所述驾驶室(12)的外周或所述第一铰接结构段(1)的外周设置。
5.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，
若所述第一铰接结构段(1)的长度小于单个拍摄部件(6)的有效识别范围，所述多个拍摄部件(6)包括四个所述拍摄部件(6)，分别设在所述第一铰接结构段(1)的前部、后部、左侧和右侧；和/或
若所述第一铰接结构段(1)的长度不小于单个拍摄部件(6)的有效识别范围，所述多个拍摄部件(6)至少包括六个所述拍摄部件(6)，所述第一铰接结构段(1)的前部和后部分别设有一个所述拍摄部件(6)，所述第一铰接结构段(1)的左侧和右侧分别间隔设置至少两个所述拍摄部件(6)。
6.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，所述多个拍摄部件(6)设在所述第一铰接结构段(1)的顶部，所述拍摄部件(6)的拍摄面朝向所述第一铰接结构段(1)的外侧且斜向下。
7.根据权利要求1所述的铰接式工程机械全景环视系统，其特征在于，还包括：
行走控制部件(10)，与所述图像处理部件(8)电连接，被配置为控制所述铰接式工程机械的行进方向及行进速度，并将所述行进方向及行进速度信息传递给所述图像处理部件(8)；
其中，所述图像处理部件(8)被配置为根据所述行进方向上下移动在所述人机交互部件(9)中显示的环视图像，在所述行进方向为前时向下移动所述环视图像，在所述行进方向为后时向上移动所述环视图像，并且根据所述行进速度确定所述环视图像移动的快慢和最终图像停止的位置。
8.根据权利要求1～7任一所述的铰接式工程机械全景环视系统，其特征在于，还包括多个标定装置(7)，设在所述第一铰接结构段(1)之外的预设基准平面上，且围绕所述驾驶室(12)或所述第一铰接结构段(1)的外周设置，所述多个标定装置(7)各自的顶面均低于对应位置的所述拍摄部件(6)的安装高度，所述多个标定装置(7)被配置为在所述多个拍摄部件(6)正式使用前对拍摄的图像进行标定。
9.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述人机交互部件(9)被配置为接收操作人员将标定光标(X)移动至所述标定装置(7)中特征识别物上的标定指令，并将所述标定指令发送给所述图像处理部件(8)；所述图像处理部件(8)被配置为接收所述标定指令，并根据所述多个标定装置(7)的实际参数校正所述多个拍摄部件(6)拍摄图像中的畸变。
10.根据权利要求9所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)的实际参数包括：相邻两个所述标定装置(7)之间的距离和单个所述标定装置(7)中特征识别物的外廓尺寸，所述特征识别物被配置为供操作人员在所述人机交互部件(9)中通过所述标定光标(X)执行标定。
11.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)设在预设参考框(K)外，所述预设参考框(K)相对于所述驾驶室(12)或所述第一铰接结构段(1)的外廓形成的矩形区域整体向外偏移预设距离(L)；
结合所述人机交互部件(9)的显示，所述多个拍摄部件(6)的拍摄角度被配置为调整至能够拍摄到所述铰接式工程机械的车体至所述预设参考框(K)之间的范围。
12.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述多个标定装置(7)设在预设参考框(K)外，所述预设参考框(K)相对于所述驾驶室(12)外廓所在的区域整体向外偏移预设距离(L)；
在所述第一铰接结构段(1)的长度小于单个拍摄部件(6)的有效识别范围时，所述多个标定装置(7)分别设在所述预设参考框(K)的四个角；或者
在所述第一铰接结构段(1)的长度不小于所述单个拍摄部件(6)的有效识别范围时，所述标定装置(7)分别设在所述预设参考框(K)的四个角以及左右两侧边位于相邻两个所述拍摄部件(6)之间的位置。
13.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述标定装置(7)的高度可调。
14.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述人机交互部件(9)被配置为接收外部输入的所述多个拍摄部件(6)中至少部分拍摄部件(6)的图像修订参数，从而使所述环视图像处于同一高度。
15.根据权利要求8所述的铰接式工程机械全景环视系统，其特征在于，所述标定装置(7)包括：
底座(71)；
第一支撑架(72)，所述第一支撑架(72)的第一端固定在所述底座(71)上；
第二支撑架(73)，位于所述第一支撑架(72)上方，所述第二支撑架(73)的第一端与所述第一支撑架(72)的第二端连接且高度可调；和
框架(74)，连接在所述第二支撑架(73)的第二端，且所述框架(74)作为操作人员在所述人机交互部件(9)中标定时的特征识别物。
16.一种铰接式工程机械，其特征在于，包括：通过铰接架(3)依次连接的至少两个铰接结构段以及权利要求1～15任一所述的铰接式工程机械全景环视系统；
其中，所述至少两个铰接结构段包括第一铰接结构段(1)，所述第一铰接结构段包括：第一车体(11)和设在所述第一车体(11)上的驾驶室(12)。
17.一种基于权利要求1～15任一所述的铰接式工程机械全景环视系统的标定方法，其特征在于，包括：
结合所述人机交互部件(9)的显示，将所述多个拍摄部件(6)的拍摄角度调整至能够拍摄到所述铰接式工程机械的车体至预设参考框(K)之间的范围，所述预设参考框(K)相对于所述驾驶室(12)或所述第一铰接结构段(1)的外廓所在的区域整体向外偏移预设距离(L)；
将多个标定装置(7)在基准平面上围绕所述预设参考框(K)外设置；
将所述人机交互部件(9)中的标定光标(X)移动至所述标定装置(7)的特征识别物上，以在多个拍摄部件(6)正式使用前对拍摄的图像进行标定。
18.根据权利要求17所述的标定方法，其特征在于，还包括：
在拼接形成所述环视图像之后，根据所述环视图像中各部分图像的高度匹配程度，通过所述人机交互部件(9)设定所述多个拍摄部件(6)中至少部分拍摄部件(6)的图像修订参数，以使所述环视图像处于同一高度。
19.根据权利要求17所述的标定方法，其特征在于，将多个标定装置(7)布置在所述预设参考框(K)外的基准平面上包括：
获得所述铰接式工程机械的整体俯视模型；
将所述整体俯视模型只保留所述驾驶室(12)或所述第一铰接结构段(1)的外廓所在区域的部分模型；
在实际车体中找出与所述部分模型对应的实际区域，并相对于所述实际区域向外偏移预设距离(L)，在所述基准平面上标记出所述预设参考框(K)；
在所述基准平面上围绕所述预设参考框(K)外布置多个标定装置(7)。
20.根据权利要求17所述的标定方法，其特征在于，在对拍摄的图像进行标定之前，所述标定方法还包括：
通过所述人机交互部件(9)输入所述多个标定装置(7)的实际参数，以供所述图像处理部件(8)校正所述多个拍摄部件(6)拍摄图像中的畸变实现标定；
其中，所述多个标定装置(7)的实际参数包括相邻两个所述标定装置(7)之间的距离和单个所述标定装置(7)中特征识别物的外廓尺寸，所述特征识别物被配置为供操作人员在所述人机交互部件(9)中进行标定。
21.根据权利要求17所述的标定方法，其特征在于，在将多个标定装置(7)布置在所述预设参考框(K)外的基准平面上之后，所述标定方法还包括：
调节所述多个标定装置(7)的高度，以调整标定后所述铰接式工程机械的车体在所述环视图像中的占比。
22.根据权利要求21所述的标定方法，其特征在于，所述多个拍摄部件(6)至少包括四个所述拍摄部件(6)，所述第一铰接结构段(1)的前部和后部分别设有一个所述拍摄部件(6)，所述第一铰接结构段(1)的左侧和右侧分别设置至少一个所述拍摄部件(6)，所述预设参考框(K)的四个角分别一个所述标定装置(7)；其中，
所述至少两个铰接结构段还包括：第二铰接结构段(2)，所述第一铰接结构段(1)与所述第二铰接结构段(2)连接且位于最后端，调节所述多个标定装置(7)的高度包括：
将左前、右前位置的所述标定装置(7)的高度调节到与所述第二铰接结构段(2)高度接近，且低于前部的所述拍摄部件(6)的安装高度；
将左后、右后位置的所述标定装置(7)的高度调节到低于后部的所述拍摄部件(6)的安装高度，且与左前、右前位置的所述标定装置(7)的高度差不超过预设高度；或者
所述至少两个铰接结构段还包括：第二铰接结构段(2)，所述第一铰接结构段(1)与所述第二铰接结构段(2)连接且位于最前端，调节所述多个标定装置(7)的高度包括：
将左后、右后位置的所述标定装置(7)的高度调节到与所述第二铰接结构段(2)接近，且低于后部的所述拍摄部件(6)的安装高度；
将左前、右前位置的所述标定装置(7)的高度调节到低于前部的所述拍摄部件(6)的安装高度，且与左后、右后位置的所述标定装置(7)的高度差不超过预设高度；或者
所述至少两个铰接结构段还包括：分别连接于所述第一铰接结构段(1)前侧和后侧的第二铰接结构段(2)和第三铰接结构段(2’)调节所述多个标定装置(7)的高度包括：
将左前、右前位置的所述标定装置(7)的高度调节到与所述第二铰接结构段(2)接近，且低于前部的所述拍摄部件(6)的安装高度；
将左后、右后位置的所述标定装置(7)的高度调节到与所述第三铰接结构段(2’)接近，且低于后部的所述拍摄部件(6)的安装高度。
23.根据权利要求22所述的标定方法，其特征在于，所述第一铰接结构段(1)的左侧和右侧分别间隔设置至少两个所述拍摄部件(6)，在所述预设参考框(K)的左中、右中位置也分别布置至少一个所述标定装置(7)，所述标定装置(7)位于同侧相邻两个所述拍摄部件(6)之间，在调节完预设参考框(K)的四个角的所述标定装置(7)之后，调节所述多个标定装置(7)的高度还包括：
将左中位置的所述标定装置(7)的高度调节到四个角的所述标定装置(7)的高度之间，且低于左侧的所述至少两个拍摄部件(6)的安装高度；
将右中位置的所述标定装置(7)的高度调节到四个角的所述标定装置(7)的高度之间，且低于右侧的所述至少两个拍摄部件(6)的安装高度。
CN202010967431.0A 2020-09-15 2020-09-15 铰接式工程机械、全景环视系统及其标定方法 Active CN111942391B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010967431.0A CN111942391B (zh) 2020-09-15 2020-09-15 铰接式工程机械、全景环视系统及其标定方法
US18/025,731 US20230347827A1 (en) 2020-09-15 2020-11-19 Hinged engineering machinery, panoramic surround-view system and calibration method thereof
PCT/CN2020/130042 WO2022057077A1 (zh) 2020-09-15 2020-11-19 铰接式工程机械、全景环视系统及其标定方法
DE112020007380.7T DE112020007380T5 (de) 2020-09-15 2020-11-19 Klappbare maschine, panoramischesrundumsicht-system und kalibrierungsverfahren für dieses system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010967431.0A CN111942391B (zh) 2020-09-15 2020-09-15 铰接式工程机械、全景环视系统及其标定方法

Publications (2)

Publication Number Publication Date
CN111942391A true CN111942391A (zh) 2020-11-17
CN111942391B CN111942391B (zh) 2024-06-11

Family

ID=73356939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010967431.0A Active CN111942391B (zh) 2020-09-15 2020-09-15 铰接式工程机械、全景环视系统及其标定方法

Country Status (4)

Country Link
US (1) US20230347827A1 (zh)
CN (1) CN111942391B (zh)
DE (1) DE112020007380T5 (zh)
WO (1) WO2022057077A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057077A1 (zh) * 2020-09-15 2022-03-24 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211154A1 (de) 2022-10-20 2024-04-25 Bomag Gmbh Tandemwalze mit verbesserter sicht für den bediener und arbeitszug mit derartigen tandemwalzen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜
CN108198133A (zh) * 2017-12-06 2018-06-22 云南联合视觉科技有限公司 一种车辆全景图像快速拼接方法
CN109089086A (zh) * 2018-10-09 2018-12-25 上海宏英智能科技有限公司 一种全景摄像系统
CN110983914A (zh) * 2019-12-19 2020-04-10 徐工集团工程机械股份有限公司道路机械分公司 一种具有全景贴边压实系统的压路机
CN111080717A (zh) * 2019-12-23 2020-04-28 吉林大学 一种摄像头参数自动标定装置及方法
CN212289808U (zh) * 2020-09-15 2021-01-05 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械及其全景环视系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667875B2 (en) * 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
CN105205785B (zh) * 2015-10-09 2019-03-19 济南东朔微电子有限公司 一种可定位的大型车辆运行管理系统及其运行方法
CN108263283B (zh) * 2018-01-25 2020-01-14 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN109435852B (zh) * 2018-11-08 2021-11-02 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN110363085B (zh) * 2019-06-10 2021-11-09 浙江零跑科技股份有限公司 一种基于铰接角补偿的重型铰接车环视实现方法
CN111942391B (zh) * 2020-09-15 2024-06-11 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法
CN111931705A (zh) * 2020-09-15 2020-11-13 徐工集团工程机械股份有限公司道路机械分公司 铰接式压路机全景环视系统及标定方法、铰接式压路机
CN212302504U (zh) * 2020-09-15 2021-01-05 徐工集团工程机械股份有限公司道路机械分公司 铰接式压路机全景环视系统及铰接式压路机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜
CN108198133A (zh) * 2017-12-06 2018-06-22 云南联合视觉科技有限公司 一种车辆全景图像快速拼接方法
CN109089086A (zh) * 2018-10-09 2018-12-25 上海宏英智能科技有限公司 一种全景摄像系统
CN110983914A (zh) * 2019-12-19 2020-04-10 徐工集团工程机械股份有限公司道路机械分公司 一种具有全景贴边压实系统的压路机
CN111080717A (zh) * 2019-12-23 2020-04-28 吉林大学 一种摄像头参数自动标定装置及方法
CN212289808U (zh) * 2020-09-15 2021-01-05 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械及其全景环视系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057077A1 (zh) * 2020-09-15 2022-03-24 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法

Also Published As

Publication number Publication date
CN111942391B (zh) 2024-06-11
US20230347827A1 (en) 2023-11-02
WO2022057077A1 (zh) 2022-03-24
DE112020007380T5 (de) 2023-06-07

Similar Documents

Publication Publication Date Title
CN212302504U (zh) 铰接式压路机全景环视系统及铰接式压路机
CN109936730B (zh) 用于捕获车辆环境的视像系统
JP5814187B2 (ja) 自走式産業機械の表示装置
EP2918726B1 (en) Paving machine with an image generation device
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
CN107792179B (zh) 一种基于车载环视系统的泊车引导方法
US6985171B1 (en) Image conversion device for vehicle rearward-monitoring device
US8130270B2 (en) Vehicle-mounted image capturing apparatus
KR100568396B1 (ko) 운전조작 보조장치
JP6014664B2 (ja) 自走式産業機械の表示装置
US20150009329A1 (en) Device for monitoring surroundings of machinery
WO2013118705A1 (ja) 運搬車両の周囲監視装置
WO2019031318A1 (ja) 道路機械
JP5724446B2 (ja) 車両の運転支援装置
EP2476588B1 (en) Vehicle surrounding monitor apparatus
WO2014119081A1 (ja) 画像処理装置および画像処理方法
CN111942391A (zh) 铰接式工程机械、全景环视系统及其标定方法
JP6106430B2 (ja) 作業機械の車体周囲表示装置
US8477191B2 (en) On-vehicle image pickup apparatus
CN104512328A (zh) 汽车环视图像生成方法及汽车环视系统
US20120154589A1 (en) Vehicle surrounding monitor apparatus
CN212289808U (zh) 铰接式工程机械及其全景环视系统
WO2019034916A1 (en) SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE
CN111931705A (zh) 铰接式压路机全景环视系统及标定方法、铰接式压路机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant