CN116243716B - 一种融合机器视觉的集装箱智能举升控制方法及系统 - Google Patents
一种融合机器视觉的集装箱智能举升控制方法及系统 Download PDFInfo
- Publication number
- CN116243716B CN116243716B CN202310504913.6A CN202310504913A CN116243716B CN 116243716 B CN116243716 B CN 116243716B CN 202310504913 A CN202310504913 A CN 202310504913A CN 116243716 B CN116243716 B CN 116243716B
- Authority
- CN
- China
- Prior art keywords
- target
- container
- lifting appliance
- obstacle
- mechanical lifting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004888 barrier function Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Electromagnetism (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明提供一种融合机器视觉的集装箱智能举升控制方法及系统，属于图像识别技术领域，包括：获取待识别集装箱的目标编码图像，根据目标编码图像确定目标集装箱；采集目标集装箱的图像信息，对图像信息进行特征运算获取目标抓取点信息；获取目标集装箱的当前位置到目标位置之间的障碍物信息，结合目标抓取点信息、机械吊具信息和障碍物信息，建立自动避障模型；目标集装箱基于自动避障模型移动至目标位置。本发明通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种融合机器视觉的集装箱智能举升控制方法及系统。
背景技术
随着经济的快速发展，货运运输增长势头越来越快，跨境的货运运输大多都是通过集装箱进行运输。
通常在港口、铁路和公路等重要物流站场中由起重机完成集装箱的装卸作业，目前主要是通过操作人员根据个人经验完成机械吊具与集装箱、集装箱与卡车的对位作业，存在工作强度高、装卸效率低以及自动化水平不足的问题，容易发生安全事故。
因此，需要提出新的集装箱控制运输方法，能克服现有的依赖人工操作带来的局限性。
发明内容
本发明提供一种融合机器视觉的集装箱智能举升控制方法及系统，用以解决现有技术中集装箱操作大多依赖于人工操作，导致操作效率低下，且容易发生安全事故的缺陷。
第一方面，本发明提供一种融合机器视觉的集装箱智能举升控制方法，包括：
获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
所述目标集装箱基于所述自动避障模型移动至所述目标位置。
第二方面，本发明还提供一种融合机器视觉的集装箱智能举升控制系统，包括：
识别模块，用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
抓取模块，用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
避障模块，用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
运动模块，用于所述目标集装箱基于所述自动避障模型移动至所述目标位置。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融合机器视觉的集装箱智能举升控制方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合机器视觉的集装箱智能举升控制方法。
本发明提供的融合机器视觉的集装箱智能举升控制方法及系统，通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的融合机器视觉的集装箱智能举升控制方法的流程示意图；
图2是本发明提供的融合机器视觉的集装箱智能举升控制系统的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的融合机器视觉的集装箱智能举升控制方法的流程示意图，如图1所示，包括：
步骤100：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
步骤200：采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
步骤300：获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
步骤400：所述目标集装箱基于所述自动避障模型移动至所述目标位置。
具体地，本发明实施例从机械吊具的执行角度出发，由机械吊具通过机器视觉，识别目标集装箱的目标编码图片，根据目标编码图片中的编码文字定位到对应的目标集装箱，然后实时采集目标集装箱的图片，进行特征运算，将目标集装箱分割出来，并计算目标集装箱吊孔的目标抓取点信息，使机械吊具根据该目标抓取点信息能准确定位到目标集装箱并完成抓取工作；然后根据目标集装箱和目标位置的位置信息以及移动路径上各障碍物信息，构建自动避障模型，使目标集装箱能避开障碍物移动到目标位置。
本发明通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。
基于上述实施例，所述获取待识别集装箱的目标编码图像，包括：
采用RGB值特征提取方法或灰度值特征提取方法，从待识别图像中提取所述目标编码图像。
其中，所述根据所述目标编码图像确定目标集装箱，包括：
扫描所述目标编码图像，基于预设像素阈值对所述目标编码图像进行文本检测，分割得到文本信息；
对所述文本信息进行矫正，识别原始编码文本；
对所述原始编码文本进行清洗，得到编码文本；
根据所述编码文本确定所述目标集装箱。
具体地，本发明实施例采用RGB值特征提取方法或灰度值特征提取方法，识别目标集装箱的目标编码图片，将目标编码从图片中进行分离。主要采用阈值分割的方法，先确定一个阈值，然后把每个像素点的灰度值和阈值相比较，根据比较的结果把该像素划分为前景或背景。通过设定不同的特征阈值，把图像象素点分为若干类，根据直接来自原始图像的灰度或彩色特征，或者由原始灰度或彩色值变换得到的特征进行图像分割。
进一步地，对目标编码图片进行文本检测，通过扫描目标编码图片，设置阈值判断目标编码图片中的每个像素，将检测出的文本从目标编码图片中分割出来，将分割出来的文本进行矫正操作，识别矫正操作后的文本中的文字，对文字进行清洗操作，生成清洗后的文字，即编码文本，根据该编码文本与对应的目标集装箱进行对应。
基于上述实施例，所述采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息，包括：
分别获取所述目标集装箱的横轴方向像素坐标点和纵轴方向像素坐标点；
对所述横轴方向像素坐标点和所述纵轴方向像素坐标点在吊孔连通区域内的非负整数范围上进行积分，得到所述吊孔连通区域的横轴方向点集和纵轴方向点集；
由所述横轴方向点集除以吊孔连通区域面积得到趋于重心横坐标，由所述纵轴方向点集除以吊孔连通区域面积得到趋于重心纵坐标；
分别对所述趋于重心横坐标和所述趋于重心纵坐标进行取整，得到目标集装箱吊孔中心点坐标；
以所述吊孔中心点坐标确定所述目标抓取点信息。
具体地，本发明实施例实时采集目标集装箱的图像信息，对图像信息中的目标集装箱吊孔及目标集装箱边线的特征信息进行特征运算，分割目标集装箱，计算目标集装箱吊孔中心点空间坐标并反馈给机械吊具，以使机械吊具抓取目标集装箱。
计算目标集装箱吊孔中心点空间坐标（，/>）具体包括：
其中，表示吊孔连通区域面积，/>表示吊孔连通区域x方向点集，/>表示吊孔连通区域y方向点集，角标j、k表示可取所有非负整数值，j、k表示可取所有非负整数值，、/>表示趋于重心的坐标。
基于上述实施例，所述获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型，包括：
获取机械吊具当前位置横坐标、机械吊具当前位置纵坐标、机械吊具当前速度方向与目标位置连线夹角、机械吊具当前位置速度、机械吊具当前位置到目标位置距离、目标位置横坐标、目标位置纵坐标、机械吊具移动路径、任一障碍物移动路径和任一障碍物速度；
由所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的余弦值的乘积与所述机械吊具当前位置横坐标之和，所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的正弦值的乘积与所述机械吊具当前位置纵坐标之和，所述目标位置横坐标以及所述目标位置纵坐标进行求和之后，与机械吊具当前位置到目标位置距离相乘，获得第一子模型；
由包含所述机械吊具当前位置速度、所述机械吊具移动路径和所述任一障碍物移动路径的机械吊具与障碍物之间代价函数，与任一障碍物代价函数权重进行相乘，获得第二子模型；
由包含所述机械吊具当前位置速度和所述任一障碍物速度的机械吊具与任一障碍物之间代价函数，与任一障碍物的下一障碍物代价函数权重相乘之后在所有障碍物范围内求和，获得第三子模型；
将所述第一子模型、所述第二子模型和所述第三子模型相加，得到求解避障速度的所述自动避障模型。
具体地，本发明实施例通过获取机械吊具的当前位置、目标位置以及之间的障碍物信息，还包括机械吊具的吊具位置信息、吊具速度，障碍物信息包好障碍物位置信息、障碍物速度和障碍物移动路径等。
构建的自动避障模型包括：
其中，为机械吊具在当前位置的速度，/>为机械吊具在当前位置的横坐标，/>为机械吊具当前速度方向和目标位置的连线的夹角，/>为机械吊具在当前位置的纵坐标，/>为目标位置的横坐标，/>为目标位置的纵坐标，/>为第/>个障碍物代价函数权重，/>为机械吊具和第/>个障碍物之间的代价函数，/>为机械吊具和障碍物之间的代价函数，/>为机械吊具的移动路径，/>为第/>个障碍物的移动路径，/>为第/>个障碍物的速度，/>为任一障碍物，/>为障碍物总数，/>为机械吊具当前位置到目标位置的距离，/>为避障速度。
基于上述实施例，所述目标集装箱基于所述自动避障模型移动至所述目标位置，包括：
基于机械吊具初始位置和机械吊具目标位置，生成搜索树和初始路径；
若确定所述目标集装箱与任一障碍物不会发生碰撞，则更新机械吊具当前位置，使所述目标集装箱沿所述初始路径继续运动；
若确定所述目标集装箱与任一障碍物会发生碰撞，则机械吊具停止运动，获取任一障碍物分离位置，通过分离函数将所述搜索树从所述任一障碍物分离位置划分为第一子搜索树和第二子搜索树，使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置。
其中，所述使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置，包括：
确定所述第一子搜索树的搜索起点为所述目标集装箱的当前位置，搜索终点为所述任一障碍物分离位置；
确定所述第二子搜索树的搜索起点为所述任一障碍物分离位置，搜索终点为所述机械吊具目标位置；
所述第一子搜索树和所述第二子搜索树通过对所述任一障碍物分离位置附近的预设相关节点进行保留和舍弃，连接首次生成的第一搜索子路径和第二搜索子路径，若确定所述第一子路径和所述第二子路径连接成功，则所述目标集装箱沿所述第一子路径和所述第二子路径确定的第一新路径继续运动，否则将所述第一新路径重新划分为新的第一子搜索树和第二子搜索树，重新进行搜索连接，直至所述第一新路径连接成功。
具体地，本发明实施例通过机械吊具抓取目标集装箱移动至目标位置，进行了如下设置：
首先根据机械吊具的初始位置和目标位置/>生成搜索树/>和初始路径/>，机械吊具沿着/>运动，即/>，机械吊具每运动一定距离，更新目标集装箱和机械吊具的位置和运动信息，当集装箱交错搬运时，检查目标集装箱是否与其他机械吊具或集装箱发生碰撞，分为两种情况进行考虑：
1）若不会发生碰撞，则更新目标集装箱的当前位置信息，继续沿着/>运动；
2）若将发生碰撞，则机械吊具停止运动，通过分离函数将搜索树从障碍物分离位置/>处分为两棵子树/>和/>，即/>，/>以目标集装箱当前位置为起点，障碍物分离位置为终点；/>以障碍物位置为起点，目标位置/>为终点。
进一步地，和/>会保留和舍弃碍物分离位置/>附近相关节点，并首先会连接第一次生成的/>和/>，若/>连接成功，则机械吊具抓取目标集装箱沿着新路径/>继续运动；若新路径/>发生会发生碰撞，则重新分为和/>，并进行搜索连接，直到连接成功以路径/>继续运动，即/>，移动到目标位置。
下面对本发明提供的融合机器视觉的集装箱智能举升控制系统进行描述，下文描述的融合机器视觉的集装箱智能举升控制系统与上文描述的融合机器视觉的集装箱智能举升控制方法可相互对应参照。
图2是本发明实施例提供的融合机器视觉的集装箱智能举升控制系统的结构示意图，如图2所示，包括：识别模块21、抓取模块22、避障模块23和运动模块24，其中：
识别模块21用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；抓取模块22用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；避障模块23用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；运动模块24用于所述目标集装箱基于所述自动避障模型移动至所述目标位置。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行融合机器视觉的集装箱智能举升控制方法，该方法包括：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；所述目标集装箱基于所述自动避障模型移动至所述目标位置。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的融合机器视觉的集装箱智能举升控制方法，该方法包括：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；所述目标集装箱基于所述自动避障模型移动至所述目标位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种融合机器视觉的集装箱智能举升控制方法，其特征在于，包括：
获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
所述目标集装箱基于所述自动避障模型移动至所述目标位置；
结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型，包括：
获取机械吊具当前位置横坐标、机械吊具当前位置纵坐标、机械吊具当前速度方向与目标位置连线夹角、机械吊具当前位置速度、机械吊具当前位置到目标位置距离、目标位置横坐标、目标位置纵坐标、机械吊具移动路径、任一障碍物移动路径和任一障碍物速度；
由所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的余弦值的乘积与所述机械吊具当前位置横坐标之和，所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的正弦值的乘积与所述机械吊具当前位置纵坐标之和，所述目标位置横坐标以及所述目标位置纵坐标进行求和之后，与机械吊具当前位置到目标位置距离相乘，获得第一子模型；
由包含所述机械吊具当前位置速度、所述机械吊具移动路径和所述任一障碍物移动路径的机械吊具与障碍物之间代价函数，与任一障碍物代价函数权重进行相乘，获得第二子模型；
由包含所述机械吊具当前位置速度和所述任一障碍物速度的机械吊具与任一障碍物之间代价函数，与任一障碍物的下一障碍物代价函数权重相乘之后在所有障碍物范围内求和，获得第三子模型；
将所述第一子模型、所述第二子模型和所述第三子模型相加，得到求解避障速度的所述自动避障模型。
2.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述获取待识别集装箱的目标编码图像，包括：
采用RGB值特征提取方法或灰度值特征提取方法，从待识别图像中提取所述目标编码图像。
3.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述根据所述目标编码图像确定目标集装箱，包括：
扫描所述目标编码图像，基于预设像素阈值对所述目标编码图像进行文本检测，分割得到文本信息；
对所述文本信息进行矫正，识别原始编码文本；
对所述原始编码文本进行清洗，得到编码文本；
根据所述编码文本确定所述目标集装箱。
4.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息，包括：
分别获取所述目标集装箱的横轴方向像素坐标点和纵轴方向像素坐标点；
对所述横轴方向像素坐标点和所述纵轴方向像素坐标点在吊孔连通区域内的非负整数范围上进行积分，得到所述吊孔连通区域的横轴方向点集和纵轴方向点集；
由所述横轴方向点集除以吊孔连通区域面积得到趋于重心横坐标，由所述纵轴方向点集除以吊孔连通区域面积得到趋于重心纵坐标；
分别对所述趋于重心横坐标和所述趋于重心纵坐标进行取整，得到目标集装箱吊孔中心点坐标；
以所述吊孔中心点坐标确定所述目标抓取点信息。
5.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述目标集装箱基于所述自动避障模型移动至所述目标位置，包括：
基于机械吊具初始位置和机械吊具目标位置，生成搜索树和初始路径；
若确定所述目标集装箱与任一障碍物不会发生碰撞，则更新机械吊具当前位置，使所述目标集装箱沿所述初始路径继续运动；
若确定所述目标集装箱与任一障碍物会发生碰撞，则机械吊具停止运动，获取任一障碍物分离位置，通过分离函数将所述搜索树从所述任一障碍物分离位置划分为第一子搜索树和第二子搜索树，使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置。
6.根据权利要求5所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置，包括：
确定所述第一子搜索树的搜索起点为所述目标集装箱的当前位置，搜索终点为所述任一障碍物分离位置；
确定所述第二子搜索树的搜索起点为所述任一障碍物分离位置，搜索终点为所述机械吊具目标位置；
所述第一子搜索树和所述第二子搜索树通过对所述任一障碍物分离位置附近的预设相关节点进行保留和舍弃，连接首次生成的第一搜索子路径和第二搜索子路径，若确定所述第一子路径和所述第二子路径连接成功，则所述目标集装箱沿所述第一子路径和所述第二子路径确定的第一新路径继续运动，否则将所述第一新路径重新划分为新的第一子搜索树和第二子搜索树，重新进行搜索连接，直至所述第一新路径连接成功。
7.一种融合机器视觉的集装箱智能举升控制系统，其特征在于，包括：
识别模块，用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
抓取模块，用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
避障模块，用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
运动模块，用于所述目标集装箱基于所述自动避障模型移动至所述目标位置；
所述避障模块具体用于：
获取机械吊具当前位置横坐标、机械吊具当前位置纵坐标、机械吊具当前速度方向与目标位置连线夹角、机械吊具当前位置速度、机械吊具当前位置到目标位置距离、目标位置横坐标、目标位置纵坐标、机械吊具移动路径、任一障碍物移动路径和任一障碍物速度；
由所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的余弦值的乘积与所述机械吊具当前位置横坐标之和，所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的正弦值的乘积与所述机械吊具当前位置纵坐标之和，所述目标位置横坐标以及所述目标位置纵坐标进行求和之后，与机械吊具当前位置到目标位置距离相乘，获得第一子模型；
由包含所述机械吊具当前位置速度、所述机械吊具移动路径和所述任一障碍物移动路径的机械吊具与障碍物之间代价函数，与任一障碍物代价函数权重进行相乘，获得第二子模型；
由包含所述机械吊具当前位置速度和所述任一障碍物速度的机械吊具与任一障碍物之间代价函数，与任一障碍物的下一障碍物代价函数权重相乘之后在所有障碍物范围内求和，获得第三子模型；
将所述第一子模型、所述第二子模型和所述第三子模型相加，得到求解避障速度的所述自动避障模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述融合机器视觉的集装箱智能举升控制方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述融合机器视觉的集装箱智能举升控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504913.6A CN116243716B (zh) | 2023-05-08 | 2023-05-08 | 一种融合机器视觉的集装箱智能举升控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504913.6A CN116243716B (zh) | 2023-05-08 | 2023-05-08 | 一种融合机器视觉的集装箱智能举升控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116243716A CN116243716A (zh) | 2023-06-09 |
| CN116243716B true CN116243716B (zh) | 2023-07-18 |
Family
ID=86631648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310504913.6A Active CN116243716B (zh) | 2023-05-08 | 2023-05-08 | 一种融合机器视觉的集装箱智能举升控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116243716B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118083809B (zh) * | 2024-04-22 | 2024-07-30 | 烟台港集装箱码头有限公司 | 集装箱正面吊装控制方法、系统、终端及存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101667030B1 (ko) * | 2009-08-10 | 2016-10-17 | 삼성전자 주식회사 | 로봇의 경로 계획 장치 및 그 방법 |
| CN102184398B (zh) * | 2011-06-17 | 2012-07-18 | 电子科技大学 | 一种基于边缘检测的集装箱号码定位方法 |
| EP3748455B1 (en) * | 2019-06-07 | 2022-03-16 | Tata Consultancy Services Limited | A method and a system for hierarchical network based diverse trajectory proposal |
| CN110370274A (zh) * | 2019-07-03 | 2019-10-25 | 浙江大学 | 一种基于快速行进树的机械臂动态避障控制方法 |
| CN111061277B (zh) * | 2019-12-31 | 2022-04-05 | 歌尔股份有限公司 | 一种无人车全局路径规划方法和装置 |
| CN111170153B (zh) * | 2020-02-24 | 2022-06-14 | 上海驭矩信息科技有限公司 | 一种基于运动规划的集装箱装卸方法 |
| CN113173502B (zh) * | 2021-01-15 | 2023-06-06 | 福建电子口岸股份有限公司 | 一种基于激光视觉融合和深度学习的防撞方法、系统 |
| CN112801095A (zh) * | 2021-02-05 | 2021-05-14 | 广东工业大学 | 一种基于注意力机制的图神经网络集装箱文本识别方法 |
| CN113496212A (zh) * | 2021-06-25 | 2021-10-12 | 腾讯云计算（北京）有限责任公司 | 箱式结构的文本识别方法、装置及电子设备 |
| CN113848931B (zh) * | 2021-10-09 | 2022-09-27 | 上海联适导航技术股份有限公司 | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 |
| CN115108466B (zh) * | 2021-12-21 | 2024-10-15 | 成都航空职业技术学院 | 一种集装箱吊具智能定位的方法 |
| CN115453872B (zh) * | 2022-09-13 | 2023-05-30 | 四川大学 | 一种基于分布式随机模型预测的多智能体编队及避障方法 |
| CN115937862A (zh) * | 2022-11-30 | 2023-04-07 | 中山大学 | 一种端到端的集装箱号码识别方法及系统 |
| CN116048126A (zh) * | 2023-03-07 | 2023-05-02 | 西安电子科技大学 | 一种基于abc快速收敛的无人机实时路径规划方法 |
-
2023
- 2023-05-08 CN CN202310504913.6A patent/CN116243716B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN116243716A (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5822255B2 (ja) | 対象物識別装置及びプログラム | |
| CN110674705B (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| CN116243716B (zh) | 一种融合机器视觉的集装箱智能举升控制方法及系统 | |
| CN110956161B (zh) | 一种自主建图方法、装置及智能机器人 | |
| CN113378969B (zh) | 一种目标检测结果的融合方法、装置、设备及介质 | |
| AU2021288667B2 (en) | Control method and apparatus for warehouse robot, and robot and warehouse system | |
| EP2813973A1 (en) | Method and system for processing video image | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| US11772271B2 (en) | Method and computing system for object recognition or object registration based on image classification | |
| CN113420746B (zh) | 机器人视觉分拣方法、装置、电子设备和存储介质 | |
| US11900652B2 (en) | Method and computing system for generating a safety volume list for object detection | |
| JP2022181174A (ja) | 回転補正付きの物体ビンピッキング | |
| US20230381971A1 (en) | Method and computing system for object registration based on image classification | |
| CN113610833A (zh) | 物料抓取方法、装置、电子设备和存储介质 | |
| CN114022837A (zh) | 车站遗留物品检测方法、装置、电子设备及存储介质 | |
| CN113345015A (zh) | 一种包裹位置检测方法、装置、设备及可读存储介质 | |
| CN115147587A (zh) | 一种障碍物检测方法、装置及电子设备 | |
| CN107030690A (zh) | 一种基于视觉的机械臂避障方法 | |
| CN114627160A (zh) | 一种水下环境探测的方法 | |
| CN110084825A (zh) | 一种基于图像边缘信息导航的方法及系统 | |
| CN116588573B (zh) | 一种仓储智能起重系统的散料抓取控制方法及系统 | |
| CN116466718A (zh) | 移动机器人的控制方法及装置、移动机器人 | |
| CN115035492B (zh) | 车辆识别方法、装置、设备和存储介质 | |
| CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
| CN117897348A (zh) | 货架定位方法、货架对接方法以及装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |