CN108792951B - 图像识别技术的集卡防吊起方法、系统、设备及存储介质 - Google Patents
图像识别技术的集卡防吊起方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN108792951B CN108792951B CN201810737027.7A CN201810737027A CN108792951B CN 108792951 B CN108792951 B CN 108792951B CN 201810737027 A CN201810737027 A CN 201810737027A CN 108792951 B CN108792951 B CN 108792951B
- Authority
- CN
- China
- Prior art keywords
- image
- card
- container
- reflecting
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 10
- 230000002265 prevention Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
- B66C15/06—Arrangements or use of warning devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明提供一种图像识别技术的集卡防吊起方法、系统、设备及存储介质，其中集卡防吊起方法包括：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；根据所述视频，采集能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。本发明提供的方法可以直观监测集卡被起重机误吊起的状态，防止集卡误吊起。
Description
技术领域
本发明涉及集装箱起重机行业安全技术领域，尤其涉及一种基于图像识别技术的集卡防吊起方法、系统、设备及存储介质。
背景技术
随着集装箱起重机行业的发展，无人化，自动化日益成熟，特别是自动化码头的广泛应用随之出现了各种新的技术难题。如发生装卸区集卡被起重机连同集装箱一起被误吊起而导致的损坏集卡，重则倾覆等重大人员和财产损失的情况，特别是在无人操作的情况下，设备状态无法直观的通过人来检测，有极大的安全隐患。
以往摄像机视频图像只是提供后端理货人员进行辅助查看，最终还是需要人为参与判断，判断时间长且工作强度大，对自动化码头的发展而言是不相符的，在多数码头，内外集卡混用情况，给常规检测方式提出了挑战。
发明内容
本发明解决的问题是在无人操作的情况下，无法直观监测集卡被起重机误吊起的状态。
为了解决上述问题，本发明提供了一种图像识别技术的集卡防吊起方法，包括：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；根据所述视频，采集能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
可选地，当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；将所述第一图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，还包括：对所述第一图像进行轮廓补全的处理，得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，还包括：设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
可选地，当向所述起重机发送所述第一停止信号或所述第二停止信号时，还包括：向所述起重机发送报警信号。
可选地，所述报警信号包括：光报警信号和/或声报警信号。
可选地，当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括，
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
可选地，包括：当接收到安全监测指令后，执行所述根据所述视频，采集能反映目标特征物的图像的操作。
本发明还提供一种图像识别技术的集卡防吊起系统，包括：
视频采集单元，适于采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；
视频分析单元，适于根据所述视频，采集所述视频中能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
通讯单元，适于当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
可选地，所述视频分析单元，还适于当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；将所述第一图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于对所述第一图像进行轮廓补全的处理，得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；所述通讯单元，适于当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
可选地，还包括：报警单元，适于当所述起重机停止运行时，向所述起重机发送报警信号。
可选地，所述报警信号包括：光报警信号；声报警信号。
可选地，所述视频分析单元，还适于当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
可选地，所述视频分析单元，还适于所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离，
当确定所述集装箱与所述集卡处于未分离状态时，还包括，
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
可选地，所述视频采集单元包括一组或多组摄像机。
可选地，每组所述摄像机包括单目摄像机或双目/多目摄像机。
可选地，所述单目摄像机，适于通过所述预存的特征图像，按照图像比例算法，确定所述目标特征物彼此间当前的相对位置。
可选地，所述双目摄像机，适于通过左图及右图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
可选地，所述多目摄像机，适于通过多视图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
可选地，所述左图为所述双目摄像机在所述集卡前进方向的左侧图像，所述右图为所述双目摄像机在所述集卡前进方向的右侧图像。
可选地，所述多视图为多目摄像机采集所述集卡区域的图像。
可选地，还包括：照明单元，适于调整装卸区的照度。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器适于存储计算机指令，所述处理器适于在运行所述计算机指令时，执行上述任一项所述的集卡防吊起方法。
本发明还提供一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一项所述的集卡防吊起方法。
如上，本发明提供一种图像识别技术的集卡防吊起方法，包括：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；根据所述视频，采集能反映目标特征物的图像；其中：所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
因此，本发明通过智能的图像分析来解决发生在装卸区集卡被起重机连同集装箱一起被误吊而导致的损坏集卡，重则倾覆等重大人员和财产损失的情况，特别是在无人操作的情况下，避免安全隐患。
附图说明
图1是本发明实施例图像识别技术的集卡防吊起方法的流程图一；
图2是本发明实施例图像识别技术的集卡防吊起方法的流程图二；
图3是本发明实施例图像识别技术的集卡防吊起系统的结构示意图；
图4是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图一；
图5是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图二；
图6是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图三；
图7是本发明实施例图像识别技术的集卡防吊起系统的图像识别示意图四；
图8是本发明实施例图像识别技术的集卡防吊起系统的双箱模式时图像识别示意图。
其中，上述附图包括以下附图标记：
01视频采集单元；02视频分析单元；03通讯单元；04起重机控制系统；05可编程控制器；06光报警信号；07声报警信号；11摄像机；12装卸通道；13集卡；13’集卡车头；14吊具；15集装箱；15’起吊箱；15”未吊箱；16集卡平板； 17轮胎。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参考图1，本发明提供一种图像识别技术的集卡防吊起方法，包括：
步骤S11：采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎。
集卡至少包括集卡车头、平板及轮胎，在起重机起吊集卡之前，采集装卸区至少包括集卡车头、平板及轮胎及集装箱的视频，按现场实际照度需求布置红外照明灯，以采集清晰的视频。
步骤S12：根据所述视频，采集能反映目标特征物的图像；其中所述目标特征物至少包括所述集卡及集装箱。
目标特征物至少包括集卡车头、平板及轮胎及集装箱。在接收到起重机控制器系统安全检测指令后，视频分析处理软件提取所述视频中能反映各目标特征物的图像，如能反映集卡车头、平板及轮胎、集装箱的图像。对所述能反映目标特征物的图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第三图像。
其中，当所述能反映各目标特征物的图像为宽幅图像时，使用预设的参数，对所述能反映目标特征物的图像进行校正，以消除图像畸变，具体来说，广角镜头的视角范围大，其所采集的图像为宽幅图像，宽幅图像中易出现影响畸变的缺陷，通过与预先设定的标定文件进行比对，以消除宽幅图像的畸变而得到第一图像，对所述第一图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第二图像。
当所述能反映各目标特征物的图像为标准图像时，对能反映各目标特征物的图像进行轮廓补全的处理，主要解决集装箱、集卡车头、平板及轮胎存在污损和锈蚀的问题，提高定位的精准度，以得到第四图像。
步骤S13：将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
建立集装箱、集卡车头、平板及轮胎模型特征库作为预存的特征图像。对所述第三图像使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
其中，当所述能反映各目标特征物的图像为宽幅图像时，对所述第二图像使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
当所述能反映各目标特征物的图像为标准图像时，对所述第四图像进行校正拼接后，使用模板匹配的方法，定位集装箱、集卡车头、平板及轮胎等目标特征物所在位置，以获取各目标特征物彼此间当前的相对位置。
步骤S14：将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离。
设定目标特征物彼此间相对位置阈值，即设定目标特征物彼此间相对位置的最大值和最小值。当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于分离状态，起重机正常起吊集装箱。
所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括，通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
具体来说，当确定所述集装箱与所述集卡处于未分离状态时，可以通过集卡姿态模拟，以确定所述集卡的当前状态，当前状态至少包括：单点吊起、单边吊起或四边吊起，并将所述集卡的当前状态反馈给用户，便于用户进行将集卡的当前状态调整至可正常起吊的状态的操作。
步骤S15：当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号。
当所述目标特征物彼此间当前的相对位置不在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于未分离状态，向起重机发送第一停止信号，起重机停止运行并报警。并通过集卡模拟姿态以确定所述集卡的当前状态，当前状态至少包括：单点吊起、单边吊起或四边吊起，并将所述集卡的当前状态反馈给用户，便于用户进行将集卡的当前状态调整至可正常起吊的状态的操作。
当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内以及调整至可正常起吊的状态时，参见图2中步骤S26，设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较，当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
具体来说，在起重机正常起吊过程中，需要实时测量集卡平板位置和提取的集卡位置高度极限阈值设定进行比较，也可以通过车轮特征位置和集卡位置高度极限阈值设定进行比较，或者采用多重图像识别来提高可靠性，直到一个循环结束，集卡被正常吊起。通过设置集卡防吊起最大限高，是一种防止图像识别分离误判后的极限保护措施，增加安全系数，确保不发生重大事故。其中，当在起吊过程中所述目标特征物彼此间当前的相对位置超过集卡高度阈值时，起重机停止运行并报警。
本发明实施例中，报警信号包括光报警信号和/或声报警信号。
如图2所示，本发明实施例，步骤S21：视频信号采集；在接收到起重机检测指令时，进行步骤S22：图像提取；步骤S23：图像预处理，包括上述步骤S12 和S13中的图像处理过程；提取集装箱、集卡车头、平板及轮胎模型特征库数据，进行步骤S24：位置判断(将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置)；提取设定的目标特征物彼此间相对位置阈值，进行步骤S25：是否分离(将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离)，其中，当所述目标特征物彼此间当前的相对位置在所述目标特征物彼此间相对位置阈值范围内时，所述集装箱与所述集卡处于分离状态，进行步骤S26：起重机正常起吊集装箱，反之，进行步骤S25’：起重机停止运行并报警；当起重机正常起吊时，提取设定的集卡位置高度极限阈值，与目标特征物彼此间当前的相对位置进行比较，当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，进行步骤S25’：起重机停止运行并报警，反之，进行步骤S27：起重机正常起吊。
综上，本发明通过智能的图像分析，在无人操作的情况下，直观监测集卡被起重机误吊起的状态，确保不发生重大事故。
参考图3并结合图1和图2，本发明还提供一种图像识别技术的起重机防吊起系统，包括：视频采集单元01，适于采集至少包括集卡13及集装箱15的视频，其中所述集卡13至少包括集卡车头13’、平板16及轮胎17；
视频分析单元02，适于根据所述视频，采集所述视频中能反映目标特征物的图像；其中：所述目标特征物至少包括所述集卡13及集装箱15；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱15与所述集卡13是否分离；
通讯单元03，适于当确定所述集装箱15与所述集卡13未分离时，向起重机发送第一停止信号。
还包括：报警单元，适于当所述起重机停止运行时，向所述起重机发送报警信号，所述报警信号包括光报警信号06、声报警信号07。
如图3所示，通讯单元03接收到起重机控制系统04发出的检测指令后，视频分析单元02会采集图像按预设的频率进行图像分析，分析结构通过通讯单元03发送给起重机控制系统04，起重机控制系统根据故障情况由可编程控制器05发送光报警06 和声报警07。
视频分析单元，还适于当所述能反映目标特征的图像为宽幅图像时，在根据所述视频，采集能反映目标特征物的图像之后，使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；对所述第一图像进行轮廓补全的处理得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置。
视频分析单元，还适于所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括：通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
视频采集单元包括一组或多组摄像机，如图3所示，本发明实施例提供的视频分析单元包括四组摄像机11，每组摄像机11包括单目摄像机或双目/多目摄像机，即四组摄像机可以均为单目摄像机，也可以均为双目/多目摄像机，本发明对此不做限制。
本发明实施例中，单目摄像机适于通过所述预存的特征图像，按照图像比例算法，确定所述目标特征物彼此间当前的相对位置。双目摄像机，适于通过左图及右图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置，其中，左图为所述双目摄像机在所述集卡前进方向的左侧图像，右图为所述双目摄像机在所述集卡前进方向的右侧图像。多目摄像机，适于通过多视图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置，其中，多视图为多目摄像机采集所述集卡区域的图像。
本发明实施例提供一种图像识别技术的集卡防吊起系统，还包括：照明单元，适于调整装卸区的照度，其中照明单元可以为红外照明灯，但不限于LED照明。
本发明实施例，通过图像识别技术，可以建立多个特征比对模型方案，以下实施例包含但不限于这几种方案：
如图4至图6所示，采用四组摄像机11，分别安装在装卸通道12，集卡13进入该车道，通过吊具14，把集装箱15吊往堆场。
图像识别案例1：建立集装箱15和集卡平板16模型特征库，通过单目或多目摄像机计算出相对位置a，b，c，d从而判断是否分离；
图像识别案例2：建立集卡平板16模型特征库，如图7所示，通过图像拼接技术设置集卡平板16的表面Y轴2作为参考，相对位置e，f和集卡位置高度极限阈值比较来作为安全保护；
图像识别案例3：建立轮胎17模型特征库，通过图像拼接识别轮胎特征，如图7 所示，设置轮胎17的表面X轴作为参考，相对位置g，h和集卡位置高度极限阈值比较来作为安全保护；
图像识别案例4：如图8所示，在装卸双箱模式案例时，加入吊具14识别起吊箱 15’的位置，避免出现未吊箱15”未分离的误报情况，计算出起吊箱15’相对位置a，b， c，d，从而判断起吊箱15’与集卡平板是否分离。
以上多种图像识别方案可以单独使用，也可以结合使用，来提高准确率。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器适于存储计算机指令，所述处理器适于在运行所述计算机指令时，执行上述实施例所述的集卡防吊起方法。
本发明还提供一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实施例所述的集卡防吊起方法。
根据一个或多个实施例，所述存储器可以包括计算机可读记录/存储介质，如随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、光盘、磁盘、固态盘，等等。根据一个或多个实施例，所述处理器由变成为用户执行本文所描述的一个或多个操作和/或功能的微处理器来执行。根据一个或多个实施例，所述处理器整个或部分地由专门配置的硬件来执行，例如，由一个或多个专用集成或ASI(s)来执行。
综上所述，本发明提供的上述实施例仅例示性说明本发明的原理及功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (19)
1.一种图像识别技术的集卡防吊起方法，其特征在于，包括：
采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；
根据所述视频，采集能反映目标特征物的图像；其中，所述目标特征物至少包括所述集卡及集装箱；
将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
所述比对方法包括以下的至少两种：
建立集装箱和平板模型特征库，通过单目或多目摄像机计算出所述集装箱和所述平板模型的相对位置，从而判断所述集卡和所述集装箱是否分离；
或者，建立平板模型特征库，通过图像拼接技术设置所述平板的表面作为参考，将所述平板的表面和集卡位置高度极限阈值比较，从而判断所述集卡和所述集装箱是否分离；
或者，建立轮胎模型特征库，通过图像拼接识别轮胎特征，设置轮胎的表面作为参考，将所述轮胎表面和集卡位置高度极限阈值比较，从而判断所述集卡和所述集装箱是否分离；
当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；对所述第一图像进行轮廓补全的处理，得到第二图像，将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，还包括：对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号；
设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
2.如权利要求1所述的集卡防吊起方法，其特征在于，当向所述起重机发送所述第一停止信号或所述第二停止信号时，还包括：
向所述起重机发送报警信号。
3.如权利要求2所述的集卡防吊起方法，其特征在于，所述报警信号包括：
光报警信号和/或声报警信号。
4.如权利要求1所述的集卡防吊起方法，其特征在于，所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
当确定所述集装箱与所述集卡处于未分离状态时，还包括：
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
5.如权利要求1所述的集卡防吊起方法，其特征在于，包括：
当接收到安全监测指令后，执行所述根据所述视频，采集能反映目标特征物的图像的操作。
6.一种图像识别技术的集卡防吊起系统，其特征在于，包括：
视频采集单元，适于采集至少包括集卡及集装箱的视频，其中所述集卡至少包括集卡车头、平板及轮胎；
视频分析单元，适于根据所述视频，采集所述视频中能反映目标特征物的图像；其中：所述目标特征物至少包括所述集卡及集装箱；将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；
所述比对方法包括以下的至少两种：
建立集装箱和平板模型特征库，通过单目或多目摄像机计算出所述集装箱和所述平板模型的相对位置，从而判断所述集卡和所述集装箱是否分离；
或者，建立平板模型特征库，通过图像拼接技术设置所述平板的表面作为参考，将所述平板的表面和集卡位置高度极限阈值比较，从而判断所述集卡和所述集装箱是否分离；
或者，建立轮胎模型特征库，通过图像拼接识别轮胎特征，设置轮胎的表面作为参考，将所述轮胎表面和集卡位置高度极限阈值比较，从而判断所述集卡和所述集装箱是否分离；
所述视频分析单元，还适于当所述能反映目标特征物的图像为宽幅图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，使用预设的参数，对所述能反映目标特征物的图像进行消除畸变的处理，得到第一图像；将所述第一图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
所述视频分析单元，还适于对所述第一图像进行轮廓补全的处理，得到第二图像；将所述第二图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
所述视频分析单元，还适于在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第三图像；将所述第三图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
所述视频分析单元，还适于当所述能反映目标特征物的图像为标准图像时，在所述根据所述视频，采集能反映目标特征物的图像之后，对所述能反映目标特征物的图像进行轮廓补全的处理，得到第四图像；对所述第四图像进行校正拼接，获取所述能反映目标特征物的图像的形态；所述将所述能反映目标特征物的图像与预存的特征图像进行比对，以确定所述目标特征物彼此间当前的相对位置；
通讯单元，适于当确定所述集装箱与所述集卡未分离时，向起重机发送第一停止信号；
所述视频分析单元，还适于设定集卡位置高度极限阈值；按照预设的频率，测定所述目标特征物彼此间的相对位置，并与所述集卡位置高度极限阈值进行比较；所述通讯单元，适于当所述目标特征物彼此间当前的相对位置大于所述集卡位置高度极限阈值时，向所述起重机发送第二停止信号。
7.如权利要求6所述的集卡防吊起系统，其特征在于，还包括：
报警单元，适于当所述起重机停止运行时，向所述起重机发送报警信号。
8.如权利要求7所述的集卡防吊起系统，其特征在于，所述报警信号包括：
光报警信号；
声报警信号。
9.如权利要求6所述的集卡防吊起系统，其特征在于，所述视频分析单元，还适于所述将所述目标特征物彼此间当前的相对位置与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；包括：
将所述能反映目标特征物彼此间当前的相对位置关系的各图像的形态与预设的目标特征物彼此间相对位置阈值进行比对，以判断所述集装箱与所述集卡是否分离；当确定所述集装箱与所述集卡处于未分离状态时，还包括，
通过集卡姿态模拟，以确定所述集卡的当前状态，且将所述集卡的当前状态通知用户；其中，所述集卡的当前状态至少包括：单点吊起、单边吊起或四边吊起。
10.如权利要求6所述的集卡防吊起系统，其特征在于，所述视频采集单元包括一组或多组摄像机。
11.如权利要求10所述的集卡防吊起系统，其特征在于，每组所述摄像机包括单目摄像机或双目/多目摄像机。
12.如权利要求11所述的集卡防吊起系统，其特征在于，所述单目摄像机，适于通过所述预存的特征图像，按照图像比例算法，确定所述目标特征物彼此间当前的相对位置。
13.如权利要求11所述的集卡防吊起系统，其特征在于，所述双目摄像机，适于通过左图及右图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
14.如权利要求11所述的集卡防吊起系统，其特征在于，所述多目摄像机，适于通过多视图进行匹配得到视差图，通过所述视差图得到所述目标特征物彼此间当前的相对位置。
15.如权利要求13所述的集卡防吊起系统，其特征在于，所述左图为所述双目摄像机在所述集卡前进方向的左侧图像，所述右图为所述双目摄像机在所述集卡前进方向的右侧图像。
16.如权利要求14所述的集卡防吊起系统，其特征在于，所述多视图为多目摄像机采集所述集卡区域的图像。
17.如权利要求10所述的集卡防吊起系统，其特征在于，还包括：
照明单元，适于调整装卸区的照度。
18.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器适于存储计算机指令，所述处理器适于在运行所述计算机指令时，执行权利要求1至5任一项所述的集卡防吊起方法。
19.一种计算机存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至5任一项所述的集卡防吊起方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810737027.7A CN108792951B (zh) | 2018-07-06 | 2018-07-06 | 图像识别技术的集卡防吊起方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810737027.7A CN108792951B (zh) | 2018-07-06 | 2018-07-06 | 图像识别技术的集卡防吊起方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108792951A CN108792951A (zh) | 2018-11-13 |
| CN108792951B true CN108792951B (zh) | 2024-04-23 |
Family
ID=64075524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810737027.7A Active CN108792951B (zh) | 2018-07-06 | 2018-07-06 | 图像识别技术的集卡防吊起方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108792951B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109534177A (zh) * | 2019-01-10 | 2019-03-29 | 上海海事大学 | 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法 |
| CN109949358A (zh) * | 2019-03-29 | 2019-06-28 | 三一海洋重工有限公司 | 一种集装箱卡车起吊状态的检测方法和检测装置 |
| CN110197499B (zh) * | 2019-05-27 | 2021-02-02 | 江苏警官学院 | 一种基于计算机视觉的集装箱安全起吊监测方法 |
| CN110171779A (zh) * | 2019-06-26 | 2019-08-27 | 中国铁道科学研究院集团有限公司运输及经济研究所 | 正面吊安全起吊控制系统及控制方法 |
| CN111847256B (zh) * | 2020-07-03 | 2022-03-04 | 中联重科股份有限公司 | 机械结构的回转监控方法、系统及工程机械 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106254839A (zh) * | 2016-09-30 | 2016-12-21 | 湖南中铁五新重工有限公司 | 集装箱卡车防吊起方法及装置 |
| CN106501811A (zh) * | 2016-12-01 | 2017-03-15 | 上海电机学院 | 一种集卡防吊起的装置 |
| CN206553094U (zh) * | 2017-03-20 | 2017-10-13 | 北京国泰星云科技有限公司 | 一种基于激光的防吊起检测系统 |
| CN208516809U (zh) * | 2018-07-06 | 2019-02-19 | 上海振华重工(集团)股份有限公司 | 图像识别技术的集卡防吊起系统 |
-
2018
- 2018-07-06 CN CN201810737027.7A patent/CN108792951B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106254839A (zh) * | 2016-09-30 | 2016-12-21 | 湖南中铁五新重工有限公司 | 集装箱卡车防吊起方法及装置 |
| CN106501811A (zh) * | 2016-12-01 | 2017-03-15 | 上海电机学院 | 一种集卡防吊起的装置 |
| CN206553094U (zh) * | 2017-03-20 | 2017-10-13 | 北京国泰星云科技有限公司 | 一种基于激光的防吊起检测系统 |
| CN208516809U (zh) * | 2018-07-06 | 2019-02-19 | 上海振华重工(集团)股份有限公司 | 图像识别技术的集卡防吊起系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108792951A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108792951B (zh) | 图像识别技术的集卡防吊起方法、系统、设备及存储介质 | |
| CN208516809U (zh) | 图像识别技术的集卡防吊起系统 | |
| CN106573381B (zh) | 卡车卸载机可视化 | |
| US7508956B2 (en) | Systems and methods for monitoring and tracking movement and location of shipping containers and vehicles using a vision based system | |
| US11625854B2 (en) | Intelligent forklift and method for detecting pose deviation of container | |
| CN104683772A (zh) | 港口集装箱全方位图形识别理货信息监测系统及其监测方法 | |
| CN101986143A (zh) | 机器视觉皮带撕裂检测及保护装置 | |
| CN109335964B (zh) | 一种集装箱旋锁检测系统及检测方法 | |
| CN106548147A (zh) | 一种快速的噪声鲁棒性图像异物检测方法及teds系统 | |
| CN112027918B (zh) | 一种基于机器视觉的集卡防吊起检测方法 | |
| CN105139384B (zh) | 缺陷胶囊检测的方法和装置 | |
| CN114708209B (zh) | 一种基于3d建模和视觉检测的生产交互方法及系统 | |
| CN116297199A (zh) | 一种基于机器视觉自动检测锂电池参数的检测系统 | |
| CN112985515B (zh) | 一种产品紧固件装配合格性检测方法、系统及存储介质 | |
| KR100990433B1 (ko) | 무인 크레인의 후크 체결 방법 및 그 무인 크레인 시스템 | |
| CN110542378A (zh) | 一种集卡装卸对箱自动检测装置及其检测方法 | |
| CN105129295B (zh) | 倒车控制方法、装置、系统及垃圾转运车 | |
| CN204481965U (zh) | 港口集装箱全方位图形识别理货信息监测系统 | |
| CN115752231A (zh) | 一种智能落箱检测方法及装置 | |
| CN210638645U (zh) | 一种集卡装卸对箱自动检测装置 | |
| CN115849189A (zh) | 基于点云的吊具二次锚定方法、系统、设备及存储介质 | |
| KR102060455B1 (ko) | 트럭번호 인식 시스템 및 방법 | |
| US20160205395A1 (en) | Method for detecting errors for at least one image processing system | |
| CN113415727A (zh) | 一种集装箱装卸识别安全引导装置和方法 | |
| CN113177431A (zh) | 一种基于机器视觉和深度学习的集卡防吊起方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |