CN112150544A - 吊钩到位检测方法、装置和计算机可读介质 - Google Patents
吊钩到位检测方法、装置和计算机可读介质 Download PDFInfo
- Publication number
- CN112150544A CN112150544A CN202011028628.4A CN202011028628A CN112150544A CN 112150544 A CN112150544 A CN 112150544A CN 202011028628 A CN202011028628 A CN 202011028628A CN 112150544 A CN112150544 A CN 112150544A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- hook
- pixel
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 9
- 238000003064 k means clustering Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了吊钩到位检测方法、装置和计算机可读介质，该吊钩到位检测方法包括：在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，待检测区域为包含吊耳孔的区域，第一位置用于表征吊钩在未接收到与吊耳孔配合的控制指令时的位置；在吊钩处于第二位置时，获取待检测区域的第二参考图像，其中，第二位置用于表征吊钩在执行与吊耳孔配合的控制指令之后的位置；将第二参考图像与第一参考图像进行差分处理，得到差分参考图像；根据吊耳孔在第一参考图像中所处的位置，确定在图像中吊耳孔所处的目标位置区域；根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。本方案能够降低人力成本。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及吊钩到位检测方法、装置和计算机可读介质。
背景技术
在钢厂炼化废钢的过程中，需要利用起重设备的吊钩对装载有废钢的料筒进行吊装。其中，料筒的周身上设置有吊耳，吊耳具有吊耳孔，控制吊钩到位(即进入吊耳孔中)是有关安全生产的关键步骤。
目前，检测吊钩是否到位的方式通常需要观察员和操作员相互配合完成，即首先通过位于现场的观察员利用肉眼观察吊钩是否到位，然后将观察得到的信息传递给控制起重设备的操作人员，从而辅助操作人员进行相对应的操作。也就是说，上述检测吊钩是否到位的方式需要观察员配合操作员完成，如此不利于降低人力成本。
发明内容
有鉴于此，本发明提供的吊钩到位检测方法、装置和计算机可读介质，能够降低人力成本。
第一方面，本发明实施例提供了一种吊钩到位检测方法，包括：
在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，所述待检测区域为包含吊耳孔的区域，所述第一位置用于表征所述吊钩在未接收到使吊钩进入吊耳孔的控制指令时的位置；
在所述吊钩处于第二位置时，获取所述待检测区域的第二参考图像，其中，所述第二位置用于表征所述吊钩在执行使吊钩进入吊耳孔的控制指令之后的位置；
将所述第二参考图像与所述第一参考图像进行差分处理，得到差分参考图像；
根据所述吊耳孔在所述第一参考图像中所处的位置，确定在图像中所述吊耳孔所处的目标位置区域；
根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
第二方面，本发明实施例提供了一种吊钩到位检测装置，包括：
一个第一图像获取模块，用于在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，所述待检测区域为包含吊耳孔的区域，所述第一位置用于表征所述吊钩在未接收到使吊钩进入吊耳孔的控制指令时的位置；
一个第二图像获取模块，用于在所述吊钩处于第二位置时，获取所述待检测区域的第二参考图像，其中，所述第二位置用于表征所述吊钩在执行使吊钩进入吊耳孔的控制指令之后的位置；
一个差分处理模块，用于将所述第二参考图像与所述第一参考图像进行差分处理，得到差分参考图像；
一个目标位置区域确定模块，用于根据所述吊耳孔在所述第一参考图像中所处的位置，确定在图像中所述吊耳孔所处的目标位置区域；
一个吊钩到位确定模块，用于根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
第三方面，本发明实施例还提供了另一种吊钩到位检测装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行上述第一方面以及第一方面的任意一种可能的实现方式所提供的方法。
第四方面，本发明所述还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面以及第一方面的任意一种可能的实现方式所提供的方法。
根据上述第一方面至第四方面所提供的技术方案可知，通过在吊钩处于第一位置时获得待检测区域的第一参考图像和在吊钩处于第二位置时获得待检测区域的第二参考图像，然后通过对第二参考图像与第一参考图像进行差分处理后获得差分参考图像，再根据吊耳孔在第一参考图像中所处的位置确定出在图像中吊耳孔所处的目标位置区域，最后根据差分参考图像中位于目标位置区域内的像素点的像素值确定出吊钩是否进入吊耳孔中，因此无需通过观察员配合操作员完成检测吊钩是否到位，降低了人力成本。
在第一种可能的实现方式中，结合上述的任一方面，可以根据差分参考图像中位于目标位置区域内的像素点的像素值，来确定吊钩是否进入吊耳孔中。具体可以通过如下方式来确定吊钩是否进入吊耳孔中：
将第二参考图像进行二值化处理，得到第二参考二值化图像；
将差分参考图像进行二值化处理，得到差分参考二值化图像；
将第二参考二值化图像和差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第一目标二值化图像；
根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明的实施方式中，通过将第二参考图像和差分参考图像分别进行二值化处理，然后对二值化处理后得到的第二参考二值化图像和差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，所得到的的第一目标二值化图像相比差分参考二值化图像去除了部分噪声，从而可以有利于确定吊钩是否进入吊耳孔中。
在第二种可能的实现方式中，结合上述第一种可能的实现方式，还可以根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，来确定吊钩是否进入吊耳孔中。具体可以通过如下方式来确定吊钩是否进入吊耳孔中：
将第一参考图像进行二值化处理，得到第一参考二值化图像；
将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像；
根据第二目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明的实施方式中，通过将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，所得到的的第二目标二值化图像相比第一目标二值化图像进一步去除了部分噪声，从而可以进一步有利于确定吊钩是否进入吊耳孔中。
在第三种可能的实现方式中，结合上述第二种可能的实现方式，可以将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，来得到第二目标二值化图像。具体可以通过如下方式来得到第二目标二值化图像：
将第一参考图像进行聚类处理，得到第一参考前景图像；
对第一参考前景图像进行二值化处理，得到第一参考前景二值化图像；
将第二参考图像进行聚类处理，得到第二参考前景图像；
对第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将差分参考图像进行聚类处理，得到差分参考前景图像；
对差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将第一参考前景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑异或处理，得到第二目标二值化图像。
在本发明的实施方式中，给出了一种得到第一目标二值化图像和第二目标二值化图像的具体方式，如此可以根据第一目标二值化图像或第二目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在第四种可能的实现方式中，结合上述第二种可能的实现方式，可以将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，来得到第二目标二值化图像。具体可以通过如下方式来得到第二目标二值化图像：
将第一参考图像进行聚类处理，得到第一参考背景图像；
对第一参考背景图像进行二值化处理，得到第一参考背景二值化图像；
将第二参考图像进行聚类处理，得到第二参考前景图像；
对第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将差分参考图像进行聚类处理，得到差分参考前景图像；
对差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将第一参考背景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑与处理，得到第二目标二值化图像。
在本发明的实施方式中，给出了另一种得到第一目标二值化图像和第二目标二值化图像的具体方式，如此也可以根据第一目标二值化图像或第二目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在第五种可能的实现方式中，结合上述任一方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式或第四种可能的实现方式，在根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中时，可以根据像素面积进行确定。具体可以通过如下方式来确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定目标像素点所占的像素面积是否大于预设的面积阈值；
如果是，则确定吊钩进入吊耳孔中；
如果否，则确定吊钩未进入吊耳孔中。
在本发明的实施方式中，给出了一种可以根据像素面积确定吊钩是否进入吊耳孔中的具体方式，从而可以有利于确定吊钩是否进入吊耳孔中。
在第六种可能的实现方式中，结合上述任一方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式或第四种可能的实现方式，目标位置区域的轮廓为矩形，在根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中时，可以根据目标像素点形成的轮廓的长边和短边的比例进行确定。具体可以通过如下方式来确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值位于预设的像素值范围的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓的长边和短边的比例是否位于预设的比例范围内；
如果位于预设的比例范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的比例范围内，则确定吊钩未进入吊耳孔中。
在本发明的实施方式中，给出了一种可以根据目标像素点形成的轮廓的长边和短边的比例确定吊钩是否进入吊耳孔中的具体方式，从而可以有利于确定吊钩是否进入吊耳孔中。
在第七种可能的实现方式中，结合上述任一方面、第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式或第四种可能的实现方式，目标位置区域的轮廓为矩形，且该轮廓与水平方向之间具有夹角，在根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中时，可以根据目标像素点形成的轮廓与水平方向之间的夹角进行确定。具体可以通过如下方式来确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内；
如果位于预设的角度范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的角度范围内，则确定吊钩未进入吊耳孔中。
在本发明的实施方式中，给出了一种可以根据目标像素点形成的轮廓与水平方向之间的夹角确定吊钩是否进入吊耳孔中的具体方式，从而可以有利于确定吊钩是否进入吊耳孔中。
附图说明
图1是本发明一个实施例提供的一种吊钩到位检测方法的流程图；
图2是本发明一个实施例提供的一种得到第二目标二值化图像的流程图；
图3是本发明一个实施例提供的另一种得到第二目标二值化图像的流程图；
图4是本发明一个实施例提供的在吊钩处于第二位置且吊钩未进入吊耳孔中时的第二参考前景二值化图像的示意图；
图5是本发明一个实施例提供的在吊钩处于第二位置且吊钩进入吊耳孔中时的第二参考前景二值化图像的示意图；
图6是本发明一个实施例提供的在吊钩未进入吊耳孔中时的差分参考前景二值化图像的示意图；
图7是本发明一个实施例提供的在吊钩进入吊耳孔中时的差分参考前景二值化图像的示意图；
图8是本发明一个实施例提供的在吊钩处于第一位置时的第一参考前景二值化图像的示意图；
图9是本发明一个实施例提供的在吊钩处于第一位置时的第一参考背景二值化图像的示意图；
图10是本发明一个实施例提供的在吊钩未进入吊耳孔中时的第二目标二值化图像的示意图；
图11是本发明一个实施例提供的在吊钩进入吊耳孔中时的第二目标二值化图像的示意图；
图12是本发明一个实施例提供的在吊钩进入吊耳孔中且仅示出目标位置区域时的第二目标二值化图像的示意图；
图13是本发明一个实施例提供的一种吊钩到位检测装置的示意图；
图14是本发明一个实施例提供的另一种吊钩到位检测装置的示意图。
附图标记列表：
101：在吊钩处于第一位置时，获取待检测区域的第一参考图像
102：在吊钩处于第二位置时，获取待检测区域的第二参考图像
103：将第二参考图像与第一参考图像进行差分处理，得到差分参考图像
104：根据吊耳孔在第一参考图像中所处的位置，确定在图像中吊耳孔所处的目标位置区域
105：根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳
孔中
201：将第一参考图像进行聚类处理，得到第一参考前景图像
202：将第一参考前景图像进行二值化处理，得到第一参考前景二值化图像
203：将第二参考图像进行聚类处理，得到第二参考前景图像
204：将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像
205：将差分参考图像进行聚类处理，得到差分参考前景图像
206：将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像
207：将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻
辑与处理，得到第一目标二值化图像
208：将第一参考前景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑异
或处理，得到第二目标二值化图像
301：将第一参考图像进行聚类处理，得到第一参考背景图像
302：将第一参考背景图像进行二值化处理，得到第一参考背景二值化图像
303：将第二参考图像进行聚类处理，得到第二参考前景图像
304：将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像
305：将差分参考图像进行聚类处理，得到差分参考前景图像
306：将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像
307：将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行
逻辑与处理，得到第一目标二值化图像
308：将第一参考背景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑
与处理，得到第二目标二值化图像
401：第一图像获取模块 402：第二图像获取模块 403：差分处理模块
404：目标位置区域确定模块 405：吊钩到位确定模块 501：存储器
502：处理器
具体实施方式
如前所述，目前检测吊钩是否到位的方式通常为：需要观察员和操作员相互配合完成，即首先通过位于现场的观察员利用肉眼观察吊钩是否到位，然后将观察得到的信息传递给控制起重设备的操作人员，从而辅助操作人员进行相对应的操作。也就是说，上述检测吊钩是否到位的方式需要观察员配合操作员完成，如此不利于降低人力成本。
本发明提出一种吊钩到位检测方法和装置，通过在吊钩处于第一位置时获得待检测区域的第一参考图像和在吊钩处于第二位置时获得待检测区域的第二参考图像，然后通过对第二参考图像与第一参考图像进行差分处理后获得差分参考图像，再根据吊耳孔在第一参考图像中所处的位置确定出在图像中吊耳孔所处的目标位置区域，最后根据差分参考图像中位于目标位置区域内的像素点的像素值确定出吊钩是否进入吊耳孔中，因此无需通过观察员配合操作员完成检测吊钩是否到位，降低了人力成本。
下面结合附图对本发明实施例提供的吊钩到位检测方法和装置进行详细说明。
如图1所示，本发明一个实施例提供了一种吊钩到位检测方法，该方法可以包括如下步骤：
步骤101：在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，待检测区域为包含吊耳孔的区域，第一位置用于表征吊钩在未接收到与吊耳孔配合的控制指令时的位置。
在本步骤中，第一位置可以是工作人员预先配置好的，具体来说：吊钩在通过驱动机构(例如电机)移动时，吊钩移动的位置和电机的编码器配置的参数有关，因此工作人员可以根据吊钩在未进入到吊耳孔中时的编码器的参数值进行对第一位置的配置。例如，吊钩可以为远离吊耳孔的任一位置。在一些实施方式中，为方便吊钩执行与吊耳孔配合的控制指令，可以将吊钩靠近吊耳孔但不影响摄像头对待检测区域采集图像的位置作为第一位置。
在利用摄像头获取待检测区域的第一参考图像时，通常需要摄像头所拍摄的区域大于待检测区域，以能够完整地获取到待检测区域的第一参考图像。在实际应用中，料筒放置在一个第一固定位置处，摄像头则固定位于该第一固定位置处上方或斜上方的一个第二固定位置处，由于在第一固定位置处通常设置有限位结构，因此料筒一般认为放置在第一固定位置处时，料筒每一次所放置的方向和位置均相同，如此可以保证摄像头能够拍摄的区域基本不变，从而有利于确定待检测区域。
在一些实施方式中，可以根据摄像头在第一次对料筒进行拍摄时获取的一个参考图像的坐标信息、该参考图像所在区域的实际位置信息以及待检测区域的实际位置信息，来确定第一参考图像的坐标信息，从而可以根据第一参考图像的坐标信息从参考图像中将第一参考图像分割出来，即可以将第一参考图像理解为ROI(Region of Interest，感兴趣区域)图像。
另外，待检测区域除了包含吊耳孔的区域，当然还可以包含吊耳的区域，这是因为在对第一参考图像从参考图像中进行分割时，除了利用坐标信息进行分割，还可以利用对吊耳进行边缘检测的方式来分割第一参考图像(这是因为吊耳的边缘亮度通常高于吊耳孔的边缘亮度)，因此待检测区域还可以包含吊耳的区域，此时吊耳孔的区域在吊耳的区域的内部，即吊耳的内部设置有吊耳孔。
可以理解的是，在利用摄像头获取参考图像时，摄像头可以是CCD(ChargeCoupled Device，电荷耦合器件)摄像头，也可以是CMOS(Complementary Metal-OxideSemiconductor，互补金属氧化物半导体)摄像头，只要能够保证摄像头能够采集到图像即可。
还可以理解的是，第一参考图像可以是彩色图像，也可以是灰度图像，其中当第一参考图像为灰度图像时，第一参考图像是需要将从参考图像中分割后的图像进行灰度化处理得到的，即从摄像头所获取的参考图像中分割后的图像为彩色图像。也就是说，当第一参考图像为从该参考图像直接分割后的图像时，第一参考图像为彩色图像；当第一参考图像为从该参考图像分割并经过灰度化处理后的图像时，第一参考图像为灰度图像。
与吊耳孔配合的控制指令，可以是由操作人员发出，例如可以通过操控室的PLC(Programmable Logic Controller，可编程逻辑控制器)发出。
步骤102：在吊钩处于第二位置时，获取待检测区域的第二参考图像，其中，第二位置用于表征吊钩在执行与吊耳孔配合的控制指令之后的位置。
在本步骤中，第二位置可以指的是吊钩进入到吊耳孔中的位置，也可以指的是吊钩未进入到吊耳孔的位置。而获取待检测区域的第二参考图像的具体实现方式和步骤101相同，在此不进行赘述。
步骤103：将第二参考图像与第一参考图像进行差分处理，得到差分参考图像。
在本步骤中，第一参考图像和第二参考图像可以均为彩色图像或灰度图像，对第一参考图像和第二参考图像进行差分处理，即将第一参考图像和第二参考图像中所有相对应像素点的像素值进行差分处理。其中，当第一参考图像和第二参考图像均为彩色图像时，将第一参考图像和第二参考图像中所有相对应像素点的RGB值分别进行差分处理；当第一参考图像和第二参考图像均为灰度图像时，将第一参考图像和第二参考图像中所有相对应像素点的灰度值分别进行差分处理。
步骤104：根据吊耳孔在第一参考图像中所处的位置，确定在图像中吊耳孔所处的目标位置区域。
在本步骤中，吊耳孔在第一参考图像中所处的位置，即在第一参考图像中确定吊耳孔的轮廓，例如可以通过包括OpenCV中的find Contour函数来获取。可以理解的是，该轮廓指的是封闭图像，当轮廓不是封闭图像时，可以通过形态学处理将非封闭图像处理成封闭图像。其中，形态学处理包括：膨胀、腐蚀、开/闭运算、黑/白帽处理、凸包、连通区域标记和删除小块区域等。在获取吊耳孔封闭的轮廓后，将该轮廓围成的区域确定为在图像中吊耳孔所处的目标位置区域。另外，在确定轮廓时，已经确定出该轮廓上所有的像素点的坐标值，因此可以利用该轮廓上所有的像素点的坐标值来确定吊耳孔在其它图像(例如差分参考图像、第一目标二值化图像和第二目标二值化图像等)中的目标位置区域。
步骤105：根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本步骤中，可以根据像素面积、目标位置区域的轮廓的长边和短边的比例以及目标位置区域的轮廓与水平方向之间的夹角等方式来确定吊钩是否进入吊耳孔中。
在第一种方式中，可以通过如下操作确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定目标像素点所占的像素面积是否大于预设的面积阈值；
如果是，则确定吊钩进入吊耳孔中；
如果否，则确定吊钩未进入吊耳孔中。
在该方式中，像素值可以指的是RGB值，也可以指的是灰度值，例如预设的RGB阈值均为200，预设的灰度值为200，通过该种固定阈值的方式确定出所有的目标像素点；然后可以通过OpenCV中的find Contour函数所有目标像素点的轮廓，以进一步确定该轮廓围成的区域面积，并将该区域面积作为像素面积；而预设的面积阈值可以是目标位置区域所占面积的80％。采用该方式，有利于确定吊钩是否进入吊耳孔中。
在第二种方式中，可以通过如下操作确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值位于预设的像素值范围的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓的长边和短边的比例是否位于预设的比例范围内；
如果位于预设的比例范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的比例范围内，则确定吊钩未进入吊耳孔中。
在该方式中，需要预先确定目标位置区域的轮廓为矩形，如此可确定所有目标像素点形成的轮廓是否为矩形来初步确定吊钩是否进入吊耳孔中；然后通过确定该轮廓的长边和短边的比例是否位于预设的比例范围内来进一步确定吊钩是否进入吊耳孔中，从而有利于确定吊钩是否进入吊耳孔中。其中，预设的比例范围可以根据实际的吊钩端部大小或吊耳孔大小来确定，例如预设的比例范围可以是2至5。
在第三种方式中，可以通过如下操作确定吊钩是否进入吊耳孔中：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内；
如果位于预设的角度范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的角度范围内，则确定吊钩未进入吊耳孔中。
在该方式中，需要预先确定目标位置区域的轮廓为矩形，且该轮廓与水平方向之间具有夹角，如此可确定所有目标像素点形成的轮廓是否为矩形以及是否与水平方向之间具有夹角来初步确定吊钩是否进入吊耳孔中；然后通过确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内来进一步确定吊钩是否进入吊耳孔中，从而有利于确定吊钩是否进入吊耳孔中。其中，预设的角度范围可以根据实际的摄像头和吊耳孔的相对位置或摄像头的摆放方向来确定，例如预设的角度范围可以是30°至60°。
在本发明实施例中，通过在吊钩处于第一位置时获得待检测区域的第一参考图像和在吊钩处于第二位置时获得待检测区域的第二参考图像，然后通过对第二参考图像与第一参考图像进行差分处理后获得差分参考图像，再根据吊耳孔在第一参考图像中所处的位置确定出在图像中吊耳孔所处的目标位置区域，最后根据差分参考图像中位于目标位置区域内的像素点的像素值确定出吊钩是否进入吊耳孔中，因此无需通过观察员配合操作员完成检测吊钩是否到位，降低了人力成本。
可以理解的是，在得到差分参考图像后，可能因为光照、机械抖动和电源引入的交流等因素而产生噪声，从而使得仅依靠差分参考图像来确定吊钩是否进入吊耳孔中而变得不是很准确。因此，有必要对差分参考图像进行降噪。
在本发明一个实施例中，根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中，包括：
将第二参考图像进行二值化处理，得到第二参考二值化图像；
将差分参考图像进行二值化处理，得到差分参考二值化图像；
将第二参考二值化图像和差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第一目标二值化图像；
根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明实施例中，通过将差分参考图像进行二值化处理得到差分参考二值化图像以及将第二参考图像进行二值化处理得到第二参考二值化图像，然后将第二参考二值化图像和差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理得到第一目标二值化图像，如此可以降低差分参考图像的噪声。在此，对二值化处理的具体方式不进行限定，只要能够实现对图像的二值化即可，例如二值化处理可以是通过设置固定阈值的方式实现。另外，为尽量保证差分参考二值化图像和第二参考二值化图像的失真率，对差分参考图像和第二参考图像所进行的二值化处理可以考虑为相同的二值化处理方式，例如可以均为设置固定阈值的方式。
需要说明的是，由于第二参考图像是距离差分参考图像处理最近的一个图像，即获取第二参考图像之后，即可获得差分参考图像，如此可以利用第二参考图像作为“背景图像”来对差分参考图像进行降噪。
需要进一步说明的是，由于差分参考图像是通过第一参考图像和第二参考图像进行差分处理获得，因此有必要考虑利用第一参考图像来进一步降低差分参考图像的噪声。
在本发明一个实施例中，根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中，包括：
将第一参考图像进行二值化处理，得到第一参考二值化图像；
将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像；
根据第二目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明实施例中，通过将第一参考图像进行二值化处理得到第一参考二值化图像，然后将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理得到第二目标二值化图像，如此可以进一步降低差分参考图像的噪声。在此，对二值化处理的具体方式不进行限定，只要能够实现对图像的二值化即可，例如二值化处理可以是通过设置固定阈值的方式实现。另外，为尽量保证第二目标二值化图像的失真率，对第一参考图像所进行的二值化处理可以考虑和对差分参考图像和第二参考图像所进行的二值化处理为相同的二值化处理方式，例如可以均为设置固定阈值的方式。
具体得到第二目标二值化图像的方式有两种，其中一种得到第二目标二值化图像的方法如图2所示，另一种得到第二目标二值化图像的方法如图3所示。
在本发明一个实施例中，图2所示的方法具体包括以下步骤：
步骤201：将第一参考图像进行聚类处理，得到第一参考前景图像；
在本步骤中，聚类处理例如可以是K-means聚类处理，K-means聚类处理具有收敛速度快、鲁棒性强、较高的可伸缩性和高效性等优点。在该实施例中，K可以选取为2，以聚类出前景像素点和背景像素点。
步骤202：将第一参考前景图像进行二值化处理，得到第一参考前景二值化图像；
在本步骤中，第一参考前景二值化图像为如图8所示的图像。在该实施例中，二值化处理可以为固定阈值的方式。
步骤203：将第二参考图像进行聚类处理，得到第二参考前景图像；
在本步骤中，为尽量保证第二参考前景图像的失真率，对第二参考图像所进行的聚类处理也可以选取K-means聚类处理。
步骤204：将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
在本步骤中，第二参考前景二值化图像为如图4和图5所示的图像，其中，图4为在吊钩处于第二位置且吊钩未进入吊耳孔中时的第二参考前景二值化图像的示意图，图5为在吊钩处于第二位置且吊钩进入吊耳孔中时的第二参考前景二值化图像的示意图。在该实施例中，二值化处理可以为固定阈值的方式。
步骤205：将差分参考图像进行聚类处理，得到差分参考前景图像；
在本步骤中，为尽量保证差分参考前景图像的失真率，对差分参考图像所进行的聚类处理也可以选取K-means聚类处理。
步骤206：将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
在本步骤中，差分参考前景二值化图像为如图6和图7所示的图像，其中，图6为在吊钩处于差分位置且吊钩未进入吊耳孔中时的差分参考前景二值化图像的示意图，图7为在吊钩处于差分位置且吊钩进入吊耳孔中时的差分参考前景二值化图像的示意图。在该实施例中，二值化处理可以为固定阈值的方式。
步骤207：将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
步骤208：将第一参考前景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑异或处理，得到第二目标二值化图像。
在本步骤中，第二目标二值化图像为如图10和图11所示的图像，其中，图10为在吊钩未进入吊耳孔中时的第二目标二值化图像的示意图，图11为在吊钩进入吊耳孔中时的第二目标二值化图像的示意图。
在本发明一个实施例中，图3所示的方法具体包括以下步骤：
步骤301：将第一参考图像进行聚类处理，得到第一参考背景图像；
在本步骤中，聚类处理例如可以是K-means聚类处理，K-means聚类处理具有收敛速度快、鲁棒性强、较高的可伸缩性和高效性等优点。在该实施例中，K可以选取为2，以聚类出前景像素点和背景像素点。
步骤302：将第一参考背景图像进行二值化处理，得到第一参考背景二值化图像；
在本步骤中，第一参考背景二值化图像为如图9所示的图像。在该实施例中，二值化处理可以为固定阈值的方式。
步骤303：将第二参考图像进行聚类处理，得到第二参考前景图像；
在本步骤中，为尽量保证第二参考前景图像的失真率，对第二参考图像所进行的聚类处理也可以选取K-means聚类处理。
步骤304：将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
在本步骤中，第二参考前景二值化图像为如图4和图5所示的图像，其中，图4为在吊钩处于第二位置且吊钩未进入吊耳孔中时的第二参考前景二值化图像的示意图，图5为在吊钩处于第二位置且吊钩进入吊耳孔中时的第二参考前景二值化图像的示意图。在该实施例中，二值化处理可以为固定阈值的方式。
步骤305：将差分参考图像进行聚类处理，得到差分参考前景图像；
在本步骤中，为尽量保证差分参考前景图像的失真率，对差分参考图像所进行的聚类处理也可以选取K-means聚类处理。
步骤306：将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
在本步骤中，差分参考前景二值化图像为如图6和图7所示的图像，其中，图6为在吊钩处于差分位置且吊钩未进入吊耳孔中时的差分参考前景二值化图像的示意图，图7为在吊钩处于差分位置且吊钩进入吊耳孔中时的差分参考前景二值化图像的示意图。在该实施例中，二值化处理可以为固定阈值的方式。
步骤307：将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
步骤308：将第一参考背景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑与处理，得到第二目标二值化图像。
在本步骤中，第二目标二值化图像为如图10和图11所示的图像，其中，图10为在吊钩未进入吊耳孔中时的第二目标二值化图像的示意图，图11为在吊钩进入吊耳孔中时的第二目标二值化图像的示意图。
可以理解的是，还可以对通过图2和图3所示的方法得到第二目标二值化图像再次进行筛选，例如对第二目标二值化图像进行目标位置区域的分割，以分割出如图12所示的图像，图12所示的图像能够表征吊钩进入吊耳孔中。
如图13所示，本发明实施例提供了一种吊钩到位检测装置，包括：
一个第一图像获取模块401，用于在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，待检测区域为包含吊耳孔的区域，第一位置用于表征吊钩在未接收到与吊耳孔配合的控制指令时的位置；
一个第二图像获取模块402，用于在吊钩处于第二位置时，获取待检测区域的第二参考图像，其中，第二位置用于表征吊钩在执行与吊耳孔配合的控制指令之后的位置；
一个差分处理模块403，用于将第二参考图像与第一参考图像进行差分处理，得到差分参考图像；
一个目标位置区域确定模块404，用于根据吊耳孔在第一参考图像中所处的位置，确定在图像中吊耳孔所处的目标位置区域；
一个吊钩到位确定模块405，用于根据差分参考图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明实施例中，第一图像获取模块401可用于执行上述方法实施例中的步骤101，第二图像获取模块402可用于执行上述方法实施例中的步骤102，差分处理模块403可用于执行上述方法实施例中的步骤103，目标位置区域确定模块404可用于执行上述方法实施例中的步骤104，吊钩到位确定模块405可用于执行上述方法实施例中的步骤105。
在本发明一个实施例中，在图13所示吊钩到位检测装置的基础上，吊钩到位确定模块405，用于执行如下操作：
将第二参考图像进行二值化处理，得到第二参考二值化图像；
将差分参考图像进行二值化处理，得到差分参考二值化图像；
将第二参考二值化图像和差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第一目标二值化图像；
根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明一个实施例中，吊钩到位确定模块405在执行根据第一目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中时，用于执行如下操作：
将第一参考图像进行二值化处理，得到第一参考二值化图像；
将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像；
根据第二目标二值化图像中位于目标位置区域内的像素点的像素值，确定吊钩是否进入吊耳孔中。
在本发明一个实施例中，吊钩到位确定模块405在执行将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像时，用于执行如下操作：
将第一参考图像进行聚类处理，得到第一参考前景图像；
将第一参考前景图像进行二值化处理，得到第一参考前景二值化图像；
将第二参考图像进行聚类处理，得到第二参考前景图像；
将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将差分参考图像进行聚类处理，得到差分参考前景图像；
将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将第一参考前景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑异或处理，得到第二目标二值化图像。
在本发明一个实施例中，吊钩到位确定模块405在执行将第一参考二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像时，用于执行如下操作：
将第一参考图像进行聚类处理，得到第一参考背景图像；
将第一参考背景图像进行二值化处理，得到第一参考背景二值化图像；
将第二参考图像进行聚类处理，得到第二参考前景图像；
将第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将差分参考图像进行聚类处理，得到差分参考前景图像；
将差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将第二参考前景二值化图像和差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将第一参考背景二值化图像和第一目标二值化图像中的所有像素点的像素值进行逻辑与处理，得到第二目标二值化图像。
在本发明一个实施例中，吊钩到位确定模块405，用于执行如下操作：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定目标像素点所占的像素面积是否大于预设的面积阈值；
如果是，则确定吊钩进入吊耳孔中；
如果否，则确定吊钩未进入吊耳孔中。
在本发明一个实施例中，目标位置区域的轮廓为矩形，吊钩到位确定模块405，用于执行如下操作：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值位于预设的像素值范围的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓的长边和短边的比例是否位于预设的比例范围内；
如果位于预设的比例范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的比例范围内，则确定吊钩未进入吊耳孔中。
在本发明一个实施例中，目标位置区域的轮廓为矩形，且该轮廓与水平方向之间具有夹角，吊钩到位确定模块405，用于执行如下操作：
在差分参考图像中位于目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所有目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内；
如果位于预设的角度范围内，则确定吊钩进入吊耳孔中；
如果未位于预设的角度范围内，则确定吊钩未进入吊耳孔中。
如图14所示，本发明一个实施例提供了另一种吊钩到位检测装置，包括：至少一个存储器501和至少一个处理器502；
至少一个存储器501，用于存储机器可读程序；
至少一个处理器502，用于调用机器可读程序，执行上述各个实施例所提供的吊钩到位检测方法。
本发明还提供了一种计算机可读介质，存储用于使一计算机执行如本文的吊钩到位检测方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (18)
1.吊钩到位检测方法，其特征在于，包括：
在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，所述待检测区域为包含吊耳孔的区域，所述第一位置用于表征所述吊钩在未接收到使吊钩进入吊耳孔的控制指令时的位置；
在所述吊钩处于第二位置时，获取所述待检测区域的第二参考图像，其中，所述第二位置用于表征所述吊钩在执行使吊钩进入吊耳孔的控制指令之后的位置；
将所述第二参考图像与所述第一参考图像进行差分处理，得到差分参考图像；
根据所述吊耳孔在所述第一参考图像中所处的位置，确定在图像中所述吊耳孔所处的目标位置区域；
根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中，包括：
将所述第二参考图像进行二值化处理，得到第二参考二值化图像；
将所述差分参考图像进行二值化处理，得到差分参考二值化图像；
将所述第二参考二值化图像和所述差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第一目标二值化图像；
根据所述第一目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中，包括：
将所述第一参考图像进行二值化处理，得到第一参考二值化图像；
将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像；
根据所述第二目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像，包括：
将所述第一参考图像进行聚类处理，得到第一参考前景图像；
将所述第一参考前景图像进行二值化处理，得到第一参考前景二值化图像；
将所述第二参考图像进行聚类处理，得到第二参考前景图像；
将所述第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将所述差分参考图像进行聚类处理，得到差分参考前景图像；
将所述差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将所述第二参考前景二值化图像和所述差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将所述第一参考前景二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑异或处理，得到第二目标二值化图像。
5.根据权利要求3所述的方法，其特征在于，所述将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像，包括：
将所述第一参考图像进行聚类处理，得到第一参考背景图像；
将所述第一参考背景图像进行二值化处理，得到第一参考背景二值化图像；
将所述第二参考图像进行聚类处理，得到第二参考前景图像；
将所述第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将所述差分参考图像进行聚类处理，得到差分参考前景图像；
将所述差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将所述第二参考前景二值化图像和所述差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将所述第一参考背景二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑与处理，得到第二目标二值化图像。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中，包括：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所述目标像素点所占的像素面积是否大于预设的面积阈值；
如果是，则确定所述吊钩进入所述吊耳孔中；
如果否，则确定所述吊钩未进入所述吊耳孔中。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标位置区域的轮廓为矩形，所述根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中，包括：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值位于预设的像素值范围的像素点为目标像素点；
确定所有所述目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓的长边和短边的比例是否位于预设的比例范围内；
如果位于预设的比例范围内，则确定所述吊钩进入所述吊耳孔中；
如果未位于预设的比例范围内，则确定所述吊钩未进入所述吊耳孔中。
8.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标位置区域的轮廓为矩形，且该轮廓与水平方向之间具有夹角，所述根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中，包括：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所有所述目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内；
如果位于预设的角度范围内，则确定所述吊钩进入所述吊耳孔中；
如果未位于预设的角度范围内，则确定所述吊钩未进入所述吊耳孔中。
9.吊钩到位检测装置，其特征在于，包括：
一个第一图像获取模块，用于在吊钩处于第一位置时，获取待检测区域的第一参考图像，其中，所述待检测区域为包含吊耳孔的区域，所述第一位置用于表征所述吊钩在未接收到使吊钩进入吊耳孔的控制指令时的位置；
一个第二图像获取模块，用于在所述吊钩处于第二位置时，获取所述待检测区域的第二参考图像，其中，所述第二位置用于表征所述吊钩在执行使吊钩进入吊耳孔的控制指令之后的位置；
一个差分处理模块，用于将所述第二参考图像与所述第一参考图像进行差分处理，得到差分参考图像；
一个目标位置区域确定模块，用于根据所述吊耳孔在所述第一参考图像中所处的位置，确定在图像中所述吊耳孔所处的目标位置区域；
一个吊钩到位确定模块，用于根据所述差分参考图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
10.根据权利要求9所述的装置，其特征在于，所述吊钩到位确定模块，用于执行如下操作：
将所述第二参考图像进行二值化处理，得到第二参考二值化图像；
将所述差分参考图像进行二值化处理，得到差分参考二值化图像；
将所述第二参考二值化图像和所述差分参考二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第一目标二值化图像；
根据所述第一目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
11.根据权利要求10所述的装置，其特征在于，所述吊钩到位确定模块在执行所述根据所述第一目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中时，用于执行如下操作：
将所述第一参考图像进行二值化处理，得到第一参考二值化图像；
将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像；
根据所述第二目标二值化图像中位于所述目标位置区域内的像素点的像素值，确定所述吊钩是否进入所述吊耳孔中。
12.根据权利要求11所述的装置，其特征在于，所述吊钩到位确定模块在执行所述将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像时，用于执行如下操作：
将所述第一参考图像进行聚类处理，得到第一参考前景图像；
将所述第一参考前景图像进行二值化处理，得到第一参考前景二值化图像；
将所述第二参考图像进行聚类处理，得到第二参考前景图像；
将所述第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将所述差分参考图像进行聚类处理，得到差分参考前景图像；
将所述差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将所述第二参考前景二值化图像和所述差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将所述第一参考前景二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑异或处理，得到第二目标二值化图像。
13.根据权利要求11所述的装置，其特征在于，所述吊钩到位确定模块在执行所述将所述第一参考二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑运算处理，得到第二目标二值化图像时，用于执行如下操作：
将所述第一参考图像进行聚类处理，得到第一参考背景图像；
将所述第一参考背景图像进行二值化处理，得到第一参考背景二值化图像；
将所述第二参考图像进行聚类处理，得到第二参考前景图像；
将所述第二参考前景图像进行二值化处理，得到第二参考前景二值化图像；
将所述差分参考图像进行聚类处理，得到差分参考前景图像；
将所述差分参考前景图像进行二值化处理，得到差分参考前景二值化图像；
将所述第二参考前景二值化图像和所述差分参考前景二值化图像中的所有像素点的像素值进行逻辑与处理，得到第一目标二值化图像；
将所述第一参考背景二值化图像和所述第一目标二值化图像中的所有像素点的像素值进行逻辑与处理，得到第二目标二值化图像。
14.根据权利要求9-13中任一项所述的装置，其特征在于，所述吊钩到位确定模块，用于执行如下操作：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所述目标像素点所占的像素面积是否大于预设的面积阈值；
如果是，则确定所述吊钩进入所述吊耳孔中；
如果否，则确定所述吊钩未进入所述吊耳孔中。
15.根据权利要求9-13中任一项所述的装置，其特征在于，所述目标位置区域的轮廓为矩形，所述吊钩到位确定模块，用于执行如下操作：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值位于预设的像素值范围的像素点为目标像素点；
确定所有所述目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓的长边和短边的比例是否位于预设的比例范围内；
如果位于预设的比例范围内，则确定所述吊钩进入所述吊耳孔中；
如果未位于预设的比例范围内，则确定所述吊钩未进入所述吊耳孔中。
16.根据权利要求9-13中任一项所述的装置，其特征在于，所述目标位置区域的轮廓为矩形，且该轮廓与水平方向之间具有夹角，所述吊钩到位确定模块，用于执行如下操作：
在所述差分参考图像中位于所述目标位置区域内的像素点中，确定像素值大于预设的像素阈值的像素点为目标像素点；
确定所有所述目标像素点形成的轮廓是否为矩形，如果为矩形，则确定该轮廓与水平方向之间的夹角是否位于预设的角度范围内；
如果位于预设的角度范围内，则确定所述吊钩进入所述吊耳孔中；
如果未位于预设的角度范围内，则确定所述吊钩未进入所述吊耳孔中。
17.吊钩到位检测装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至8中任一项所述的方法。
18.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011028628.4A CN112150544B (zh) | 2020-09-24 | 2020-09-24 | 吊钩到位检测方法、装置和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011028628.4A CN112150544B (zh) | 2020-09-24 | 2020-09-24 | 吊钩到位检测方法、装置和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112150544A true CN112150544A (zh) | 2020-12-29 |
| CN112150544B CN112150544B (zh) | 2024-03-19 |
Family
ID=73897475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011028628.4A Active CN112150544B (zh) | 2020-09-24 | 2020-09-24 | 吊钩到位检测方法、装置和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150544B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450405A (zh) * | 2021-08-31 | 2021-09-28 | 河南科技学院 | 一种堆场起重机圆筒件定位及抓钩挂钩方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09161070A (ja) * | 1995-12-11 | 1997-06-20 | Nec Corp | 領域検出方法および装置 |
| US20070025592A1 (en) * | 2005-07-27 | 2007-02-01 | Kabushiki Kaisha Toshiba | Target-region detection apparatus, method and program |
| CN107428261A (zh) * | 2015-03-13 | 2017-12-01 | 株式会社明电舍 | 基于图像处理的吊钩检测装置 |
| WO2018195797A1 (zh) * | 2017-04-26 | 2018-11-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测方法、检测设备以及机器人 |
| CN108846844A (zh) * | 2018-04-13 | 2018-11-20 | 上海大学 | 一种基于海天线的海面目标检测方法 |
| US20190095742A1 (en) * | 2017-09-26 | 2019-03-28 | Canon Kabushiki Kaisha | Image processing apparatus, method, and non-transitory computer-readable storage medium |
| CN109829919A (zh) * | 2019-01-31 | 2019-05-31 | 苏州晟成光伏设备有限公司 | 一种太阳能电池片的视觉定位方法 |
| CN110008833A (zh) * | 2019-02-27 | 2019-07-12 | 中国科学院半导体研究所 | 基于光学遥感图像的目标船只检测方法 |
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
| JP2019192022A (ja) * | 2018-04-26 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2020
- 2020-09-24 CN CN202011028628.4A patent/CN112150544B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09161070A (ja) * | 1995-12-11 | 1997-06-20 | Nec Corp | 領域検出方法および装置 |
| US20070025592A1 (en) * | 2005-07-27 | 2007-02-01 | Kabushiki Kaisha Toshiba | Target-region detection apparatus, method and program |
| CN107428261A (zh) * | 2015-03-13 | 2017-12-01 | 株式会社明电舍 | 基于图像处理的吊钩检测装置 |
| WO2018195797A1 (zh) * | 2017-04-26 | 2018-11-01 | 深圳配天智能技术研究院有限公司 | 一种视觉检测方法、检测设备以及机器人 |
| US20190095742A1 (en) * | 2017-09-26 | 2019-03-28 | Canon Kabushiki Kaisha | Image processing apparatus, method, and non-transitory computer-readable storage medium |
| CN108846844A (zh) * | 2018-04-13 | 2018-11-20 | 上海大学 | 一种基于海天线的海面目标检测方法 |
| JP2019192022A (ja) * | 2018-04-26 | 2019-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN109829919A (zh) * | 2019-01-31 | 2019-05-31 | 苏州晟成光伏设备有限公司 | 一种太阳能电池片的视觉定位方法 |
| CN110008833A (zh) * | 2019-02-27 | 2019-07-12 | 中国科学院半导体研究所 | 基于光学遥感图像的目标船只检测方法 |
| CN110047063A (zh) * | 2019-03-21 | 2019-07-23 | 深圳市燕麦科技股份有限公司 | 一种物料掉落的检测方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450405A (zh) * | 2021-08-31 | 2021-09-28 | 河南科技学院 | 一种堆场起重机圆筒件定位及抓钩挂钩方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112150544B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106067023B (zh) | 基于图像处理的集装箱箱号及集卡车号识别系统及方法 | |
| US10015371B2 (en) | Electronic device and image tracking method thereof | |
| JP5657788B2 (ja) | 交通標識認識方法 | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| KR101717613B1 (ko) | 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법 | |
| US9076037B2 (en) | Image processing apparatus and method | |
| JP2006318474A (ja) | 画像シーケンス内のオブジェクトを追跡するための方法及び装置 | |
| CN108146093A (zh) | 一种去除票据印章的方法 | |
| CN110675373A (zh) | 一种组件安装检测方法、装置和系统 | |
| CN105160682A (zh) | 图像边缘检测方法及装置 | |
| KR101613703B1 (ko) | 차량영상검지와 번호판 영역 추출방법 | |
| CN111046741A (zh) | 车道线识别的方法和装置 | |
| CN112150544B (zh) | 吊钩到位检测方法、装置和计算机可读介质 | |
| CN108182691B (zh) | 识别限速标志的方法、装置及车辆 | |
| Lin et al. | License plate recognition based on mathematical morphology and template matching | |
| CN113310992A (zh) | 一种基于图像识别技术的压铸成品检测系统 | |
| CN107886035B (zh) | 识别箭头交通灯的方法、装置及车辆 | |
| US10739573B2 (en) | Image processing apparatus and image processing method for achieving visibility of an entire image used for capturing a microscopic image and accuracy of edge detection | |
| CN109257594B (zh) | 电视出厂检测方法、装置及计算机可读存储介质 | |
| CN107845080B (zh) | 卡片图像增强方法 | |
| JP2017174380A (ja) | 認識装置、物体の認識方法、プログラム、及び、記憶媒体 | |
| JP2017058950A (ja) | 認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラム | |
| KR101501531B1 (ko) | 스테레오 비전 기반 보행자 검출 시스템 및 그 방법 | |
| KR101362595B1 (ko) | 차선 인식 방법 및 시스템 | |
| CN111639642B (zh) | 一种图像处理方法、设备及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |