CN112381843A - 工业自动化扫描监控方法、系统、终端设备和存储介质 - Google Patents
工业自动化扫描监控方法、系统、终端设备和存储介质 Download PDFInfo
- Publication number
- CN112381843A CN112381843A CN202011222476.1A CN202011222476A CN112381843A CN 112381843 A CN112381843 A CN 112381843A CN 202011222476 A CN202011222476 A CN 202011222476A CN 112381843 A CN112381843 A CN 112381843A
- Authority
- CN
- China
- Prior art keywords
- area
- depth map
- detection area
- image
- detected object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000877 morphologic effect Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 7
- 239000000725 suspension Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 16
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000006854 communication Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明提供一种工业自动化扫描监控方法、系统、终端设备和存储介质，方法包括：采用深度相机获取监控画面，在监控画面中将待检测区域运行的范围进行划定得到检测区域；提取背景深度图；将当前帧的深度图与所述背景深度图做差分获取差分深度图；对所述差分深度图进行进二值化，得到二值化图像；对所述二值化图像进行形态学处理；提取被测物的外接轮廓；计算被测物的轮廓与检测区域的交集并计算交集对应的像素面积；如果像素面积大于面积阈值则确定被测物进入所述检测区域，如果像素面积小于面积阈值则确定检测区域无被测物。减少了环境干扰，简化了算法实现，占用内存小，提高了系统的可集成性；减少了硬件数量，降低了硬件成本，提高安全性。
Description
技术领域
本发明涉及工业自动化扫描监控技术领域，尤其涉及一种工业自动化扫描监控方法、系统、终端设备和存储介质。
背景技术
随着经济和科学技术的发展，在工业领域中越来越多的场景使用自动化技术。在使用自动化技术的同时，人们对于工业自动化过程中人员和财产的安全也越来越重视。由于工业自动化扫描过程中使用了工业机械臂，机械臂自动运行速度快又没有自动防碰撞功能，一旦发生意外后果不堪设想，所以研究工业自动化扫描工作区域的安全监控以及与系统的集成变得非常有意义。
要实现工业自动化扫描区域的安全监控系统，可以采用物理和虚拟的方法实现。物理的方法是通过电子围栏设置物理障碍实现区域监控与报警。虚拟的方法是利用相机拍摄视频监控自动化运行的区域，然后利用图像处理算法判断是否有人或其他被测物进入。利用的图像处理算法主要有基于传统的图像处理算法和基于深度学习的图像处理算法。基于传统的图像处理方法主要是背景差法提取前景，然后利用帧差来判断是否进入区域；基于深度学习的方法来进行检测，有的是直接检测人，有的是检测人体关键点如脚踝关键点等。基本流程都是通过收集数据集训练相应的神经网络模型，然后将对应的模型部署到客户端。
使用电子围栏的方法会将整个工作区域围起来，起到了防止人员进入的作用，但是对于自动化扫描过程中的零件替换等工作不方便。电子围栏一般由电子围栏主机、前端配件、后端控制系统组成，在与工业自动化扫描系统进行集成时导致软硬件系统过多，提高了集成部署的复杂度。
基于视频监控的方法目前使用的相机主要是基于亮度的普通相机或者温度的红外相机，此类相机容易受到光照、温度的影响。而为了克服光照、温度的影响，算法复杂度又会增加。基于传统图像处理算法的算法需要不断的更新背景，更新需要时间而机械臂自动运行速度较快，如果背景更新过慢则容易造成人员与财产的损害。基于深度学习的图像处理方法在训练深度学习模型需要大量的数据才能训练出符合检测精度的深度学习模型，但在实际应用中很难拥有大量的实际数据。由于在工业环境中会有各种各样的环境，每当工作环境改变时都需要重新训练调优深度学习模型，因此导致鲁棒性较差，时间成本较高。
上述方法都需要自己独立的主机，而自动扫描系统及设备也需要独立的主机，这样造成了硬件资源的浪费。另一方面上述方法主要是进行防御和报警，在自动化扫描设备运行期间如果有人进入，工业机械臂还会继续运行导致人员和财产的损失。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种工业自动化扫描监控方法、系统、终端设备和存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种工业自动化扫描监控方法，包括如下步骤：S1：采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；S2：提取背景深度图；S3：将当前帧的深度图与所述背景深度图做差分获取差分深度图；S4：对所述差分深度图进行进二值化，得到二值化图像；S5：对所述二值化图像进行形态学处理；S6：提取被测物的外接轮廓；S7：计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
优选地，还包括：S8：根据是否有所述被测物进入所述检测区域控制机械臂自动扫描过程的暂停和恢复。
优选地，通过发出信号控制所述机械臂自动扫描过程的暂停和恢复。
优选地，发出的信号包括暂停信号和取消暂停信号；根据如下规则发出信号：每一帧所述深度图检测到所述检测区域有所述被测物则返回1，否则返回0；统计当前连续多帧所述深度图检测结果的和，并与之前相同帧数的所述深度图检测结果的和比较，如果相同则不发送信号；如果不同且当前和为所述帧数相同则发送暂停信号；如果不同且当前和为0则发送取消暂停信号；其余情况不发送信号。
优选地，对所述差分深度图进行进二值化的阈值通过以下公式确定：
threshold＝Diff_imgmax*coeff
其中，Diff_imgmax为差分深度图最大值，coeff为比例系数。
优选地，采用如下公式对所述二值化图像进行形态学处理：
Open_image＝dilate(erode(Diff_image,element))
Close_image＝erode(dilate(Open_image,element))
其中，在形态学处理中膨胀dilate是求局部最大值的操作，腐蚀erode是求局部最小值的操作，Open_image为形态学开操作；Close_image为形态学闭操作，element为使用的模板尺寸，Throd_image为二值化后的差分深度图。
优选地，通过如下公式计算所述被测物的轮廓Obj_Area与检测区域Orgin_Area的交集Judge_Area：
Judge_Area＝Obj_Area∩Orgin_Area
所述面积阈值为根据所述深度相机的分辨率设置的固定值。
本发明还提供一种工业自动化扫描监控系统，包括：第一单元：用于采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；第二单元：用于提取背景深度图；第三单元：用于将当前帧的深度图与所述背景深度图做差分获取差分深度图；第四单元：用于用于对所述差分深度图进行进二值化，得到二值化图像；第五单元：对所述二值化图像进行形态学处理；第六单元：用于提取被测物的外接轮廓；第七单元：用于计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
本发明又提供一种工业自动化扫描监控终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
本发明再提高一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种工业自动化扫描监控方法、系统、终端设备和存储介质，通过深度相机的深度信息进行监控，减少了环境干扰，简化了算法实现，占用内存小，不会影响自动扫描过程的重建与计算过程，提高了系统的可集成性；减少了硬件数量，降低了硬件成本。
进一步地，本发明通过深度相机采集的深度信息进行监控，克服了传统相机易受光照和温度影响的问题，降低了算法的复杂度，使得在各种工业自动化环境下都可以快速部署运行，提高了系统的场景适用性和易用性；而且随着深度相机的成本不断下降，也降低了整个系统的成本。
再进一步地，通过监控部分与扫描部分的通信对机械臂的暂停与恢复进行自动控制，提升了系统的安全性。
附图说明
图1是本发明实施例中第一种工业自动化扫描监控方法的示意图。
图2是本发明实施例中第二种工业自动化扫描监控方法的示意图。
图3是本发明实施例中一种工业自动化扫描监控硬件系统的示意图。
图4是本发明实施例中第一种工业自动化扫描监控系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种工业自动化扫描监控方法，包括如下步骤：
S1：采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；
S2：提取背景深度图；
S3：将当前帧的深度图与所述背景深度图做差分获取差分深度图；
S4：对所述差分深度图进行进二值化，得到二值化图像；
S5：对所述二值化图像进行形态学处理；
S6：提取被测物的外接轮廓；
S7：计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
本发明通过深度相机的深度信息进行监控，减少了环境干扰，简化了算法实现，占用内存小，不会影响自动扫描过程的重建与计算过程，提高了系统的可集成性；减少了硬件数量，降低了硬件成本。
进一步地，本发明通过深度相机采集的深度信息进行监控，克服了传统相机易受光照和温度影响的问题，降低了算法的复杂度，使得在各种工业自动化环境下都可以快速部署运行，提高了系统的场景适用性和易用性；而且随着深度相机的成本不断下降，也降低了整个系统的成本。
现有技术中，基于传统相机的监控系统算法复杂度高，硬件系统利用率低的问题和检测到目标进入危险区域后自动化设备没有进行进一步处理导致的安全性问题。
如图2所示，本发明的方法还包括：
S8：根据是否有所述被测物进入所述检测区域控制机械臂自动扫描过程的暂停和恢复。
在本发明的一种实施例中，被测物是人或其他物体。
本发明的方法，在自动化扫描中增加了监控系统与机械臂的通信，不只是发出警告，而是可以安全稳定的控制机械臂自动暂停和恢复，提高了整个系统的智能化。
在本发明的一种实施例中，通过发出信号控制机械臂自动扫描过程的暂停和恢复。
具体地，发出的信号包括暂停信号和取消暂停信号；在本发明的一种实施例中根据如下规则发出信号：每一帧所述深度图检测到所述检测区域有被测物则返回1，否则返回0；
统计当前连续多帧所述深度图检测结果的和，并与之前相同帧数的所述深度图检测结果的和比较，如果相同则不发送信号；
如果不同且当前和为所述帧数相同则发送暂停信号；
如果不同且当前和为0则发送取消暂停信号；
其余情况不发送信号。
本发明的方法由于在通信的过程中设计了相应的容错机制，不需要不断的发送信号，降低了误操作的可能性，提高了系统的抗干扰性。
如图3所示，本发明的硬件系统包括将柜体1、机械臂2、转盘3、扫描侧头4、深度相机5、主机6有序组装起来，使用的监控相机为深度相机；使用深度相机可以克服光照、温度等的影响，可以降低后续检测算法的复杂度。图中还可以看到监控区域7和被扫描物8。
将承载扫描方法、工业自动化扫描监控以及相应驱动方法的软件或其他存储介质安装到同一台主机上。由于使用的算法占用内存小，运行时不会影响重建与匹配的过程，因此可以部署在同一台主机上。
将所有的硬件上电，启动扫描软件创建网络服务器端；运行机械臂程序连接服务器端；启动区域控制软件连接服务器端；打开转盘通过串口连接到扫描软件。
然后，采用本发明的方法进行工业自动化扫描监控。
(1)采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；
(2)提取背景深度图；在本发明的一种实施例中，利用深度相机采集的前50帧的深度图像，提取背景的深度图。
(3)将当前帧的深度图与所述背景深度图做差分获取差分深度图；
(4)对所述差分深度图进行进二值化，得到二值化图像；由于在工业自动化环境下主要是保障被测物比如人的安全，而人是有一定身高的，所以可以将深度值作为阈值。将二值化使用的阈值设置为差分深度图最大值的一定比例，增加了自适应能力。在本发明的一种实施例中，对所述差分深度图进行进二值化的阈值通过以下公式确定：
threshold＝Diff_imgmax*coeff
其中，Diff_imgmax为差分深度图最大值，coeff为比例系数。
(5)对所述二值化图像进行形态学处理；由于二值化后图像中可能由于图像采集等其他原因，会有噪声的混入，对后续的提取造成干扰。因此利用形态学处理的方法滤除掉相应的噪声干扰。在本发明的一种实施例中，采用如下公式对所述二值化图像进行形态学处理：
Open_image＝dilate(erode(Diff_image,element))
Close_image＝erode(dilate(Open_image,element))
其中，在形态学处理中膨胀dilate是求局部最大值的操作，腐蚀erode是求局部最小值的操作，Open_image为形态学开操作，可以消除小物体；
Close_image为形态学闭操作，可以排除小型黑洞；element为使用的模板尺寸，Throd_image为二值化后的差分深度图。
(6)提取被测物的外接轮廓；提取被测物的外接轮廓用于后续的面积判断。
(7)计算所述被测物的轮廓与检测区域的交集并计算交集对应的像素面积；如果像素面积大于面积阈值则确定有被测物进入所述检测区域，如果小于面积阈值则确定检测区域无被测物。
在本发明的一种实施例中，通过如下公式计算所述被测物的轮廓Obj_Area与检测区域Orgin_Area的交集Judge_Area：
Judge_Area＝Obj_Area∩Orgin_Area
所述面积阈值为根据所述深度相机的分辨率设置的固定值，根据深度相机的分辨率设置。
进一步地，与扫描软件通信根据是否有被测物进入检测区域控制机械臂自动扫描过程的暂停和恢复。在设备运行期间，如果有被测物进入到工作区域，则监控系统发出暂停信号给扫描软件，扫描软件控制机械臂和设备停止运行。当被测物离开工作区域后，监控系统发出恢复信号给扫描软件，机械臂与设备自动恢复运行状态，继续完成自动化扫描流程。通过该过程实现了整个系统的智能化控制。
如果检测结果信号每帧都发送，则存在扫描软件发送给机械臂的运动停止恢复信号被跳过的风险。如果只判断前后两帧的变化，则存在发送对部分误检测反应过度的风险，造成设备的磨损。本发明使用以下原则进行信号的发送：
设定每一帧检测到有被测物返回1，否则返回0；
统计当前连续多帧结果的和如下，N为判断用的帧数，设置为合适值可提高系统稳定性；
如果与之前连续多帧的和比较，如果sum_now＝sum_pre则不发送信号；
如果sum_now≠sum_pre，且sum_now＝N则发送暂停信号；
如果sum_now≠sum_pre，且sum_now＝0则发送取消暂停信号；
其余情况不发送信号。
当工业自动化扫描过程完成，不再使用设备时，关闭监控系统与扫描软件系统，关闭各电源停止整个系统。
如图4所示，本发明还提供一种工业自动化扫描监控系统，包括：
第一单元：用于采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；
第二单元：用于提取背景深度图；
第三单元：用于将当前帧的深度图与所述背景深度图做差分获取差分深度图；
第四单元：用于用于对所述差分深度图进行进二值化，得到二值化图像；
第五单元：对所述二值化图像进行形态学处理；
第六单元：用于提取被测物的外接轮廓；
第七单元：用于计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种工业自动化扫描监控方法，其特征在于，包括如下步骤：
S1：采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；
S2：提取背景深度图；
S3：将当前帧的深度图与所述背景深度图做差分获取差分深度图；
S4：对所述差分深度图进行进二值化，得到二值化图像；
S5：对所述二值化图像进行形态学处理；
S6：提取被测物的外接轮廓；
S7：计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
2.如权利要求1所述的工业自动化扫描监控方法，其特征在于，还包括：
S8：根据是否有所述被测物进入所述检测区域控制机械臂自动扫描过程的暂停和恢复。
3.如权利要求2所述的工业自动化扫描监控方法，其特征在于，通过发出信号控制所述机械臂自动扫描过程的暂停和恢复。
4.如权利要求3所述的工业自动化扫描监控方法，其特征在于，发出的信号包括暂停信号和取消暂停信号；
根据如下规则发出信号：
每一帧所述深度图检测到所述检测区域有所述被测物则返回1，否则返回0；
统计当前连续多帧所述深度图检测结果的和，并与之前相同帧数的所述深度图检测结果的和比较，如果相同则不发送信号；
如果不同且当前和为所述帧数相同则发送暂停信号；
如果不同且当前和为0则发送取消暂停信号；
其余情况不发送信号。
5.如权利要求1所述的工业自动化扫描监控方法，其特征在于，对所述差分深度图进行进二值化的阈值通过以下公式确定：
threshold＝Diff_imgmax*coeff
其中，Diff_imgmax为差分深度图最大值，coeff为比例系数。
6.如权利要求5所述的工业自动化扫描监控方法，其特征在于，采用如下公式对所述二值化图像进行形态学处理：
Open_image＝dilate(erode(Diff_image,element))
Close_image＝erode(dilate(Open_image,element))
其中，在形态学处理中膨胀dilate是求局部最大值的操作，腐蚀erode是求局部最小值的操作，Open_image为形态学开操作；Close_image为形态学闭操作，element为使用的模板尺寸，Throd_image为二值化后的差分深度图。
7.如权利要求6所述的工业自动化扫描监控方法，其特征在于，通过如下公式计算所述被测物的轮廓Obj_Area与检测区域Orgin_Area的交集Judge_Area：
Judge_Area＝Obj_Area∩Orgin_Area
所述面积阈值为根据所述深度相机的分辨率设置的固定值。
8.一种工业自动化扫描监控系统，其特征在于，包括：
第一单元：用于采用深度相机获取监控画面，在监控画面中将待检测区域的范围进行划定得到检测区域；
第二单元：用于提取背景深度图；
第三单元：用于将当前帧的深度图与所述背景深度图做差分获取差分深度图；
第四单元：用于用于对所述差分深度图进行进二值化，得到二值化图像；
第五单元：对所述二值化图像进行形态学处理；
第六单元：用于提取被测物的外接轮廓；
第七单元：用于计算所述被测物的轮廓与所述检测区域的交集并计算所述交集对应的像素面积；如果所述像素面积大于面积阈值则确定所述被测物进入所述检测区域，如果所述像素面积小于面积阈值则确定所述检测区域无所述被测物。
9.一种工业自动化扫描监控终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222476.1A CN112381843B (zh) | 2020-11-05 | 2020-11-05 | 工业自动化扫描监控方法、系统、终端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222476.1A CN112381843B (zh) | 2020-11-05 | 2020-11-05 | 工业自动化扫描监控方法、系统、终端设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381843A true CN112381843A (zh) | 2021-02-19 |
| CN112381843B CN112381843B (zh) | 2024-05-03 |
Family
ID=74578465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011222476.1A Active CN112381843B (zh) | 2020-11-05 | 2020-11-05 | 工业自动化扫描监控方法、系统、终端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381843B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387248A (zh) * | 2022-01-12 | 2022-04-22 | 苏州天准科技股份有限公司 | 一种硅料熔化度监测方法、存储介质、终端和拉晶设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0355194A (ja) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | ロボットの遠隔操作装置 |
| CN202095044U (zh) * | 2011-08-05 | 2011-12-28 | 北京驰程万里宏远科技有限公司 | 一种智能大厦建筑建设期间安防系统 |
| CN108776460A (zh) * | 2018-05-02 | 2018-11-09 | 南京航空航天大学 | 基于pc的高速图像检测分拣生产线控制系统及其控制方法 |
| CN109086724A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 一种加速的人脸检测方法及存储介质 |
-
2020
- 2020-11-05 CN CN202011222476.1A patent/CN112381843B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0355194A (ja) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | ロボットの遠隔操作装置 |
| CN202095044U (zh) * | 2011-08-05 | 2011-12-28 | 北京驰程万里宏远科技有限公司 | 一种智能大厦建筑建设期间安防系统 |
| CN108776460A (zh) * | 2018-05-02 | 2018-11-09 | 南京航空航天大学 | 基于pc的高速图像检测分拣生产线控制系统及其控制方法 |
| CN109086724A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 一种加速的人脸检测方法及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MARCOS SOARES 等: "Object Avoiding FSM Robot Arm", Retrieved from the Internet <URL:https://www.hackster.io/Marcos10Soares/object-avoiding-fsm-robot-arm-3f1296> * |
| 模具设计师折镜: "机器人视觉三维成像技术", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/156054355> * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387248A (zh) * | 2022-01-12 | 2022-04-22 | 苏州天准科技股份有限公司 | 一种硅料熔化度监测方法、存储介质、终端和拉晶设备 |
| CN114387248B (zh) * | 2022-01-12 | 2022-11-25 | 苏州天准科技股份有限公司 | 一种硅料熔化度监测方法、存储介质、终端和拉晶设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381843B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1844443B1 (en) | Classifying an object in a video frame | |
| EP1844444B1 (en) | Identifying spurious regions in a video frame | |
| KR101764845B1 (ko) | 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| CN109684976B (zh) | 门状态监测方法、装置、设备和系统及存储介质 | |
| WO2023039781A1 (zh) | 一种遗留物检测方法、装置、电子设备及存储介质 | |
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| CN107786848A (zh) | 运动目标检测与动作识别的方法、装置、终端及存储介质 | |
| CN113628404A (zh) | 一种减少无效告警的方法及装置 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN105046719A (zh) | 一种视频监控方法及系统 | |
| CN111932596A (zh) | 摄像头遮挡区域的检测方法、装置、设备和存储介质 | |
| CN112381843A (zh) | 工业自动化扫描监控方法、系统、终端设备和存储介质 | |
| JP2004282368A (ja) | 移動体監視装置 | |
| Ekinci et al. | Background estimation based people detection and tracking for video surveillance | |
| CN111753587B (zh) | 一种倒地检测方法及装置 | |
| CN112535459A (zh) | 睡眠异常检测方法、装置、电子设备及可读存储介质 | |
| CN115396591A (zh) | 智能双光摄像机图像处理方法、装置、摄像机及介质 | |
| CN114973053A (zh) | 检测方法、装置和系统、存储介质及计算机设备 | |
| Lee et al. | An intelligent video security system using object tracking and shape recognition | |
| CN114005060A (zh) | 图像数据的确定方法及装置 | |
| JPH07129778A (ja) | 画像監視装置 | |
| Foresti et al. | Monitoring motorway infrastructures for detection of dangerous events | |
| CN111243223B (zh) | 一种汽车防刮擦监控报警方法及系统 | |
| JP7480841B2 (ja) | イベントの管理方法、イベント管理装置、システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |