CN113822859B - 基于图像识别的物品检测方法、系统、装置和存储介质 - Google Patents

基于图像识别的物品检测方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN113822859B
CN113822859B CN202110978807.2A CN202110978807A CN113822859B CN 113822859 B CN113822859 B CN 113822859B CN 202110978807 A CN202110978807 A CN 202110978807A CN 113822859 B CN113822859 B CN 113822859B
Authority
CN
China
Prior art keywords
image
detected
detection target
background image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110978807.2A
Other languages
English (en)
Other versions
CN113822859A (zh
Inventor
张立群
陈彦明
梁择成
陈永金
李淼
张大明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Elevator Guangzhou Escalator Co Ltd
Hitachi Building Technology Guangzhou Co Ltd
Original Assignee
Hitachi Elevator Guangzhou Escalator Co Ltd
Hitachi Building Technology Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Elevator Guangzhou Escalator Co Ltd, Hitachi Building Technology Guangzhou Co Ltd filed Critical Hitachi Elevator Guangzhou Escalator Co Ltd
Priority to CN202110978807.2A priority Critical patent/CN113822859B/zh
Publication of CN113822859A publication Critical patent/CN113822859A/zh
Application granted granted Critical
Publication of CN113822859B publication Critical patent/CN113822859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

本发明公开了一种基于图像识别的物品检测方法、系统、计算机装置和存储介质,物品检测方法包括确定待检测图像中相对于背景图像的差异区域,使用人工智能网络对差异区域进行识别,根据识别结果确定差异区域中是否包含物品检测目标,根据包含相同物品检测目标的差异区域的位置,确定物品检测目标的位置变动轨迹等步骤。本发明应用人工智能网络进行处理,从而获得物品检测目标的位置变动轨迹,通过位置变动轨迹可以直观地展示物品检测目标的位置变动,获得比肉眼更加可靠的观察效果,能够准确反映出物品检测目标的位置及其变动,根据位置变动轨迹确定物品检测目标的最终位置,有助于排除故障隐患,保障作业安全。本发明广泛应用于图像处理技术领域。

Description

基于图像识别的物品检测方法、系统、装置和存储介质
技术领域
本发明涉及图像处理技术领域,尤其是一种基于图像识别的物品检测方法、系统、计算机装置和存储介质。
背景技术
在电梯维保等工程施工现场,会使用到扳手、螺丝刀和零配件等体积较小的物品。由于这些物品不显眼,或者因为自身滚动或者被工作人员碰撞而移动到了角落位置被遮挡,因此容易在收拾清理过程中容易忽略这些物品,导致在施工结束收拾清理现场后这些物品被遗漏在现场,一方面导致了施工方的财产损失,另一方面这些物品容易对电梯用户等人员造成绊倒等伤害,还有一方面就是这些物品也存在对电梯等工程设备造成卡住运动机构、电路短路等危险。
目前的相关技术中,对施工现场的小物品检测还是通过施工人员人工进行,由于施工现场场景复杂,肉眼不易发现这些小物品,因此效率低且出错率高。
发明内容
针对上述至少一个技术问题,本发明的目的在于提供一种基于图像识别的物品检测方法、系统、计算机装置和存储介质。
一方面,本发明实施例包括一种基于图像识别的物品检测方法,包括:
获取背景图像和多帧待检测图像;所述背景图像和各所述待检测图像包含相同的待检测区域;
确定所述待检测图像中相对于所述背景图像的差异区域;
配置人工智能网络的物品检测目标;
使用所述人工智能网络对所述差异区域进行识别,根据识别结果确定所述差异区域中包含或不包含所述物品检测目标;
根据包含相同所述物品检测目标的各所述差异区域的位置,确定所述物品检测目标的位置变动轨迹。
进一步地,基于图像识别的物品检测方法还包括:
当检测到所述位置变动轨迹发生中断,获取所述位置变动轨迹在中断前的最终位置;
以所述最终位置指示所述物品检测目标的位置。
进一步地,基于图像识别的物品检测方法还包括:
在所述待检测图像中确定风险区域;
当所述最终位置在所述风险区域内,发出警报。
进一步地,基于图像识别的物品检测方法还包括:
当所述待检测区域内存在工程作业设备,在发出所述警报后以及解除所述警报前,将所述工程作业设备的工作状态锁定为停止状态。
进一步地,所述获取背景图像和多帧待检测图像,包括:
在工程作业开始前,对所述待检测区域进行拍摄,获得所述背景图像;
在工程作业过程中,对所述待检测区域进行录像,获得视频流;
对所述视频流进行帧分解,获得多帧所述待检测图像。
进一步地,所述配置人工智能网络的物品检测目标,包括:
获取多个训练图像;其中,部分所述训练图像包含所述物品检测目标,部分所述训练图像不包含所述物品检测目标;
获取各所述训练图像对应的标签数据;所述标签数据用于表示对应的所述训练图像包含或不包含所述物品检测目标;
以所述训练图像作为所述人工智能网络的输入,以对应的所述标签数据作为所述人工智能网络的期望输出,对所述人工智能网络进行训练。
进一步地,基于图像识别的物品检测方法还包括:
将所述位置变动轨迹叠加到各帧所述待检测图像进行显示。
另一方面,本发明实施例还包括一种基于图像识别的物品检测系统,包括:
第一模块,用于获取背景图像和多帧待检测图像;所述背景图像和各所述待检测图像包含相同的待检测区域;
第二模块,用于确定所述待检测图像中相对于所述背景图像的差异区域;
第三模块,用于配置人工智能网络的物品检测目标;
第四模块,用于使用所述人工智能网络对所述差异区域进行识别,根据识别结果确定所述差异区域中包含或不包含所述物品检测目标;
第五模块,用于根据包含相同所述物品检测目标的各所述差异区域的位置,确定所述物品检测目标的位置变动轨迹。
另一方面,本发明实施例还包括一种计算机装置,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行实施例中的基于图像识别的物品检测方法。
另一方面,本发明实施例还包括一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于图像识别的物品检测方法。
本发明的有益效果是:实施例中的基于图像识别的物品检测方法,应用人工智能网络对待检测图像进行处理,从而获得物品检测目标的位置变动轨迹,通过位置变动轨迹可以直观地展示物品检测目标的位置变动,获得比肉眼更加可靠的观察效果,能够准确反映出物品检测目标的位置及其变动,方便工作人员根据物品检测目标的位置变动轨迹,确定物品检测目标的最终位置,避免将螺丝钉等物品遗留在现场形成安全隐患,也可以检查物品检测目标是否经过重要的作业区域或者作业设备,从而有助于排除故障或者隐患,保障作业安全。
附图说明
图1为实施例中基于图像识别的物品检测方法的流程图;
图2为实施例中背景图像和待检测图像的一个场景示意图;
图3为实施例中确定待检测图像中的差异区域的过程原理示意图;
图4为实施例中不同待检测图像中的差异区域的位置关系示意图;
图5为实施例中位置变动轨迹的示意图。
具体实施方式
本实施例中,可以使用工程现场或者后台的计算机设备来执行基于图像识别的物品检测方法,所使用的计算机设备可以与工程现场的设备连接,从而获取到所需要的数据,并且向工程现场发送指令或者信号。
参照图1,基于图像识别的物品检测方法包括以下步骤:
S1.获取背景图像和多帧待检测图像;
S2.确定待检测图像中相对于背景图像的差异区域;
S3.配置人工智能网络的物品检测目标;
S4.使用人工智能网络对差异区域进行识别,根据识别结果确定差异区域中包含或不包含物品检测目标;
S5.根据包含相同物品检测目标的各差异区域的位置,确定物品检测目标的位置变动轨迹。
步骤S1中,通过在不同的时间对相同的待检测区域进行拍摄,获得背景图像和多帧待检测图像。本实施例中,以电梯维保工程的施工现场为例进行说明,其所拍摄的背景图像和待检测图像的一个场景如图2所示,其中通过“凸”字形的实线标示出待检测区域。
步骤S1中,可以电梯维保等工程作业开始前,对待检测区域进行拍摄,获得背景图像,本实施例中所使用到的背景图像是一帧图像,其包含的信息包括电梯维保工程作业开始前,待检测区域以及待检测区域周边的一些场景的视觉信息。
步骤S1中,可以在工作人员在电梯维保等工程作业的过程中,对待检测区域进行录像,获得视频流,然后对视频流进行帧分解,获得连续或者不连续的多帧待检测图像。无论这些多帧待检测图像是否连续,都可以按照时间轴进行排序。
步骤S1中,通过拍摄获得背景图像和各帧待检测图像时,拍摄设备所使用的摄影参数可以是统一的,例如始终使用相同的焦距、光圈、曝光度、拍摄距离和拍摄角度等参数进行拍摄。如果拍摄背景图像和各帧待检测图像时所使用的摄影参数不同,可以通过后期等效变换的方式使它们统一。执行步骤S1的一种可选的方式是:通过安装在施工现场的同一监控摄像头获取连续的视频流,然后从拍摄于工程作业开始前的视频流中选择出一帧作为背景图像,从拍摄于工程作业进行过程中的视频流中选择出多帧作为各帧待检测图像。
步骤S2的原理如图3所示。通过分别将各待检测图像与背景图像进行对比,确定每个待检测图像中相对于背景图像的差异区域。图2的情景是电梯维保工程作业开始前,待检测区域中是干净的,此时对待检测区域拍摄获得背景图像;在电梯维保工程作业过程中,施工人员在现场留下一颗螺丝钉,该螺丝钉通过滚动发生位移,分别被记录在不同时刻拍摄的待检测图像中。将每个待检测图像分别与背景图像进行对比,具体地可以将待检测图像分别与背景图像按照相同的分割方式分割成多个小块,这些小块的形状可以是大小相同的矩形,然后将待检测图像与背景图像中相同位置的小块进行对比,如果相似度低于预设阈值,则将这个小块标记为差异区域。图2中每个待检测图像中的虚线框所示区域为差异区域。
由于本实施例中所要关注的差异区域是由于遗落了螺丝钉等小物品形成的,而施工现场人员进出等,也会因为人员穿着等原因使得待检测图像中出现与背景图像不同的差异区域。螺丝钉等小物品形成的差异区域与人员进出等形成的差异区域的区别点包括:螺丝钉等小物品形成的差异区域一般有特定的形状或轮廓,而人员进出等形成的差异区域一般有大面积的色块,因此可以通过提取形状或轮廓的方式确定是否有螺丝钉等小物品形成的差异区域,如果能够提取出明显的形状或轮廓,那么就属于步骤S2中所要提取的差异区域。
步骤S2中,可以将图2所示的各检测图像中的差异区域提取出来单独存储,并对各差异区域标记相应的唯一的ID号。
步骤S3中,配置人工智能网络的物品检测目标,即设置人工智能网络所要检测的物品,使得人工智能网络能够对步骤S2中提取出的差异区域进行处理,判断差异区域中是否包含所要检测的物品。
步骤S3中可以包括对人工智能网络的训练过程,使得人工智能网络具有识别所输入的图像中是否包含目标的能力。本实施例中,所使用的人工智能网络可以是卷积神经网络。对卷积神经网络的训练过程可以包括以下步骤:
S301.获取多个训练图像;
S302.获取各训练图像对应的标签数据;
S303.以训练图像作为人工智能网络的输入,以对应的标签数据作为人工智能网络的期望输出,对人工智能网络进行训练。
步骤S301中,多个训练图像中部分训练图像包含物品检测目标,部分训练图像不包含物品检测目标。对于单一的检测任务来说,例如本实施例的图3中需要检测的物品检测目标是螺丝钉,那么多使用的多个训练图像中,部分训练图像包含螺丝钉,部分训练图像不包含螺丝钉。步骤S302中,分别对各个训练图像添加相应的标签数据。对于包含螺丝钉的训练图像,可以设置其对应的标签数据的值为1,对于不包含螺丝钉的训练图像,可以设置其对应的标签数据的值为0。
步骤S303中,以训练图像作为卷积神经网络的输入,以对应的标签数据作为卷积神经网络的期望输出,对人工智能网络进行训练。卷积神经网络的实际输出结果也可以设置成0或1,以表示卷积神经网络对所接收的训练图像进行运算,判断其中是否包含螺丝钉。计算卷积神经网络的实际输出结果与期望输出之间的误差,根据误差函数调整卷积神经网络的参数,当卷积神经网络的实际输出结果与期望输出之间的误差小于阈值或者收敛后,停止对卷积神经网络的训练。
可以在执行步骤S1、S2、S4、S5之前执行步骤S301-S303,将训练好的卷积神经网络存储起来,当执行步骤S3时调用。
步骤S4中,调用卷积神经网络,使用卷积神经网络对步骤S2提取出的各个差异区域进行识别,根据识别结果确定差异区域中包含或不包含物品检测目标。当物品检测目标是单一的目标,例如本实施例中的螺丝钉时,卷积神经网络可以识别出各个差异区域中包含或不包含螺丝钉。
步骤S5中,由于背景图像和各待检测图像都使用相同的拍摄角度、拍摄距离和拍摄参数拍摄,因此可以使用相同的坐标系去标记背景图像和各待检测图像中的坐标,例如以背景图像和各待检测图像的左下角顶点为原点,以背景图像和各待检测图像的底边向右的方向为X轴正方向,以背景图像和各待检测图像的左边向上的方向为Y轴正方向,以相同的单位长度建立坐标系。这样,每个待检测图像中的差异区域的位置可以在同一个坐标系中表示。具体地,可以通过一个差异区域的几何中心在坐标系中的坐标,来表示这个差异区域的位置。参照图4,待检测图像1、待检测图像2和待检测图像3中的差异区域都可以映射到同一个坐标系中。
步骤S5中,将包含相同物品检测目标的各差异区域,按照每个差异区域所在的待检测图像在视频流中的时间轴顺序连接起来,得到物品检测目标的位置变动轨迹。参照图5,使用卷积神经网络对待检测图像1、待检测图像2和待检测图像3中的差异区域进行识别,从这些差异区域中都识别到了相同的物品检测目标即螺丝钉,并且待检测图像1、待检测图像2和待检测图像3属于连续的三帧图像,因此将这3个差异区域的位置拟合成曲线,得到物品检测目标的位置变动轨迹。
本实施例中,所得到的位置变动轨迹可以仅以数据的形式存储,也可以转换成曲线,当显示视频流时在画面中相应的位置显示出来。可以将位置变动轨迹叠加到各帧待检测图像进行显示。具体地,当播放由各帧待检测图像组成的视频流时,在视频流中叠加显示一条动态变长的曲线以表示位置变动轨迹,通过显示位置变动轨迹来指示物品检测目标的位置变动。
通过物品检测目标的位置变动轨迹,可以直观地获得物品检测目标的位置变动,其中位置变动轨迹的起点可以指示物品检测目标的初始位置,位置变动轨迹的终点或中断点可以指示物品检测目标的最后位置。由于位置变动轨迹是通过图像处理以及人工智能网络图像识别获得的,因此比肉眼观察更加可靠,能够准确反映出物品检测目标的位置及其变动,方便工作人员根据物品检测目标的位置变动轨迹,确定物品检测目标的最终位置,避免将螺丝钉等物品遗留在现场形成安全隐患,也可以检查物品检测目标是否经过重要的作业区域或者作业设备,从而有助于排除故障或者隐患。通过本实施例中的基于图像识别的物品检测方法,可以避免工作人员通过肉眼人工搜寻和检查遗留的小物品,提高工作效率,保障作业安全。
本实施例中,在执行步骤S1-S5的基础上,还可以执行以下步骤:
S6.当检测到位置变动轨迹发生中断,获取位置变动轨迹在中断前的最终位置;
S7.以最终位置指示物品检测目标的位置。
如果待检测图像4是待检测图像3的下一帧待检测图像,且待检测图像4中不存在差异区域,或者差异区域中不包含物品检测目标,或者差异区域中包含的物品检测目标不是螺丝钉,那么待检测图像4就没有相应的差异区域映射到坐标系中,对坐标系中的差异区域所在位置进行连线获得位置变动轨迹时,位置变动轨迹就会在待检测图像4发生中断。直至待检测图像4,位置变动轨迹中断了1帧。
如果待检测图像5是待检测图像4的下一帧待检测图像,且待检测图像5中存在差异区域,并且待检测图像5中的差异区域中包含的物品检测目标是螺丝钉,那么待检测图像5就有相应的差异区域映射到坐标系中,对坐标系中的差异区域所在位置进行连线获得位置变动轨迹时,位置变动轨迹会把待检测图像5中的差异区域所在位置也包含进去。在这种情况下,直至待检测图像5,位置变动轨迹仅在待检测图像4相应的位置处中断了1帧。
如果待检测图像5是待检测图像4的下一帧待检测图像,且待检测图像5中不存在差异区域,或者差异区域中不包含物品检测目标,或者差异区域中包含的物品检测目标不是螺丝钉,那么待检测图像5就没有相应的差异区域映射到坐标系中,对坐标系中的差异区域所在位置进行连线获得位置变动轨迹时,位置变动轨迹就会在待检测图像5发生中断。在这种情况下,由于位置变动轨迹在待检测图像4相应位置已发生了中断,位置变动轨迹在待检测图像5相应位置还是中断,因此直至待检测图像5,位置变动轨迹连续中断了2帧。
步骤S6中,可以设定位置变动轨迹连续中断的帧数阈值,例如设定帧数阈值为3帧,当检测到位置变动轨迹连续中断的帧数达到帧数阈值,当检测到位置变动轨迹中断,但是中断的帧数没有达到帧数阈值,则可以认为是识别误差的影响,不判断位置变动轨迹发生中断;当检测到位置变动轨迹中断的帧数达到帧数阈值,则可以判断位置变动轨迹发生中断,那么获取位置变动轨迹在中断前的最终位置,也就是连续的位置变动轨迹所经过的各个差异区域的位置中,最后的那个差异区域的位置。
步骤S7中,以步骤S6所获得的最终位置指示物品检测目标的位置。具体地,可以通过在画面中最终位置所在的部分显示出标记点,从而提醒工作人员留意最终位置所指示的位置是否存在物品检测目标,以及引导工作人员到工程现场的最终位置所指示的位置,检查是否存在物品检测目标实物。
步骤S6-S7的原理是:通过位置变动轨迹,可以指示物品在待检测区域中的位置变化,而位置变动轨迹中断则表明物品可能被遮挡或者掉落孔洞等,位置变动轨迹中断前的最终位置则能指示物品被遮挡或者掉落孔洞时所处的位置,因此能够直观地提醒工作人员,并且可以引导工作人员的搜寻目标,提高工作效率。
本实施例中,在执行步骤S1-S7的基础上,还可以执行以下步骤:
S8.在待检测图像中确定风险区域;
S9.当最终位置在风险区域内,发出警报。
步骤S8中,可以根据工程作业的要求在待检测图像中确定风险区域,例如将待检测图像中包含的电机等设备附近的区域确定为风险区域。步骤S9中,判断步骤S6所获得的最终位置是否在风险区域内,如果最终位置在风险区域内,那么可以通过画面标记、声音或者指示灯等方式发出警报,从而提醒工作人员注意,物品检测目标实物位于风险区域内,可能导致危险,从而保障工作安全。
本实施例中,在执行步骤S1-S9的基础上,还可以执行以下步骤:
S10.当待检测区域内存在工程作业设备,在发出警报后以及解除警报前,将工程作业设备的工作状态锁定为停止状态。
本实施中,执行基于图像识别的物品检测方法的计算机设备还可以与待检测区域内的工程作业设备连接。其中,工程作业设备包括工程现场的供电电源、电机等设备,这些工程作业设备设有控制装置,可以根据指令控制工程作业设备的主要工作电路进入工作状态或者停止状态。当执行步骤S9发出警报,可以将警报设置为持续状态,除非工作人员通过计算机设备解除警报。在执行步骤S9之后,执行基于图像识别的物品检测方法的计算机设备向待检测区域内的工程作业设备发出指令,使得这些工程作业设备的工作状态被锁定为停止状态,在停止状态下供电电源停止输出供电电流,电机停止运转,从而保障工程现场待检测区域内的人身安全。当警报被解除,执行基于图像识别的物品检测方法的计算机设备向待检测区域内的工程作业设备发出指令,使得这些工程作业设备的工作状态被恢复为工作状态。
在计算机设备的性能足够强大的情况下,可以通过多线程同时执行步骤S1-S10中的任意步骤或其组合,从而实现一边监控工程现场的待检测区域,一边执行基于图像识别的物品检测方法,从而检测位置变动轨迹,即位置变动轨迹的实时检测。也可以先执行步骤S1获取背景图像和多帧待检测图像,将这些图像存储在本地再执行步骤S2-S10中的任意步骤或其组合,从而实现离线跟踪的方式。
本实施例中,是针对“要检测的物品检测目标为螺丝钉”这种情况对步骤S1-S10中的任意步骤及其组合进行说明。在实际使用时,可能存在多目标识别的需要,例如出现“要检测的物品检测目标包括扳手、螺丝钉和螺母”等情况。在多目标识别的情况下,可以针对物品检测目标中的每个种类的目标,分别执行步骤S1-S10中的部分或全部步骤,其中针对每个单一目标都可以检测到相应的位置变动轨迹。在“要检测的物品检测目标包括扳手、螺丝钉和螺母”等多目标识别的情况下,可能扳手、螺丝钉和螺母等不同物品检测目标分别有相应的差异区域、位置变动轨迹等数据,可以为这些数据设定种类标签,通过种类标签来区分这些数据分别对应的物品检测目标。
本实施例中,基于图像识别的物品检测系统包括:
第一模块,用于获取背景图像和多帧待检测图像;背景图像和各待检测图像包含相同的待检测区域;
第二模块,用于确定待检测图像中相对于背景图像的差异区域;
第三模块,用于配置人工智能网络的物品检测目标;
第四模块,用于使用人工智能网络对差异区域进行识别,根据识别结果确定差异区域中包含或不包含物品检测目标;
第五模块,用于根据包含相同物品检测目标的各差异区域的位置,确定物品检测目标的位置变动轨迹。
本实施例中,第一模块、第二模块、第三模块、第四模块和第五模块分别是具有相应功能的硬件模块、软件模块或者硬件和软件的组合,其中第一模块运行时可以执行步骤S1,第二模块运行时可以执行步骤S2,第三模块运行时可以执行步骤S3,第四模块运行时可以执行步骤S4,第五模块运行时可以执行步骤S5,从而使得基于图像识别的物品检测系统能够执行实施例中的基于图像识别的物品检测方法,从而实现与基于图像识别的物品检测方法相同的技术效果。
可以通过编写执行本实施例中的基于图像识别的物品检测方法的计算机程序,将该计算机程序写入至计算机装置或者存储介质中,当计算机程序被读取出来运行时,执行本实施例中的基于图像识别的物品检测方法,从而实现与实施例中的基于图像识别的物品检测方法相同的技术效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本实施例描述的过程的操作,除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.基于图像识别的物品检测方法,其特征在于,包括:
获取背景图像和多帧待检测图像;所述背景图像和各所述待检测图像包含相同的待检测区域;
确定所述待检测图像中相对于所述背景图像的差异区域;
配置人工智能网络的物品检测目标;
使用所述人工智能网络对所述差异区域进行识别,根据识别结果确定所述差异区域中包含或不包含所述物品检测目标;
根据包含相同所述物品检测目标的各所述差异区域的位置,确定所述物品检测目标的位置变动轨迹;
所述确定所述待检测图像中相对于所述背景图像的差异区域,包括:
将所述待检测图像分别与所述背景图像按照相同的分割方式分割成多个小块,然后将所述待检测图像与所述背景图像中相同位置的小块进行对比,如果相似度低于预设阈值,则将所述小块标记为差异区域。
2.根据权利要求1所述的基于图像识别的物品检测方法,其特征在于,还包括:
当检测到所述位置变动轨迹发生中断,获取所述位置变动轨迹在中断前的最终位置;
以所述最终位置指示所述物品检测目标的位置。
3.根据权利要求2所述的基于图像识别的物品检测方法,其特征在于,还包括:
在所述待检测图像中确定风险区域;
当所述最终位置在所述风险区域内,发出警报。
4.根据权利要求3所述的基于图像识别的物品检测方法,其特征在于,还包括:
当所述待检测区域内存在工程作业设备,在发出所述警报后以及解除所述警报前,将所述工程作业设备的工作状态锁定为停止状态。
5.根据权利要求1所述的基于图像识别的物品检测方法,其特征在于,所述获取背景图像和多帧待检测图像,包括:
在工程作业开始前,对所述待检测区域进行拍摄,获得所述背景图像;
在工程作业过程中,对所述待检测区域进行录像,获得视频流;
对所述视频流进行帧分解,获得多帧所述待检测图像。
6.根据权利要求1所述的基于图像识别的物品检测方法,其特征在于,所述配置人工智能网络的物品检测目标,包括:
获取多个训练图像;其中,部分所述训练图像包含所述物品检测目标,部分所述训练图像不包含所述物品检测目标;
获取各所述训练图像对应的标签数据;所述标签数据用于表示对应的所述训练图像包含或不包含所述物品检测目标;
以所述训练图像作为所述人工智能网络的输入,以对应的所述标签数据作为所述人工智能网络的期望输出,对所述人工智能网络进行训练。
7.根据权利要求1-6任一项所述的基于图像识别的物品检测方法,其特征在于,还包括:
将所述位置变动轨迹叠加到各帧所述待检测图像进行显示。
8.基于图像识别的物品检测系统,其特征在于,包括:
第一模块,用于获取背景图像和多帧待检测图像;所述背景图像和各所述待检测图像包含相同的待检测区域;
第二模块,用于确定所述待检测图像中相对于所述背景图像的差异区域;
第三模块,用于配置人工智能网络的物品检测目标;
第四模块,用于使用所述人工智能网络对所述差异区域进行识别,根据识别结果确定所述差异区域中包含或不包含所述物品检测目标;
第五模块,用于根据包含相同所述物品检测目标的各所述差异区域的位置,确定所述物品检测目标的位置变动轨迹;
所述确定所述待检测图像中相对于所述背景图像的差异区域,包括:
将所述待检测图像分别与所述背景图像按照相同的分割方式分割成多个小块,然后将所述待检测图像与所述背景图像中相同位置的小块进行对比,如果相似度低于预设阈值,则将所述小块标记为差异区域。
9.一种计算机装置,其特征在于,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述基于图像识别的物品检测方法。
10.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行权利要求1-7任一项所述的基于图像识别的物品检测方法。
CN202110978807.2A 2021-08-25 2021-08-25 基于图像识别的物品检测方法、系统、装置和存储介质 Active CN113822859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110978807.2A CN113822859B (zh) 2021-08-25 2021-08-25 基于图像识别的物品检测方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978807.2A CN113822859B (zh) 2021-08-25 2021-08-25 基于图像识别的物品检测方法、系统、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113822859A CN113822859A (zh) 2021-12-21
CN113822859B true CN113822859B (zh) 2024-02-27

Family

ID=78923155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978807.2A Active CN113822859B (zh) 2021-08-25 2021-08-25 基于图像识别的物品检测方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113822859B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235104A (ja) * 2004-02-23 2005-09-02 Jr Higashi Nippon Consultants Kk 移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラム
KR20150054021A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
CN109614897A (zh) * 2018-11-29 2019-04-12 平安科技(深圳)有限公司 一种室内查找物品的方法及终端
KR102027708B1 (ko) * 2018-12-27 2019-10-02 주식회사 넥스파시스템 주파수 상관도 분석 및 엔트로피 계산을 이용한 자동 영역 추출 방법 및 시스템
CN110751079A (zh) * 2019-10-16 2020-02-04 北京海益同展信息科技有限公司 物品检测方法、装置、系统和计算机可读存储介质
CN111046752A (zh) * 2019-11-26 2020-04-21 上海兴容信息技术有限公司 一种室内定位方法、装置、计算机设备和存储介质
CN111259763A (zh) * 2020-01-13 2020-06-09 华雁智能科技(集团)股份有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111340126A (zh) * 2020-03-03 2020-06-26 腾讯云计算(北京)有限责任公司 物品识别方法、装置、计算机设备和存储介质
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备
KR102210404B1 (ko) * 2019-10-14 2021-02-02 국방과학연구소 위치 정보 추출 장치 및 방법
CN112884801A (zh) * 2021-02-02 2021-06-01 普联技术有限公司 高空抛物检测方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115199B2 (en) * 2014-10-08 2018-10-30 Decision Sciences International Corporation Image based object locator
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、系统和计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235104A (ja) * 2004-02-23 2005-09-02 Jr Higashi Nippon Consultants Kk 移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラム
KR20150054021A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
CN109614897A (zh) * 2018-11-29 2019-04-12 平安科技(深圳)有限公司 一种室内查找物品的方法及终端
KR102027708B1 (ko) * 2018-12-27 2019-10-02 주식회사 넥스파시스템 주파수 상관도 분석 및 엔트로피 계산을 이용한 자동 영역 추출 방법 및 시스템
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备
KR102210404B1 (ko) * 2019-10-14 2021-02-02 국방과학연구소 위치 정보 추출 장치 및 방법
CN110751079A (zh) * 2019-10-16 2020-02-04 北京海益同展信息科技有限公司 物品检测方法、装置、系统和计算机可读存储介质
CN111046752A (zh) * 2019-11-26 2020-04-21 上海兴容信息技术有限公司 一种室内定位方法、装置、计算机设备和存储介质
CN111259763A (zh) * 2020-01-13 2020-06-09 华雁智能科技(集团)股份有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111340126A (zh) * 2020-03-03 2020-06-26 腾讯云计算(北京)有限责任公司 物品识别方法、装置、计算机设备和存储介质
CN112884801A (zh) * 2021-02-02 2021-06-01 普联技术有限公司 高空抛物检测方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Anomalous Trajectory Detection and Classification Based on Difference and Intersection Set Distance;J. Wang等;《IEEE Transactions on Vehicular Technology》;第69卷(第3期);2487-2500 *
基于局部差别性分析的目标跟踪算法;田鹏等;《电子与信息学报》;第39卷(第11期);2635-2643 *
基于深度学习的行人检测与行为识别研究;罗鹏飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2021卷(第1期);I138-1010 *

Also Published As

Publication number Publication date
CN113822859A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
Mneymneh et al. Vision-based framework for intelligent monitoring of hardhat wearing on construction sites
CN110188724B (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
CN105760824B (zh) 一种运动人体跟踪方法和系统
Son et al. Integrated worker detection and tracking for the safe operation of construction machinery
CN103376890B (zh) 基于视觉的手势遥控系统
CN106341661B (zh) 巡逻机器人
US20190347486A1 (en) Method and apparatus for detecting a garbage dumping action in real time on video surveillance system
CN110852183B (zh) 一种未佩戴安全帽人员识别方法、系统、装置和存储介质
CN110889339B (zh) 基于头肩检测的危险区域分级预警方法与系统
CN112396658A (zh) 一种基于视频的室内人员定位方法及定位系统
CN112434669B (zh) 一种多信息融合的人体行为检测方法及系统
CN104346802A (zh) 一种人员离岗监控方法及设备
CN110290351B (zh) 一种视频目标跟踪方法、系统、装置和存储介质
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
JP2011186576A (ja) 動作認識装置
CN115620192A (zh) 一种高空作业安全绳穿戴检测的方法和装置
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN103810696A (zh) 一种目标对象图像检测方法及装置
JP5174492B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN110557628A (zh) 一种检测摄像头遮挡的方法、装置及电子设备
CN116206255A (zh) 基于机器视觉的危险区域人员监控方法与装置
CN111091104A (zh) 一种目标物体的防护检测方法、装置、设备及存储介质
CN113822859B (zh) 基于图像识别的物品检测方法、系统、装置和存储介质
AU2020222504B2 (en) Situational awareness monitoring
CN115035458B (zh) 一种安全风险评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant