吸烟行为检测方法和装置
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种吸烟行为检测方法、一种吸烟行为检测装置、一种计算机设备和一种非临时性计算机可读存储介质。
背景技术
在一些场合,吸烟行为是被禁止的,然而由于有些吸烟者不够自律,目前仍然无法杜绝在禁烟场合吸烟的行为。因此,有必要提出一种能够有效监测禁烟场合吸烟行为的技术方案,以协助制止在禁烟场合吸烟的行为。
发明内容
本发明为解决上述技术问题,提供了一种吸烟行为检测方法和装置,能够方便、快速、准确地检测出吸烟行为。
本发明采用的技术方案如下:
一种吸烟行为检测方法,包括以下步骤:获取吸烟行为样本数据集;通过所述吸烟行为样本数据集对神经网络进行训练以得到香烟检测模型;获取待检测场景图像;对所述待检测场景图像进行感兴趣区域提取以得到至少一个待检测人脸区域;通过所述香烟检测模型识别所述待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为。
获取吸烟行为样本数据集,具体包括:对多个存在吸烟行为的场景图像进行感兴趣区域提取,以得到多个存在香烟的人脸区域;对所述多个存在香烟的人脸区域和多个未吸烟人脸图像分别进行标注,以构成所述吸烟行为样本数据集。
其中,通过人脸检测器Centerface进行感兴趣区域提取。
所述香烟检测模型为Yolo模型。
所述待检测场景图像为从待检测场景的监控视频流中读取的视频帧。
一种吸烟行为检测装置,包括:第一获取模块,所述第一获取模块用于获取吸烟行为样本数据集;训练模块,所述训练模块用于通过所述吸烟行为样本数据集对神经网络进行训练以得到香烟检测模型;第二获取模块,所述第二获取模块用于获取待检测场景图像;提取模块,所述提取模块用于对所述待检测场景图像进行感兴趣区域提取以得到至少一个待检测人脸区域;判断模块,所述判断模块用于通过所述香烟检测模型识别所述待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为。
所述第一获取模块具体用于:对多个存在吸烟行为的场景图像进行感兴趣区域提取,以得到多个存在香烟的人脸区域;对所述多个存在香烟的人脸区域和多个未吸烟人脸图像分别进行标注,以构成所述吸烟行为样本数据集。
其中,通过人脸检测器Centerface进行感兴趣区域提取,所述香烟检测模型为Yolo模型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述吸烟行为检测方法。
一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述吸烟行为检测方法。
本发明的有益效果:
本发明首先通过获取吸烟行为样本数据集以训练神经网络得到香烟检测模型,然后获取待检测场景图像,并进行感兴趣区域提取以得到至少一个待检测人脸区域,最后通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为,由此,能够方便、快速、准确地检测出吸烟行为。
附图说明
图1为本发明实施例的吸烟行为检测方法的流程图;
图2为本发明实施例的吸烟行为检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例的吸烟行为检测方法包括以下步骤:
S1,获取吸烟行为样本数据集。
在本发明的一个实施例中,首先可收集各个场景,例如商场、公园、电梯、道路等后续待检测场景中的存在吸烟行为的场景图像,然后对多个存在吸烟行为的场景图像进行感兴趣区域提取,以得到多个存在香烟的人脸区域,最后对多个存在香烟的人脸区域和多个未吸烟人脸图像分别进行标注,以构成吸烟行为样本数据集。其中,未吸烟人脸图像可来自于上述场景或其他场景,也可以来自于现有的人脸数据库。标注可采用人工加标签的方式,存在香烟的人脸区域作为正样本,加上有香烟标签,未吸烟人脸图像作为负样本,加上无香烟标签。应当理解的是,吸烟行为样本数据集中数据量越大,后续训练出的模型的检测准确度越高。
S2,通过吸烟行为样本数据集对神经网络进行训练以得到香烟检测模型。
通过将上述吸烟行为样本数据集输入神经网络进行监督学习,最终得到香烟检测模型。
在本发明的一个实施例中,香烟检测模型可为Yolo模型,如YoloV3模型。即神经网络可采用Yolo算法实现。
在本发明的其他实施例中,神经网络也可以采用其他目标检测算法,如SSD、RCNN等。
S3,获取待检测场景图像。
待检测场景图像为从待检测场景,即有检测需求的场景中得到的图像。在本发明的一个实施例中,待检测场景图像可为从待检测场景的监控视频流中读取的视频帧。
S4,对待检测场景图像进行感兴趣区域提取以得到至少一个待检测人脸区域。
应当理解的是,待检测场景图像中可能存在一个或多个人员,也可能不存在人员,存在人员时还可能是人员背对镜头的情况,不存在人员及人员背对镜头的情况下是无法进行吸烟行为检测的。因此,有必要通过感兴趣区域提取,即人脸区域的提取来过滤这些情况,从而减小不必要的数据处理量,并降低误识别率。
在本发明的一个实施例中,在该步骤及步骤S1中,可通过人脸检测器Centerface进行感兴趣区域提取。
在本发明的其他实施例中,还可通过其他人脸检测算法来实现感兴趣区域的提取,例如MTCNN(Multi-task Cascaded Convolutional Networks,多任务卷积神经网络)等。
S5,通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为。
通过将上述的待检测人脸区域输入香烟检测模型,输出是否存在香烟的结果,如果存在香烟,则判定待检测场景中存在吸烟行为,如果不存在香烟,则判定待检测场景中不存在吸烟行为。
进一步地,在检测出检测场景中存在吸烟行为后,可存储对应的存在香烟的人脸区域,并根据需求实施吸烟者身份识别,例如在道路场景,可通过人脸识别识别出驾驶员的身份,或通过原待检测场景图像中车辆的车牌识别出有驾驶员在车内吸烟的车辆信息,以便后续进行处罚或提醒等。同时,可直接采取相应的措施,例如在电梯中识别出存在吸烟行为后,可发出报警,或发出停止吸烟的语音提示,或控制电梯在到达下一楼层时停运并打开电梯门等。
根据本发明实施例的吸烟行为检测方法,首先通过获取吸烟行为样本数据集以训练神经网络得到香烟检测模型,然后获取待检测场景图像,并进行感兴趣区域提取以得到至少一个待检测人脸区域,最后通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为,由此,能够方便、快速、准确地检测出吸烟行为。
对应上述实施例的吸烟行为检测方法,本发明还提出一种吸烟行为检测装置。
如图2所示,本发明实施例的吸烟行为检测装置包括:第一获取模块10、训练模块20、第二获取模块30、提取模块40和判断模块50。其中,第一获取模块10用于获取吸烟行为样本数据集;训练模块20用于通过吸烟行为样本数据集对神经网络进行训练以得到香烟检测模型;第二获取模块30用于获取待检测场景图像;提取模块40用于对待检测场景图像进行感兴趣区域提取以得到至少一个待检测人脸区域;判断模块50用于通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为。
在本发明的一个实施例中,第一获取模块10首先可收集各个场景,例如商场、公园、电梯、道路等后续待检测场景中的存在吸烟行为的场景图像,然后对多个存在吸烟行为的场景图像进行感兴趣区域提取,以得到多个存在香烟的人脸区域,最后对多个存在香烟的人脸区域和多个未吸烟人脸图像分别进行标注,以构成吸烟行为样本数据集。其中,未吸烟人脸图像可来自于上述场景或其他场景,也可以来自于现有的人脸数据库。标注可采用人工加标签的方式,存在香烟的人脸区域作为正样本,加上有香烟标签,未吸烟人脸图像作为负样本,加上无香烟标签。应当理解的是,吸烟行为样本数据集中数据量越大,后续训练出的模型的检测准确度越高。
训练模块20通过将上述吸烟行为样本数据集输入神经网络进行监督学习,最终得到香烟检测模型。
在本发明的一个实施例中,香烟检测模型可为Yolo模型,如YoloV3模型。即神经网络可采用Yolo算法实现。
在本发明的其他实施例中,神经网络也可以采用其他目标检测算法,如SSD、RCNN等。
待检测场景图像为从待检测场景,即有检测需求的场景中得到的图像。在本发明的一个实施例中,待检测场景图像可为从待检测场景的监控视频流中读取的视频帧。
应当理解的是,待检测场景图像中可能存在一个或多个人员,也可能不存在人员,存在人员时还可能是人员背对镜头的情况,不存在人员及人员背对镜头的情况下是无法进行吸烟行为检测的。因此,有必要通过感兴趣区域提取,即人脸区域的提取来过滤这些情况,从而减小不必要的数据处理量,并降低误识别率。
在本发明的一个实施例中,提取模块40及第一获取模块10可通过人脸检测器Centerface进行感兴趣区域提取。
在本发明的其他实施例中,还可通过其他人脸检测算法来实现感兴趣区域的提取,例如MTCNN(Multi-task Cascaded Convolutional Networks,多任务卷积神经网络)等。
判断模块50通过将上述的待检测人脸区域输入香烟检测模型,输出是否存在香烟的结果,如果存在香烟,则判定待检测场景中存在吸烟行为,如果不存在香烟,则判定待检测场景中不存在吸烟行为。
进一步地,本发明实施例的吸烟行为检测装置还可包括存储模块和控制模块,存储模块可用于在检测出检测场景中存在吸烟行为后,存储对应的存在香烟的人脸区域,控制模块可根据需求实施吸烟者身份识别,例如在道路场景,可通过人脸识别识别出驾驶员的身份,或通过原待检测场景图像中车辆的车牌识别出有驾驶员在车内吸烟的车辆信息,以便后续进行处罚或提醒等。同时,控制模块可直接采取相应的措施,例如在电梯中识别出存在吸烟行为后,可控制报警器发出报警,或发出停止吸烟的语音提示,或控制电梯在到达下一楼层时停运并打开电梯门等。
根据本发明实施例的吸烟行为检测装置,首先通过获取吸烟行为样本数据集以训练神经网络得到香烟检测模型,然后获取待检测场景图像,并进行感兴趣区域提取以得到至少一个待检测人脸区域,最后通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为,由此,能够方便、快速、准确地检测出吸烟行为。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时,可实现根据本发明上述实施例所述的吸烟行为检测方法。
根据本发明实施例的计算机设备,处理器执行存储在存储器上的计算机程序时,首先通过获取吸烟行为样本数据集以训练神经网络得到香烟检测模型,然后获取待检测场景图像,并进行感兴趣区域提取以得到至少一个待检测人脸区域,最后通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为,由此,能够方便、快速、准确地检测出吸烟行为。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可实现根据本发明上述实施例所述的吸烟行为检测方法。
根据本发明实施例的非临时性计算机可读存储介质,处理器执行存储在其上的计算机程序时,首先通过获取吸烟行为样本数据集以训练神经网络得到香烟检测模型,然后获取待检测场景图像,并进行感兴趣区域提取以得到至少一个待检测人脸区域,最后通过香烟检测模型识别待检测人脸区域是否存在香烟,以判断待检测场景中是否存在吸烟行为,由此,能够方便、快速、准确地检测出吸烟行为。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。