吸烟行为识别方法和装置
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种吸烟行为识别方法和装置。
背景技术
烟民在抽烟环境中抽烟行为识别具有广泛的应用场景,通过无感、非接触的方式,友好的获取烟民在抽烟环境的大数据资源,可以为烟草企业的发展,政策制定,新品研发等提供强有力的真实数据支持。
传统的抽烟行为识别方法主要有基于定制设备和可穿戴设备的方法。这种类方法属于接触式方法,通过硬件设备采集信号的变化间接推断抽烟行为,无法对抽烟过程进行精确分析,同时容易受其他类似动作的干扰,存在一定程度的误报率。目前存在的非接触式方法为基于可见光图像的抽烟行为识别方法。由于抽吸过程中,烟头区域的亮度和形状变化是非微小,很难捕捉,因此仅用可见光图像,很难区分抽吸和未抽吸(烟在嘴边但未抽吸)动作,无法实现抽吸时间的精确统计。
针对相关技术中如何准确地确认用户的吸烟行为的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种吸烟行为识别方法和装置,以解决相关技术中如何准确地确认用户的吸烟行为的问题。
为了实现上述目的,第一方面,本申请提供了一种吸烟行为识别方法,该方法包括:
确定获取的红外图像中是否存在高亮区域;
当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中;
当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。
可选地,确定红外图像中是否存在高亮区域,包括:
确定红外图像中每个像素的亮度值;
确定红外图像中是否存在亮度值不小于第一阈值的像素;
当红外图像中存在亮度值不小于第一阈值的像素时,确定红外图像中存在高亮区域。
可选地,该方法还包括:
获取与红外图像同时采集相同区域的可见光图像;
确定是否在可见光图像中识别出用户的脸部区域;
当在可见光图像中识别出用户的人脸区域时,执行确定高亮区域的所在位置是否位于用户的人脸区域中的步骤。
可选地,该方法还包括:
对可见光图像中用户的脸部区域进行人脸识别,得到用户的个人身份信息,以使用户的个人身份信息与用户的吸烟行为相关联。
可选地,该方法还包括:
获取可见光视频和红外视频,其中,可见光视频中包括与红外视频中每帧红外图像同时采集相同区域的一帧可见光图像;
获取红外视频中的每一帧红外图像,并执行确定获取的红外图像中是否存在高亮区域的步骤,以及
在可见光视频中获取与红外图像同时采集相同区域的可见光图像。
可选地,获取可见光视频和红外视频包括:
通过红外可见光双相机实时获取同一区域的可见光视频和红外视频。
可选地,高亮区域包括亮度值不小于第一阈值的全部像素,在确定用户的吸烟行为之后,该方法还包括:
确定红外图像中的高亮区域与任意相邻的一帧红外图像中的高亮区域之间的面积变化值;
确定面积变化值是否不小于第二阈值;
当面积变化值不小于第二阈值时,确定红外图像中用户存在抽吸动作;
当面积变化值小于第二阈值时,确定红外图像中用户不存在抽吸动作。
可选地,该方法还包括:
根据每帧红外图像中用户的吸烟行为对应的抽吸动作生成用户的吸烟行为数据,其中,吸烟行为数据至少包括单次抽吸动作持续时长、单支烟吸食时长、连续的两次抽吸动作之间的间隔时间、连续抽吸烟的支数、连续抽吸两支烟之间的间隔时间中的一种或几种。
第二方面,本申请实施例还提供了一种吸烟行为识别装置,该装置包括:
第一确定模块,用于确定获取的红外图像中是否存在高亮区域;
第二确定模块,用于当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中;
第三确定模块,用于当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。
第三方面,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机代码,当计算机代码被执行时,上述的吸烟行为识别方法被执行。
在本申请提供的吸烟行为识别方法中,通过确定获取的红外图像中是否存在高亮区域;当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中;当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。通过上述方法,根据用户在吸烟时,烟头会有较明显的红外特征即为红外图像中的高亮区域,又通过当该高亮区域位于用户的脸部区域时,进而确定用户正在用口部进行吸烟的抽吸动作,这样,实现了准确地判定用户是否存在吸烟行为的目的,进而解决了相关技术中如何准确地确认用户的吸烟行为的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例提供的一种吸烟行为识别方法的流程图;
图2是本申请实施例提供的一种步骤S110的流程示意图;
图3是本申请实施例提供的另一种吸烟行为识别方法的流程示意图;
图4是本申请实施例提供的另一种吸烟行为识别方法的流程示意图;
图5是本申请实施例提供的另一种吸烟行为识别方法的流程示意图;
图6是本申请实施例提供的一种吸烟行为识别装置的结构示意图;
图7是本申请实施例提供的另一种吸烟行为识别装置的结构示意图;
图8是本申请实施例提供的另一种吸烟行为识别装置的结构示意图
图9是本申请实施例提供的另一种吸烟行为识别装置的结构示意图;
图10是本申请实施例提供的另一种吸烟行为识别装置的结构示意图;
图11是本申请实施例提供的另一种吸烟行为识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个方面,本申请实施例提供了一种吸烟行为识别方法,该方法可以应用在包含有红外图像采集设备和可见光图像采集设备的系统中,该红外图像采集设备和该可见光图像采集设备可以是由至少一个红外可见光双相机组成,或者红外图像采集设备和可见光图像采集设备之间单独设备,但是红外图像采集设备和可见光图像采集设备之间的拍摄视角应大致相同,并采集同一区域的图像视频,图1是本申请实施例提供的一种吸烟行为识别方法的流程图,如图1所示,该方法包括如下的步骤S110至步骤S130:
S110,确定获取的红外图像中是否存在高亮区域。
其中,该红外图像可以是通过读取本地存储器而获取的,也可以是通过红外相机实时采集的,可以是通过抓拍方式采集,也可以通过实时录像方式采集(例如监控设备实时采集的监控视频),采集的环境可以是禁烟区,也可以是吸烟区,采集环境的选择可以根据业务需要具体设置。另外,当用户在吸烟时,烟头会燃烧,烟头的红外体征相对用户身体以及用户周围环境在红外图像中会有着明显的区别,因此,红外图像中高亮区域很大可能为用户吸烟时烟头的红外体征图像。
具体地,当红外图像中存在高亮区域时,可以确定可能存在着用户正在吸烟,当红外图像中不存在高亮区域时,可以直接确定红外图像对应的区域内不存在吸烟的用户。
具体地,通过对获取的红外图像进行红外体征识别,确定红外图像中是否存在高亮区域,
S120,当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中。
具体地,根据用户在吸烟并进行抽吸动作时,代表烟头的高亮区域位置一般位于用户的人脸区域图像中,那么,当高亮区域的所在位置位于用户的人脸区域中时,可以确定图像中的用户正在吸烟,而高亮区域的所在位置不位于用户的人脸区域中时,可以确定红外图像对应的区域内不存在吸烟的用户。
S130,当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。
具体地,通过高亮区域的所在位置位于用户的人脸区域中,进而判定用户正在通过口部进行吸烟的抽吸动作,这样,实现了准确地判定用户是否存在吸烟行为的目的,进而解决了相关技术中如何准确地确认用户的吸烟行为的技术问题。
在一个可行的实施方式中,图2是本申请实施例提供的一种步骤S110的流程示意图,如图2所示,步骤S110,确定红外图像中是否存在高亮区域,包括如下的步骤S111至步骤S113:
S111,确定红外图像中每个像素的亮度值;
S112,确定红外图像中是否存在亮度值不小于第一阈值的像素;
S113,当红外图像中存在亮度值不小于第一阈值的像素时,确定红外图像中存在高亮区域。
具体地,确定红外图像中每个像素的亮度值,其中,像素的亮度值越大就说明该像素的红外特征越大,当至少存在一个像素的亮度值不小于一个预设的第一阈值时,那么该像素可以是烟头一部分的红外图像,也就说是,当红外图像中不小于第一阈值的像素时,可以确定红外图像中可能存在着因用户吸烟而发亮的烟头,即确定红外图像中存在高亮区域。
其中,可选地,该第一阈值可以是100至150的亮度值。
在一个可行的实施方式中,图3是本申请实施例提供的另一种吸烟行为识别方法的流程示意图,如图3所示,该方法还包括如下的步骤S101和步骤S102:
S101,获取与红外图像同时采集相同区域的可见光图像;
S102,确定是否在可见光图像中识别出用户的脸部区域;
当在可见光图像中识别出用户的人脸区域时,执行步骤S120,确定高亮区域的所在位置是否位于用户的人脸区域中。
具体地,红外图像至少对应一个与其同时采集相同区域的可见光图像,获取该可见光图像后,对获取的可见光图像进行人体姿态识别,确定可见光图像中是否存在骨架关键点,当图像中存在骨架关键点时可以确定可见光图像中存在用户,识别出可见光图像中用户的骨架关键点,并根据用户的骨架关键点包括的脸部关键点确定用户的人脸区域,当在可见光图像中识别出用户的人脸区域时,执行步骤S120,以确定高亮区域的所在位置是否位于用户的人脸区域中。
在一个可行的实施方式中,该方法还包括:
对可见光图像中用户的脸部区域进行人脸识别,得到用户的个人身份信息,以使用户的个人身份信息与用户的吸烟行为相关联。
具体地,对获取的可见光图像进行识别,识别出可见光图像中用户脸部的骨架关键点,进而确定用户的脸部区域,再对用户的人脸区域进行人脸识别,匹配出该用户的个人身份信息(例如,人身份信息包括姓名,性别,年龄等),用户的个人身份信息与用户的吸烟行为相关联,记录该用户的吸烟习惯或者将该用户的吸烟行为上传。
在一个可行的实施方式中,图4是本申请实施例提供的另一种吸烟行为识别方法的流程示意图,如图4所示,该方法还包括如下的步骤S010和步骤S020:
S010,获取可见光视频和红外视频,其中,可见光视频中包括与红外视频中每帧红外图像同时采集相同区域的一帧可见光图像;
S020,获取红外视频中的每一帧红外图像,并执行步骤S110,确定获取的红外图像中是否存在高亮区域的步骤,以及
在可见光视频中执行步骤S101,获取与红外图像同时采集相同区域的可见光图像。
具体地,可见光视频和红外视频可以是通过读取本地存储器而获取的,也可以通过实时录像方式采集(例如监控设备实时采集的监控视频),采集的环境可以是禁烟区,也可以是吸烟区,采集环境的选择可以根据业务需要具体设置。可见光视频和红外视频可以是以相同或相近的视角同时拍摄同一区域的采集设备采集的。这样,同一时间,红外视频中一帧红外图像与可见光视频中一帧可见光图像相对应。
可选地,通过红外可见光双相机实时获取同一区域的可见光视频和红外视频。
具体地,通过红外可见光双相机实时获取的同一区域的可见光视频和红外视频,这样,同一时间,可见光视频中的图像和红外视频的图像相同或相近。其中,对红外可见光双相机进行内外参数标定以使对红外可见光相机采集的可见光图像和红外图像进行立体校正使得两幅图像行对齐,以便于执行步骤S120,确定高亮区域的所在位置是否位于用户的人脸区域中。
在一个可行的实施方式中,高亮区域包括亮度值不小于第一阈值的全部像素,图5是本申请实施例提供的另一种吸烟行为识别方法的流程示意图,如图5所示,在步骤S130,确定用户的吸烟行为之后,该方法还包括如下的步骤S140至步骤S170:
S140,确定红外图像中的高亮区域与任意相邻的一帧红外图像中的高亮区域之间的面积变化值;
S150,确定面积变化值是否不小于第二阈值;
S160,当面积变化值不小于第二阈值时,确定红外图像中用户存在抽吸动作;
S170,当面积变化值小于第二阈值时,确定红外图像中用户不存在抽吸动作。
其中,面积变化值即为红外图像中的高亮区域与任意相邻的一帧红外图像中的高亮区域之间面积改变大小的量化值,例如,当前的红外图像的高亮区域与前一帧红外图像中的高亮区域相比,高亮区域面积减小30%或高亮区域面积增加4%等;第二阈值可以设置为10%,即当面积变化值大于或等于第二阈值(例如,第二阈值设置为10%)时,确定红外图像中用户存在抽吸动作,也就是说,对应该红外图像中的用户正在进行抽吸动作,以使烟头急剧燃烧,高亮区域面积急剧变大;而当面积变化值小于第二阈值时,确定红外图像中用户不存在抽吸动作,也就是说,对应该红外图像中的用户存在抽烟行为,但是此时并未进行抽吸动作。
在一个可行的实施方式中,该方法还包括:
根据每帧红外图像中用户的吸烟行为对应的抽吸动作生成用户的吸烟行为数据,其中,吸烟行为数据至少包括单次抽吸动作持续时长、单支烟吸食时长、连续的两次抽吸动作之间的间隔时间、连续抽吸烟的支数、连续抽吸两支烟之间的间隔时间中的一种或几种。
具体地,红外视频(或者可见光视频)中前一帧图像用户未进行抽吸动作,后一帧图像(或第N帧)用户正在进行抽吸动作,则以后一帧(或第N帧)图像开始计时,直至第M帧图像该用户不在进行抽吸动作,则第N帧至第M帧之间的时间即为单次抽吸动作持续时长,之后,第Q帧图像中用户再次进行抽吸动作,则第M帧至第Q帧之间的时间即为连续的两次抽吸动作之间的间隔时间;当连续的两次抽吸动作之间的间隔时间大于第三阈值时,确定连续的两次抽吸动作中后一次的吸烟行为是用户抽吸另一个香烟,这样,可以统计出单支烟吸食时长,其中,第三阈值可以为30秒至60秒;统计出红外视频(或者可见光视频)中每个用户的连续抽吸烟的支数以及连续抽吸两支烟之间的间隔时间。
在本申请提供的吸烟行为识别方法中,通过确定获取的红外图像中是否存在高亮区域;当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中;当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。通过上述方法,根据用户在吸烟时,烟头会有较明显的红外特征即为红外图像中的高亮区域,又通过当该高亮区域位于用户的脸部区域时,进而确定用户正在用口部进行吸烟的抽吸动作,这样,实现了准确地判定用户是否存在吸烟行为的目的,进而解决了相关技术中如何准确地确认用户的吸烟行为的技术问题。
基于相同的技术构思,本申请实施例还提供了一种吸烟行为识别装置,图6是本申请实施例提供的一种吸烟行为识别装置的结构示意图,如图6所示,该装置包括:
第一确定模块11,用于确定获取的红外图像中是否存在高亮区域;
第二确定模块12,用于当红外图像中存在高亮区域时,确定高亮区域的所在位置是否位于用户的人脸区域中;
第三确定模块13,用于当高亮区域的所在位置位于用户的人脸区域中时,确定用户的吸烟行为。
可选地,第一确定模块11,用于:
确定红外图像中每个像素的亮度值;
确定红外图像中是否存在亮度值不小于第一阈值的像素;
当红外图像中存在亮度值不小于第一阈值的像素时,确定红外图像中存在高亮区域。
可选地,图7是本申请实施例提供的另一种吸烟行为识别装置的结构示意图,如图7所示,该装置还包括:
第一获取模块14,用于获取与红外图像同时采集相同区域的可见光图像;
第四确定模块15,用于确定是否在可见光图像中识别出用户的脸部区域;
当在可见光图像中识别出用户的人脸区域时,第二确定模块12执行确定高亮区域的所在位置是否位于用户的人脸区域中。
可选地,图8是本申请实施例提供的另一种吸烟行为识别装置的结构示意图,如图8所示,该装置还包括:
人脸识别模块16,用于对可见光图像中用户的脸部区域进行人脸识别,得到用户的个人身份信息,以使用户的个人身份信息与用户的吸烟行为相关联。
可选地,图9是本申请实施例提供的另一种吸烟行为识别装置的结构示意图,如图9所示,该装置还包括第二获取模块17和第三获取模块18;
第二获取模块17,用于获取可见光视频和红外视频,其中,可见光视频中包括与红外视频中每帧红外图像同时采集相同区域的一帧可见光图像;
第三获取模块18,用于获取红外视频中的每一帧红外图像,并第一确定模块11执行确定获取的红外图像中是否存在高亮区域的步骤,以及
第一获取模块14,用于在可见光视频中获取与红外图像同时采集相同区域的可见光图像。
可选地,第二获取模块17,用于:
通过红外可见光双相机实时获取同一区域的可见光视频和红外视频。
可选地,高亮区域包括亮度值不小于第一阈值的全部像素,图10是本申请实施例提供的另一种吸烟行为识别装置的结构示意图,如图10所示,该装置还包括:
第五确定模块19,用于确定红外图像中的高亮区域与任意相邻的一帧红外图像中的高亮区域之间的面积变化值;
第六确定模块20,用于确定面积变化值是否不小于第二阈值;
第七确定模块21,用于当面积变化值不小于第二阈值时,确定红外图像中用户存在抽吸动作;
第八确定模块22,用于当面积变化值小于第二阈值时,确定红外图像中用户不存在抽吸动作。
可选地,图11是本申请实施例提供的另一种吸烟行为识别装置的结构示意图,如图11所示,该装置还包括:
生成模块23,用于根据每帧红外图像中用户的吸烟行为对应的抽吸动作生成用户的吸烟行为数据,其中,吸烟行为数据至少包括单次抽吸动作持续时长、单支烟吸食时长、连续的两次抽吸动作之间的间隔时间、连续抽吸烟的支数、连续抽吸两支烟之间的间隔时间中的一种或几种。
在本申请提供的吸烟行为识别装置中,根据用户在吸烟时,烟头会有较明显的红外特征即为红外图像中的高亮区域,又通过当该高亮区域位于用户的脸部区域时,进而确定用户正在用口部进行吸烟的抽吸动作,这样,实现了准确地判定用户是否存在吸烟行为的目的,进而解决了相关技术中如何准确地确认用户的吸烟行为的技术问题。
基于相同的技术构思,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机代码,当计算机代码被执行时,上述的吸烟行为识别方法被执行。
基于相同的技术构思,本申请实施例还提供了一种计算机程序产品,当该计算机程序产品被计算机设备执行时,上述的吸烟行为识别方法被执行。
基于相同的技术构思,本申请实施例还提供了一种计算机设备,该计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当一个或多个计算机程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的吸烟行为识别方法。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本申请所涉及的计算机程序可以存储于计算机可读存储介质中,所述计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体装置、虚拟装置、优盘、移动硬盘、磁碟、光盘、计算机存储器、只读计算机存储器(Read-Only Memory,ROM)、随机存取计算机存储器(Random Access Memory,RAM)、电载波信号、电信信号以及其他软件分发介质等。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。