CN110677579A - 基于拍摄场景的预警方法、装置、电子设备及存储介质 - Google Patents
基于拍摄场景的预警方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110677579A CN110677579A CN201910765431.XA CN201910765431A CN110677579A CN 110677579 A CN110677579 A CN 110677579A CN 201910765431 A CN201910765431 A CN 201910765431A CN 110677579 A CN110677579 A CN 110677579A
- Authority
- CN
- China
- Prior art keywords
- scene
- shooting
- electronic equipment
- electronic device
- shooting scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开示出了一种基于拍摄场景的预警方法、装置、电子设备及存储介质,应用于电子设备,该方法包括:当监测到电子设备正在拍摄时,获取电子设备在拍摄时的至少两个时刻及对应的位置信息,进而确定电子设备的速度;将电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到目标对象的拍摄场景;当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,说明该电子设备的用户正在驾驶过程中拍摄,通过执行预警操作,例如通过警告用户或禁止使用相关功能等,可以保障用户的人身安全,避免交通事故的发生。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种基于拍摄场景的预警方法、装置、电子设备及存储介质。
背景技术
随着移动终端普及和网络的提速,短视频逐渐获得各大平台和用户的青睐。人们随时随地记录着自己或者他人的精彩生活瞬间。
然而,有些短视频拍摄场景是非常危险的,比如在一些短视频分享平台中,经常能看到有些视频是汽车驾驶员拍摄的,其中不乏高速公路、山区弯道等危险场景。目前只依靠交通警察、交通监控设备,甚至是驾驶员的自律来避免这类危险行为是远远不够的,无法充分保障用户的人身安全。
发明内容
本公开提供一种基于拍摄场景的预警方法、装置、电子设备及存储介质,以至少解决相关技术无法避免用户在驾驶过程中拍摄的问题。本公开的技术方案如下:
根据本公开的第一方面,提供一种基于拍摄场景的预警方法,应用于电子设备,所述方法包括:
当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
在一种可选的实现方式中,所述根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度的步骤,包括:
根据所述电子设备在多个时刻的位置信息,确定所述电子设备在每两个时刻之间时间段内的速度;
对所述电子设备在每两个时刻之间时间段内的速度求平均,得到所述电子设备的速度。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
在一种可选的实现方式中,所述执行预警操作的步骤,包括:
发出报警信息;和/或关闭拍摄应用;和/或将所述电子设备息屏。
在一种可选的实现方式中,在所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤之前,还包括:
获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识述样本图像的拍摄场景;
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述网络模型包括第二特征提取层和第二分类层,所述将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型的步骤,包括:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练的步骤,包括:
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,采用softmax损失函数,对所述网络模型进行训练。
根据本公开的第二方面,提供一种基于拍摄场景的预警装置,应用于电子设备,所述装置包括:
第一获取模块,被配置为当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
速度确定模块,被配置为根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
场景识别模块,被配置为将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
预警模块,被配置为当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
在一种可选的实现方式中,所述速度确定模块具体被配置为:
根据所述电子设备在多个时刻的位置信息,确定所述电子设备在每两个时刻之间时间段内的速度;
对所述电子设备在每两个时刻之间时间段内的速度求平均,得到所述电子设备的速度。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述场景识别模块具体被配置为:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述场景识别模块具体被配置为:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
在一种可选的实现方式中,所述预警模块具体被配置为:
发出报警信息;和/或关闭拍摄应用;和/或将所述电子设备息屏。
在一种可选的实现方式中,所述装置还包括:
第二获取模块,被配置为获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识所述样本图像的拍摄场景;
模型训练模块,被配置为将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述网络模型包括第二特征提取层和第二分类层,所述模型训练模块具体被配置为:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述模型训练模块具体被配置为:
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,采用softmax损失函数,对所述网络模型进行训练。
根据本公开的第三方面,提供一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的基于拍摄场景的预警方法。
根据本公开的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面所述的基于拍摄场景的预警方法。
根据本公开的第五方面,提供一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面所述的基于拍摄场景的预警方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开技术方案,提供了应用于电子设备的基于拍摄场景的预警方法、装置、电子设备及存储介质,当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,说明该电子设备的用户正在驾驶过程中拍摄,通过执行预警操作,例如通过警告用户或禁止使用相关功能等,可以保障用户的人身安全,避免交通事故的发生。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种基于拍摄场景的预警方法的流程图。
图2是根据一示例性实施例示出的一种基于拍摄场景的预警方法具体实现方式的流程示意图。
图3a是根据一示例性实施例示出的一种获得目标视频拍摄场景的流程图。
图3b是根据一示例性实施例示出的一种获得目标图像拍摄场景的流程图。
图4是根据一示例性实施例示出的一种获得场景识别模型的流程图。
图5是根据一示例性实施例示出的一种基于拍摄场景的预警装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于拍摄场景的预警方法的流程图,如图1所示,该方法应用于电子设备,可以包括以下步骤。
在步骤S11中,当监测到电子设备正在拍摄时,获取电子设备在拍摄时的至少两个时刻及对应的位置信息。
本实施例中所提及的电子设备包括但不限于:智能手机(如Android手机、IOS手机)、平板电脑、笔记本电脑、掌上电脑和穿戴式智能设备等具有拍摄功能的电子设备。
具体实现中,当接收到电子设备的摄像头启动指令时,可以判定该电子设备正在拍摄。其中,摄像头启动指令可以是用户通过电子设备的输入装置(物理键盘或者触摸屏)输入的。
在电子设备拍摄过程中,可以通过调用电子设备的GPS定位系统,获取该电子设备在不同时刻(两个时刻或多个时刻)对应的位置信息,例如可以每隔一固定时长获取一次电子设备的位置信息,根据不同时刻对应的位置信息可以计算出电子设备的速度。
在步骤S12中,根据电子设备在拍摄时的至少两个时刻及对应的位置信息,确定电子设备的速度。
在电子设备拍摄过程中,可以根据电子设备在两个时刻的位置信息确定电子设备的速度。例如,t0时刻电子设备处于s0位置,t1时刻电子设备处于s1位置,那么该电子设备的速度v=(s1-s0)/(t1-t0)。
为了减少误差,使计算得到的速度值更加精确,在一种可选的实现方式中,可以根据电子设备在多个时刻的位置信息,确定电子设备在每两个时刻之间时间段内的速度;再对电子设备在每两个时刻之间时间段内的速度求平均,得到电子设备的速度。
例如,在电子设备拍摄过程中,t0时刻电子设备处于s0位置,t1时刻电子设备处于s1位置,t2时刻电子设备处于s2位置,分别计算任意两个时刻之间时间段内的速度v1=v=(s1-s0)/(t1-t0),v2=v=(s2-s1)/(t2-t1)以及v3=v=(s2-s0)/(t2-t0),那么该电子设备的速度可以是速度v1、v2以及v3的平均值。
在步骤S13中,将电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到目标对象的拍摄场景,其中,目标对象为电子设备所拍摄的目标视频或目标图像,拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景。
其中,场景识别模型可以采用网络模型首先对样本图像进行特征提取,然后再对提取后的特征进行分类,基于分类结果以及样本图像的拍摄场景类别标签(驾驶位拍摄场景或非驾驶位拍摄场景),采用深度学习方法对网络模型进行训练得到。具体实现方式在后续实施例中详细介绍。需要说明的是,驾驶位拍摄场景包括在驾驶位上各个角度拍摄的视频的拍摄场景,比如在驾驶位上拍摄车窗外风景的拍摄场景,并不仅限于视频中出现驾驶位这一场景;同理,非驾驶位拍摄场景包括在非驾驶位(乘客座位)上各个角度拍摄的视频的拍摄场景。
具体实现中,可以将电子设备所拍摄的目标对象(目标视频或目标图像)输入场景识别模型中,该场景识别模型首先从目标对象中确定待识别图像(目标视频中的目标图像帧,或目标图像中的待识别图像),然后对待识别图像进行特征提取和分类,得到待识别图像的拍摄场景;再根据各个待识别图像的拍摄场景确定目标对象的拍摄场景。具体实现方式在后续实施例中详细介绍。
其中,目标对象的拍摄时刻可以在获取位置信息的至少两个时刻之间,或者不完全在至少两个时刻之间。在实际应用中,当目标对象的拍摄时刻在获取位置信息的至少两个时刻之间时,能够更准确地判断拍摄者在拍摄时是否正在驾驶或高速驾驶。另外,目标对象包括摄像头启动后获得的所有视频或图像,包括在预览阶段获得的预览图像或视频,以及用户通过拍摄按钮等获得的图像或视频等。
在步骤S14中,当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
具体实现中,如果电子设备的速度大于或等于第一预设阈值(比如x km/h),可以判定该电子设备正在某种交通工具上且处于行驶(或高速行驶)过程中;同时当目标对象的拍摄场景为驾驶位拍摄场景时,可以判定该电子设备的用户在驾驶位上,即拍摄者为驾驶员(非乘客),此时执行预警操作,可以保障用户的人身安全。第一预设阈值可以根据实际情况进行设定,本实施例对其数值不作具体限定。
其中,预警操作具体可以包括:发出报警信息;和/或关闭拍摄应用;和/或将电子设备息屏。
当电子设备的速度小于第一预设阈值时,说明电子设备没有处在行驶过程中或行驶速度较慢,此时可以不作预警处理,用户可以正常使用拍摄功能;当目标对象的拍摄场景为非驾驶位拍摄场景时,说明拍摄者为乘客(非驾驶员),此时同样可以不作预警处理,用户可以正常使用拍摄功能。参照图2示出了本实施例提供的基于拍摄场景的预警方法的一种具体实现流程示意图。
需要说明的是,本实施例中只要在步骤S14之前完成确定速度和识别拍摄场景的步骤即可,具体是先确定速度,还是先识别拍摄场景,还是二者同时进行,本实施例不作限定。
本实施例提供的基于拍摄场景的预警方法,应用于电子设备,当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,说明该电子设备的用户正在驾驶过程中拍摄,通过执行预警操作,例如通过警告用户或禁止使用相关功能等,可以保障用户的人身安全,避免交通事故的发生。
在一种可选的实现方式中,本实施例中的场景识别模型可以包括第一特征提取层和第一分类层,当目标对象为电子设备所拍摄的目标视频时,参照图3a,在步骤S13中具体可以包括:
在步骤S31a中,提取目标视频中第一预设数量的图像帧作为目标图像帧,目标图像帧为目标视频中拍摄时刻在至少两个时刻之间的图像帧。
与将目标视频中的全部图像帧输入场景识别模型的方案相比,只提取目标视频中第一预设数量的目标图像帧输入场景识别模型的方案,可以提高场景识别效率。并且,由于目标图像帧的拍摄时刻在至少两个时刻之间,因此可以提高场景识别的准确率。其中,第一预设数量可以根据实际情况进行设定,本实施例对其数值不作具体限定。
在步骤S32a中,将各目标图像帧输入第一特征提取层中,得到各目标图像帧的特征数据。
其中,第一特征提取层用于提取输入图像(各目标图像帧)的特征数据,得到各目标图像帧的颜色、形状、纹理等特征数据。
在步骤S33a中,将各目标图像帧的特征数据输入第一分类层中,得到各目标图像帧的拍摄场景。
其中,第一分类层可以包括用于对第一特征提取层提取到的特征数据进行分类的各种分类器,例如支持向量机、sigmoid分类器、softmax分类器等。
在步骤S34a中,根据各目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与第一预设数量的比值,确定目标视频的拍摄场景。
例如,当各目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与第一预设数量的比值大于或等于第二预设阈值(如50%)时,可以判定目标视频的拍摄场景为驾驶位拍摄场景;否则判定目标视频的拍摄场景为非驾驶位拍摄场景。其中,第二预设阈值的大小可以根据实际情况设定。
在一种可选的实现方式中,本实施例中的场景识别模型可以包括第一特征提取层和第一分类层,当目标对象为电子设备所拍摄的目标图像时,参照图3b,在步骤S13中具体可以包括:
在步骤S31b中,从电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,待识别图像为目标对象中拍摄时刻在至少两个时刻之间的图像。
与将所有的目标图像输入场景识别模型的方案相比,只提取目标图像中第二预设数量的待识别图像输入场景识别模型的方案,可以提高场景识别效率。并且,由于待识别图像的拍摄时刻在至少两个时刻之间,因此可以提高场景识别的准确率。其中,第二预设数量可以根据实际情况进行设定,本实施例对其数值不作具体限定。第二预设数量与第一预设数量可以相同也可以不同。
在步骤S32b中,将各待识别图像输入第一特征提取层中,得到各待识别图像的特征数据。
其中,第一特征提取层用于提取输入图像(各待识别图像)的特征数据,得到各待识别图像的颜色、形状、纹理等特征数据。
在步骤S33b中,将各待识别图像的特征数据输入第一分类层中,得到各待识别图像的拍摄场景。
其中,第一分类层可以包括用于对第一特征提取层提取到的特征数据进行分类的各种分类器,例如支持向量机、sigmoid分类器、softmax分类器等。
在步骤S34b中,根据各待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与第二预设数量的比值,确定目标图像的拍摄场景。
例如,当各待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与第二预设数量的比值大于或等于第二预设阈值(如50%)时,可以判定目标图像的拍摄场景为驾驶位拍摄场景;否则判定目标图像的拍摄场景为非驾驶位拍摄场景。其中,第二预设阈值的大小可以根据实际情况设定。
在一种可选的实现方式中,在步骤S13之前,本实施例提供的基于拍摄场景的预警方法还可以包括:获取场景识别模型的步骤,参照图4,获取场景识别模型的步骤具体可以包括:
在步骤S41中,获取样本集合,样本集合包括多个样本图像以及样本图像对应的类别标签,类别标签标识样本图像的拍摄场景。
具体实现中,样本集合可以包括各种车辆的驾驶位和非驾驶位分别在不同视角下拍摄得到的图片,对每个图片进行拍摄场景标注,得到驾驶位拍摄场景和非驾驶位拍摄场景两个类别。
在步骤S42中,将样本图像作为网络模型的输入,根据网络模型的输出结果以及类别标签,对网络模型进行训练,将训练后的网络模型确定为场景识别模型。
其中,网络模型可以为标准网络模型如Alxnet、Vgg系列、Resnet系列、Inception系列、Densenet系列、Googlenet、Nasnet、Xception、Senet等,还可以为轻量化网络模型如Mobilenet、Shufflenet、Squeezenet等。
在模型训练的过程中,各图像样本逐个输入到网络模型中,对于每次输入的图像样本,可以得到网络模型的实际输出,可以采用梯度下降法和反向传播法,将实际输出和实际输入的图像样本的类别标签进行对比,根据对比结果来调整网络模型的参数。
一种可选的实现方式中,将样本图像作为网络模型的输入,根据网络模型的输出结果以及类别标签,采用softmax损失函数,对网络模型进行训练,将训练后的网络模型确定为场景识别模型。
一种可选的实现方式中,网络模型可以包括第二特征提取层和第二分类层,在步骤S32中具体可以包括:
将样本图像输入第二特征提取层,得到样本图像的特征数据;将样本图像的特征数据作为第二分类层的输入,将第二分类层的输出结果与类别标签进行对比,根据对比结果调整网络模型的参数,将训练后的网络模型确定为场景识别模型。
其中,第二特征提取层用于提取输入图像(样本图像)的特征数据,得到样本图像的颜色、形状、纹理等特征数据。第二分类层可以包括用于对第二特征提取层提取到的特征数据进行分类的各种分类器,例如支持向量机、sigmoid分类器、softmax分类器等。
本实施例提供的基于拍摄场景的预警方法,结合电子设备的速度和场景识别来判别拍摄者是否正在驾驶,在速度超过第一预设阈值且场景分类为驾驶位拍摄场景时,即可判定为危险驾驶(用户驾驶过程中拍摄),及时执行预警操作,例如及时发出警告并禁止使用相关功能等,可以保障驾驶安全。
图5是根据一示例性实施例示出的一种基于拍摄场景的预警装置框图。参照图5,该装置应用于电子设备,可以包括:
第一获取模块51,被配置为当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
速度确定模块52,被配置为根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
场景识别模块53,被配置为将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
预警模块54,被配置为当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
本实施例中所提及的电子设备包括但不限于:智能手机(如Android手机、IOS手机)、平板电脑、笔记本电脑、掌上电脑和穿戴式智能设备等具有拍摄功能的电子设备。
具体实现中,当接收到电子设备的摄像头启动指令时,可以判定该电子设备正在拍摄。其中,摄像头启动指令可以是用户通过电子设备的输入装置(物理键盘或者触摸屏)输入的。
在电子设备拍摄过程中,第一获取模块51可以通过调用电子设备的GPS定位系统,获取该电子设备在不同时刻(两个时刻或多个时刻)对应的位置信息,例如可以每隔一固定时长获取一次电子设备的位置信息,根据不同时刻对应的位置信息可以计算出电子设备的速度。
在电子设备拍摄过程中,速度确定模块52可以根据电子设备在两个时刻的位置信息确定电子设备的速度。例如,t0时刻电子设备处于s0位置,t1时刻电子设备处于s1位置,那么该电子设备的速度v=(s1-s0)/(t1-t0)。
为了减少误差,使计算得到的速度值更加精确,在一种可选的实现方式中,速度确定模块52可以根据电子设备在多个时刻的位置信息,确定电子设备在每两个时刻之间时间段内的速度;再对电子设备在每两个时刻之间时间段内的速度求平均,得到电子设备的速度。
例如,在电子设备拍摄过程中,t0时刻电子设备处于s0位置,t1时刻电子设备处于s1位置,t2时刻电子设备处于s2位置,分别计算任意两个时刻之间时间段内的速度v1=v=(s1-s0)/(t1-t0),v2=v=(s2-s1)/(t2-t1)以及v3=v=(s2-s0)/(t2-t0),那么该电子设备的速度可以是速度v1、v2以及v3的平均值。
其中,场景识别模型可以采用网络模型首先对样本图像进行特征提取,然后再对提取后的特征进行分类,基于分类结果以及样本图像的拍摄场景类别标签(驾驶位拍摄场景或非驾驶位拍摄场景),采用深度学习方法对网络模型进行训练得到。具体实现方式在后续实施例中详细介绍。需要说明的是,驾驶位拍摄场景包括在驾驶位上各个角度拍摄的视频的拍摄场景,比如在驾驶位上拍摄车窗外风景的拍摄场景,并不仅限于视频中出现驾驶位这一场景;同理,非驾驶位拍摄场景包括在非驾驶位(乘客座位)上各个角度拍摄的视频的拍摄场景。
具体实现中,场景识别模块53可以将电子设备所拍摄的目标对象(目标视频或目标图像)输入场景识别模型中,该场景识别模型首先从目标对象中确定待识别图像(目标视频中的目标图像帧,或目标图像中的待识别图像),然后对待识别图像进行特征提取和分类,得到待识别图像的拍摄场景;再根据各个待识别图像的拍摄场景确定目标对象的拍摄场景。具体实现方式在后续实施例中详细介绍。
其中,目标对象的拍摄时刻可以在获取位置信息的至少两个时刻之间,或者不完全在至少两个时刻之间。在实际应用中,当目标对象的拍摄时刻在获取位置信息的至少两个时刻之间时,能够更准确地判断拍摄者在拍摄时是否正在驾驶或高速驾驶。另外,目标对象包括摄像头启动后获得的所有视频或图像,包括在预览阶段获得的预览图像或视频,以及用户通过拍摄按钮等获得的图像或视频等。
如果电子设备的速度大于或等于第一预设阈值(比如x km/h),可以判定该电子设备正在某种交通工具上且处于行驶(或高速行驶)过程中;同时当目标对象的拍摄场景为驾驶位拍摄场景时,可以判定该电子设备的用户在驾驶位上,即拍摄者为驾驶员(非乘客),此时预警模块54执行预警操作,可以保障用户的人身安全。第一预设阈值可以根据实际情况进行设定,本实施例对其数值不作具体限定。
其中,预警模块54执行的预警操作具体可以包括:发出报警信息;和/或关闭拍摄应用;和/或将电子设备息屏。
当电子设备的速度小于第一预设阈值时,说明电子设备没有处在行驶过程中或行驶速度较慢,此时可以不作预警处理,用户可以正常使用拍摄功能;当目标对象的拍摄场景为非驾驶位拍摄场景时,说明拍摄者为乘客(非驾驶员),此时同样可以不作预警处理,用户可以正常使用拍摄功能。
本实施例提供的基于拍摄场景的预警装置,应用于电子设备,当电子设备的速度大于或等于第一预设阈值,且目标对象的拍摄场景为驾驶位拍摄场景时,说明该电子设备的用户正在驾驶过程中拍摄,通过执行预警操作,例如通过警告用户或禁止使用相关功能等,可以保障用户的人身安全,避免交通事故的发生。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述场景识别模块53具体被配置为:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
在一种可选的实现方式中,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述场景识别模块53具体被配置为:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
在一种可选的实现方式中,所述装置还可以包括:
第二获取模块,被配置为获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识所述样本图像的拍摄场景;
模型训练模块,被配置为将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述网络模型包括第二特征提取层和第二分类层,所述模型训练模块具体被配置为:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
在一种可选的实现方式中,所述模型训练模块具体被配置为:
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,采用softmax损失函数,对所述网络模型进行训练。
本实施例提供的基于拍摄场景的预警装置,结合电子设备的速度和场景识别来判别拍摄者是否正在驾驶,在速度超过第一预设阈值且场景分类为驾驶位拍摄场景时,即可判定为危险驾驶(用户驾驶过程中拍摄),及时执行预警操作,例如及时发出警告并禁止使用相关功能等,可以保障驾驶安全。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是本公开示出的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成任一实施例所述的基于拍摄场景的预警方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行任一实施例所述的基于拍摄场景的预警方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成任一实施例所述的基于拍摄场景的预警方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括可读性程序代码,该可读性程序代码可由装置800的处理器820执行以完成任一实施例所述的基于拍摄场景的预警方法。可选地,该程序代码可以存储在装置800的存储介质中,该存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本公开示出的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。
参照图7,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行任一实施例所述的基于拍摄场景的预警方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的保护范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
A1、一种基于拍摄场景的预警方法,应用于电子设备,所述方法包括:
当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
A2、根据A1所述的预警方法,所述根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度的步骤,包括:
根据所述电子设备在多个时刻的位置信息,确定所述电子设备在每两个时刻之间时间段内的速度;
对所述电子设备在每两个时刻之间时间段内的速度求平均,得到所述电子设备的速度。
A3、根据A1所述的预警方法,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
A4、根据A1所述的预警方法,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
A5、根据A1所述的预警方法,所述执行预警操作的步骤,包括:
发出报警信息;和/或关闭拍摄应用;和/或将所述电子设备息屏。
A6、根据A1至5任一项所述的预警方法,在所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤之前,还包括:
获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识述样本图像的拍摄场景;
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
A7、根据A6所述的预警方法,所述网络模型包括第二特征提取层和第二分类层,所述将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型的步骤,包括:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
A8、根据A6所述的预警方法,所述将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练的步骤,包括:
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,采用softmax损失函数,对所述网络模型进行训练。
A9、一种基于拍摄场景的预警装置,应用于电子设备,所述装置包括:
第一获取模块,被配置为当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
速度确定模块,被配置为根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
场景识别模块,被配置为将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
预警模块,被配置为当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
A10、根据A9所述的预警装置,所述速度确定模块具体被配置为:
根据所述电子设备在多个时刻的位置信息,确定所述电子设备在每两个时刻之间时间段内的速度;
对所述电子设备在每两个时刻之间时间段内的速度求平均,得到所述电子设备的速度。
A11、根据A9所述的预警装置,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述场景识别模块具体被配置为:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
A12、根据A9所述的预警装置,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述场景识别模块具体被配置为:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
A13、根据A9所述的预警装置,所述预警模块具体被配置为:
发出报警信息;和/或关闭拍摄应用;和/或将所述电子设备息屏。
A14、根据A9至13任一项所述的预警装置,所述装置还包括:
第二获取模块,被配置为获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识所述样本图像的拍摄场景;
模型训练模块,被配置为将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
A15、根据A14所述的预警装置,所述网络模型包括第二特征提取层和第二分类层,所述模型训练模块具体被配置为:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
A16、根据A14所述的预警装置,所述模型训练模块具体被配置为:
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,采用softmax损失函数,对所述网络模型进行训练。
Claims (10)
1.一种基于拍摄场景的预警方法,其特征在于,应用于电子设备,所述方法包括:
当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
2.根据权利要求1所述的预警方法,其特征在于,所述根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度的步骤,包括:
根据所述电子设备在多个时刻的位置信息,确定所述电子设备在每两个时刻之间时间段内的速度;
对所述电子设备在每两个时刻之间时间段内的速度求平均,得到所述电子设备的速度。
3.根据权利要求1所述的预警方法,其特征在于,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标视频时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
提取所述目标视频中第一预设数量的图像帧作为目标图像帧,所述目标图像帧为所述目标视频中拍摄时刻在所述至少两个时刻之间的图像帧;
将各所述目标图像帧输入所述第一特征提取层中,得到各所述目标图像帧的特征数据;
将各所述目标图像帧的特征数据输入所述第一分类层中,得到各所述目标图像帧的拍摄场景;
根据各所述目标图像帧中拍摄场景为驾驶位拍摄场景的图像帧数量与所述第一预设数量的比值,确定所述目标视频的拍摄场景。
4.根据权利要求1所述的预警方法,其特征在于,所述场景识别模型包括第一特征提取层和第一分类层,当所述目标对象为所述电子设备所拍摄的目标图像时,所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤,包括:
从所述电子设备所拍摄的目标图像中选取第二预设数量的图像作为待识别图像,所述待识别图像为所述目标对象中拍摄时刻在所述至少两个时刻之间的图像;
将各所述待识别图像输入所述第一特征提取层中,得到各所述待识别图像的特征数据;
将各所述待识别图像的特征数据输入所述第一分类层中,得到各所述待识别图像的拍摄场景;
根据各所述待识别图像中拍摄场景为驾驶位拍摄场景的图像数量与所述第二预设数量的比值,确定所述目标图像的拍摄场景。
5.根据权利要求1所述的预警方法,其特征在于,所述执行预警操作的步骤,包括:
发出报警信息;和/或关闭拍摄应用;和/或将所述电子设备息屏。
6.根据权利要求1至5任一项所述的预警方法,其特征在于,在所述将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景的步骤之前,还包括:
获取样本集合,所述样本集合包括多个样本图像以及所述样本图像对应的类别标签,所述类别标签标识述样本图像的拍摄场景;
将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型。
7.根据权利要求6所述的预警方法,其特征在于,所述网络模型包括第二特征提取层和第二分类层,所述将所述样本图像作为网络模型的输入,根据所述网络模型的输出结果以及所述类别标签,对所述网络模型进行训练,将训练后的网络模型确定为所述场景识别模型的步骤,包括:
将所述样本图像输入所述第二特征提取层,得到所述样本图像的特征数据;
将所述样本图像的特征数据作为所述第二分类层的输入,将所述第二分类层的输出结果与所述类别标签进行对比,根据对比结果调整所述网络模型的参数,将训练后的所述网络模型确定为所述场景识别模型。
8.一种基于拍摄场景的预警装置,其特征在于,应用于电子设备,所述装置包括:
第一获取模块,被配置为当监测到所述电子设备正在拍摄时,获取所述电子设备在拍摄时的至少两个时刻及对应的位置信息;
速度确定模块,被配置为根据所述电子设备在拍摄时的至少两个时刻及对应的位置信息,确定所述电子设备的速度;
场景识别模块,被配置为将所述电子设备所拍摄的目标对象输入预先训练得到的场景识别模型中,得到所述目标对象的拍摄场景,其中,所述目标对象为所述电子设备所拍摄的目标视频或目标图像,所述拍摄场景包括驾驶位拍摄场景和非驾驶位拍摄场景;
预警模块,被配置为当所述电子设备的速度大于或等于第一预设阈值,且所述目标对象的拍摄场景为驾驶位拍摄场景时,执行预警操作。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的预警方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的预警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910765431.XA CN110677579A (zh) | 2019-08-19 | 2019-08-19 | 基于拍摄场景的预警方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910765431.XA CN110677579A (zh) | 2019-08-19 | 2019-08-19 | 基于拍摄场景的预警方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110677579A true CN110677579A (zh) | 2020-01-10 |
Family
ID=69075503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910765431.XA Pending CN110677579A (zh) | 2019-08-19 | 2019-08-19 | 基于拍摄场景的预警方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110677579A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101284536A (zh) * | 2007-04-13 | 2008-10-15 | 通用汽车环球科技运作公司 | 经由乘者监视的车辆内部部件管理 |
CN102957800A (zh) * | 2012-11-12 | 2013-03-06 | 北京小米科技有限责任公司 | 一种移动终端待机方法及装置 |
CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技(广州)有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
CN103366506A (zh) * | 2013-06-27 | 2013-10-23 | 北京理工大学 | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 |
CN104463201A (zh) * | 2014-11-28 | 2015-03-25 | 杭州华为数字技术有限公司 | 一种识别驾驶状态、驾驶人的方法及装置 |
CN106682602A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市华尊科技股份有限公司 | 一种驾驶员行为识别方法及终端 |
CN107403150A (zh) * | 2017-07-18 | 2017-11-28 | 惠州Tcl移动通信有限公司 | 移动设备及其限制驾驶模式使用的处理方法、及存储介质 |
CN107845231A (zh) * | 2016-09-18 | 2018-03-27 | 邹红星 | 智能交通管理方法、系统、车载终端和交通管控服务平台 |
CN107891807A (zh) * | 2017-11-01 | 2018-04-10 | 北京汽车研究总院有限公司 | 一种汽车报警方法及车载报警系统 |
CN109145840A (zh) * | 2018-08-29 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 视频场景分类方法、装置、设备及存储介质 |
KR101967232B1 (ko) * | 2017-11-24 | 2019-04-09 | 오한선 | 차량 운전중 휴대단말의 사용 방지 시스템 |
-
2019
- 2019-08-19 CN CN201910765431.XA patent/CN110677579A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101284536A (zh) * | 2007-04-13 | 2008-10-15 | 通用汽车环球科技运作公司 | 经由乘者监视的车辆内部部件管理 |
CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技(广州)有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
CN102957800A (zh) * | 2012-11-12 | 2013-03-06 | 北京小米科技有限责任公司 | 一种移动终端待机方法及装置 |
CN103366506A (zh) * | 2013-06-27 | 2013-10-23 | 北京理工大学 | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 |
CN104463201A (zh) * | 2014-11-28 | 2015-03-25 | 杭州华为数字技术有限公司 | 一种识别驾驶状态、驾驶人的方法及装置 |
CN107845231A (zh) * | 2016-09-18 | 2018-03-27 | 邹红星 | 智能交通管理方法、系统、车载终端和交通管控服务平台 |
CN106682602A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市华尊科技股份有限公司 | 一种驾驶员行为识别方法及终端 |
CN107403150A (zh) * | 2017-07-18 | 2017-11-28 | 惠州Tcl移动通信有限公司 | 移动设备及其限制驾驶模式使用的处理方法、及存储介质 |
CN107891807A (zh) * | 2017-11-01 | 2018-04-10 | 北京汽车研究总院有限公司 | 一种汽车报警方法及车载报警系统 |
KR101967232B1 (ko) * | 2017-11-24 | 2019-04-09 | 오한선 | 차량 운전중 휴대단말의 사용 방지 시스템 |
CN109145840A (zh) * | 2018-08-29 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 视频场景分类方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220004742A1 (en) | Method for face recognition, electronic equipment, and storage medium | |
CN106557768B (zh) | 对图片中的文字进行识别的方法及装置 | |
US9674395B2 (en) | Methods and apparatuses for generating photograph | |
CN109446994B (zh) | 手势关键点检测方法、装置、电子设备及存储介质 | |
CN112069952B (zh) | 视频片段提取方法、视频片段提取装置及存储介质 | |
CN112669583B (zh) | 报警阈值调整方法及装置、电子设备和存储介质 | |
CN107784279B (zh) | 目标跟踪方法及装置 | |
US20170154206A1 (en) | Image processing method and apparatus | |
CN107820024B (zh) | 图像拍摄方法、装置及存储介质 | |
CN107463052B (zh) | 拍摄曝光方法及装置 | |
CN111242188B (zh) | 入侵检测方法、装置及存储介质 | |
EP3113071A1 (en) | Method and device for acquiring iris image | |
CN106156788A (zh) | 人脸识别方法、装置及智能眼镜 | |
US9799376B2 (en) | Method and device for video browsing based on keyframe | |
CN111984347A (zh) | 交互处理方法、装置、设备及存储介质 | |
CN111614990B (zh) | 加载时长的获取方法、装置及电子设备 | |
CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
CN113032627A (zh) | 视频分类方法、装置、存储介质及终端设备 | |
CN112819714A (zh) | 目标对象曝光方法、装置、存储介质及设备 | |
CN113807167A (zh) | 车辆碰撞检测方法及装置、电子设备和存储介质 | |
CN111753753A (zh) | 图像识别方法及装置、电子设备和存储介质 | |
CN109448313B (zh) | 车辆识别方法、装置、设备及存储介质 | |
CN111339964A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN113506325B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110677579A (zh) | 基于拍摄场景的预警方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |