CN108710847B - 场景识别方法、装置及电子设备 - Google Patents
场景识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108710847B CN108710847B CN201810465129.8A CN201810465129A CN108710847B CN 108710847 B CN108710847 B CN 108710847B CN 201810465129 A CN201810465129 A CN 201810465129A CN 108710847 B CN108710847 B CN 108710847B
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- weight
- training
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种场景识别方法、装置及电子设备,涉及图像处理技术领域。其中,场景识别方法包括获取待识别图像的场景特征图和权重特征图;根据场景特征图和权重特征图,生成待识别图像对应的场景识别信息;通过场景识别模型对场景识别信息进行识别,确定待识别图像对应的场景类别。本发明实施例所提供的场景识别方法、装置及电子设备,通过获取待识别图像的场景特征图中的场景特征值的不同权重值,调整场景特征图的场景特征值在场景识别信息中的权重,以提高对关键场景特征的关注度,从而提升对复杂场景识别的精确度。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种场景识别方法、装置及电子设备。
背景技术
场景识别是图像识别技术中的一个重要分支,即由计算机判断一张照片或图像处于何种场景下。场景识别有助于理解照片或图像所要表达的高层语义信息。
在当前市场上的场景识别系统中,普遍采用传统的图像识别模型。首先,提取图像的全局特征;然后基于一定数量数据的简单分类训练结果,根据图像的全局特征对其所属的场景进行识别分类。而这种方法仅适用于对简单的场景进行识别,比如,对室内和室外、白天和黑夜等场景的分类。而对于场景类别数量多或图像背景复杂的场景,分辨能力较弱,降低了场景识别的精确度。
发明内容
有鉴于此,本发明的目的在于提供一种场景识别方法、装置及电子设备,可以提高对局部关键场景特征的关注度,从而达到提升复杂场景识别精确度的目的。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种场景识别方法,包括获取待识别图像的场景特征图和权重特征图;所述场景特征图包括至少一个场景特征值;所述权重特征图包括所述场景特征图中的每个场景特征值对应的权重值;
根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息;
通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述获取待识别图像的场景特征图和权重特征图的步骤,包括通过第一卷积神经网络获取所述待识别图像的场景特征图;
通过权重分析网络从所述待识别图像中提取所述场景特征图中的每个场景特征值对应的权重值,得到权重特征图。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息的步骤,包括将每个所述场景特征值与所述对应的权重值相乘,得到所述待识别图像对应的场景识别信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述场景识别模型包括顺次连接的第二卷积神经网络、全局池化层和第一全连接层;所述通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别的步骤,包括通过所述第二卷积神经网络对所述场景识别信息进行卷积处理,得到所述待识别图像对应的识别特征图;
通过所述全局池化层对所述识别特征图进行降维处理,得到所述待识别图像对应的特征向量;
通过所述第一全连接层对所述特征向量进行分类识别,确定所述待识别图像属于预设的各场景的概率。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述提取所述待识别图像的场景识别信息的步骤之前,所述方法还包括获取训练图像样本集,所述训练图像样本集中包含多个场景对应的训练图像;
采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练的步骤,包括从所述训练图像样本集中随机选取训练图像,通过所述第一卷积神经网络和所述权重分析网络,获取所述训练图像对应的场景识别信息;
将所述训练图像对应的场景识别信息输入所述场景识别模型,得到所述训练图像对应的第一场景分类结果;
根据预设的场景标签,通过第一损失函数对所述第一场景分类结果进行准确度检验,得到第一损失函数值;
基于所述第一损失函数值,通过反向传播算法对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练的步骤,包括根据所述训练图像样本集,预先设置物品分类标签;
从所述训练图像样本集中随机选取训练图像,输入所述权重分析网络,得到所述训练图像对应的权重特征图;
依次通过第二全局池化层和第二全连接层对所述训练图像对应的权重特征图进行处理,得到所述训练图像对应的物品分类结果;
根据所述物品分类标签,通过第二损失函数对所述物品分类结果进行准确度检验,得到第二损失函数值;
基于所述第二损失函数值,通过反向传播算法对所述权重分析网络的参数进行训练。
结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练的步骤,还包括将所述训练图像对应的场景识别信息输入所述场景识别模型的第二卷积神经网络,得到所述训练图像对应的识别特征图;
将所述训练图像对应的识别特征图输入第三全连接层,得到所述训练图像对应的第二场景分类结果;
根据预设的场景标签,通过第三损失函数对所述第二场景分类结果进行准确度检验,得到第三损失函数值;
基于所述第三损失函数值,通过反向传播算法对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。
结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,其中,如果所述待识别图像为图像采集装置捕获的待拍摄画面;对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别的步骤之后,所述方法还包括根据所述场景类别,调整所述图像采集装置的拍摄参数,以使所述图像采集装置根据调整后的拍摄参数对待拍摄画面进行拍摄。
第二方面,本发明实施例还提供一种场景识别装置,包括:
特征提取模块,用于获取待识别图像的场景特征图和权重特征图;所述场景特征图包括至少一个场景特征值;所述权重特征图包括所述场景特征图中的每个场景特征值对应的权重值;
识别信息生成模块,用于根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息;
场景识别模块,用于通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别。
第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面任一项所述的方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行第一方面任一项所述的方法的步骤。
本发明实施例带来了以下有益效果:
本发明实施例所提供的场景识别方法、装置及电子设备,通过获取待识别图像的场景特征图中的场景特征值的不同权重值,调整场景特征图中的场景特征值在场景识别信息中的权重,以提高对关键场景特征的关注度,从而提升对复杂场景识别的精确度。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种场景识别方法流程图;
图3示出了本发明实施例所提供的一种场景识别方法训练过程的示意图;
图4示出了本发明实施例所提供的一种场景识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
首先,参照图1来描述用于实现本发明实施例的场景识别方法的示例电子设备100。该示例电子设备100可以是计算机,也可以是智能手机、平板电脑等移动终端,还可以是人证一体机等认证设备。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
实施例二:
由于现有的场景识别方法仅适用于对简单的场景进行识别,为了提高复杂场景识别的精确度,本实施例首先提供了一种场景识别方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
图2示出了本发明实施例所提供的一种场景识别方法流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取待识别图像的场景特征图和权重特征图;
在本发明实施例中,待识别图像可以是图片格式的待识别图像,还可以是图像采集装置(如摄像头)捕获的待拍摄画面。
场景特征图为通过卷积神经网络对待识别图像进行识别,得到的场景特征图。场景特征图中包括至少一个场景特征值。
例如,场景特征图可以是通过第一卷积神经网络提取待识别图像的场景特征值而得到的,具体过程可以为:
第一卷积神经网络中包括一个或多个用于从待识别图像的像素矩阵中提取特征信息的卷积核用卷积核按照一定的步长遍历待识别图像的像素矩阵,得到至少一个场景特征值,由至少一个场景特征值组成场景特征图。
权重特征图包括每个场景特征值对应的权重值。权重特征图可以是通过权重分析网络提取待识别图像的场景特征值所对应的权重值而得到的。
权重分析网络也包括一个或多个卷积核,用于提取待识别图像的各个场景特征值对应的权重值,输出权重特征图。所输出的权重特征图与场景特征图大小相同。
可选地,权重分析网络可以通过预设的物品分类标签训练得到,权重分析网络的具体训练过程将在下文中介绍。
步骤S204,根据场景特征图和权重特征图,生成待识别图像对应的场景识别信息;
将场景特征图中的每个场景特征值与对应的权重值按元素相乘,得到待识别图像对应的场景识别信息。
根据场景特征图和权重特征图生成的待识别图像对应的场景识别信息,能够关注场景画面中的局部重要特征,即通过权重分析网络,可以调整场景特征图的局部权重。
步骤S206,通过场景识别模型对场景识别信息进行识别,确定待识别图像对应的场景类别。
在本发明实施例中,场景识别模型可以包括顺次连接的第二卷积神经网络、全局池化层和第一全连接层;
通过第二卷积神经网络对场景识别信息进行卷积处理,得到待识别图像对应的识别特征图;通过全局池化层对所述识别特征图进行降维处理,得到待识别图像对应的特征向量;通过第一全连接层对所述特征向量进行分类识别,确定待识别图像属于预设的各场景的概率,从而确定待识别图像的场景类别。
为了使上述第一卷积神经网络、权重分析网络和场景识别模型可以直接应用于对待识别图像的场景类型进行识别,输出较为准确可靠的结果,需要事先对第一卷积神经网络、权重分析网络和场景识别模型进行训练。以下结合图3,详细说明第一卷积神经网络、权重分析网络和场景识别模型的训练过程。
如图3所示,首先获取训练图像样本集,训练图像样本集中包含大量训练图像,分别对应多种不同的场景。根据该训练图像样本集,预先设置有场景标签和物品分类标签。物品分类标签根据训练图像中的物品信息而设置,通过物品信息,识别图像中的局部重要特征。从训练图像样本集中随机选取训练图像,通过第一卷积神经网络和权重分析网络,获取训练图像对应的场景识别信息。即将训练图像输入第一卷积神经网络,得到训练图像对应的场景特征图;将训练图像输入权重分析网络,得到训练图像对应的权重特征图;将场景特征图中的每个场景特征值与权重特征图中对应的权重值按元素相乘,得到待识别图像对应的场景识别信息。将训练图像对应的场景识别信息输入场景识别模型,得到训练图像对应的第一场景分类结果。即将训练图像对应的场景识别信息输入第二卷积神经网络,得到训练图像对应的识别特征图;将训练图像对应的识别特征图输入全局池化层,得到训练图像对应的特征向量;将训练图像对应的特征向量输入第一全连接层,得到训练图像对应的第一场景分类结果。训练图像对应的第一场景分类结果为训练图像属于预设的各场景的概率。
根据预设的场景标签,通过第一损失函数对第一场景分类结果进行准确度检验,得到第一损失函数值。基于第一损失函数值,通过反向传播算法对第一卷积神经网络、权重分析网络和场景识别模型的参数进行训练。直至第一损失函数值收敛至第一预设值,将第一损失函数值收敛至第一预设值时对应的参数作为当前的第一卷积神经网络、权重分析网络和场景识别模型的参数。
从训练图像样本集中随机选取训练图像,输入权重分析网络,得到训练图像对应的权重特征图。训练图像对应的权重特征图包括训练图像的场景特征值所对应的权重值。依次通过第二全局池化层和第二全连接层对训练图像对应的权重特征图进行处理,得到训练图像对应的物品分类结果。根据物品分类标签,通过第二损失函数对物品分类结果进行准确度检验,得到第二损失函数值。基于第二损失函数值,通过反向传播算法对所述权重分析网络的参数进行训练。直至第二损失函数值收敛至第二预设值,将第二损失函数值收敛至第二预设值时对应的参数作为权重分析网络的参数。
将训练图像对应的场景识别信息输入场景识别模型的第二卷积神经网络,得到训练图像对应的识别特征图;将训练图像对应的识别特征图输入第三全连接层,得到训练图像对应的第二场景分类结果;根据预设的场景标签,通过第二损失函数对第二场景分类结果进行准确度检验,得到第三损失函数值;基于第三损失函数值,通过反向传播算法对第一卷积神经网络、权重分析网络和场景识别模型的参数进行训练。直至第三损失函数值收敛至第三预设值,将第三损失函数值收敛至第三预设值时对应的参数作为第一卷积神经网络、权重分析网络和场景识别模型的参数。
在本发明实施例中,采用训练图像样本集从三个方面同步对第一卷积神经网络、权重分析网络和场景识别模型进行训练。
第一方面,获取训练图像对应的场景识别信息后,依次通过第二卷积神经网络的卷积处理、第一全局池化层的降维处理和第一全连接层的分类识别后得到训练图像对应的第一场景分类结果,根据预设的场景标签,通过第一损失函数对第一场景分类结果进行准确度检验,得到第一损失函数值;基于第一损失函数值,通过反向传播算法对第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。这一方面,通过关注图像的局部重要特征,提高复杂场景识别的准确率。
第二方面,获取训练图像对应的权重特征图后,依次通过第二全局池化层的降维处理和第二全连接层的分类识别后得到训练图像对应的物品分类结果,根据物品分类标签,通过第二损失函数对物品分类结果进行准确度检验,得到第二损失函数值;基于第二损失函数值,通过反向传播算法对权重分析网络的参数进行训练。这一方面,利用物品分类信息来辅助场景识别。
第三方面,获取训练图像对应的场景识别信息后,依次通过第二卷积神经网络的卷积处理、第三全连接层的分类识别后得到训练图像对应的第二场景分类结果,根据预设的场景标签,通过第二损失函数对第二场景分类结果进行准确度检验,得到第三损失函数值;基于第三损失函数值,通过反向传播算法对第一卷积神经网络、权重分析网络和场景识别模型的参数进行训练的。这一方面,第三全连接层直接接在第二卷积神经网络之后,训练图像对应的识别特征图并没有经过全局池化层的降维处理,从而降低了局部信息的损失。
需要说明的是,在本发明实施例中,训练图像样本集中可以包含至少上千张多个场景对应的训练图像,且每张训练图像上都被进行了场景和物品特征点标注,并形成场景分类标签和物品分类标签。
在一可选的实施例中,如果待识别图像为图像采集装置捕获的待拍摄画面,对场景识别信息进行识别,确定出待识别图像对应的场景类别之后,还可以根据确定出的场景类别,调整图像采集装置的拍摄参数,以使图像采集装置根据调整后的拍摄参数对待拍摄画面进行拍摄,来获取最佳画面效果的照片。
实施例三:
对应于实施例二中所提供的场景识别方法,本实施例提供了一种场景识别装置。图4示出了本发明实施例所提供的一种场景识别装置的结构示意图,如图4所示,该装置包括以下模块:
特征提取模块42,用于获取待识别图像的场景特征图和权重特征图;场景特征图包括至少一个场景特征值;权重特征图包括场景特征图中每个场景特征值对应的权重值;
识别信息生成模块44,用于根据场景特征图和权重特征图,生成待识别图像对应的场景识别信息;
场景识别模块46,用于通过场景识别模型对场景识别信息进行识别,确定待识别图像对应的场景类别。
其中,特征提取模块42,还可以用于:通过第一卷积神经网络获取待识别图像的场景特征图;通过权重分析网络提取待识别图像的场景特征值所对应的权重值,得到权重特征图。
识别信息生成模块44,还可以用于:将每个场景特征值与对应的权重值相乘,得到待识别图像对应的场景识别信息。
场景识别模型可以包括顺次连接的第二卷积神经网络、全局池化层和第一全连接层。场景识别模块46,还可以用于:通过第二卷积神经网络对场景识别信息进行卷积处理,得到待识别图像对应的识别特征图;通过全局池化层对识别特征图进行降维处理,得到待识别图像对应的特征向量;通过第一全连接层对特征向量进行分类识别,确定待识别图像属于预设的各场景的概率。
可选地,如果待识别图像为图像采集装置捕获的待拍摄画面,该场景识别装置还可以包括拍摄参数调整模块。拍摄参数调整模块与场景识别模块46连接,用于根据确定的场景类别,调整图像采集装置的拍摄参数,以使图像采集装置根据调整后的拍摄参数对待拍摄画面进行拍摄。
进一步地,场景识别装置还可以包括训练模块。训练模块与特征提取模块42连接,用于获取训练图像样本集,训练图像样本集中包含多个场景对应的训练图像;采用训练图像样本集对第一卷积神经网络、权重分析网络和场景识别模型进行训练。
训练模块,还可以用于:从训练图像样本集中随机选取训练图像,通过第一卷积神经网络和权重分析网络,获取训练图像对应的场景识别信息;将训练图像对应的场景识别信息输入场景识别模型,得到训练图像对应的第一场景分类结果;根据预设的场景标签,通过第一损失函数对第一场景分类结果进行准确度检验,得到第一损失函数值;基于第一损失函数值,通过反向传播算法对第一卷积神经网络、权重分析网络和场景识别模型的参数进行训练。
训练模块,还可以用于:根据训练图像样本集,预先设置物品分类标签;从训练图像样本集中随机选取训练图像,输入权重分析网络,得到训练图像对应的权重特征图;训练图像对应的权重特征图包括所述训练图像的场景特征值所对应的权重值;依次通过第二全局池化层和第二全连接层对所述训练图像对应的权重特征图进行处理,得到训练图像对应的物品分类结果;根据物品分类标签,通过第二损失函数对物品分类结果进行准确度检验,得到第二损失函数值;基于第二损失函数值,通过反向传播算法对权重分析网络的参数进行训练。
训练模块,还可以用于:将训练图像对应的场景识别信息输入场景识别模型的第二卷积神经网络,得到训练图像对应的识别特征图;将训练图像对应的识别特征图输入第三全连接层,得到训练图像对应的第二场景分类结果;根据预设的场景标签,通过第三损失函数对第二场景分类结果进行准确度检验,得到第三损失函数值;基于第三损失函数值,通过反向传播算法对第一卷积神经网络、权重分析网络和场景识别模型的参数进行训练。
本发明实施例所提供的场景识别装置,通过获取待识别图像的场景特征图中的场景特征值的不同权重值,调整场景特征图的场景特征值在场景识别信息中的权重,以提高对关键场景特征的关注度,从而提升对复杂场景识别的精确度。同时,在训练过程中,通过物品分类标签对权重分析网络进行训练,使得场景识别装置可以利用物品分类信息来辅助场景识别。并且,在训练过程中,增设了第三损失函数,输入第三损失函数的第二场景分类结果对应的识别特征图没有经过全局池化层的降维处理,充分考虑了识别特征图中每个局部数据的影响,从而降低了局部信息的损失。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
此外,本发明实施例提供了一种电子设备,包括存储器和处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现前述方法实施例提供的方法的步骤。
进一步地,本发明实施例还提供了一种场景识别方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种场景识别方法,其特征在于,包括:
获取待识别图像的场景特征图和权重特征图;所述场景特征图包括至少一个场景特征值;所述权重特征图包括所述场景特征图中的每个场景特征值对应的权重值;
根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息;
通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别;
所述获取待识别图像的场景特征图和权重特征图的步骤之前,所述方法还包括:
获取训练图像样本集,所述训练图像样本集中包含多个场景对应的训练图像;
从所述训练图像样本集中随机选取训练图像,通过第一卷积神经网络和权重分析网络,获取所述训练图像对应的场景识别信息;其中,所述第一卷积神经网络用于获取所述待识别图像的场景特征图;所述权重分析网络用于从所述待识别图像中提取所述场景特征图中的每个场景特征值对应的权重值,得到权重特征图;
将所述训练图像对应的场景识别信息输入所述场景识别模型,得到所述训练图像对应的第一场景分类结果;
根据预设的场景标签,通过第一损失函数对所述第一场景分类结果进行准确度检验,得到第一损失函数值;
基于所述第一损失函数值,通过反向传播算法对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。
2.根据权利要求1所述的方法,其特征在于,所述获取待识别图像的场景特征图和权重特征图的步骤,包括:
通过第一卷积神经网络获取所述待识别图像的场景特征图;
通过权重分析网络从所述待识别图像中提取所述场景特征图中的每个场景特征值对应的权重值,得到权重特征图。
3.根据权利要求1所述的方法,其特征在于,根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息的步骤,包括:
将每个所述场景特征值与对应的权重值相乘,得到所述待识别图像对应的场景识别信息。
4.根据权利要求2所述的方法,其特征在于,所述场景识别模型包括顺次连接的第二卷积神经网络、全局池化层和第一全连接层;所述通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别的步骤,包括:
通过所述第二卷积神经网络对所述场景识别信息进行卷积处理,得到所述待识别图像对应的识别特征图;
通过所述全局池化层对所述识别特征图进行降维处理,得到所述待识别图像对应的特征向量;
通过所述第一全连接层对所述特征向量进行分类识别,确定所述待识别图像属于预设的各场景的概率。
5.根据权利要求1所述的方法,其特征在于,采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练的步骤,包括:
根据所述训练图像样本集,预先设置物品分类标签;
从所述训练图像样本集中随机选取训练图像,输入所述权重分析网络,得到所述训练图像对应的权重特征图;
依次通过第二全局池化层和第二全连接层对所述训练图像对应的权重特征图进行处理,得到所述训练图像对应的物品分类结果;
根据所述物品分类标签,通过第二损失函数对所述物品分类结果进行准确度检验,得到第二损失函数值;
基于所述第二损失函数值,通过反向传播算法对所述权重分析网络的参数进行训练。
6.根据权利要求1所述的方法,其特征在于,采用所述训练图像样本集对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型进行训练的步骤,还包括:
将所述训练图像对应的场景识别信息输入所述场景识别模型的第二卷积神经网络,得到所述训练图像对应的识别特征图;
将所述训练图像对应的识别特征图输入第三全连接层,得到所述训练图像对应的第二场景分类结果;
根据预设的场景标签,通过第三损失函数对所述第二场景分类结果进行准确度检验,得到第三损失函数值;
基于所述第三损失函数值,通过反向传播算法对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。
7.根据权利要求1所述的方法,其特征在于,如果所述待识别图像为图像采集装置捕获的待拍摄画面;对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别的步骤之后,所述方法还包括:
根据所述场景类别,调整所述图像采集装置的拍摄参数,以使所述图像采集装置根据调整后的拍摄参数对待拍摄画面进行拍摄。
8.一种场景识别装置,其特征在于,包括:
特征提取模块,用于获取待识别图像的场景特征图和权重特征图;所述场景特征图包括至少一个场景特征值;所述权重特征图包括所述场景特征图中的每个场景特征值对应的权重值;
识别信息生成模块,用于根据所述场景特征图和所述权重特征图,生成所述待识别图像对应的场景识别信息;
场景识别模块,用于通过场景识别模型对所述场景识别信息进行识别,确定所述待识别图像对应的场景类别;
所述装置还包括:
训练模块,用于获取训练图像样本集,所述训练图像样本集中包含多个场景对应的训练图像;从所述训练图像样本集中随机选取训练图像,通过第一卷积神经网络和权重分析网络,获取所述训练图像对应的场景识别信息;其中,所述第一卷积神经网络用于获取所述待识别图像的场景特征图;所述权重分析网络用于从所述待识别图像中提取所述场景特征图中的每个场景特征值对应的权重值,得到权重特征图;将所述训练图像对应的场景识别信息输入所述场景识别模型,得到所述训练图像对应的第一场景分类结果;根据预设的场景标签,通过第一损失函数对所述第一场景分类结果进行准确度检验,得到第一损失函数值;基于所述第一损失函数值,通过反向传播算法对所述第一卷积神经网络、所述权重分析网络和所述场景识别模型的参数进行训练。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1~7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1~7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810465129.8A CN108710847B (zh) | 2018-05-15 | 2018-05-15 | 场景识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810465129.8A CN108710847B (zh) | 2018-05-15 | 2018-05-15 | 场景识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108710847A CN108710847A (zh) | 2018-10-26 |
CN108710847B true CN108710847B (zh) | 2020-11-27 |
Family
ID=63868966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810465129.8A Active CN108710847B (zh) | 2018-05-15 | 2018-05-15 | 场景识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710847B (zh) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109452914A (zh) * | 2018-11-01 | 2019-03-12 | 北京石头世纪科技有限公司 | 智能清洁设备,清洁模式选择方法,计算机存储介质 |
CN110166826B (zh) * | 2018-11-21 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 视频的场景识别方法、装置、存储介质及计算机设备 |
CN109558032B (zh) * | 2018-12-05 | 2020-09-04 | 北京三快在线科技有限公司 | 操作处理方法、装置以及计算机设备 |
CN109784159A (zh) * | 2018-12-11 | 2019-05-21 | 北京航空航天大学 | 场景图像的处理方法、装置及系统 |
CN109754009B (zh) * | 2018-12-29 | 2021-07-13 | 北京沃东天骏信息技术有限公司 | 物品识别方法、装置、售货系统和存储介质 |
US11531516B2 (en) | 2019-01-18 | 2022-12-20 | Samsung Electronics Co., Ltd. | Intelligent volume control |
CN109783047B (zh) * | 2019-01-18 | 2022-05-06 | 三星电子(中国)研发中心 | 一种终端上的智能音量控制方法和装置 |
CN109858900A (zh) * | 2019-01-21 | 2019-06-07 | 中国平安财产保险股份有限公司 | 一种支付信息推送方法、装置及终端设备 |
CN109951354B (zh) * | 2019-03-12 | 2021-08-10 | 北京奇虎科技有限公司 | 一种终端设备识别方法、系统及存储介质 |
CN109995999A (zh) * | 2019-03-14 | 2019-07-09 | Oppo广东移动通信有限公司 | 场景识别方法、装置、电子设备及存储介质 |
CN109961357B (zh) * | 2019-03-25 | 2021-09-03 | 上海拉扎斯信息科技有限公司 | 用户数据处理方法、装置、电子设备及存储介质 |
CN111753578A (zh) * | 2019-03-27 | 2020-10-09 | 北京外号信息技术有限公司 | 光通信装置的识别方法和相应的电子设备 |
CN111797873A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
CN111797854B (zh) * | 2019-04-09 | 2023-12-15 | Oppo广东移动通信有限公司 | 场景模型建立方法、装置、存储介质及电子设备 |
CN112115325B (zh) * | 2019-06-20 | 2024-05-10 | 北京地平线机器人技术研发有限公司 | 场景类别的确定方法和场景分析模型的训练方法、装置 |
CN110233968B (zh) * | 2019-06-21 | 2021-04-06 | 上海摩象网络科技有限公司 | 图像拍摄控制方法及其装置、图像拍摄系统 |
CN110503099B (zh) * | 2019-07-23 | 2023-06-20 | 平安科技(深圳)有限公司 | 基于深度学习的信息识别方法及相关设备 |
CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
CN110516590A (zh) * | 2019-08-26 | 2019-11-29 | 国网河北省电力有限公司保定供电分公司 | 基于场景识别的作业标准提示系统 |
CN110569913A (zh) * | 2019-09-11 | 2019-12-13 | 北京云迹科技有限公司 | 场景分类器训练方法、装置、场景识别方法及机器人 |
CN110929663B (zh) * | 2019-11-28 | 2023-12-29 | Oppo广东移动通信有限公司 | 一种场景预测方法及终端、存储介质 |
CN110996153B (zh) | 2019-12-06 | 2021-09-24 | 深圳创维-Rgb电子有限公司 | 基于场景识别的音画品质增强方法、系统和显示器 |
CN111062307A (zh) * | 2019-12-12 | 2020-04-24 | 天地伟业技术有限公司 | 一种基于Tiny-Darknet的场景识别分类方法 |
CN111131889B (zh) * | 2019-12-31 | 2022-11-25 | 深圳创维-Rgb电子有限公司 | 场景自适应调整图像及声音的方法、系统及可读存储介质 |
CN111291692B (zh) * | 2020-02-17 | 2023-10-20 | 咪咕文化科技有限公司 | 视频场景识别方法、装置、电子设备及存储介质 |
CN111311645A (zh) * | 2020-02-25 | 2020-06-19 | 四川新视创伟超高清科技有限公司 | 超高清视频切画目标跟踪识别方法 |
CN111353428B (zh) * | 2020-02-28 | 2022-05-24 | 北京市商汤科技开发有限公司 | 动作信息识别方法、装置、电子设备及存储介质 |
CN111340048B (zh) * | 2020-02-28 | 2022-02-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111383026B (zh) * | 2020-03-09 | 2022-07-05 | 支付宝(杭州)信息技术有限公司 | 识别交易行为异常的方法以及装置 |
CN111475661B (zh) * | 2020-03-23 | 2023-07-14 | 深兰科技(上海)有限公司 | 一种基于有限标签构造场景图的方法、装置及计算机设备 |
CN111814633B (zh) * | 2020-06-29 | 2023-06-27 | 北京百度网讯科技有限公司 | 陈列场景检测方法、装置、设备以及存储介质 |
CN111797763A (zh) * | 2020-07-02 | 2020-10-20 | 北京灵汐科技有限公司 | 一种场景识别方法和系统 |
CN112182265A (zh) * | 2020-09-17 | 2021-01-05 | 国家电网有限公司 | 广谱集成多算法的图像识别方法 |
CN112329660B (zh) * | 2020-11-10 | 2024-05-24 | 浙江商汤科技开发有限公司 | 一种场景识别方法、装置、智能设备及存储介质 |
CN112633064B (zh) * | 2020-11-19 | 2023-12-15 | 深圳银星智能集团股份有限公司 | 一种场景识别方法和电子设备 |
CN112926512B (zh) * | 2021-03-25 | 2024-03-15 | 深圳市无限动力发展有限公司 | 环境类型的识别方法、装置和计算机设备 |
CN113297937B (zh) * | 2021-05-17 | 2023-12-15 | 杭州网易智企科技有限公司 | 一种图像处理方法、装置、设备及介质 |
CN113033507B (zh) * | 2021-05-20 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 场景识别方法、装置、计算机设备和存储介质 |
CN113221835B (zh) * | 2021-06-01 | 2023-06-20 | 平安科技(深圳)有限公司 | 面审视频的场景分类方法、装置、设备及存储介质 |
CN113516090B (zh) * | 2021-07-27 | 2024-05-14 | 盛景智能科技(嘉兴)有限公司 | 厂房场景识别方法、装置、电子设备及存储介质 |
CN115272985A (zh) * | 2022-09-30 | 2022-11-01 | 南通通州意达港口机械有限公司 | 一种基于神经网络的安全帽智能调节方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185225A (zh) * | 2014-09-11 | 2014-12-03 | 南京大学 | 一种基于场景分类的室内外无缝定位切换方法 |
CN107944386A (zh) * | 2017-11-22 | 2018-04-20 | 天津大学 | 基于卷积神经网络的视觉场景识别方法 |
-
2018
- 2018-05-15 CN CN201810465129.8A patent/CN108710847B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185225A (zh) * | 2014-09-11 | 2014-12-03 | 南京大学 | 一种基于场景分类的室内外无缝定位切换方法 |
CN107944386A (zh) * | 2017-11-22 | 2018-04-20 | 天津大学 | 基于卷积神经网络的视觉场景识别方法 |
Non-Patent Citations (2)
Title |
---|
Attention-based Extraction of Structured Information from Street View Imagery;Zbigniew Wojna et al.;《2017 14th IAPR International Conference on Document Analysis and Recognition》;20180129;844-850 * |
Locally Supervised Deep Hybrid Model for Scene Recognition;Sheng Guo et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20161116;第26卷(第2期);808-820 * |
Also Published As
Publication number | Publication date |
---|---|
CN108710847A (zh) | 2018-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108710847B (zh) | 场景识别方法、装置及电子设备 | |
CN109255352B (zh) | 目标检测方法、装置及系统 | |
CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
CN109815843B (zh) | 图像处理方法及相关产品 | |
CN109214366B (zh) | 局部目标重识别方法、装置及系统 | |
CN108960189B (zh) | 图像再识别方法、装置及电子设备 | |
CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
US8792722B2 (en) | Hand gesture detection | |
CN109671020B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN111209970B (zh) | 视频分类方法、装置、存储介质及服务器 | |
CN106408037B (zh) | 图像识别方法及装置 | |
CN109063776B (zh) | 图像再识别网络训练方法、装置和图像再识别方法及装置 | |
CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
US20120027263A1 (en) | Hand gesture detection | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
CN110738103A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
CN111310724A (zh) | 基于深度学习的活体检测方法、装置、存储介质及设备 | |
CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
CN111797971A (zh) | 应用卷积神经网络进行数据处理的方法、装置和电子系统 | |
CN111639667B (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
CN113837257A (zh) | 一种目标检测方法及装置 | |
CN109785439B (zh) | 人脸素描图像生成方法及相关产品 | |
CN107563257B (zh) | 视频理解方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |