CN109086796B - 图像识别方法、装置、移动终端以及存储介质 - Google Patents
图像识别方法、装置、移动终端以及存储介质 Download PDFInfo
- Publication number
- CN109086796B CN109086796B CN201810679969.4A CN201810679969A CN109086796B CN 109086796 B CN109086796 B CN 109086796B CN 201810679969 A CN201810679969 A CN 201810679969A CN 109086796 B CN109086796 B CN 109086796B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- brand
- residual error
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像识别方法、装置、移动终端以及存储介质,涉及机器学习技术领域。所述方法包括:获取标志图像,将标志图像输入残差网络,提取标志图像的尺度特征,该残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,该多个标志样本和多个品牌样本一一对应,将尺度特征输入分类器网络,识别标志图像对应的品牌,该分类器网络基于卷积神经网络架构并通过多个不同尺度特征进行训练获得。本申请实施例提供的图像识别方法、装置、移动终端以及存储介质通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
Description
技术领域
本申请涉及机器学习技术领域,更具体地,涉及一种图像识别方法、装置、移动终端以及存储介质。
背景技术
随着社会的发展,如今市面上的品牌众多,消费者凭借记忆识别这些品牌,因此,对于其中的一些品牌往往不认识或者认识不全,会给消费者带来很多困扰。
发明内容
鉴于上述问题,本申请提出了一种图像识别方法、装置、移动终端以及存储介质,以通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
第一方面,本申请实施例提供了一种图像识别方法,所述方法包括:获取标志图像;将所述标志图像输入残差网络,提取所述标志图像的尺度特征,所述残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,所述多个标志样本和所述多个品牌样本一一对应;将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌,所述分类器网络基于所述卷积神经网络架构并通过多个不同尺度特征进行训练获得。
第二方面,本申请实施例提供了一种标志图像获取模块,用于获取标志图像;尺度特征获取模块,用于将所述标志图像输入残差网络,提取所述标志图像的尺度特征,所述残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,所述多个标志样本和所述多个品牌样本一一对应;品牌识别模块,用于将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌,所述分类器网络基于卷积神经网络构架并通过多个不同尺度特征进行训练获得。
第三方面,本申请实施例提供了一种移动终端,包括触摸屏、存储器以及处理器,所述触摸屏与所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面,本申请实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质,所述程序代码使所述处理器执行上述方法。
本申请实施例提供的一种图像识别方法、装置、移动终端以及存储介质,获取标志图像,将标志图像输入残差网络,提取标志图像的尺度特征,该残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,该多个标志样本和多个品牌样本一一对应,将尺度特征输入分类器网络,识别标志图像对应的品牌,该分类器网络基于卷积神经网络架构并通过多个不同尺度特征进行训练获得,从而通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
本申请的这些方面或其它方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了本申请第一实施例提供的图像识别方法的流程示意图;
图2示出了本申请第二实施例提供的图像识别方法的流程示意图;
图3示出了本申请第二实施例提供的图像识别方法的步骤S209的流程示意图;
图4示出了本申请第三实施例提供的图像识别装置的模块框图;
图5示出了本申请第四实施例提供的图像识别装置的模块框图;
图6示出了本申请实施例提供的一种移动终端的结构示意图;
图7示出了用于执行根据本申请实施例的图像识别方法的移动终端的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
随着社会的发展和互联网推广的普及,品牌侵权的事件也越来越多,比如,一个电子产品代理的销售推广中,销售商只取得了一两个品牌的销售授权,但其官方网站上却有各种知名品牌的品牌标志,这种品牌标志一方面给消费者带来误导,另一方面也给审核带来挑战。目前,消费者凭借记忆识别这些品牌标志,往往不认识或者识别不全,会给消费者带来很多困扰。针对上述问题,发明人提出了本申请实施例提供的图像识别方法、装置、移动终端以及存储介质,通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。其中,具体的图像识别方法在后续的实施例中进行详细的说明。
第一实施例
请参阅图1,图1示出了本申请第一实施例提供的图像识别方法的流程示意图。所述图像识别方法用于通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。在具体的实施例中,所述图像识别方法应用于如图4所示的图像识别装置200以及配置有所述图像识别装置200的移动终端(图6)。下面将以移动终端为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的移动终端可以为智能手机、平板电脑、穿戴式电子设备等,在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述,所述图像识别方法具体可以包括以下步骤:
步骤S101:获取标志图像。
在本实施例中,所述标志图像可以为品牌对应的标志图像,可以为商标对应的标志图像,也可以为商品对应的标志图像等,可选的,在本实施例中,所述标志图像为品牌对应的标志图像。所述标志图像可以是移动终端通过摄像头拍摄的图像,可以是预先获取并保存在移动终端本地的图像,也可以由移动终端从服务器获取的图像等,同时,所述标志图像可以是二维图像,也可以是三维图像等,在此不做具体的限定。
作为一种方式,在获取所述标志图像后,可以对所述标志图像进行一些预处理工作,例如缩放处理、归一化处理以及去燥处理等,其中,具体进行缩放处理、归一化处理以及去燥处理所使用的参数根据实际情况进行设置,在此不做限定。
步骤S102:将所述标志图像输入残差网络,提取所述标志图像的尺度特征,所述残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,所述多个标志样本和所述多个品牌样本一一对应。
进一步地,移动终端预先存储有残差网络,该残差网络用于接收输入信息,并对输入信息进行处理,以输出与所述输入信息对应的输出信息,其中,在本实施例中,在获取标志图像后,将所述标志图像输入残差网络,以通过所述残差网络提取该标志图像的尺度特征。
其中,该残差网络是基于卷积神经网络构架建立的,在建立完成后,再通过多个标志样本和多个品牌样本进行训练获得,需要说明的是,在本实施例中,所述多个标志样本和多个品牌样本一一对应,即多个品牌样本中的每个品牌样本对应多个物体样本中的一个物体样本。具体地,在本实施例中,首先采集多个训练样本集,该训练样本集包括多个标志样本和多个品牌样本,其中,多个标志样本和多个品牌样本均可以由移动终端的摄像头拍摄获取,可以从移动终端本地保存中获取,也可以由移动终端从服务器获取等,进一步地,在获取训练样本集后,以多个标志样本作为输入向量,以提取的尺度特征作为输出向量,对残差网络进行机器学习,以建立标志样本和尺度特征之间的残差网络模型。
进一步地,所述残差网络可以为ResNet-50网络,可以为ResNet-100网络,可以为ResNet-101网络等,可选的,在本实施例中,所述残差网络为ResNet-50网络。其中,ResNet-50网络对每层输入做一个reference,学习形成残差函数而不是学习一些没有reference的函数,这种残差函数更容易优化,且从本质上说,网络层数变得更深。
步骤S103:将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌,所述分类器网络基于所述卷积神经网络架构并通过多个不同尺度特征进行训练获得。
进一步地,移动终端预先存储有分类器网络,该分类器网络用于接收输入信息,并对输入信息进行处理,以输出与所述输入信息对应的输出信息,其中,在本实施例中,在提取到标志图像的尺度特征后,将所述尺度特征输入分类器网络,以通过所述分类器网络识别标志图像对应的品牌并输出。
其中,该分类器网络是基于卷积神经网络构架建立的,在建立完成后,再通过多个不同尺度特征进行训练获得。具体地,在本实施例中,首先采集多个训练样本集,该训练样本集包括多个标志样本和多个品牌样本,其中,多个标志样本和多个品牌样本均可以由移动终端通过摄像头拍摄获取,可以从移动终端本地预先保存中获取,也可以由移动终端从服务器获取等,进一步地,在获取训练样本集后,以多个标志样本作为输入向量,输入残差网络中提取各层的不同尺度特征,然后将各层的不同尺度特征作为输入向量,将品牌样本作为输出向量,输入分类器网络中,对所述分类器网络进行训练,以建立标志图像与品牌之间的残差网络和分类器网络。
本申请第一实施例提供的图像识别方法,获取标志图像,将标志图像输入残差网络,提取标志图像的尺度特征,该残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,该多个标志样本和多个品牌样本一一对应,将尺度特征输入分类器网络,识别标志图像对应的品牌,该分类器网络基于卷积神经网络架构并通过多个不同尺度特征进行训练获得,从而通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
第二实施例
请参阅图2,图2示出了本申请第二实施例提供的图像识别方法的流程示意图。下面将针对图2所示的流程进行详细的阐述,所述方法具体可以包括以下步骤:
步骤S201:基于所述卷积神经网络构建残差网络和分类器网络。
其中,步骤S201的实现方法请参阅步骤S102-步骤S103,在此不再赘述。
步骤S202:获取预先训练完成的目标检测网络。
在本实施例中,移动终端预先存储有训练完成的目标检测网络,其中,作为一种方式,所述目标检测网络可以为SSD网络,其中,SSD网络是基于一个前向传播卷积神经网络,产生一系列固定大小的矩阵框,以及每一个矩阵框中包含物体示例的可行性,之后进行非极大值抑制得到最终的预测结果。
步骤S203:通过所述目标检测网络对所述残差网络进行权值初始化。
进一步地,通过所述目标检测网络对残差网络进行权值初始化,即将训练好的SSD网络中的权值赋予ResNet-50网络权值进行初始化,以使得网络处于一个比较好的状态,减少训练时间。
步骤S204:获取训练样本集,将所述训练样本集输入到所述残差网络,训练所述残差网络并提取所述残差网络各层的不同尺度特征。
步骤S205:将所述各层的不同尺度特征输入到所述分类器网络,训练所述分类器网络。
步骤S204-步骤S205的实现方法请参阅步骤S102-步骤S103,在此不再赘述。
步骤S206:获取标志图像。
步骤S207:将所述标志图像输入残差网络,提取所述标志图像的尺度特征。
步骤S208:将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌。
步骤S209:当所述标志图像识别不成功时,提取所述标志图像的部分尺度特征。
可以理解的,通过所述分类器网络对标志图像提取的特征进行识别,若所述标志图像不完整、标志图像被损坏、或者标志图像被恶意增加了特征等,均会造成标志图像识别不成功。在本实施例中,当所述标志图像识别不成功时,则提取该标志图像的部分尺度特征,其中,该部分尺度特征可以是完整标志图像中最能表征品牌的特征部分,相对于损坏、残缺或恶意添加的标志图像,通过该部分尺度特征能更精确表征品牌对应的标志图像的轮廓。
请参阅图3,图3示出了本申请第二实施例提供的图像识别方法的步骤S209的流程示意图。下面将针对图3所示的流程进行详细的阐述,所述方法具体可以包括以下步骤:
步骤S2091:当所述标志图像识别不成功时,判断所述标志图像是否为完整图像。
作为一种方式,在本实施例中,在标志图像识别不成功时,对标志图像的完整性进行判别。具体地,可以判断该标志图像的边缘是否完整,可以理解的,若所述标志图像为完整图像,且分类器网络没有识别成功,表征该标志图像在分类器网络中没有经过学习,无法进行识别,则将所述标志图像重新输入残差网络和分类器网络进行学习;若所述标志图像为非完整图像,且分类器网络没有识别成功,表征该标志图像由于损坏造成残差网络特征提取出错,从而造成分类器网络识别不成功。
步骤S2092:当所述标志图像为不完整图像时,提取所述标志图像的所述部分尺度特征。
进一步地,为了应对由于标志图像损坏造成残差网络特征提取出错,分类器网络识别不成功的问题,在本实施例中,可以对标志图像进行区域划分,提取所有区域中的部分区域中的特征,以提取所述标志图像的部分尺度特征。
步骤S210:将所述部分尺度特征输入所述分类器网络,识别所述部分尺度特征对应的品牌。
其中,在提取所述标志图像的部分尺度特征后,将该部分尺度特征输入分类器网络,分类器网络根据该部分尺度特征查找与该部分尺度特征一致的品牌,以提高输出标志图像对应的品牌的概率。
本申请第二实施例提供的图像识别方法,基于卷积神经网络构建残差网络和分类器网络,获取预先训练完成的目标检测网络,通过目标检测网络对残差网络进行权值初始化,获取训练样本集,将训练样本集输入到残差网络,训练残差网络并提取残差网络各层的不同尺度特征,将各层的不同尺度特征输入到分类器网络,训练分类器网络,获取标志图像,将标志图像输入残差网络,提取标志图像的尺度特征,将尺度特征输入分类器网络,识别标志图像对应的品牌,当标志图像识别不成功时,提取标志图像的部分尺度特征,将部分尺度特征输入分类器网络,识别部分尺度特征对应的品牌,通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
第三实施例
请参阅图4,图4示出了本申请第三实施例提供的图像识别装置200的模块框图。下面将针对图4所示的框图进行阐述,所述图像识别装置200包括:标志图像获取模块201、尺度特征获取模块202以及品牌识别模块203,其中:
标志图像获取模块201,用于获取标志图像。
尺度特征获取模块202,用于将所述标志图像输入残差网络,提取所述标志图像的尺度特征,所述残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,所述多个标志样本和所述多个品牌样本一一对应。
品牌识别模块203,用于将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌,所述分类器网络基于卷积神经网络构架并通过多个不同尺度特征进行训练获得。
第四实施例
请参阅图5,图5示出了本申请第四实施例提供的图像识别装置300的模块框图。下面将针对图5所示的框图进行阐述,所述图像识别装置300包括:网络构建模块301、目标检测网络获取模块302、权值初始化模块303、残差网络训练模块304、分类器网络训练模块305、标志图像获取模块306、尺度特征获取模块307、品牌识别模块308、部分尺度特征提取模块309以及部分尺度特征识别模块310,其中:
网络构建模块301,用于基于所述卷积神经网络构建残差网络和分类器网络。
目标检测网络获取模块302,用于获取预先训练完成的目标检测网络。
权值初始化模块303,用于通过所述目标检测网络对所述残差网络进行权值初始化。
残差网络训练模块304,用于获取训练样本集,将所述训练样本集输入到所述残差网络,训练所述残差网络并提取所述残差网络各层的不同尺度特征。
分类器网络训练模块305,用于将所述各层的不同尺度特征输入到所述分类器网络,训练所述分类器网络。
标志图像获取模块306,用于获取标志图像。
尺度特征获取模块307,用于将所述标志图像输入残差网络,提取所述标志图像的尺度特征,所述残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,所述多个标志样本和所述多个品牌样本一一对应。
品牌识别模块308,用于将所述尺度特征输入分类器网络,识别所述标志图像对应的品牌,所述分类器网络基于卷积神经网络构架并通过多个不同尺度特征进行训练获得。
部分尺度特征提取模块309,用于当所述标志图像识别不成功时,提取所述标志图像的部分尺度特征。
部分尺度特征识别模块310,用于将所述部分尺度特征输入所述分类器网络,识别所述部分尺度特征对应的品牌。进一步地,所述部分尺度特征识别模块310包括:标志图像判断子模块和部分尺度特征提取子模块,其中:
标志图像判断子模块,用于当所述标志图像识别不成功时,判断所述标志图像是否为完整图像。
部分尺度特征提取子模块,用于当所述标志图像为不完整图像时,提取所述标志图像的所述部分尺度特征。
综上所述,本申请实施例提供的一种图像识别方法、装置、移动终端以及存储介质,获取标志图像,将标志图像输入残差网络,提取标志图像的尺度特征,该残差网络基于卷积神经网络架构并通过多个标志样本和多个品牌样本进行训练获得,其中,该多个标志样本和多个品牌样本一一对应,将尺度特征输入分类器网络,识别标志图像对应的品牌,该分类器网络基于卷积神经网络架构并通过多个不同尺度特征进行训练获得,从而通过卷积神经网络对品牌进行特征提取以及目标检测,构建一个品牌的识别系统,帮助消费者识别不认识的品牌。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式,在装置实施例中均可以通过相应的处理模块实现,装置实施例中不再一一赘述。
请再次参阅图6,基于上述的图像识别方法、装置,本申请实施例还提供一种移动终端100,其包括电子本体部10,所述电子本体部10包括壳体12及设置在所述壳体12上的主显示屏120。所述壳体12可采用金属、如钢材、铝合金制成。本实施例中,所述主显示屏120通常包括显示面板111,也可包括用于响应对所述显示面板111进行触控操作的电路等。所述显示面板111可以为一个液晶显示面板(Liquid Crystal Display,LCD),在一些实施例中,所述显示面板111同时为一个触摸屏109。
请同时参阅图7,在实际的应用场景中,所述移动终端100可作为智能手机终端进行使用,在这种情况下所述电子本体部10通常还包括一个或多个(图中仅示出一个)处理器102、存储器104、RF(Radio Frequency,射频)模块106、音频电路110、传感器114、输入模块118、电源模块122。本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对所述电子本体部10的结构造成限定。例如,所述电子本体部10还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。
本领域普通技术人员可以理解,相对于所述处理器102来说,所有其它的组件均属于外设,所述处理器102与这些外设之间通过多个外设接口124相耦合。所述外设接口124可基于以下标准实现:通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter,UART)、通用输入/输出(General Purpose Input Output,GPIO)、串行外设接口(Serial Peripheral Interface,SPI)、内部集成电路(Inter-Integrated Circuit,I2C),但不并限于上述标准。在一些实例中,所述外设接口124可仅包括总线;在另一些实例中,所述外设接口124还可包括其它元件,如一个或者多个控制器,例如用于连接所述显示面板111的显示控制器或者用于连接存储器的存储控制器。此外,这些控制器还可以从所述外设接口124中脱离出来,而集成于所述处理器102内或者相应的外设内。
所述存储器104可用于存储软件程序以及模块,所述处理器102通过运行存储在所述存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理。所述存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其它非易失性固态存储器。在一些实例中,所述存储器104可进一步包括相对于所述处理器102远程设置的存储器,这些远程存储器可以通过网络连接至所述电子本体部10或所述主显示屏120。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述RF模块106用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其它设备进行通讯。所述RF模块106可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述RF模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其它设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced Data GSM Environment,EDGE),宽带码分多址技术(wideband codedivision multiple access,W-CDMA),码分多址技术(Code division access,CDMA)、时分多址技术(time division multiple access,TDMA),无线保真技术(Wireless,Fidelity,WiFi)(如美国电气和电子工程师协会标准IEEE 802.10A,IEEE 802.11b,IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access,Wi-Max)、其它用于邮件、即时通讯及短消息的协议,以及任何其它合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
音频电路110、听筒101、声音插孔103、麦克风105共同提供用户与所述电子本体部10或所述主显示屏120之间的音频接口。具体地,所述音频电路110从所述处理器102处接收声音数据,将声音数据转换为电信号,将电信号传输至所述听筒101。所述听筒101将电信号转换为人耳能听到的声波。所述音频电路110还从所述麦克风105处接收电信号,将电信号转换为声音数据,并将声音数据传输给所述处理器102以进行进一步的处理。音频数据可以从所述存储器104处或者通过所述RF模块106获取。此外,音频数据也可以存储至所述存储器104中或者通过所述RF模块106进行发送。
所述传感器114设置在所述电子本体部10内或所述主显示屏120内,所述传感器114的实例包括但并不限于:光传感器、运行传感器、压力传感器、重力加速度传感器、以及其它传感器。
具体地,所述传感器114可包括光线传感器114F、压力传感器114G。其中,压力传感器114G可以检测由按压在移动终端100产生的压力的传感器。即,压力传感器114G检测由用户和移动终端之间的接触或按压产生的压力,例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此,压力传感器114G可以用来确定在用户与移动终端100之间是否发生了接触或者按压,以及压力的大小。
请再次参阅图7,具体地在图7所示的实施例中,所述光线传感器114F及所述压力传感器114G邻近所述显示面板111设置。所述光线传感器114F可在有物体靠近所述主显示屏120时,例如所述电子本体部10移动到耳边时,所述处理器102关闭显示输出。
作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别所述移动终端100姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外,所述电子本体部10还可配置陀螺仪、气压计、湿度计、温度计等其它传感器,在此不再赘述,
本实施例中,所述输入模块118可包括设置在所述主显示屏120上的所述触摸屏109,所述触摸屏109可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触摸屏109上或在所述触摸屏109附近的操作),并根据预先设定的程序驱动相应的连接装置。可选的,所述触摸屏109可包括触摸检测装置和触摸控制器。其中,所述触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给所述触摸控制器;所述触摸控制器从所述触摸检测装置上接收触摸信息,并将该触摸信息转换成触点坐标,再送给所述处理器102,并能接收所述处理器102发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触摸屏109的触摸检测功能。除了所述触摸屏109,在其它变更实施方式中,所述输入模块118还可以包括其它输入设备,如按键107。所述按键107例如可包括用于输入字符的字符按键,以及用于触发控制功能的控制按键。所述控制按键的实例包括“返回主屏”按键、开机/关机按键等等。
所述主显示屏120用于显示由用户输入的信息、提供给用户的信息以及所述电子本体部10的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成,在一个实例中,所述触摸屏109可设置于所述显示面板111上从而与所述显示面板111构成一个整体。
所述电源模块122用于向所述处理器102以及其它各组件提供电力供应。具体地,所述电源模块122可包括电源管理系统、一个或多个电源(如电池或者交流电)、充电电路、电源失效检测电路、逆变器、电源状态指示灯以及其它任意与所述电子本体部10或所述主显示屏120内电力的生成、管理及分布相关的组件。
所述移动终端100还包括定位器119,所述定位器119用于确定所述移动终端100所处的实际位置。本实施例中,所述定位器119采用定位服务来实现所述移动终端100的定位,所述定位服务,应当理解为通过特定的定位技术来获取所述移动终端100的位置信息(如经纬度坐标),在电子地图上标出被定位对象的位置的技术或服务。
应当理解的是,上述的移动终端100并不局限于智能手机终端,其应当指可以在移动中使用的计算机设备。具体而言,移动终端100,是指搭载了智能操作系统的移动计算机设备,移动终端100包括但不限于智能手机、智能手表、平板电脑,等等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其它方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其它可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(移动终端),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其它合适的介质,因为可以例如通过对纸或其它介质进行光学扫描,接着进行编辑、解译或必要时以其它合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种图像识别方法,其特征在于,所述方法包括:
基于卷积神经网络构建残差网络和分类器网络;
获取预先训练完成的目标检测网络;
通过所述目标检测网络对所述残差网络进行权值初始化;
获取训练样本集,将所述训练样本集输入到所述残差网络,训练所述残差网络并提取所述残差网络各层的不同尺度特征,其中所述训练样本集包括多个标志样本和多个品牌样本,所述多个标志样本和所述多个品牌样本一一对应;
将所述各层的不同尺度特征输入到所述分类器网络,训练所述分类器网络获取标志图像;
将所述标志图像输入训练得到的残差网络,提取所述标志图像的尺度特征;
将所述尺度特征输入训练得到的分类器网络,识别所述标志图像对应的品牌;
当所述标志图像识别不成功时,提取所述标志图像的部分尺度特征;
将所述部分尺度特征输入所述分类器网络,识别所述部分尺度特征对应的品牌。
2.根据权利要求1所述的方法,其特征在于,所述目标检测网络为SSD网络。
3.根据权利要求1所述的方法,其特征在于,所述当所述标志图像识别不成功时,提取所述标志图像的部分尺度特征,包括:
当所述标志图像识别不成功时,判断所述标志图像是否为完整图像;
当所述标志图像为不完整图像时,提取所述标志图像的所述部分尺度特征。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述残差网络为ResNet-50网络。
5.一种图像识别装置,其特征在于,所述装置包括:
网络构建模块,用于基于卷积神经网络构建残差网络和分类器网络;
目标检测网络获取模块,用于获取预先训练完成的目标检测网络;
权值初始化模块,用于通过所述目标检测网络对所述残差网络进行权值初始化;
残差网络训练模块,用于获取训练样本集,将所述训练样本集输入到所述残差网络,训练所述残差网络并提取所述残差网络各层的不同尺度特征,其中所述训练样本集包括多个标志样本和多个品牌样本,所述多个标志样本和所述多个品牌样本一一对应;
分类器网络训练模块,用于将所述各层的不同尺度特征输入到所述分类器网络,训练所述分类器网络;
标志图像获取模块,用于获取标志图像;
尺度特征获取模块,用于将所述标志图像输入训练得到的残差网络,提取所述标志图像的尺度特征;
品牌识别模块,用于将所述尺度特征输入训练得到的分类器网络,识别所述标志图像对应的品牌;
部分尺度特征提取模块,用于当所述标志图像识别不成功时,提取所述标志图像的部分尺度特征;
部分尺度特征识别模块,用于将所述部分尺度特征输入所述分类器网络,识别所述部分尺度特征对应的品牌。
6.一种移动终端,其特征在于,包括触摸屏、存储器以及处理器,所述触摸屏与所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行如权利要求1-4任一项所述的方法。
7.一种具有处理器可执行的程序代码的计算机可读取存储介质,其特征在于,所述程序代码使所述处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810679969.4A CN109086796B (zh) | 2018-06-27 | 2018-06-27 | 图像识别方法、装置、移动终端以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810679969.4A CN109086796B (zh) | 2018-06-27 | 2018-06-27 | 图像识别方法、装置、移动终端以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109086796A CN109086796A (zh) | 2018-12-25 |
CN109086796B true CN109086796B (zh) | 2020-12-15 |
Family
ID=64839945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810679969.4A Expired - Fee Related CN109086796B (zh) | 2018-06-27 | 2018-06-27 | 图像识别方法、装置、移动终端以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109086796B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931799B (zh) * | 2019-05-13 | 2023-06-20 | 百度在线网络技术(北京)有限公司 | 图像识别方法及装置 |
CN112036421B (zh) * | 2019-05-16 | 2024-07-02 | 北京搜狗科技发展有限公司 | 一种图像处理方法、装置和电子设备 |
CN110490238A (zh) * | 2019-08-06 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
CN111259885B (zh) * | 2020-02-27 | 2023-11-24 | 深圳成子科技有限公司 | 腕表识别方法及设备 |
CN112861979B (zh) * | 2021-02-20 | 2024-01-30 | 数贸科技(北京)有限公司 | 商标识别方法、装置、计算设备及计算机存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229952A (zh) * | 2017-06-01 | 2017-10-03 | 雷柏英 | 图像的识别方法及装置 |
CN108052884A (zh) * | 2017-12-01 | 2018-05-18 | 华南理工大学 | 一种基于改进残差神经网络的手势识别方法 |
-
2018
- 2018-06-27 CN CN201810679969.4A patent/CN109086796B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229952A (zh) * | 2017-06-01 | 2017-10-03 | 雷柏英 | 图像的识别方法及装置 |
CN108052884A (zh) * | 2017-12-01 | 2018-05-18 | 华南理工大学 | 一种基于改进残差神经网络的手势识别方法 |
Non-Patent Citations (1)
Title |
---|
Deep Residual Learning for Image Recognition;Kaiming He;《IEEE》;20161230;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109086796A (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086796B (zh) | 图像识别方法、装置、移动终端以及存储介质 | |
WO2019233212A1 (zh) | 文本识别方法、装置、移动终端以及存储介质 | |
CN109190648B (zh) | 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 | |
CN109086709A (zh) | 特征提取模型训练方法、装置及存储介质 | |
CN108021642B (zh) | 应用程序推荐方法、装置、移动终端及存储介质 | |
CN109040419B (zh) | 录屏方法、装置、移动终端及存储介质 | |
CN108762859B (zh) | 壁纸显示方法、装置、移动终端及存储介质 | |
CN108932102B (zh) | 数据处理方法、装置以及移动终端 | |
CN106126015A (zh) | 一种应用程序启动控制方法及终端 | |
CN108958634A (zh) | 快递信息获取方法、装置、移动终端以及存储介质 | |
CN109726726B (zh) | 视频中的事件检测方法及装置 | |
WO2018161540A1 (zh) | 指纹注册方法及相关产品 | |
CN107908939B (zh) | 终端报警方法、装置以及移动终端 | |
CN109218982A (zh) | 景点信息获取方法、装置、移动终端以及存储介质 | |
CN109951889B (zh) | 一种物联网配网方法及移动终端 | |
CN108881979B (zh) | 信息处理方法、装置、移动终端及存储介质 | |
CN108510267B (zh) | 一种账户信息获取方法、移动终端 | |
CN109062648B (zh) | 信息处理方法、装置、移动终端及存储介质 | |
CN108803972B (zh) | 信息显示方法、装置、移动终端以及存储介质 | |
CN108803961B (zh) | 数据处理方法、装置以及移动终端 | |
CN112989198B (zh) | 推送内容的确定方法、装置、设备及计算机可读存储介质 | |
CN108846817B (zh) | 图像处理方法、装置以及移动终端 | |
CN107918517B (zh) | 屏幕旋转的响应方法、装置、移动终端及存储介质 | |
CN110377914B (zh) | 字符识别方法、装置及存储介质 | |
US20140256292A1 (en) | Method of processing message and apparatus using the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201215 |