CN108897786B - 应用程序的推荐方法、装置、存储介质及移动终端 - Google Patents

应用程序的推荐方法、装置、存储介质及移动终端 Download PDF

Info

Publication number
CN108897786B
CN108897786B CN201810588021.8A CN201810588021A CN108897786B CN 108897786 B CN108897786 B CN 108897786B CN 201810588021 A CN201810588021 A CN 201810588021A CN 108897786 B CN108897786 B CN 108897786B
Authority
CN
China
Prior art keywords
scene
category
confidence
scene image
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810588021.8A
Other languages
English (en)
Other versions
CN108897786A (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810588021.8A priority Critical patent/CN108897786B/zh
Publication of CN108897786A publication Critical patent/CN108897786A/zh
Application granted granted Critical
Publication of CN108897786B publication Critical patent/CN108897786B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种应用程序的推荐方法、装置、存储介质及移动终端。所述方法包括:获取用户当前所处的场景图像;基于神经网络确定所述场景图像对应的场景类别,该场景类别包括背景类别和前景类别中的至少一种;推荐与所述场景类别相关联的应用程序信息。上述应用程序的推荐方法根据用户当前所处的场景信息进行应用程序的预加载,提高了预加载应用程序的准确性。

Description

应用程序的推荐方法、装置、存储介质及移动终端
技术领域
本申请涉及通信技术领域,特别是涉及一种应用程序的推荐方法、装置、存储介质及移动终端。
背景技术
目前,终端预加载应用程序与用户当前所处的场景信息不匹配,导致预加载应用程序的准确性降低。
发明内容
本申请实施例提供一种应用程序的推荐方法、装置、存储介质及移动终端,可以提高预加载应用程序的准确性。
一种应用程序的推荐方法,包括:
获取用户当前所处的场景图像;
基于神经网络确定所述场景图像对应的场景类别;所述场景类别包括背景类别和前景类别中的至少一种;
推荐与所述场景类别相关联的应用程序信息。
一种应用程序的推荐装置,包括:
获取模块,用于获取用户当前所处的场景图像;
确定模块,用于基于神经网络确定所述场景图像对应的场景类别;所述场景类别包括背景类别和前景类别中的至少一种;
推荐模块,用于推荐与所述场景类别相关联的应用程序信息。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请各个实施例中的应用程序的推荐方法的步骤。
一种移动终端,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的应用程序的获取方法的步骤。
本申请实施例中应用程序的推荐方法、装置、存储介质及移动终端,通过获取用户当前所处的场景图像;基于神经网络确定所述场景图像对应的场景类别;推荐与所述场景类别相关联的应用程序信息,从而提高预加载应用程序的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中应用程序的推荐方法的流程图;
图2为一个实施例中场景类别的分类示意图;
图3为一个实施例中基于神经网络确定场景图像对应的场景类别的方法流程图;
图4为一个实施例中神经网络结构示意图;
图5为另一个实施例中基于神经网络确定场景图像对应的场景类别的方法流程图;
图6为另一个实施例中神经网络结构示意图;
图7为一个实施例中推荐与场景类别相关联的应用程序信息的方法流程图;
图8为另一个实施例中推荐与场景类别相关联的应用程序信息的方法流程图;
图9为另一个实施例中确定场景图像对应的场景类别的方法流程图;
图10为另一个实施例中推荐与场景类别相关联的应用程序信息的方法流程图;
图11为一个实施例中场景类别提示的方法流程图;
图12为一个实施例中应用程序的推荐装置的结构框图;
图13A为一个实施例中移动终端的内部结构示意图;
图13B为一个实施例中服务器的内部结构示意图;
图14为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中应用程序的推荐方法的流程图。如图1所示,一种应用程序的推荐方法,包括步骤102至步骤106。
步骤102:获取用户当前所处的场景图像。
其中,场景图像可以为用户当前所处环境的环境图片信息,比如道路图片、建筑图片或美食图片等;该场景图像可由终端获取,例如,终端通过自带的摄像头进行拍照或扫描获取。应当理解地,本实施例中所获取的场景图像可以为单个场景图像或者多个场景图像,比如一组场景图像。
步骤104:基于神经网络确定该场景图像对应的场景类别。其中,该场景类别包括背景类别和前景类别中的至少一种。
如图2所示,场景类别可分为背景类别和前景类别,场景类别可按照预先定义的场景的分类类别进行分类,例如,背景图像的分类类别,即背景类别包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。前景图像的分类类别,即前景类别包括人像、车辆、婴儿、猫、狗、美食等。通过对背景类别和前景类别进行识别,可以确定该场景图像的场景类别,例如,当检测到背景类别为风景,前景类别为人像时,该场景图像的场景类别定义为“风景+人像”。
需要说明的是,在一实施例中,当人像等前景目标近距拍摄时可能会没有背景,即场景类别没有背景类别,此时可将前景类别作为该场景图像的场景类别。在另一实施例中,当场景类别没有前景类别时,可将背景类别作为该场景图像的场景类别。
步骤106:推荐与该场景类别相关联的应用程序信息。
当场景类别确定后,终端根据场景类别推荐一个或多个应用程序。例如,根据识别出的场景类别从预设应用程序中确定对应的推荐应用程序,然后将该推荐应用程序(一个或多个推荐应用程序)进行预加载。一实施例中,场景类别可分为:美食类别、风景类别、地点类别及时间类别等;与该场景类别相关联的应用程序信息包括:购物类应用程序、社交类应用程序、导航类应用程序及办公类应用程序等。需要说明的是,场景类别包括了“背景类别+前景类别”、或“背景类别”、或“前景类别”。例如,美食类别即为前景类别;风景类别即为背景类别。
应当理解地,场景类别所相关联的应用程序可以有多种,例如,当所识别出的场景类别为风景类别时,对应相关联的应用程序可能为“QQ、微信、新浪微博”等应用。因此,所推荐的应用程序信息可以为多种相同类别的应用程序所组成的应用程序列表。
上述应用程序的推荐方法,通过获取用户当前所处的场景图像;基于神经网络确定所述场景图像对应的场景类别;推荐与所述场景类别相关联的应用程序信息,从而提高预加载应用程序的准确性。
图3为一实施例中基于神经网络确定场景图像对应的场景类别的方法流程图,如图3所示,该方法包括步骤302至步骤306。
步骤302:利用神经网络对场景图像的背景进行分类检测,输出第一置信度图,以及对场景图像的前景进行目标检测,输出第二置信度图;第一置信度图中的每个像素点表示场景图像中每个像素点属于背景检测目标的置信度,第二置信度图中的每个像素点表示场景图像中每个像素点属于前景检测目标的置信度。
如图4所示,在神经网络检测过程中,神经网络对背景和前景进行特征提取,通过SIFT(Scale-invariant feature transform)特征、方向梯度直方图(Histogram ofOriented Gradient,HOG)特征等提取特征,再通过SSD(Single Shot MultiBoxDetector)、VGG(Visual Geometry Group)、卷积神经网络(Convolutional NeuralNetwork,CNN)等目标检测算法,对背景进行分类检测得到第一置信度图,对前景进行目标检测得到第二置信度图。其中,第一置信度图中的每个像素点表示场景图像中每个像素点属于背景检测目标的置信度,第二置信度图中的每个像素点表示场景图像中每个像素点属于前景检测目标的置信度。
需要说明的是,在统计学中,一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信度是被测量参数的测量值的可信程度。
步骤304:根据第一置信度图和第二置信度图进行加权得到场景图像的最终置信度图。
参见图4,首先给第一置信度图和第二置信度图分别配置对应的权重值,该权重值可根据识别场景进行调整。将第一置信度图乘以对应的第一权重值a,第二置信度图乘以对应的第二权重值b,再求取两个乘积之和得到最终置信度图。
步骤306:根据最终置信度图确定场景图像的背景类别和前景类别。
最终置信度图是第一置信度图和第二置信度图进行加权得到,而第一置信度图由神经网络对场景图像的背景进行分类检测得到,第二置信度由神经网络对场景图像的前景进行目标检测得到。因此,最终置信度图中包含背景类别和前景类别的信息,可根据最终置信度图确定场景图像的背景类别和前景类别。
本实施例中,场景类别包括了背景类别和前景类别的特征,当识别出背景类别和前景类别时,场景类别为“背景类别+前景类别”的双标签类别,例如“风景+人像”的场景类别;当识别出背景类别,但未识别出前景类别时,背景类别即为场景类别;当未识别出背景类别,但识别出前景类别时,前景类别即为场景类别。例如,前景目标近距拍摄时可能会没有背景,即场景图像没有背景图像的分类类别,此时可将前景图像的类别作为该场景图像的场景类别。
本实施例中,通过神经网络对场景图像进行检测,同时检测了图像的背景类别和前景目标类别,提高了对场景图像的识别准确性。
图5为另一实施例中基于神经网络确定场景图像对应的场景类别的方法流程图,如图5所示,该方法包括步骤502至步骤506。
步骤502:将场景图像输入到神经网络的基础网络层对场景图像进行特征提取,得到特征数据。
基础网络层用于对输入的场景图像进行特征提取,得到特征数据。基础网络层可采用SIFT(Scale-invariant feature transform)特征、方向梯度直方图(Histogram ofOriented Gradient,HOG)特征、VGG、googlenet等网络层提取特征。VGG提取特征可采用VGG16中取前几层提取图像特征。VGG16接收输入的场景图像如为300*300*3,首先可对输入场景图像进行预处理,再使用两个黄色的卷积层(卷积核为3*3*3)进行卷积处理,通过对一个三维的27个数求和,然后滑窗移动计算出一维的298*298的矩阵,填充得到300*300*1,在第一个卷积层安置有64个卷积核,则得到300*300*64,然后再按照步长为2,池化采用2*2*64,可以得到150*150*64,第二个卷积层有128个卷积核,处理后可得到75*75*128,依次类推逐层卷积、池化处理得到特征数据。
步骤504:将特征数据输入到神经网络的分类网络层对待场景图像的背景进行分类检测,得到背景类别。
分类网络层可采用卷积层对场景图像的背景进行分类检测,得到每一个指定背景类别对应的第一置信度图,根据该第一置信度图确定场景图像的背景类别。应当理解地是,该第一置信度图中的每个像素点表示待检测场景图像中每个像素点属于背景类别的置信度,通过检测该置信度的大小可确定该场景图像的背景类别。例如,当检测到第一置信度图中背景类别为“风景”的置信度大于其他背景类别的置信度,则可以确定该场景图像的背景类别为“风景”。
需要说明的是,在统计学中,一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信度是被测量参数的测量值的可信程度。
指定背景类别是指预先定义的背景图像的分类类别,背景图像的分类类别可包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。
在一实施例中,分类网络层可为Mobilenet层,Mobilenet层可以为深度卷积和一个点卷积(1*1卷积核)。深度卷积将每个卷积核应用到每一个通道,点卷积用来组合通道卷积的输出。点卷积后面可接batchnorm和激活层ReLU,然后输入到softmax层进行分类,输出背景图像所属指定背景类别的第一置信度图。根据第一置信度图可确定场景图像的背景类别。
步骤506:将特征数据输入到神经网络的目标检测网络层对场景图像的前景进行目标检测,得到前景类别。
目标检测网络层为在基础网络层的末尾增加卷积特征层。卷积特征层可以使用一组卷积滤波器产生固定的预测集合来对多尺度特征图进行检测。对于具有p个通道的大小为m*n的特征层,可以使用3*3*p卷积核卷积操作,得到每一个指定前景类别对应的第二置信度图。
应当理解地是,该第二置信度图中的每个像素点表示待检测场景图像中每个像素点属于前景类别的置信度,通过检测该置信度的大小可确定该场景图像的前景类别。例如,当检测到第二置信度图中前景类别为“人像”的置信度大于其他前景类别的置信度,则可以确定该场景图像的前景类别为“人像”。
指定前景类别是指预先定义的前景图像的分类类别。前景图像的分类类别可包括人像、婴儿、猫、狗、美食、车辆等。
本申请实施例中,如图6所示,图6为一实施例的神经网络结构示意图,该神经网络主要包括基础网络层、分类网络层、目标检测网络层。通过基础网络层对所述场景图像进行特征提取,得到特征数据;利用分类网络层和目标检测网络层对该特征数据进行分类检测和目标识别,可以同时识别出背景类别和前景类别,获取更多的信息,从而提高了对用户当前所处环境的场景图像识别的准确率。
在一实施例中,神经网络包括至少一个输入层、n个中间层和一个输出层,其中,n是大于或等于2的正整数,一个输出层的输入包括第一置信度输出节点和第二置信度输出节点;其中,所述输入层用于接收场景图像,第一置信度输出节点用于输出第一置信度图,第一置信度图表示采用神经网络检测出的、包含背景目标的场景图像中的每个像素点属于背景目标的置信度;第二置信度输出节点用于输出第二置信度图;第二置信度图表示采用神经网络检测出的、包含前景目标的场景图像中的每个像素点属于前景目标的置信度。
图7为一实施例中推荐与场景类别相关联的应用程序信息的方法流程图,如图7所示,该方法包括步骤702至步骤706。
步骤702:构建预设场景类别与应用程序信息的映射关系。
步骤704:当场景类别与预设场景类别一致时,根据映射关系确定场景类别对应的应用程序信息。
步骤706:推荐应用程序信息。
本实施例中,预设场景类别包括:风景类别、美食类别、地点类别及时间类别等。应当理解地,预设场景类别还可以按照如图2所示的分类类别进行分类,在此不做具体限定。应用程序信息包括:营养介绍、食品购物类;拍照、社交类;导航、天气预报类;办公、日程安排类等等。映射关系,例如:如果场景类别为美食类别,则对应营养介绍、食品购物类的应用程序信息;如果场景类别为风景类别,则对应拍照、社交类应用程序信息;如果场景类别为地点类别,则对应导航、天气预报类应用程序信息;如果场景类别为时间类别,则对应办公、日程安排类应用程序信息。当识别到场景类别与预设场景类别一致时,根据映射关系确定场景类别对应的应用程序信息,并向用户推荐该应用程序信息。
图8为一实施例中推荐与场景类别相关联的应用程序信息的方法流程图,如图8所示,该方法包括步骤802至步骤804。
步骤802:根据背景类别获取对应的应用程序列表。
预先存储不同背景类别对应的应用程序列表,例如,背景类别为道路,预先存储与道路相关联的应用程序列表包括:导航类应用程序、拍照类应用程序或天气类应用程序。应当理解地,场景图像的背景类别对应应用程序列表,该应用程序列表反映的是用户当前可能想要加载的应用程序,因此,将背景类别与应用程序列表对应起来,可以减小用户想要预加载的应用程序的范围。
步骤804:根据前景类别从该应用程序列表中推荐对应的应用程序。
预先存储不同前景类别与上述应用程序列表中的应用程序的对应关系。例如,车辆(前景类别)与上述应用程序列表中的导航类应用程序对应;人像(前景类别)与上述应用程序列表中的拍照类应用程序对应。具体而言,当终端识别出背景类别为道路,道路所对应的应用程序列表包括:导航类应用程序、拍照类应用程序或天气类应用程序;当终端进一步识别出前景类别为车辆时,可根据车辆获取该应用程序列表中的导航类应用程序,从而确定用户需要预加载导航类应用程序;或者当终端进一步识别出前景类别为人像时,可根据人像推荐该应用程序列表中的拍照类应用程序,从而确定用户需要预加载拍照类应用程序。
应当理解地是,对于背景类别的识别可以缩小用户预加载的应用程序的范围,对于前景类别的识别可以进一步确定用户需要预加载的应用程序。而背景类别和前景类别属于场景类别,因此,在一实施例中可直接检测场景类别。例如,当场景类别为“道路+车辆”时,为用户预加载导航类的应用程序;当场景类别为“道路+人像”时,为用户预加载拍照类的应用程序。
图9为一实施例中确定场景图像对应的场景类别的方法流程图,如图9所示,该方法包括步骤902至步骤904。
步骤902:将场景图像与预设场景图像进行对比,以得到对比结果。
步骤904:根据对比结果确定场景图像对应的场景类别。
本实施例中,可将获取的用户当前所处的场景图像与预设场景图像进行相似度对比,若该场景图像与预设场景图像相似度大于预设阈值时,则获取该预设场景图像对应的预设场景类别,该预设场景类别即为用户当前所处的场景。可选的,预设场景类别包括:风景、美食、道路、人像等,具体参见图2,预设场景类别包括了图2中的所有场景类别,在此不再赘述。
应当理解地,将用户当前所处的场景图像与预设场景图像进行相似度对比的方式有很多。在一实施例中,可根据某一场景图像的显著特征进行对比。例如,用户当前所处的场景为室内,室内最显著的特征是:桌子、椅子、床、沙发等,因此,可以在获取场景图像后,利用图像相似度识别技术计算出待识别场景图像的特征码,然后将该特征码与事先存储的预设场景的对应一组标准的特征码进行相似度对比,从而识别出相应的场景类别。
图10为一实施例中推荐与场景类别相关联的应用程序信息的方法流程图,如图10所示,该方法包括步骤1002至步骤1004。
步骤1002:根据场景类别生成推荐请求,将推荐请求发送至预设服务器,该推荐请求用于指示预设服务器生成与场景类别相关联的应用程序信息。
其中,推荐请求为终端向预设服务器发送的推荐应用程序信息的请求。该推荐请求携带该场景类别信息,用于指示预设服务器生成与该场景类别相关联的应用程序信息。例如,在用户所处的场景类别为“道路”时,终端根据所确定的场景类别生成推荐请求,并通过网络将该推荐请求发送至预设服务器。预设服务器在接收到该推荐请求后,解析获得用户所处的场景类别是“道路”。然后,根据“道路”相关的应用程序生成应用程序列表,将该应用程序列表发送至该终端。可选的,终端还可以识别场景图像的多个类别标签。例如,终端识别场景图像的类别为“道路+车辆”时,可在与“道路”相关的应用程序列表中优先推荐导航类应用程序。
步骤1004:接收预设服务器生成的与场景类别相关联的应用程序信息。
终端在接收到应用程序信息后,可以直接显示在显示屏上。可选的,该应用程序信息还可以作为应用商店的附加标签添加至应用商店的界面中,可以在终端上显示应用程序信息的推送消息,以提示用户查看应用商店,从而显示应用程序信息。
图11为一实施例中场景类别提示的方法流程图,如图11所示,该方法包括步骤1102至步骤1106。
步骤1102:显示场景类别提示信息。
步骤1104:根据用户的输入信息判断场景类别是否为目标场景。
步骤1106:当确定为所述场景类别为目标场景时,根据场景类别推荐对应的应用程序信息。
本实施例中,为了验证上述确定的场景类别是否正确,可以以对话框的形式显示场景类别提示信息,或者以语音的形式播放场景类别提示信息。用户根据提示信息,确认场景类别。终端接收到用户的确认信息后向预设服务器发送的推荐应用程序信息的请求。该推荐请求携带用户所确认的场景类别信息,用于指示预设服务器生成与该场景类别相关联的应用程序信息。
本申请实施例的应用程序的推荐方法,获取用户当前所处的场景图像;确定所述场景图像对应的场景类别;推荐与所述场景类别相关联的应用程序信息。由此,减少了用户手动查找应用程序的麻烦,简化了用户查找应用程序的操作步骤,自动为用户推荐与场景类别相关的应用程序信息,为用户提供了更加人性化的服务,方便了用户方便快捷地启动对应的应用程序。
图12为一个实施例中应用程序的推荐装置的结构框图。如图12所示,一种应用程序的推荐装置,包括获取模块1210、确定模块1220和推荐模块1230。其中:
获取模块1210,获取用户当前所处的场景图像。
确定模块1220,基于神经网络确定该场景图像对应的场景类别;所述场景类别包括背景类别和前景类别中的至少一种。
推荐模块1230,推荐与该场景类别相关联的应用程序信息。
本实施例中,通过获取模块1210获取用户当前所处的场景图像;确定模块1220基于神经网络确定所述场景图像对应的场景类别;所述场景类别包括背景类别和前景类别中的至少一种;推荐模块1230推荐与所述场景类别相关联的应用程序信息,从而提高预加载应用程序的准确性。
在一实施例中,获取模块1210包括摄像头,通过摄像头对用户当前所处环境进行拍照或扫描可获取用户当前所处的场景图像。
在一实施例中,确定模块1220,包括:
检测单元,用于利用神经网络对场景图像的背景进行分类检测,输出第一置信度图,以及对场景图像的前景进行目标检测,输出第二置信度图;第一置信度图中的每个像素点表示场景图像中每个像素点属于背景检测目标的置信度,第二置信度图中的每个像素点表示场景图像中每个像素点属于前景检测目标的置信度,以及根据第一置信度图和第二置信度图进行加权得到场景图像的最终置信度图。
类别确定单元,用于根据最终置信度图确定场景图像的背景类别和前景类别。
在一实施例中,检测单元还用于将背景图像输入到神经网络的基础网络层对场景图像进行特征提取,得到特征数据;将特征数据输入到神经网络的分类网络层对场景图像的背景进行分类检测,得到背景类别;将特征数据输入到神经网络的目标检测网络层对场景图像的前景进行目标检测,得到前景类别。
在一实施例中,推荐模块1230,包括:
构建单元,用于构建预设场景类别与应用程序信息的映射关系。
应用程序确定单元,用于当场景类别与预设场景类别一致时,根据映射关系确定场景类别对应的应用程序信息。
推荐单元,用于推荐应用程序信息。
在一实施例中,推荐模块1230,还包括:
发送单元,用于根据场景类别生成推荐请求,将推荐请求发送至预设服务器,该推荐请求用于指示预设服务器生成与场景类别相关联的应用程序信息。
推荐单元,用于接收预设服务器生成的与场景类别相关联的应用程序信息。
在一实施例中,应用程序的推荐装置,还包括:
显示模块,用于显示场景类别提示信息。
判断模块,用于根据用户的输入信息判断根据场景类别是否为目标场景。
推送模块,用于当确定为所述场景类别为目标场景时,根据场景类别推荐对应的应用程序信息。
应该理解的是,虽然图1、图3、图5、图7、图8、图9、图10、图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1、图3、图5、图7、图8、图9、图10、图11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述应用程序的推荐装置中各个模块的划分仅用于举例说明,在其他实施例中,可将应用程序的推荐装置按照需要划分为不同的模块,以完成上应用程序的推荐装置的全部或部分功能。
本申请实施例还提供一种移动终端。该移动终端包括存储器及处理器,该存储器中储存有计算机程序,该计算机程序被该处理器执行时,使得该处理器执行该应用程序的推荐方法的步骤。
该移动终端包括存储器及处理器,该存储器中储存有计算机程序,该计算机程序被该处理器执行时,使得该处理器执行该应用程序的推荐方法的步骤。
本申请实施例还提供一种存储介质。一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现该应用程序的推荐方法的步骤。
图13A为一个实施例中移动终端的内部结构示意图。如图13A所示,该移动终端包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个移动终端的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于移动终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种应用程序的推荐方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的移动终端进行通信。该移动终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图13B为一个实施例中服务器(或云端等)的内部结构示意图。如图13B所示,该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个移动终端的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于移动终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种应用程序的推荐方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的移动终端进行通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图13B中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例中提供的应用程序的推荐装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在移动终端或服务器上运行。该计算机程序构成的程序模块可存储在移动终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行应用程序的推荐方法。
本申请实施例还提供一种移动终端。上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图14为一个实施例中图像处理电路的示意图。如图14所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图14所示,图像处理电路包括ISP处理器1440和控制逻辑器1450。成像设备1410捕捉的图像数据首先由ISP处理器1440处理,ISP处理器1440对图像数据进行分析以捕捉可用于确定和/或成像设备1410的一个或多个控制参数的图像统计信息。成像设备1410可包括具有一个或多个透镜1414和图像传感器1414的照相机。图像传感器1414可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1414可获取用图像传感器1414的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1440处理的一组原始图像数据。传感器1420(如陀螺仪)可基于传感器1420接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1440。传感器1420接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器1414也可将原始图像数据发送给传感器1420,传感器1420可基于传感器1420接口类型把原始图像数据提供给ISP处理器1440,或者传感器1420将原始图像数据存储到图像存储器1430中。
ISP处理器1440按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、14或14比特的位深度,ISP处理器1440可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1440还可从图像存储器1430接收图像数据。例如,传感器1420接口将原始图像数据发送给图像存储器1430,图像存储器1430中的原始图像数据再提供给ISP处理器1440以供处理。图像存储器1430可为存储器装置的一部分、存储设备、或移动终端内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1414接口或来自传感器1420接口或来自图像存储器1430的原始图像数据时,ISP处理器1440可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1430,以便在被显示之前进行另外的处理。ISP处理器1440从图像存储器1430接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1440处理后的图像数据可输出给显示器1470,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1440的输出还可发送给图像存储器1430,且显示器1470可从图像存储器1430读取图像数据。在一个实施例中,图像存储器1430可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1440的输出可发送给编码器/解码器1460,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1470设备上之前解压缩。编码器/解码器1460可由CPU或GPU或协处理器实现。
ISP处理器1440确定的统计数据可发送给控制逻辑器1450单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1414阴影校正等图像传感器1414统计信息。控制逻辑器1450可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1410的控制参数及ISP处理器1440的控制参数。例如,成像设备1410的控制参数可包括传感器1420控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1414控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1414阴影校正参数。
以上为运用图14中图像处理技术实现上述的应用程序的推荐方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种应用程序的推荐方法,其特征在于,包括:
获取用户当前所处的场景图像;
利用神经网络对所述场景图像的背景进行分类检测,输出第一置信度图,以及对所述场景图像的前景进行目标检测,输出第二置信度图;所述第一置信度图中的每个像素点表示所述场景图像中每个像素点属于背景检测目标的置信度,所述第二置信度图中的每个像素点表示所述场景图像中每个像素点属于前景检测目标的置信度;根据所述第一置信度图和所述第二置信度图进行加权得到所述场景图像的最终置信度图;根据所述最终置信度图确定所述场景图像的背景类别和前景类别;
推荐与场景类别相关联的应用程序信息;所述场景类别包括所述背景类别和所述前景类别中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述场景图像输入到所述神经网络的基础网络层对所述场景图像进行特征提取,得到特征数据;
将所述特征数据输入到所述神经网络的分类网络层对所述场景图像的背景进行分类检测,得到背景类别;
将所述特征数据输入到所述神经网络的目标检测网络层对所述场景图像的前景进行目标检测,得到前景类别。
3.根据权利要求1所述的方法,其特征在于,所述神经网络包括至少一个输入层、n个中间层和一个输出层,其中,n是大于或等于2的正整数,所述一个输出层的输入包括第一置信度输出节点和第二置信度输出节点;其中,所述输入层用于接收所述场景图像,所述第一置信度输出节点用于输出第一置信度图,所述第一置信度图表示采用所述神经网络检测出的、包含背景目标的场景图像中的每个像素点属于所述背景目标的置信度;所述第二置信度输出节点用于输出第二置信度图;所述第二置信度图表示采用所述神经网络检测出的、包含前景目标的场景图像中的每个像素点属于所述前景目标的置信度。
4.根据权利要求1所述的方法,其特征在于,所述推荐与所述场景类别相关联的应用程序信息,包括:
构建预设场景类别与应用程序信息的映射关系;
当所述场景类别与所述预设场景类别一致时,根据所述映射关系确定所述场景类别对应的应用程序信息;
推荐所述应用程序信息。
5.根据权利要求1所述的方法,其特征在于,所述推荐与所述场景类别相关联的应用程序信息,还包括:
根据所述场景类别生成推荐请求,将所述推荐请求发送至预设服务器,所述推荐请求用于指示所述预设服务器生成与所述场景类别相关联的应用程序信息;
接收所述预设服务器生成的与所述场景类别相关联的应用程序信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述确定所述场景图像对应的场景类别之后,还包括:
显示所述场景类别提示信息;
根据用户的输入信息判断所述场景类别是否为目标场景;
当确定为所述场景类别为目标场景时,则根据所述场景类别推荐相关联的应用程序信息。
7.一种应用程序的推荐装置,其特征在于,所述装置包括:
获取模块,用于获取用户当前所处的场景图像;
确定模块,用于利用神经网络对所述场景图像的背景进行分类检测,输出第一置信度图,以及对所述场景图像的前景进行目标检测,输出第二置信度图;所述第一置信度图中的每个像素点表示所述场景图像中每个像素点属于背景检测目标的置信度,所述第二置信度图中的每个像素点表示所述场景图像中每个像素点属于前景检测目标的置信度;根据所述第一置信度图和所述第二置信度图进行加权得到所述场景图像的最终置信度图;根据所述最终置信度图确定所述场景图像的背景类别和前景类别;
推荐模块,用于推荐与场景类别相关联的应用程序信息;所述场景类别包括所述背景类别和所述前景类别中的至少一种。
8.根据权利要求7所述的装置,其特征在于,所述确定模块还用于将所述场景图像输入到所述神经网络的基础网络层对所述场景图像进行特征提取,得到特征数据;将所述特征数据输入到所述神经网络的分类网络层对所述场景图像的背景进行分类检测,得到背景类别;将所述特征数据输入到所述神经网络的目标检测网络层对所述场景图像的前景进行目标检测,得到前景类别。
9.根据权利要求7所述的装置,其特征在于,所述神经网络包括至少一个输入层、n个中间层和一个输出层,其中,n是大于或等于2的正整数,所述一个输出层的输入包括第一置信度输出节点和第二置信度输出节点;其中,所述输入层用于接收所述场景图像,所述第一置信度输出节点用于输出第一置信度图,所述第一置信度图表示采用所述神经网络检测出的、包含背景目标的场景图像中的每个像素点属于所述背景目标的置信度;所述第二置信度输出节点用于输出第二置信度图;所述第二置信度图表示采用所述神经网络检测出的、包含前景目标的场景图像中的每个像素点属于所述前景目标的置信度。
10.根据权利要求7所述的装置,其特征在于,所述推荐模块包括:
构建单元,用于构建预设场景类别与应用程序信息的映射关系;
应用程序确定单元,用于当所述场景类别与所述预设场景类别一致时,根据所述映射关系确定所述场景类别对应的应用程序信息;
推荐单元,用于推荐所述应用程序信息。
11.根据权利要求7所述的装置,其特征在于,所述推荐模块还包括:
发送单元,用于根据所述场景类别生成推荐请求,将所述推荐请求发送至预设服务器,所述推荐请求用于指示所述预设服务器生成与所述场景类别相关联的应用程序信息;
推荐单元,用于接收所述预设服务器生成的与所述场景类别相关联的应用程序信息。
12.根据权利要求7-11任一项所述的装置,其特征在于,所述装置还包括:
显示模块,用于显示所述场景类别提示信息;
判断模块,用于根据用户的输入信息判断所述场景类别是否为目标场景;
推送模块,用于当确定为所述场景类别为目标场景时,则根据所述场景类别推荐相关联的应用程序信息。
13.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一所述的应用程序的推荐方法。
14.一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一所述的应用程序的推荐方法。
CN201810588021.8A 2018-06-08 2018-06-08 应用程序的推荐方法、装置、存储介质及移动终端 Expired - Fee Related CN108897786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810588021.8A CN108897786B (zh) 2018-06-08 2018-06-08 应用程序的推荐方法、装置、存储介质及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810588021.8A CN108897786B (zh) 2018-06-08 2018-06-08 应用程序的推荐方法、装置、存储介质及移动终端

Publications (2)

Publication Number Publication Date
CN108897786A CN108897786A (zh) 2018-11-27
CN108897786B true CN108897786B (zh) 2021-06-08

Family

ID=64344523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810588021.8A Expired - Fee Related CN108897786B (zh) 2018-06-08 2018-06-08 应用程序的推荐方法、装置、存储介质及移动终端

Country Status (1)

Country Link
CN (1) CN108897786B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727208A (zh) * 2018-12-10 2019-05-07 北京达佳互联信息技术有限公司 滤镜推荐方法、装置、电子设备及存储介质
CN109978610A (zh) * 2019-03-13 2019-07-05 努比亚技术有限公司 信息处理方法、移动终端及计算机可读存储介质
CN110347855A (zh) * 2019-07-17 2019-10-18 京东方科技集团股份有限公司 画作推荐方法、终端设备、服务器、计算机设备及介质
CN110475044B (zh) * 2019-08-05 2021-08-03 Oppo广东移动通信有限公司 图像传输方法和装置、电子设备、计算机可读存储介质
CN113515688A (zh) * 2020-04-10 2021-10-19 上海擎感智能科技有限公司 基于图像识别技术推荐应用程序的方法、终端及存储介质
CN111414900B (zh) * 2020-04-30 2023-11-28 Oppo广东移动通信有限公司 场景识别方法、场景识别装置、终端设备及可读存储介质
CN111753193A (zh) * 2020-06-15 2020-10-09 Oppo广东移动通信有限公司 应用推送方法、装置、移动终端及存储介质
CN112132603A (zh) * 2020-07-28 2020-12-25 河南观潮智能科技有限公司 一种基于物联网的智慧旅游服务系统
CN112035042A (zh) * 2020-08-31 2020-12-04 维沃移动通信有限公司 应用程序控制方法、装置、电子设备及可读存储介质
CN112114948A (zh) * 2020-09-18 2020-12-22 上海商汤智能科技有限公司 一种数据加载方法及装置、电子设备和存储介质
CN115082930B (zh) * 2021-03-11 2024-05-28 腾讯科技(深圳)有限公司 图像分类方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268248A (zh) * 2014-09-30 2015-01-07 北京金山安全软件有限公司 应用程序的推荐方法、装置及终端
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
CN105095919A (zh) * 2015-09-08 2015-11-25 北京百度网讯科技有限公司 图像识别方法和装置
CN105279211A (zh) * 2014-12-26 2016-01-27 维沃移动通信有限公司 应用的推送方法及其移动终端
CN106227723A (zh) * 2016-01-25 2016-12-14 百度在线网络技术(北京)有限公司 用于推荐应用和呈现推荐应用的方法和装置
US9898480B2 (en) * 2012-12-28 2018-02-20 Dropbox, Inc. Application recommendation using stored files

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818313B (zh) * 2017-11-20 2019-05-14 腾讯科技(深圳)有限公司 活体识别方法、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898480B2 (en) * 2012-12-28 2018-02-20 Dropbox, Inc. Application recommendation using stored files
CN104268248A (zh) * 2014-09-30 2015-01-07 北京金山安全软件有限公司 应用程序的推荐方法、装置及终端
CN105279211A (zh) * 2014-12-26 2016-01-27 维沃移动通信有限公司 应用的推送方法及其移动终端
CN104992183A (zh) * 2015-06-25 2015-10-21 中国计量学院 自然场景中的显著目标的自动检测方法
CN105095919A (zh) * 2015-09-08 2015-11-25 北京百度网讯科技有限公司 图像识别方法和装置
CN106227723A (zh) * 2016-01-25 2016-12-14 百度在线网络技术(北京)有限公司 用于推荐应用和呈现推荐应用的方法和装置

Also Published As

Publication number Publication date
CN108897786A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108897786B (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN108764370B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108777815B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108805103B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
US10990825B2 (en) Image processing method, electronic device and computer readable storage medium
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108984657B (zh) 图像推荐方法和装置、终端、可读存储介质
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108961302B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2019233266A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
CN108805198B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108804658B (zh) 图像处理方法和装置、存储介质、电子设备
CN108848306B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108765033B (zh) 广告信息推送方法和装置、存储介质、电子设备
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109327626B (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN108548539B (zh) 基于图像识别的导航方法和装置、终端、可读存储介质
CN110956679B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108898163B (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210608