CN107507186A - 信息处理方法及设备 - Google Patents

信息处理方法及设备 Download PDF

Info

Publication number
CN107507186A
CN107507186A CN201710757201.XA CN201710757201A CN107507186A CN 107507186 A CN107507186 A CN 107507186A CN 201710757201 A CN201710757201 A CN 201710757201A CN 107507186 A CN107507186 A CN 107507186A
Authority
CN
China
Prior art keywords
segmentation
scaling
error
sampling
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710757201.XA
Other languages
English (en)
Other versions
CN107507186B (zh
Inventor
陈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710757201.XA priority Critical patent/CN107507186B/zh
Publication of CN107507186A publication Critical patent/CN107507186A/zh
Application granted granted Critical
Publication of CN107507186B publication Critical patent/CN107507186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本公开提供信息处理方法及设备,信息处理方法包括:获取训练样本,所述训练样本包括样本图像及其对应的参考标准;对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;根据所述k个分割误差反向传导训练全卷积网络FCN模型。该技术方案在反向传导训练FCN模型的过程中将k个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。

Description

信息处理方法及设备
技术领域
本公开涉及图像分割技术领域,尤其涉及信息处理方法及设备。
背景技术
图像分割(英文:image segmentation)就是把图像分成若干个特定的、具有独特性质的区域并选出感兴趣目标。例如将图片中的一个动物与背景区分开来,并预测该动物是哪种动物。图像分割是由图像处理到图像分析的关键步骤。
基于全卷积网络(英文全称:Fully Convolutional Networks,英文简称:FCN)的图像分割,对输入的原始图像完成分割后,输出图像(中某区域的内容)属于各个类别的概率。
然而,传统的基于FCN的图像分割,其分割结果中不同区域之间的界限往往比较模糊和平滑。
发明内容
本公开实施例提供信息处理方法及设备,技术方案如下:
根据本公开实施例的第一方面,提供一种信息处理方法,包括:
获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据所述k个分割误差反向传导训练全卷积网络FCN模型。
本公开提供的技术方案,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
在一个实施例中,还包括:
对待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应r个缩放比例,所述r个缩放比例为所述k个缩放比例中的部分或全部, 1≤r≤k;
根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果。
待分割图像的r个不同缩放比例的分割图,代表待分割图像在不同缩放比例下分割结果,根据在不同缩放比例下的分割结果得到最终的分割结果,可起到在不同缩放比例下进行误差补偿的作用,以提高对图像细节处的分割精度。
在一个实施例中,所述对待分割图像的缩放图做上采样得到r个分割图,包括:
对所述待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应所述r个缩放比例,所述r个缩放比例为将所述k个缩放比例由大到小排列后取其中前r个所得。
在实际进行图像分割时采用与模型训练时一致的缩放比例,无需在模型训练后对缩放比例再做修改。
在一个实施例中,所述根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果,包括:
将所述r个分割图中的至少两个上采样至相同分辨率的分割图;
将上采样得到的相同分辨率的分割图融合得到对所述待分割图像的分割结果。
在不同缩放比例下的分割图各自对误差做补偿的基础上,将多个分割图在相同分辨率下作融合得到对所述待分割图像的最终分割结果,可起到将整体误差平均化的作用。
在一个实施例中,所述对所述样本图像的缩放图做上采样得到k个分割图,包括:
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,所述k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
相邻后一缩放比例取前一缩放比例的两倍,因此可连续在上一次两倍上采样的基础上做两倍上采样以提高计算效率,并使得缩放比例的数量尽可能多从而利于提高对图像细节处的分割精度。
根据本公开实施例的第二方面,提供一种信息处理设备,包括:
样本模块,用于获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
上采样模块,用于对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
误差计算模块,用于根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
校准模块,用于根据所述k个分割误差反向传导训练全卷积网络FCN 模型。
在一个实施例中,还包括:
分割模块,用于对待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应r个缩放比例,所述r个缩放比例为所述k个缩放比例中的部分或全部,1≤r≤k;
判定模块,用于根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果。
在一个实施例中,所述分割模块包括:
分割比例控制子模块,用于对所述待分割图像的缩放图做上采样得到 r个分割图,所述r个分割图对应所述r个缩放比例,所述r个缩放比例为将所述k个缩放比例由大到小排列后取其中前r个所得。
在一个实施例中,所述判定模块包括:
筛选子模块,用于将所述r个分割图中的至少两个上采样至相同分辨率的分割图;
融合子模块,用于将上采样得到的相同分辨率的分割图融合得到对所述待分割图像的分割结果。
在一个实施例中,所述上采样模块包括:
缩放比例控制子模块,用于对所述样本图像的缩放图做上采样得到k 个分割图,所述k个分割图对应k个缩放比例,所述k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
根据本公开实施例的第三方面,提供一种信息处理设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据所述k个分割误差反向传导训练全卷积网络FCN模型。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面所提供方法的步骤。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的信息处理方法的说明示意图。
图2是根据一示例性实施例示出的信息处理方法的流程图。
图3是根据一示例性实施例示出的信息处理方法的流程图。
图4是根据一示例性实施例示出的电子设备的框图。
图5是根据一示例性实施例示出的电子设备的框图。
图6是根据一示例性实施例示出的电子设备的框图。
图7是根据一示例性实施例示出的电子设备的框图。
图8是根据一示例性实施例示出的电子设备的框图。
图9是根据一示例性实施例示出的电子设备的框图。
图10是根据一示例性实施例示出的终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的设备和方法的例子。
传统的基于FCN的图像分割,对训练样本的缩放图做一次上采样之后得到分割图,缺点在于分割图中不同区域之间的界限往往模糊和平滑。
本公开提供一种信息处理方法,和用于执行该方法的设备,该设备可以是个人电脑、手机、平板、服务器等设备。
参照图1所示,本公开的方案中,对训练样本的缩放图10进行上采样得到多个不同缩放比例的分割图11,不同分割图分别以11-1、11-2…11-k 这样的图标标识。本公开中的缩放比例,是指缩放后的图像相对于原始图像的缩放比例。
然后根据每个分割图分别计算得到在对应缩放比例下的误差12,不同分割图对应的误差以12-1、12-2…12-k这样的图标标识。
继而,根据多个缩放比例下的误差反向传导训练FCN模型13,以优化FCN模型13对图像细节处的分割精度。
图2是根据一示例性实施例示出的一种信息处理方法的流程图,包括步骤201-204:
在步骤201中,获取训练样本。
训练样本包括样本图像及其对应的参考标准(英文:groundtruth),即用于训练FCN模型的已经分割好的图像。训练样本可包括多个样本图像及各自对应的参考标准。
在步骤202中,对样本图像的缩放图做上采样得到k个分割图。
即,对样本图像的缩放图做上采样得到缩放比例为Zi的k个分割图 Pi
样本图像的缩放图为对样本图像做下采样(英文:subsample)得到的缩小图像。例如,通过FCN模型的卷积层经过多次卷积后得到的缩放比例为1/32的缩放图。
对样本图像的缩放图做上采样(英文:upsample)得到多个不同缩放比例的分割图。
缩放比例的数量为k,k≥2。
样本图像的缩放图对应的多个缩放比例记作Zi,Zi={Z1,Z2…Zk}。
样本图像的不同缩放比例的分割图记作Pi,Pi={P1,P2…Pk}。
例如,对缩放比例为1/32的缩放图上采样得到缩放比例为Zi的k个分割图Pi。以Zi={1/16,1/4,1}为例,P1为样本图像的缩放比例为1/16 的分割图,P2为缩放比例为1/4的分割图,依次类推。
在步骤203中,根据参考标准和k个分割图得到k个分割误差。
即,根据参考标准和Pi得到k个分割误差Ei
将参考标准在各缩放比例下的缩放图记作Gi,Gi={G1,G2…Gk}。以Zi={1/16,1/4,1}为例,G1为参考标准的缩放比例为1/16的缩放图, G2为参考标准的缩放比例为1/4的缩放图,依次类推。
各缩放比例下的分割图Pi,与参考标准在各缩放比例下的缩放图Gi之间的误差记作Ei,Ei={E1,E2…Ek}。
一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差。E1为P1与G1之间的误差,即缩放比例为1/16的分割图,参考标准的缩放比例为1/16的缩放图之间的误差。
在步骤204中,根据k个分割误差反向传导训练FCN模型。
即,根据Ei反向传导训练FCN模型。
训练样本的整体误差为反向传导训练FCN模型的参数。一个样本图像的误差为E1,E2…Ek的加权求和。训练样本的整体误差为各样本图像的误差之和。
本公开实施例提供的信息处理方法,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k 个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
基于上述图2对应的实施例提供的信息处理方法,图3是根据一示例性实施例示出的一种信息处理方法的流程图,图3对应的实施例中以k=5 的情形为例进行说明,其中部分步骤中的内容与图2对应的实施例中的步骤相同或类似,以下只对步骤中不同之处做详细说明。参照图3所示,本实施例提供的信息处理方法包括步骤301-306:
在步骤301中,获取训练样本。
在步骤302中,对样本图像的缩放图做上采样得到缩放比例为Zi的k 个分割图Pi
Zi={Z1,Z2…Zk},在一个实施例中,Zk=2Zk-1,Zk-1=2Zk-2,Zk-2= 2Zk-3…Z2=2Z1。相邻后一缩放比例取前一缩放比例的两倍,因此可对一个分割图做两倍上采样得到下一个分割图,然后再进一步做两倍上采样得到再下一个分割图。
以k=5、样本图像的缩放图的缩放比例为1/32的情形为例,Zi={1/16, 1/8,1/4,1/2,1}。那么,对1/32缩放图做两倍上采样后得到缩放比例为 1/16的分割图,对缩放比例为1/16的分割图做两倍上采样后得到缩放比例为1/8的分割图,依次类推直到得缩放比例为1的分割图,即与样本图像相同分辨率的分割图。
相邻后一缩放比例取前一缩放比例的两倍,因此可连续在上一次两倍上采样的基础上做两倍上采样,相比对样本图像的缩放图分别做多次上采样的情形,可提高计算效率节约计算资源。
在步骤303中,根据参考标准和Pi得到k个分割误差Ei
E1,E2…Ek分别对应不同缩放比例下的误差,k的取值越大,得到的误差的数量越多,越利于提高FCN模型对图像的分割精度,因此当相邻两个缩放比例之间步长较小时,可使得缩放比例的数量尽可能多,从而利于提高对图像细节处的分割精度。
在步骤304中,根据Ei反向传导训练FCN模型。
步骤304之后的步骤为利用经过训练的FCN模型对待分割图像进行图像分割的步骤。
在步骤305中,对待分割图像的缩放图做上采样得到缩放比例为Mf的r个分割图Pf
待分割图像的缩放图为对待分割图像做下采样得到的缩小图像。对待分割图像的缩放图做上采样得到多个不同缩放比例的分割图。
缩放比例的数量为r,1≤r≤k。
待分割图像的缩放图对应的多个缩放比例记作Mf,Mf={M1,M2… Mr}。
例如,Zi={1/16,1/8,1/4,1/2,1},Mf={1},或者Mf={1/2, 1},或者Mf={1/8,1/2,1}等。Mf可以等于Zi,即Mf={1/16,1/8,1/4, 1/2,1}
待分割图像的不同缩放比例的分割图记作Pf,Pf={P1,P2…Pr}。例如,Zi={1/16,1/8,1/4,1/2,1},P1为待分割图像的缩放比例为1/16的分割图,P2为待分割图像的缩放比例为1/8的分割图,依次类推。
在步骤306中,根据P1、P2…Pr中的至少一个确定对待分割图像的分割结果。
在一个实施例中,根据P1、P2…Pr中的一个确定对待分割图像的分割结果。例如,根据Pr确定分割结果,即以待分割图像的分割图中分辨率最大的分割图作为分割结果。
由于缩放比例越大(分辨率越高),对应的分割图越准确,因此可按照缩放比例大的分割图优先的原则,选择Pf中分辨率较高或者最高的分割图作为分割结果。
在另一个实施例中,根据P1、P2…Pr(r≥2)中的两个或以上确定对待分割图像的分割结果。例如,按照缩放比例大的分割图优先的原则从Pf中选择其中部分分割图,然后根据这些分割图确定最终的分割结果。
在一种可选的应用场景中,Mr=Zk,Mr-1=Zk-1,Mr-2=Zk-2…Mr-(r-1)= Zk-(r-1)
以Zi={1/16,1/8,1/4,1/2,1}的情形为例,当r=3时,Mf={1/4,1/2, 1},此时Pf={P1,P2,P3},P1,P2,P3分别为待分割图像的缩放比例为 1/4、1/2以及1的分割图。进一步地,根据P1,P2,P3中的至少两个确定最终的分割结果。
或者当r=4时,Mf={1/8,1/4,1/2,1},此时Pf={P1,P2,P3,P4}, P1,P2,P3,P4分别为待分割图像的缩放比例为1/8、1/4、1/2以及1的分割图。进一步地,根据P1,P2,P3,P4中的至少两个确定最终的分割结果。
待分割图像的r个不同缩放比例的分割图,代表待分割图像在不同缩放比例下分割结果,根据在不同缩放比例下的分割结果得到最终的分割结果,可起到在不同缩放比例下进行误差补偿的作用,利于提高对图像细节处的分割精度。
以根据P1,P2,P3确定最终分割结果的情形为例,将P1,P2,P3上采样至相同分辨率,比如将缩放比例为1/4的P1四倍上采样得到P’1,将缩放比例为1/2的P2两倍上采样得到P’2,此时P’1、P’2和P3分辨率相同。
进一步地,对P’1、P’2和P3加权融合后得到对待分割图像的最终分割结果。在一个实施例中,P’1、P’2和P3各自对应的权重分别为0.5、0.3、 0.2。权重越大表示对应分割图像对最终分割结果的影响越大。
在不同缩放比例下的分割图各自对误差做补偿的基础上,将多个分割图在相同分辨率下作融合得到对待分割图像的最终分割结果,可起到将整体误差平均化的作用。
本公开实施例提供的信息处理方法,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k 个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
下述为本公开设备实施例,可以用于执行本公开方法实施例。
图4是根据一示例性实施例示出的一种电子设备的框图,该设备可以通过软件、硬件或者两者的结合实现其部分或者全部功能,用于执行图1- 图3对应的实施例中所描述的信息处理方法。如图4所示,电子设备包括:
样本模块401,用于获取训练样本,训练样本包括样本图像及其对应的参考标准。
上采样模块402,用于对样本图像的缩放图做上采样得到k个分割图, k个分割图对应k个缩放比例,k≥2。
误差计算模块403,用于根据参考标准和k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差。
校准模块404,用于根据k个分割误差反向传导训练全卷积网络FCN 模型。
如图5所示,在一个实施例中,还包括:
分割模块405,用于对待分割图像的缩放图做上采样得到r个分割图, r个分割图对应r个缩放比例,r个缩放比例为k个缩放比例中的部分或全部,1≤r≤k。
判定模块406,用于根据r个分割图中的至少一个确定对待分割图像的分割结果。
如图6所示,在一个实施例中,分割模块405包括:
分割比例控制子模块4051,用于对待分割图像的缩放图做上采样得到 r个分割图,r个分割图对应r个缩放比例,r个缩放比例为将k个缩放比例由大到小排列后取其中前r个所得。
如图7所示,在一个实施例中,判定模块406包括:
筛选子模块4061,用于将r个分割图中的至少两个上采样至相同分辨率的分割图;
融合子模块4062,用于将上采样得到的相同分辨率的分割图融合得到对待分割图像的分割结果。
如图8所示,在一个实施例中,上采样模块402包括:
缩放比例控制子模块4021,用于对样本图像的缩放图做上采样得到k 个分割图,k个分割图对应k个缩放比例,k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
本公开实施例提供的电子设备,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
图9是根据一示例性实施例示出的一种电子设备的框图,该设备可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部,该电子设备用于执行上述图1-图3对应的实施例中所描述的信息处理方法。如图9所示,该电子设备90包括:
处理器901。
用于存储处理器901可执行指令的存储器902。
其中,处理器901被配置为:
获取训练样本,训练样本包括样本图像及其对应的参考标准;
对样本图像的缩放图做上采样得到k个分割图,k个分割图对应k个缩放比例,k≥2;
根据参考标准和k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据k个分割误差反向传导训练全卷积网络FCN模型。
在一个实施例中,上述处理器901还可被配置为:
对待分割图像的缩放图做上采样得到r个分割图,r个分割图对应r 个缩放比例,r个缩放比例为k个缩放比例中的部分或全部,1≤r≤k;
根据r个分割图中的至少一个确定对待分割图像的分割结果。
在一个实施例中,上述处理器901还可被配置为:
对待分割图像的缩放图做上采样得到r个分割图,r个分割图对应r 个缩放比例,r个缩放比例为将k个缩放比例由大到小排列后取其中前r 个所得。
在一个实施例中,上述处理器901还可被配置为:
将r个分割图中的至少两个上采样至相同分辨率的分割图;
将上采样得到的相同分辨率的分割图融合得到对待分割图像的分割结果。
在一个实施例中,上述处理器901还可被配置为:
对样本图像的缩放图做上采样得到k个分割图,k个分割图对应k个缩放比例,k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
本公开实施例提供的电子设备,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
本公开实施例提供的电子设备可以是一个如图10所示的终端设备,图10是根据一示例性实施例示出的一种终端设备的框图,该终端设备100 可以是智能手机、平板电脑等,该终端设备100用于执行上述图1-图3对应的实施例中所描述的信息处理方法。
终端设备100可以包括以下一个或多个组件:处理组件1001,存储器 1002,电源组件1003,多媒体组件1004,音频组件1005,输入/输出(I/O) 的接口1006,传感器组件1007,以及通信组件1008。
处理组件1001通常控制终端设备100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1001 可以包括一个或多个处理器10011来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1001可以包括一个或多个模块,便于处理组件1001和其他组件之间的交互。例如,处理组件1001可以包括多媒体模块,以方便多媒体组件1004和处理组件1001之间的交互。
存储器1002被配置为存储各种类型的数据以支持在终端设备100的操作。这些数据的示例包括用于在终端设备100上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1002 可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(英文全称:Static Random Access Memory,英文简称: SRAM),电可擦除可编程只读存储器(英文全称:Electrically ErasableProgrammable Read Only Memory,英文简称:EEPROM),可擦除可编程只读存储器(英文全称:Erasable Programmable Read Only Memory,英文简称:EPROM),可编程只读存储器(英文全称:Programmable Read Only Memory,英文简称:PROM),只读存储器(英文全称:ReadOnly Memory,英文简称:ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1003为终端设备100的各种组件提供电力。电源组件1003 可以包括电源管理系统,一个或多个电源,及其他与为终端设备100生成、管理和分配电力相关联的组件。
多媒体组件1004包括在终端设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(英文全称:Liquid Crystal Display,英文简称:LCD)和触摸面板(英文全称:Touch Panel,英文简称:TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1004包括一个前置摄像头和/或后置摄像头。当终端设备100处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1005被配置为输出和/或输入音频信号。例如,音频组件1005 包括一个麦克风(英文全称:Microphone,英文简称:MIC),当终端设备100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或经由通信组件1008发送。在一些实施例中,音频组件1005还包括一个扬声器,用于输出音频信号。
I/O接口1006为处理组件1001和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1007包括一个或多个传感器,用于为终端设备100提供各个方面的状态评估。例如,传感器组件1007可以检测到终端设备100 的打开/关闭状态,组件的相对定位,例如组件为终端设备100的显示器和小键盘,传感器组件1007还可以检测终端设备100或终端设备100一个组件的位置改变,用户与终端设备100接触的存在或不存在,终端设备100 方位或加速/减速和终端设备100的温度变化。传感器组件1007可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1007还可以包括光传感器,如互补金属氧化物半导体(英文全称:Complementary Metal OxideSemiconductor,英文简称:CMOS)或电荷耦合元件(英文全称:Charge Coupled Device,英文简称:CCD)图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1007 还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1008被配置为便于终端设备100和其他设备之间有线或无线方式的通信。终端设备100可以接入基于通信标准的无线网络,如无线保真(英文全称:Wireless-Fidelity,英文简称:WiFi),2G或3G,或它们的组合。在一个示例性实施例中,通信组件1008经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1008还包括近场通信(英文全称:Near Field Communication,英文简称:NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(英文全称:Radio FrequencyIdentification,英文简称:RFID)技术,红外数据协会(英文全称:Infrared DataAssociation,英文简称:IrDA) 技术,超宽带(英文全称:Ultra Wideband,英文简称:UWB)技术,蓝牙(英文全称:Bluetooth,英文简称:BT)技术和其他技术来实现。
在示例性实施例中,终端设备100可以被一个或多个应用专用集成电路(英文全称:Application Specific Integrated Circuit,英文简称:ASIC)、数字信号处理器(英文全称:Digital Signal Processing,英文简称:DSP)、数字信号处理设备(英文全称:Digital Signal Processing Device,英文简称:DSPD)、可编程逻辑器件(英文全称:Programmable Logic Device,英文简称:PLD)、现场可编程门阵列(英文全称:FieldProgrammable Gate Array,英文简称:FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述图1-图3对应的实施例中所描述的信息处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1002,上述指令可由终端设备100的处理组件1001执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(英文全称:RandomAccess Memory,英文简称:RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端设备100的处理组件1001执行时,使得终端设备100能够执行上述图1-图3对应的实施例中所描述的信息处理方法,该方法包括:
获取训练样本,训练样本包括样本图像及其对应的参考标准;
对样本图像的缩放图做上采样得到k个分割图,k个分割图对应k个缩放比例,k≥2;
根据参考标准和k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据k个分割误差反向传导训练全卷积网络FCN模型。
在一个实施例中,该方法还包括:
对待分割图像的缩放图做上采样得到r个分割图,r个分割图对应r 个缩放比例,r个缩放比例为k个缩放比例中的部分或全部,1≤r≤k;
根据r个分割图中的至少一个确定对待分割图像的分割结果。
在一个实施例中,该方法还包括:
对待分割图像的缩放图做上采样得到r个分割图,r个分割图对应r 个缩放比例,r个缩放比例为将k个缩放比例由大到小排列后取其中前r 个所得。
在一个实施例中,该方法还包括:
将r个分割图中的至少两个上采样至相同分辨率的分割图;
将上采样得到的相同分辨率的分割图融合得到对待分割图像的分割结果。
在一个实施例中,该方法还包括:
对样本图像的缩放图做上采样得到k个分割图,k个分割图对应k个缩放比例,k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
本公开实施例提供的终端设备以及存储介质,在模型训练的过程中通过对样本图像做上采样得到k个不同缩放比例的分割图,根据k个分割图分别计算得到每个缩放比例对应的误差,在反向传导训练FCN模型的过程中将k个缩放比例对应的误差考虑其中,优化了FCN模型对图像细节处的分割精度。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种信息处理方法,其特征在于,包括:
获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据所述k个分割误差反向传导训练全卷积网络FCN模型。
2.根据权利要求1所述的方法,其特征在于,还包括:
对待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应r个缩放比例,所述r个缩放比例为所述k个缩放比例中的部分或全部,1≤r≤k;
根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果。
3.根据权利要求2所述的方法,其特征在于,所述对待分割图像的缩放图做上采样得到r个分割图,包括:
对所述待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应所述r个缩放比例,所述r个缩放比例为将所述k个缩放比例由大到小排列后取其中前r个所得。
4.根据权利要求2所述的方法,其特征在于,所述根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果,包括:
将所述r个分割图中的至少两个上采样至相同分辨率的分割图;
将上采样得到的相同分辨率的分割图融合得到对所述待分割图像的分割结果。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述对所述样本图像的缩放图做上采样得到k个分割图,包括:
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,所述k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
6.一种信息处理设备,其特征在于,包括:
样本模块,用于获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
上采样模块,用于对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
误差计算模块,用于根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
校准模块,用于根据所述k个分割误差反向传导训练全卷积网络FCN模型。
7.根据权利要求6所述的设备,其特征在于,还包括:
分割模块,用于对待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应r个缩放比例,所述r个缩放比例为所述k个缩放比例中的部分或全部,1≤r≤k;
判定模块,用于根据所述r个分割图中的至少一个确定对所述待分割图像的分割结果。
8.根据权利要求7所述的设备,其特征在于,所述分割模块包括:
分割比例控制子模块,用于对所述待分割图像的缩放图做上采样得到r个分割图,所述r个分割图对应所述r个缩放比例,所述r个缩放比例为将所述k个缩放比例由大到小排列后取其中前r个所得。
9.根据权利要求7所述的设备,其特征在于,所述判定模块包括:
筛选子模块,用于将所述r个分割图中的至少两个上采样至相同分辨率的分割图;
融合子模块,用于将上采样得到的相同分辨率的分割图融合得到对所述待分割图像的分割结果。
10.根据权利要求6-9任一项所述的设备,其特征在于,所述上采样模块包括:
缩放比例控制子模块,用于对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,所述k个缩放比例中,相邻后一缩放比例为前一缩放比例的两倍。
11.一种信息处理设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取训练样本,所述训练样本包括样本图像及其对应的参考标准;
对所述样本图像的缩放图做上采样得到k个分割图,所述k个分割图对应k个缩放比例,k≥2;
根据所述参考标准和所述k个分割图得到k个分割误差,一个分割误差为一个分割图与参考标准在相同缩放比例下的缩放图之间的误差;
根据所述k个分割误差反向传导训练全卷积网络FCN模型。
12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-5任一项所述方法的步骤。
CN201710757201.XA 2017-08-29 2017-08-29 信息处理方法及设备 Active CN107507186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710757201.XA CN107507186B (zh) 2017-08-29 2017-08-29 信息处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710757201.XA CN107507186B (zh) 2017-08-29 2017-08-29 信息处理方法及设备

Publications (2)

Publication Number Publication Date
CN107507186A true CN107507186A (zh) 2017-12-22
CN107507186B CN107507186B (zh) 2020-11-20

Family

ID=60693394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710757201.XA Active CN107507186B (zh) 2017-08-29 2017-08-29 信息处理方法及设备

Country Status (1)

Country Link
CN (1) CN107507186B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376571A (zh) * 2014-12-01 2015-02-25 武汉大学 一种基于形状相关性活动轮廓模型的超声图像分割方法
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376571A (zh) * 2014-12-01 2015-02-25 武汉大学 一种基于形状相关性活动轮廓模型的超声图像分割方法
CN105760835A (zh) * 2016-02-17 2016-07-13 天津中科智能识别产业技术研究院有限公司 一种基于深度学习的步态分割与步态识别一体化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
飞跃重洋的思念: "全卷积网络(FCN)与图像分割", 《飞跃重洋的思念,HTTPS://BLOG.CSDN.NET/TAIGW/ARTICLE/DETAILS/51401448》 *

Also Published As

Publication number Publication date
CN107507186B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN104156149B (zh) 拍摄参数调节方法及装置
CN105809704A (zh) 识别图像清晰度的方法及装置
CN105657173B (zh) 音量调节方法、装置及移动终端
CN104731688B (zh) 提示阅读进度的方法及装置
CN104090735B (zh) 一种图片的投影方法及装置
CN104281432A (zh) 调节音效的方法及装置
CN104899610A (zh) 图片分类方法及装置
CN104299001A (zh) 生成影集的方法及装置
CN104598131A (zh) 调节页面显示方式的方法及装置
CN104978200A (zh) 应用程序显示方法及装置
CN107820006A (zh) 控制摄像头摄像的方法及装置
CN107563994A (zh) 图像的显著性检测方法及装置
CN104636453A (zh) 非法用户资料识别方法及装置
CN105528765A (zh) 处理图像的方法及装置
CN106776068A (zh) 候选应用的显示方法、装置及设备
CN104461348A (zh) 信息选取方法及装置
CN104598534A (zh) 图片折叠方法及装置
CN107330391A (zh) 产品信息提示方法及装置
CN107507128A (zh) 图像处理方法及设备
CN107368280A (zh) 语音交互的音量控制方法、装置和语音交互设备
CN104636064A (zh) 手势生成方法及装置
CN107424130A (zh) 图片美颜方法和装置
CN105677352A (zh) 应用图标颜色的设置方法和装置
CN109165722A (zh) 模型扩展方法及装置、电子设备和存储介质
CN109582297A (zh) 一种代码模板的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant