CN108492301A - 一种场景分割方法、终端及存储介质 - Google Patents

一种场景分割方法、终端及存储介质 Download PDF

Info

Publication number
CN108492301A
CN108492301A CN201810249232.9A CN201810249232A CN108492301A CN 108492301 A CN108492301 A CN 108492301A CN 201810249232 A CN201810249232 A CN 201810249232A CN 108492301 A CN108492301 A CN 108492301A
Authority
CN
China
Prior art keywords
image
scene cut
sample
scene
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810249232.9A
Other languages
English (en)
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810249232.9A priority Critical patent/CN108492301A/zh
Publication of CN108492301A publication Critical patent/CN108492301A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种场景分割的方法，包括：获取场景测试集中的样本图像；基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；基于空间相关度特征，生成场景分割模型，场景分割模型用于对输入模型的图像进行场景分割处理；采用场景分割模型对目标分割图像进行场景分割处理。本发明实施例还同时公开了一种终端及存储介质。

Description

一种场景分割方法、终端及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种场景分割方法、终端及存储介质。
背景技术
随着电子技术的迅速发展，人工智能技术已经可以处理大量与图像有关的功能，如目标检测、场景识别、语义分割等等，图像场景分割，效果显著，已经超越了传统图像处理算法。
目前，通过人工智能技术进行图像场景分割一般是基于深度学习的全卷积神经网络(FCN，Fully Convolution Network)，利用迁移学习的思想，将在大规模分类数据上经过预训练得到的网络迁移到图像分割数据集上进行训练，从而得到用于场景分割的分割网络，然后，利用该分割网络对图像进行场景分割。
然后，采用现有的分割网络进行处理时的网络复杂，计算量大，很难做到在终端上实现计算和精度上的平衡，且基于训练全卷积神经网络模型的比较单一的基础上，场景分割精细度较差。
发明内容
有鉴于此，本发明的主要目的在于提供一种场景分割方法、终端及存储介质，能够提高场景分割的精细度。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种场景分割方法，包括：
获取场景测试集中的样本图像；
基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；
基于所述空间相关度特征，生成场景分割模型，所述场景分割模型用于对输入模型的图像进行场景分割处理；
采用所述场景分割模型对目标分割图像进行场景分割处理。
在上述方案中，所述基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征，包括：
基于所述样本图像的像素点进行特征构造，得到所述样本图像的所述每个像素点的空间特征；
基于所述每个像素点的空间特征，得到所述空间相关度特征。
在上述方案中，所述基于所述空间相关度特征，生成场景分割模型，包括：
基于所述空间相关度特征，对预设优化函数进行调整，得到调整优化函数；
采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型。
在上述方案中，所述获取场景测试集中的样本图像，包括：
按照预设的配置比例获取的正样本和负样本，所述正样本为正样本图像与对应的正样本场景分割边界信息，所述负样本为负样本图像与对应的负样本场景分割边界信息。
在上述方案中，所述采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型，包括：
基于所述调整优化函数，调用设置的训练模型处理所述正样本或所述负样本，得到第一训练结果；
持续检测训练模型，直至所述第一训练结果满足预设条件，并将所述第一训练结果满足所述预设条件的所述训练模型作为所述场景分割模型，所述预设条件用于表征根据所述场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。
在上述方案中，所述采用所述场景分割模型对目标分割图像进行场景分割处理，包括：
获取目标分割图像；
基于所述目标分割图像和场景分割模型，得到分割结果；
将所述分割结果与所述目标分割图像进行匹配，得到所述目标分割图像的目标场景分割图像。
本发明实施例提供了一种终端，包括：
获取单元，用于获取场景测试集中的样本图像；
特征构造单元，用于基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；
生成单元，用于基于所述空间相关度特征，生成场景分割模型，所述场景分割模型用于对输入模型的图像进行场景分割处理；
分割单元，用于采用所述场景分割模型对目标分割图像进行场景分割处理。
在上述终端中，所述特征构造单元，具体用于基于所述样本图像的像素点进行特征构造，得到所述样本图像的所述每个像素点的空间特征；及基于所述每个像素点的空间特征，得到所述空间相关度特征。
在上述终端中，所述生成单元，具体用于基于所述空间相关度特征，对预设优化函数进行调整，得到调整优化函数；及采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型。
在上述终端中，所述获取单元，具体用于按照预设的配置比例获取的正样本和负样本，所述正样本为正样本图像与对应的正样本场景分割边界信息，所述负样本为负样本图像与对应的负样本场景分割边界信息。
在上述终端中，所述生成单元，还具体用于基于所述调整优化函数，调用设置的训练模型处理所述正样本或所述负样本，得到第一训练结果；及持续检测训练模型，直至所述第一训练结果满足预设条件，并将所述第一训练结果满足所述预设条件的所述训练模型作为所述场景分割模型，所述预设条件用于表征根据所述场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。
在上述终端中，所述获取单元，还用于获取目标分割图像；
所述分割单元，具体用于基于所述目标分割图像和场景分割模型，得到分割结果；及将所述分割结果与所述目标分割图像进行匹配，得到所述目标分割图像的目标场景分割图像。
本发明实施例还提供了一种终端，包括：
处理器以及存储有所述处理器可执行指令的存储器，所述存储器通过通信总线依赖所述处理器执行操作，当所述可执行指令被所述处理器执行时，执行所述的场景分割方法。
本发明实施例提供了一种计算机可读存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的场景分割方法。
本发明实施例提供了一种图像场景分割方法、终端及存储介质，获取场景测试集中的样本图像；基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；基于空间相关度特征，生成场景分割模型，场景分割模型用于对输入模型的图像进行场景分割处理；采用场景分割模型对目标分割图像进行场景分割处理。采用上述技术实现方案，由于终端可以在场景分割模型训练的时候，考虑到图像像素点间的空间相关性，使得训练好的场景分割模型考虑到了像素空间特征，因此，对于使用该场景分割模型的目标分割图像进行场景分割时的精细度会大大提高。
附图说明
图1为本发明实施例提供的一种场景分割方法的流程图一；
图2为本发明实施例提供的一种示例性的神经网络的结构示意图；
图3为本发明实施例提供的示例性的场景分割模型的训练过程示意图；
图4为本发明实施例提供的示例性的场景分割示意图一；
图5为本发明实施例提供的一种场景分割方法的流程图二；
图6为本发明实施例提供的示例性的场景分割示意图二；
图7为本发明实施例提供的一种终端的结果示意图一；
图8为本发明实施例提供的一种终端的结果示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
终端：指移动电子设备，也被称为行动装置(英语：Mobile device)、流动装置、手持装置(handheld device)、可穿戴设备等，是一种基于嵌入式芯片的计算设备，通常有一个小的显示萤幕，触控输入，或是小型的键盘。
机器学习：依托概率论，统计学，神经传播等理论，使计算机能够模拟人类的学习行为，以获取新的知识或者技能，重新组织已有知识结构使之不断改善自身的性能。
模型训练：将人工选择的样本输入给机器学习系统，通过不断调整模型参数，使最终模型对样本识别的准确率达到最优。
本发明实施例提供的场景分割方法的装置，即场景分割装置，实际应用中，该场景分割装置中的各功能模块可以由设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
当然，本发明实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本发明实施例提供的强变量提取方法的指令)，以下再对不同的实现方式举例说明。
这里，本发明实施例提供的一种场景分割方法是应用于终端设备为例进行说明的。
实施例一
本发明实施例提供了一种图像场景分割方法，如图1所示，该方法可以包括：
S101、获取场景测试集中的样本图像。
本发明实施例中的场景分割方法实现了对图像进行场景分割的处理。本发明实施例中将待处理的图像称为目标分割图像，即要进行场景分割的对象。
在本发明实施例中，场景分割方法可以在终端上实现，该终端可以是任何具有信息处理能力的电子设备。在一种实施例中，终端可以是智能终端，例如可以是移动电话(手机)、iPad、笔记本等具有无线通信能力的移动终端。在另一种实施例中，终端还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑等。
需要说明的是，对目标分割图像进行场景分割处理的时候，是通过采用场景分割模型进行场景分割处理的。其中，场景分割模型是通过场景测试集中的样本图像训练出来的。即在本发明实施例中，终端在进行场景分割方法的时候，首先需要进行是对场景分割模型的获取，即训练用于对输入模型的图像进行场景分割处理的场景分割模型，这样才能使得终端可以利用场景分割模型对目标分割图像进行场景分割。
其中，样本图像可以由原始样本图像处理后得到，原始样本图像为未进行场景分割处理的图像的集合，将未被场景分割处理的图像称为原始样本图像。这里，终端可以根据图像存储路径来获取原始样本图像，在获取原始样本图像时，可在原始样本图像集中随机的确定选取出一些原始样本图像，也可按存储顺序确定要使用的原始样本图像。
在本发明实施例中，终端在确定原始样本图像后，可确定原始样本图像的场景分割结果，其中，场景分割结果指示在原始样本图像中标注场景分割边界的边界信息，也可以由终端随机生成边界信息。在终端确定了场景分割边界的边界信息后，生成样本图像。
这里，在实际应用中，得到样本图像可以通过以下步骤实现：提取原始样本图像的特征图像；将特征图像进行场景分割处理，得到边界图像，将边界图像和其对应的原始样本图像的对应关系存储为样本图像。
其中，特征图像为值包括目标对象的图像。基于目标对象为不规则的形状，而特征图像为规则的多边形。当获取特征图像后，对特征图像进行场景分割处理得到样本图像，这里，对于不同的原始样本图像，特征图像的场景分割处理可相同，也可不同。
示例性的，当需要对场景分割模型进行训练时，触发训练请求，基于训练请求确定训练的场景分割模型需检测的样本信息(对应样本图像)，从而确定样本信息对应的场景测试集。场景测试集中训练样本(即样本图像)的数量可为1000至40000，这里，场景测试集中的样本的数量可根据用户需求进行设置，本发明实施例对此不进行限定。
在实现过程中，训练请求可携带待处理图像的图像信息，图像信息包括：图像标识、图像存储路径、图像格式、图像大小等信息。待处理图像可包括多个待处理图像，对应的，训练请求中携带各待处理图像的图像信息。待处理图像中可包括人脸、猫、汽车等不同的对象和场景的图像。
需要说明的是，针对场景测试集的样本图像中可以包括正样本和负样本，不同的训练样本中样本信息对应的场景分割的效果等参数等可不同，从而实现训练样本的多样化。
这里，终端可以按照预设的配置比例获取的正样本和负样本，正样本为正样本图像与对应的正样本场景分割边界信息，负样本为负样本图像与对应的负样本场景分割边界信息。
在本发明实施例中，在实际操作的过程中，场景分割为优(正样本)和场景分割为差(负样本)会存在一定的比例，这个比例即为配置比例，在形成场景分割模型时，终端对训练数据的配置(已有的样本和对应的场景分割)也需要按照该配置比例进行设置。其中，正样本为正样本图像与对应的正样本场景分割边界信息，负样本为负样本图像与对应的负样本场景分割边界信息。
可以理解的是，在本发明实施例提供的场景分割方法中，通过场景测试集中的训练样本中的原始样本图像作为场景分割模型的输入，以各训练样本中对应的边界信息(边界图像)作为输出对场景分割模型进行训练，以使场景分割模型具有从输入的图像中进行场景分割的特性，这样的过程不需要人工的来制作训练样本，提高了训练样本的制作效率。
S102、基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征。
终端在获取了样本图像之后，该终端就可以基于训练模型进行场景分割模型的训练了，但是在本发明实施例中，终端是采用优化函数对训练模型进行训练的。本发明实施例基于样本图像对优化函数进行调整，提高场景分割模型的精细度。
这里，终端对样本图像进行特征提取，实现基于样本图像的像素点进行的特征构造，从而得到表征像素点间相关性的空间相关度特征，利用该空间相关度特征后续对优化函数进行调整优化。
在本发明的其他实施例中，终端进行空间相关度特征的过程可以为：基于样本图像的像素点进行特征构造，得到样本图像的每个像素点的空间特征；基于每个像素点的空间特征，得到空间相关度特征。
在本发明实施例中，终端基于样本图像的像素点进行特征构造，得到样本图像的每个像素点的空间特征，可以通过如SIFT，方向梯度直方图(HOG，Histogram of OrientedGradient)等方法进行特征提取得到，本发明实施例不限制其特征提取的方式。而终端基于每个像素点的空间特征，得到空间相关度特征，可以利用欧式距离或马氏距离等对空间特征进行相关性计算，得到空间相关度特征。
需要说明的是，特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。本发明实施例中对于空间特征的构造，可以通过一些简单的区域描绘子，直方图及其统计特征，以及灰度共现矩阵等方式体现。
示例性的，简单的区域描绘子可以如下：
周长：区域边界的长度，即位于区域边界上的像素数目；
面积：区域中的像素总数；
致密性：(周长)2/面积；
区域的质心；
灰度均值：区域中所有像素的平均值；
灰度中值：区域中所有像素的排序中值；
包含区域的最小矩形；
最小或最大灰度级；
大于或小于均值的像素数；
欧拉数：区域中的对象数减去这些对象的孔洞数。
例如，利用regionprops函数提取简单的区域特征如下：
I＝imread('bw_mouth.bmp')；
I1＝bwlabel(I)；
D＝regionprops(I1,'area','centroid')；
D.Area
示例性的，直方图及其统计特征中，可以用直方图或其统计特征作为图像纹理特征。直方图本身就是一个向量，向量的维数是直方图统计的灰度级数，因此，可以直接以此向量作为代表图像纹理的特征向量，从而交给分类器处理，对于LBP直方图就常常这样处理；另一种思路是进一步从直方图中提取出描述直方图的统计特征，将直方图的这些统计特征组合成为特征向量，这样做可以大大降低特征向量的维数。采用直方图的上面的思路，终端可以将样本图像中的每个像素点为中心，统计距离小于预设数量的像素点的区域的直方图，作为该像素点的空间特征；然后，该终端可以根据欧式距离，计算各个直方图间的距离，从而得到像素点的相关度，即空间相关度特征。其中，预设数量可以为4，本发明实施例不作限制。
下面将以空间特征值为HOG特征值(空间特征)进行举例。
在本发明实施例中，使用到的HOG特征原理：HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域(称为cells)，每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出(样本图像)描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。
与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性(除非物体方向改变)。因此，HOG描述子尤其适合图像的检测。
具体的，HOG特征提取方法就是将一个image进行了下面的过程：
1)灰度化(将图像看做一个x,y,z(灰度)的三维图像)；
2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
4)将图像划分成小cells(例如6*6像素/cell)；
5)统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor；
6)将每几个cell组成一个block(例如3*3个cell/block)，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
7)将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(要检测的目标)的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了(即空间特征)。
需要说明的是，在本发明实施例中，可以通过梯度下降法计算权重偏差量。总之，对给定的样本图像基于每个像素点的空间特性计算一些信息罗列成为一个向量，即为提取空间特征。其中，提取空间特征的方法有很多，包括：随机森林，sift等，用这些提取出的空间特征可以表达出样本图像中的像素点的空间特点。
在本发明实施例中，不论采用哪种方式得到的空间特征都是与像素点相关的，采用的是与像素点的空间特性相关的特征。
下面将以欧式距离计算空间相关度特征进行举例。
欧氏距离定义：欧氏距离(Euclidean distance)是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。
欧氏距离原理：在二维和三维空间中的欧式距离的就是两点之间的距离，二维的公式是公式(1)：
d＝sqrt((x1-x2)^+(y1-y2)^) (1)
三维的公式是公式(2)：
d＝sqrt(x1-x2)^+(y1-y2)^+(z1-z2)^) (2)
推广到n维空间，欧式距离的公式是公式(3)：
d＝sqrt(∑(xi1-xi2)^) (3)
其中，i＝1，2，...，n。xi1表示第一个点的第i维坐标，xi2表示第二个点的第i维坐标，n维欧氏空间是一个点集，它的每个点可以表示为(x(1)，x(2)，...，x(n))，其中x(i)(i＝1,2...n)是实数，称为x的第i个坐标，两个点x和y＝(y(1)，y(2)...y(n))之间的距离d(x,y)定义为上面的公式d，欧氏距离看作特征间的相似程度。
基于欧式距离的原理，终端可以对空间特征采用欧式距离，计算出像素点间的相关度，从而得到空间相关度特征。
S103、基于空间相关度特征，生成场景分割模型，场景分割模型用于对输入模型的图像进行场景分割处理。
终端在得到了像素点间相关性的空间相关度特征之后，该终端就可以基于空间相关度特征和预设训练模型，生成场景分割模型了，其中该场景分割模型用于对输入模型的图像进行场景分割处理。
在本发明实施例中，基于空间相关度特征，生成场景分割模型的过程可以为：基于空间相关度特征，对预设优化函数进行调整，得到调整优化函数；采用调整优化函数，对样本图像进行模型训练，生成场景分割模型。
在本发明实施例中，预设优化函数可以为代价函数，该代价函数用于神经网络模型的模型构建时使用。在本发明实施例中，终端采用的预设训练模型可以为神经网络模型，例如，基于AlexNet建立的全卷积神经网络FCN模型。
也就是说，终端在采用预设优化函数对场景分割模型进行训练的时候，首先对采用空间相关度特征对预设优化函数进行了调整，再采用调整优化函数进行训练，从而得到的场景分割模型。
下面采用神经网络模型进行场景分割模型训练的说明。采用3层神经网络模型，其结构如图2所示。这里的隐层(中间层)输出值h1，…，hp的计算公式为公式(4)：
其中，b＝1，…，q，xm+1＝1(偏置项)，f(x)＝1/(1+e-x)，wab是输入层第a个节点与隐层第b个节点之间的连接权值。
输出层y的计算为公式(5)：
其中，其中βb是隐层第b个节点与输出层第k个节点之间的连接权值。
需要说明的是，模型参数w(矩阵)、β(向量)的求解过程如下：
w(神经网络中输入层与隐层之间的连接权值)：根据极限学习机的原理，w可取为任意的随机值，例如位于[-1，1]之间的随机值。且一旦赋值，在后续的模型优化过程中就不再变化。因此，不管模型的输入变量有多少，都不影响模型的可调参数总个数。
超参数p：是神经网络的隐层节点数，也是整套算法中的唯一超参数，取得过小或过大，都可能导致欠拟合或过拟合，只能通过实验确定一个最佳值。
模型训练求β(神经网络中隐层与输出层之间的连接权值)：按照极限学习机的原理，归结为求一个Moore-Penrose广义逆就可。
总之，求得β之后，神经网络模型(第一预估模型)就建立起来了。那么在求β的过程，是需要通过预设优化函数，即代价函数来进行约束从而求得的。
总的代价函数可以用来评价模型的好坏，代价函数越小说明模型和参数越符合训练样本。正则化项为代价函数中约束要优化的参数的。正则化的作用为：1、防止过拟合；2、正则化项的引入其实是利用了先验知识，体现了对问题的解的认知程度或者对解的估计；3、正则化项的引入平衡了偏差(bias)与方差(variance)、拟合能力与泛化能力、经验风险(平均损失函数)与结构风险(损失函数+正则化项)；4、正则化产生了稀疏性(Sparsity)，减少了特征向量个数，降低了模型的复杂度。
在本发明实施例中，若是将空间相关度特征加入到正则化项中，作为约束场景分割模型的一个维度的约束条件的话，就使得最终训练得到的场景分割模型充分考虑到了像素点间的空间相关性，可以提高模型的精细度。
在其他实施例中，如图3所示，终端按照预设的配置比例获取正样本和负样本，正样本为正样本图像与对应的正样本场景分割边界信息。终端基于调整优化函数，调用设置的训练模型处理正样本或负样本，得到第一训练结果；持续检测训练模型，直至第一训练结果满足预设条件，并将第一训练结果满足预设条件的训练模型作为场景分割模型，预设条件用于表征根据场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。采用调整优化函数，持续对训练模型进行训练的过程就是采用正则化项对模型进行约束的过程。
需要说明的是，在本发明实施例中，本发明实施例提供一种基于引入机器学习技术而形成一种预设场景模型，对每一次点场景分割都会考虑所有特征维度然后综合进行判断。在形成预设场景模型的初期，仍然需要人工挑选尽可能多维度的特征(即样本图像的空间特征)供机器学习模型训练，根据特征对第一训练结果的区分度决定选用哪些特征擦描述，这里基本不存在人工干预选择参数的问题，机器学习可以自己学习出合适的参数来；由于特征含义相比没有意义的参数看来更为直观，结合特征的分布，解释起来也比较容易理解；首先基于机器学习模型的场景分割，涉及到多个样本图像的综合考虑，提高了场景分割的准确性。另外由于模型自身具有进化学习的功能。即使在允许范围发生更新或删减，通过简单的重新进行模型训练(有时候需要对特征进行微调)，即可以识别新的允许范围的确定并进行预设场景模型的调整，使场景分割结果准确。
本发明实施例中，不管采用何种训练模型，在开始训练之时，该训练模型的录入包括上述至少两个维度的特征，经过多次试验如果该特征不对第一训练结果产生有利影响或者错误的时候，就降低该维度的特征或数据的权重，如果该特征对第一训练结果产生有利影响时候，就提高该特征或数据的权重，如果一个参数的权重降低为0，那么在训练模型中该特征将不起任何作用了。经过本发明实施例的最终试验，上述不同的维度的特征最终对第一训练结果能够产生积极影响的是长期特征(空间特征)。上述的场景模型的形成过程大致包括：将正样本或负样本的样本图像输入训练模型(即调用训练模型)，从训练模型获得第一训练结果；持续监测第一训练结果直至满足预设条件时，则将训练模型作为场景分割模型。
可选的，本发明实施例中的预设条件可以为分割结果的准确率达到预设阈值，该预设阈值可以为99％，具体的预设阈值的确定可设置，本发明实施例不作限制，但是，预设阈值设置的越高，达到该预设阈值或预设条件的分割结果的预设场景分割模型就越精确。
从以上流程可以看出，1)本发明实施例采用了基于场景分割模型的场景分割方式，能够有效得到反映终端上的图像的场景分割指标，实现对相关终端上的图像的场景分割处理；2)本发明实施例采用的场景分割模型的一个显著特点是模型可以自我进化，自动进行特征权值的调整，避免基于规则的人工频繁介入调整参数。
进一步地，场景分割模型的训练过程也可以在与终端的图像场景分割功能对应的云服务器或后台服务器中进行，终端只需直接拿来用也可以，本发明实施例不作限制。
可以理解的是，在本发明实施例中，相比现有的使用各种复杂的行为数据，本发明使用终端使用当中存在的较为简单的终端中的图像作为主要数据源，模型构造过程简单易行，不需要使用各种复杂的编码、聚类、筛选手段进行复杂的构造和处理，大大降低了数据处理的工作量，使得预设场景分割模型简单可用。
S104、采用场景分割模型对目标分割图像进行场景分割处理。
终端在得到的场景分割模型之后，就可以将目标分割图像基于场景分割模型，得到分割结果；终端将分割结果与目标分割图像进行匹配，得到目标分割图像的目标场景分割图像。
这里，分割结果可以为不同场景的边界信息，例如边界位置信息或者边框位置信息等，于是，终端将不同场景的边界信息与目标分割图像进行匹配，这样可以得到了场景分割处理后的目标场景分割图像了。
需要说明的是，在本发明实施例中，每一次进行场景分割后的场景分割结果可以通过数据表示，也可以通过图形表示，本发明实施例不限制分割结果的表现形式。
示例性的，如图4所示，终端将获取的分割结果A与目标分割图像B进行匹配，得到了目标场景分割图像C。
可以理解的是，由于终端可以在场景分割模型训练的时候，考虑到图像像素点间的空间相关性，使得训练好的场景分割模型考虑到了像素空间特征，因此，对于使用该场景分割模型的目标分割图像进行场景分割时的精细度会大大提高。
实施例二
基于实施例一的同一发明构思下，本发明实施例提供了一种图像场景分割方法，如图5所示，该方法可以包括：
S201、获取场景测试集中的样本图像。
本发明实施例中的“获取场景测试集中的样本图像”的过程与实施例一中的S101的描述过程一致，此处不再赘述。
S202、基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征。
本发明实施例中的“基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征”的过程与实施例一中的S102的描述过程一致，此处不再赘述。
S203、基于空间相关度特征，生成场景分割模型，场景分割模型用于对输入模型的图像进行场景分割处理。
本发明实施例中的“基于空间相关度特征，生成场景分割模型，场景分割模型用于对输入模型的图像进行场景分割处理”的过程与实施例一中的S103的描述过程一致，此处不再赘述。
S204、获取目标分割图像。
在本发明实施例中，终端可以安装有图像处理应用，用户可基于图像处理应用进行图像下载、图像的预览、图像的处理、图像的删除等与图像相关的处理。用户可通过对图像处理应用的操作来选取待处理图像，即目标分割图像。图像处理应用可将终端本地存储的图像呈现在终端的显示界面上，也可通过无线网络在线获取内容提供服务器提供的图像，将内容提供服务器提供的图像呈现在终端的显示界面上，本发明实施例不限制目标分割图像的来源和获取方式。
在本发明实施例中，用户可通过对显示界面中的呈现的图像的选取操作来确定待处理图像。图像处理设备接收到用户的选取操作时，将选取操作对应的图像作为待处理图像。图像处理设备的显示界面上可提供进行场景分割的检测控件，当检测控件接收到用户操作时，触发对待处理图像的场景分割处理请求。
当终端从图像发送设备接收到一图像时，可将该图像作为待处理图像，自动触发请求对待处理图像的场景分割处理。这里，图像发送设备可为服务器、客户端等其他电子设备。
S205、基于目标分割图像和场景分割模型，得到分割结果。
终端在获取了目标分割图像之后，该终端就可以利用预先训练好的用于对输入模型的图像进行场景分割处理，即对目标分割图像进行场景分割处理，得到分割结果。
这里，终端可以采用场景分割模型对目标分割图像进行场景分割处理，将目标分割图像输入至场景分割模型中，输出目标分割图像中不同场景的边界信息，即目标分割图像中的至少一个场景的边界信息。
在本发明实施例中，场景分割模型中输出的是场景的边界信息，可以为边界位置信息，边框位置信息等，本发明实施例不限制边界信息的表现形式。
示例性的，如图6所示，将目标分割图像1，输入至场景分割模型2中，输出了目标分割图像中的4个场景的边界信息3。
S206、将分割结果与目标分割图像进行匹配，得到目标分割图像的目标场景分割图像。
本发明实施例中的“将分割结果与目标分割图像进行匹配，得到目标分割图像的目标场景分割图像”的过程与实施例一中的S104的描述过程一致，此处不再赘述。
可以理解的是，由于终端可以在场景分割模型训练的时候，考虑到图像像素点间的空间相关性，使得训练好的场景分割模型考虑到了像素空间特征，因此，对于使用该场景分割模型的目标分割图像进行场景分割时的精细度会大大提高。
实施例三
基于实施例一至实施例二的同一发明构思，如图7所示，本发明实施例提供了一种终端1，包括：
获取单元10，用于获取场景测试集中的样本图像；
特征构造单元11，用于基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；
生成单元12，用于基于所述空间相关度特征，生成场景分割模型，所述场景分割模型用于对输入模型的图像进行场景分割处理；
分割单元13，用于采用所述场景分割模型对目标分割图像进行场景分割处理。
在上述终端中，所述特征构造单元11，具体用于基于所述样本图像的像素点进行特征构造，得到所述样本图像的所述每个像素点的空间特征；及基于所述每个像素点的空间特征，得到所述空间相关度特征。
在上述终端中，所述生成单元12，具体用于基于所述空间相关度特征，对预设优化函数进行调整，得到调整优化函数；及采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型。
在上述终端中，所述获取单元10，具体用于按照预设的配置比例获取的正样本和负样本，所述正样本为正样本图像与对应的正样本场景分割边界信息，所述负样本为负样本图像与对应的负样本场景分割边界信息。
在上述终端中，所述生成单元12，还具体用于基于所述调整优化函数，调用设置的训练模型处理所述正样本或所述负样本，得到第一训练结果；及持续检测训练模型，直至所述第一训练结果满足预设条件，并将所述第一训练结果满足所述预设条件的所述训练模型作为所述场景分割模型，所述预设条件用于表征根据所述场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。
在上述终端中，所述获取单元10，还用于获取目标分割图像；
所述分割单元13，具体用于基于所述目标分割图像和场景分割模型，得到分割结果；及将所述分割结果与所述目标分割图像进行匹配，得到所述目标分割图像的目标场景分割图像。
在实际应用中，上述获取单元10、特征构造单元11、生成单元12和分割单元13可由位于终端1上的处理器14实现，具体为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital Signal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现。
如图8所示，本发明实施例还提供了一种终端，包括：
处理器14以及存储有所述处理器14可执行指令的存储器15，所述存储器15通过通信总线依赖所述处理器14执行操作，当所述可执行指令被所述处理器14执行时，执行上述的实施例一至实施例二中的任一实施例所述的场景分割方法。
需要说明的是，在实际应用时，终端中的各个组件通过通信总线16耦合在一起。可以理解的是，通信总线16用于实现这些组件之间的连接通信。通信总线16除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为通信总线16。
可以理解的是，由于终端可以在场景分割模型训练的时候，考虑到图像像素点间的空间相关性，使得训练好的场景分割模型考虑到了像素空间特征，因此，对于使用该场景分割模型的目标分割图像进行场景分割时的精细度会大大提高。
本发明实施例提供了一种计算机可读存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行实施例一至实施例二中的任一实施例所述的场景分割方法。
其中，计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory，FRAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种场景分割方法，其特征在于，包括：
获取场景测试集中的样本图像；
基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；
基于所述空间相关度特征，生成场景分割模型，所述场景分割模型用于对输入模型的图像进行场景分割处理；
采用所述场景分割模型对目标分割图像进行场景分割处理。
2.根据权利要求1所述的方法，其特征在于，所述基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征，包括：
基于所述样本图像的像素点进行特征构造，得到所述样本图像的所述每个像素点的空间特征；
基于所述每个像素点的空间特征，得到所述空间相关度特征。
3.根据权利要求1所述的方法，其特征在于，所述基于所述空间相关度特征，生成场景分割模型，包括：
基于所述空间相关度特征，对预设优化函数进行调整，得到调整优化函数；
采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型。
4.根据权利要求3所述的方法，其特征在于，所述获取场景测试集中的样本图像，包括：
按照预设的配置比例获取的正样本和负样本，所述正样本为正样本图像与对应的正样本场景分割边界信息，所述负样本为负样本图像与对应的负样本场景分割边界信息。
5.根据权利要求4所述的方法，其特征在于，所述采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型，包括：
基于所述调整优化函数，调用设置的训练模型处理所述正样本或所述负样本，得到第一训练结果；
持续检测训练模型，直至所述第一训练结果满足预设条件，并将所述第一训练结果满足所述预设条件的所述训练模型作为所述场景分割模型，所述预设条件用于表征根据所述场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述采用所述场景分割模型对目标分割图像进行场景分割处理，包括：
获取目标分割图像；
基于所述目标分割图像和场景分割模型，得到分割结果；
将所述分割结果与所述目标分割图像进行匹配，得到所述目标分割图像的目标场景分割图像。
7.一种终端，其特征在于，包括：
获取单元，用于获取场景测试集中的样本图像；
特征构造单元，用于基于样本图像的像素点进行特征构造，得到用于表征像素点间相关性的空间相关度特征；
生成单元，用于基于所述空间相关度特征，生成场景分割模型，所述场景分割模型用于对输入模型的图像进行场景分割处理；
分割单元，用于采用所述场景分割模型对目标分割图像进行场景分割处理。
8.根据权利要求7所述的终端，其特征在于，
所述特征构造单元，具体用于基于所述样本图像的像素点进行特征构造，得到所述样本图像的所述每个像素点的空间特征；及基于所述每个像素点的空间特征，得到所述空间相关度特征。
9.根据权利要求7所述的终端，其特征在于，
所述生成单元，具体用于基于所述空间相关度特征，对预设优化函数进行调整，得到调整优化函数；及采用所述调整优化函数，对所述样本图像进行模型训练，生成所述场景分割模型。
10.根据权利要求9所述的终端，其特征在于，
所述获取单元，具体用于按照预设的配置比例获取的正样本和负样本，所述正样本为正样本图像与对应的正样本场景分割边界信息，所述负样本为负样本图像与对应的负样本场景分割边界信息。
11.根据权利要求10所述的终端，其特征在于，
所述生成单元，还具体用于基于所述调整优化函数，调用设置的训练模型处理所述正样本或所述负样本，得到第一训练结果；及持续检测训练模型，直至所述第一训练结果满足预设条件，并将所述第一训练结果满足所述预设条件的所述训练模型作为所述场景分割模型，所述预设条件用于表征根据所述场景分割模型得到的分割结果运用于终端中的目标分割图像的场景分割时，最接近真实的分割场景。
12.根据权利要求7至11任一项所述的终端，其特征在于，
所述获取单元，还用于获取目标分割图像；
所述分割单元，具体用于基于所述目标分割图像和场景分割模型，得到分割结果；及将所述分割结果与所述目标分割图像进行匹配，得到所述目标分割图像的目标场景分割图像。
13.一种终端，其特征在于，包括：
处理器以及存储有所述处理器可执行指令的存储器，所述存储器通过通信总线依赖所述处理器执行操作，当所述可执行指令被所述处理器执行时，执行上述的权利要求1至6任一项所述的场景分割方法。
14.一种计算机可读存储介质，其特征在于，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的权利要求1至6任一项所述的场景分割方法。
CN201810249232.9A 2018-03-21 2018-03-21 一种场景分割方法、终端及存储介质 Pending CN108492301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810249232.9A CN108492301A (zh) 2018-03-21 2018-03-21 一种场景分割方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810249232.9A CN108492301A (zh) 2018-03-21 2018-03-21 一种场景分割方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN108492301A true CN108492301A (zh) 2018-09-04

Family

ID=63337576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810249232.9A Pending CN108492301A (zh) 2018-03-21 2018-03-21 一种场景分割方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN108492301A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360210A (zh) * 2018-10-16 2019-02-19 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109409248A (zh) * 2018-09-30 2019-03-01 上海交通大学 基于深度语义网络的语义标注方法、装置及系统
CN110889437A (zh) * 2019-11-06 2020-03-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111091164A (zh) * 2020-03-25 2020-05-01 魔视智能科技(上海)有限公司 基于ohem的语义分割模型训练方法及其系统
CN111292331A (zh) * 2020-02-23 2020-06-16 华为技术有限公司 图像处理的方法与装置
CN113470048A (zh) * 2021-07-06 2021-10-01 北京深睿博联科技有限责任公司 场景分割方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016179830A1 (en) * 2015-05-14 2016-11-17 Intel Corporation Fast mrf energy optimization for solving scene labeling problems
CN106296668A (zh) * 2016-08-01 2017-01-04 南京邮电大学 一种多分辨分析的全局图像分割方法
CN106447662A (zh) * 2016-09-30 2017-02-22 陕西科技大学 一种基于组合距离的fcm图像分割算法
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016179830A1 (en) * 2015-05-14 2016-11-17 Intel Corporation Fast mrf energy optimization for solving scene labeling problems
CN106296668A (zh) * 2016-08-01 2017-01-04 南京邮电大学 一种多分辨分析的全局图像分割方法
CN106447662A (zh) * 2016-09-30 2017-02-22 陕西科技大学 一种基于组合距离的fcm图像分割算法
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LONG JON ET AL: "Fully convolutional network for semantic segmentation", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
华漫等: "基于自适应相似度距离的改进 FCM 图像分割", 《电视技术》 *
肖旭: "基于深度学习的图像语义分割研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409248A (zh) * 2018-09-30 2019-03-01 上海交通大学 基于深度语义网络的语义标注方法、装置及系统
CN109360210A (zh) * 2018-10-16 2019-02-19 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109360210B (zh) * 2018-10-16 2019-10-25 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
US11403763B2 (en) 2018-10-16 2022-08-02 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, computer device, and storage medium
CN110889437A (zh) * 2019-11-06 2020-03-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110889437B (zh) * 2019-11-06 2022-11-11 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111292331A (zh) * 2020-02-23 2020-06-16 华为技术有限公司 图像处理的方法与装置
CN111292331B (zh) * 2020-02-23 2023-09-12 华为云计算技术有限公司 图像处理的方法与装置
CN111091164A (zh) * 2020-03-25 2020-05-01 魔视智能科技(上海)有限公司 基于ohem的语义分割模型训练方法及其系统
CN113470048A (zh) * 2021-07-06 2021-10-01 北京深睿博联科技有限责任公司 场景分割方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11537884B2 (en) Machine learning model training method and device, and expression image classification method and device
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
US10515275B2 (en) Intelligent digital image scene detection
CN108492301A (zh) 一种场景分割方法、终端及存储介质
CN109815826B (zh) 人脸属性模型的生成方法及装置
WO2020108474A1 (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN108229296A (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109961097B (zh) 一种嵌入式场景下基于边缘计算的图像分类调度方法
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
Bharati et al. Demography-based facial retouching detection using subclass supervised sparse autoencoder
CN112052759B (zh) 一种活体检测方法和装置
CN109271930A (zh) 微表情识别方法、装置与存储介质
CN107886062A (zh) 图像处理方法、系统及服务器
Guo et al. Image esthetic assessment using both hand-crafting and semantic features
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN113095333A (zh) 无监督特征点检测方法及装置
CN111080746A (zh) 图像处理方法、装置、电子设备和存储介质
CN113449548A (zh) 更新物体识别模型的方法和装置
CN114358279A (zh) 图像识别网络模型剪枝方法、装置、设备及存储介质
CN109753873A (zh) 图像处理方法及相关装置
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN117115595A (zh) 姿态估计模型的训练方法、装置、电子设备及存储介质
KR20220124446A (ko) 머신러닝 기반 동물상 테스트 서비스 제공 방법 및 시스템
KR101867586B1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904

RJ01 Rejection of invention patent application after publication