CN109191381B - 一种标定焦点处理图像的方法及系统 - Google Patents

Abstract

本申请提供一种标定焦点处理图像的方法及系统，该方法包括：根据预设的图像尺寸与图像分块的对应关系分割原始图像得到原始图像的图像分块；缩放原始图像得到缩放图像作为背景图像；将选定焦点所在区域对应至原始图像的图像分块，在原始图像的图像分块中使用边缘检测法勾勒出选定焦点的内容的边缘轮廓，从而选中选定焦点的内容；将选中的选定焦点的内容的清晰度提升至预定清晰度值；将提升清晰度后的选定焦点所在区域的图像与背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放合成图像。本发明既提高图像传输效率且提升用户观看图像的效果，又不影响用户观看体验。

Description

一种标定焦点处理图像的方法及系统

技术领域

本申请涉及图像处理的技术领域，尤其涉及一种标定焦点处理图像的方法及系统。

背景技术

视频已然成为了现代人们生活娱乐及工作的必备元素之一，且随着生活水平的提升，人们对视频清晰度等的要求也越来越高，尤其是在最近兴起的虚拟现实(VR)中，对视频图像的要求进一步提升，因为虚拟现实中视频图像的传输需要双目输出，所以在图像传输上就需要双倍大小的图像输出。比如一幅4k的图在普通网络传输上就有(3840*2160*4)字节大小的传输量也就有32M的需求，而传输一段每秒24帧的视频图像更是需要每秒32M*24＝759M的大量数据，而VR的双目输出就需要759M*2＝1518M每秒的数据传输。

这对于视频图像传输无疑是较大的传输挑战，根据目前的可行性方案上如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输视频数据，但是网路传输领域还是存在传输量大的会导致延迟加重的压力，特别是这种4K或者8K的视频传输压力则更大，况且相对应的视频编码领域压缩率越高则清晰度就越低。然而带上VR头盔，用户所能观察到的往往是他目前所能见到的有限区域，而视频是一个完整的不限量图像的序列化传输，其他不可见区域的一同传输编解码又带来了巨大的网络带宽传输要求和机器编解码性能的要求。但是，如果降低虚拟现实中视频图像输出又会直接导致用户对虚拟现实体验变差，因此，如何提供一种既提高图像传输效率且提升用户观看图像的效果，又不影响用户观看体验的图像处理方案是本领域亟待解决的技术问题。

发明内容

本申请的目的在于提供一种标定焦点处理图像的方法及系统，解决现有技术中视频图像传输和解码压力大且图像焦点清晰度低的技术问题。

为达到上述目的，本申请提供一种标定焦点处理图像的方法，包括：

接收原始图像，分析所述原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割所述原始图像得到原始图像的图像分块；

按照预设的图像缩放比例缩放所述原始图像得到缩放图像作为背景图像；

根据图像中焦点特征提取所述原始图像中的待选焦点，统计所述待选焦点在所述原始图像中出现的次数并从大往小排序，根据所述排序顺序选择一个所述待选焦点作为选定焦点，并将所述选定焦点所在区域对应至所述原始图像的图像分块，在所述原始图像的图像分块中使用边缘检测法勾勒出所述选定焦点的内容的边缘轮廓，从而选中所述选定焦点的内容；将选中的所述选定焦点的内容的清晰度提升至预定清晰度值；

将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放所述合成图像。

可选地，其中，将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像为：

将提升清晰度后的所述选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至所述选定焦点的清晰度；

根据所述选定焦点的边缘轮廓将所述选定焦点的图像与渐变清晰度后的所述背景图像合并渲染得到焦点内容清晰度提升的合成图像。

可选地，其中，该方法还包括：

根据图像中焦点特征搜索所述原始图像中没有所述待选焦点时，根据所述原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

可选地，其中，该方法还包括：

识别所述原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取所述原始图像对应的焦点特征；

根据图像中焦点特征遍历所述原始图像提取所述原始图像中的待选焦点；

接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

可选地，其中，该方法还包括：

根据所述待选焦点出现的次数排序顺序选取预设数量的所述待选焦点；

统计选取的除第一位的所述待选焦点之外的所述待选焦点与第一位的所述待选焦点之间次数差值，当所述次数差值处于预设的次数差值阈值范围内时，标记所述待选焦点，并将标记的所述待选焦点加入至所述选定焦点中。

另一方面，本发明还提供一种标定焦点处理图像的系统，包括：图像分块器、图像缩放器、图像焦点处理器及图像合并器；其中，

所述图像分块器，与所述图像缩放器及图像焦点处理器相连接，用于接收原始图像，分析所述原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割所述原始图像得到原始图像的图像分块；

所述图像缩放器，与所述图像分块器及图像合并器相连接，用于按照预设的图像缩放比例缩放所述原始图像得到缩放图像作为背景图像；

所述图像焦点处理器，与所述图像分块器及图像合并器相连接，用于根据图像中焦点特征提取所述原始图像中的待选焦点，统计所述待选焦点在所述原始图像中出现的次数并从大往小排序，根据所述排序顺序选择一个所述待选焦点作为选定焦点，并将所述选定焦点所在区域对应至所述原始图像的图像分块，在所述原始图像的图像分块中使用边缘检测法勾勒出所述选定焦点的内容的边缘轮廓，从而选中所述选定焦点的内容；将选中的所述选定焦点的内容的清晰度提升至预定清晰度值；

所述图像合并器，与所述图像缩放器及图像焦点处理器相连接，用于将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放所述合成图像。

可选地，其中，所述图像合并器，包括：图像清晰度渐变单元及焦点图像和背景图像合并单元；其中，

所述图像清晰度渐变单元，与所述所述图像缩放器、图像焦点处理器及焦点图像和背景图像合并单元相连接，用于将提升清晰度后的所述选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至所述选定焦点的清晰度；

所述焦点图像和背景图像合并单元，与所述图像清晰度渐变单元相连接，用于根据所述选定焦点的边缘轮廓将所述选定焦点的图像与渐变清晰度后的所述背景图像合并渲染得到焦点内容清晰度提升的合成图像。

可选地，其中，该系统还包括：焦点区域选定器，与所述图像焦点处理器相连接，用于根据图像中焦点特征搜索所述原始图像中没有所述待选焦点时，根据所述原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

可选地，其中，该系统还包括：待选焦点选取器，与所述图像焦点处理器相连接，用于：

识别所述原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取所述原始图像对应的焦点特征；

根据图像中焦点特征遍历所述原始图像提取所述原始图像中的待选焦点；

接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

可选地，其中，该系统还包括：多焦点选取器，与所述图像焦点处理器相连接，用于：

根据所述待选焦点出现的次数排序顺序选取预设数量的所述待选焦点；

统计选取的除第一位的所述待选焦点之外的所述待选焦点与第一位的所述待选焦点之间次数差值，当所述次数差值处于预设的次数差值阈值范围内时，标记所述待选焦点，并将标记的所述待选焦点加入至所述选定焦点中。

本申请实现的有益效果如下：

(1)本申请的标定焦点处理图像的方法及系统，通过非可视区域模糊而局部焦点清晰化，将一段视频中需要着重表达清楚的部分清晰化达到4K甚至8K的清晰度比如人物、动物等，而比如场景、建筑、花草等次级图像区域将清晰度降到2k甚至1k的水平，通过人工智能对每个图像中的焦点内容轮廓勾勒出来，比如当一个人作为焦点的时候将主要把人的形状最清晰化，然后逐渐将周围慢慢变得非清晰化辐射扩散，既提高图像传输效率且提升用户观看图像的效果，又不影响用户观看体验。

(2)本申请的标定焦点处理图像的方法及系统，在高清晰度图像与低清晰度图像之间合并时采用清晰度渐变的处理方式，避免了因为高清晰度图像与低清晰度图像的突兀感，使整个图像在显示上能感觉到一个比较舒服的类似景深过度的区域，提升了用户的观看体验。

(3)本申请的标定焦点处理图像的方法及系统，还设定了无焦点或多焦点情况下自动选取焦点区域或增加多焦点，避免了用户看到都是低清晰度的背景图像或者在多个焦点时只看到一个焦点的问题，提升了用户的观看体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种标定焦点处理图像的方法的流程示意图；

图2为本发明实施例中示例内所述适于合并图像的示意图；

图3为本发明实施例中示例内所述不适于合并图像的示意图；

图4为本发明实施例中第二种标定焦点处理图像的方法的步骤示意图；

图5为本发明实施例中第三种标定焦点处理图像的方法的步骤示意图；

图6为本发明实施例中第四种标定焦点处理图像的方法的步骤示意图；

图7为本发明实施例中第五种标定焦点处理图像的方法的步骤示意图；

图8为本发明实施例中输入图像进行不同区域分割获取最终识别对象类型的示意图；

图9为本发明实施例中一种标定焦点处理图像的系统的结构示意图；

图10为本发明实施例中第二种标定焦点处理图像的系统的结构示意图；

图11为本发明实施例中第三种标定焦点处理图像的系统的结构示意图；

图12为本发明实施例中第四种标定焦点处理图像的系统的结构示意图；

图13为本发明实施例中第五种标定焦点处理图像的系统的结构示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1所示，为本实施例中一种标定焦点处理图像的方法的流程示意图。将传输进来的图像(例如清晰度为4K)分割成若干小图；将整幅图像缩小用于普通传输(例如成1k的背景图像)；将焦点所在区域内容使用高分辨率(如4K)，局部大小比如1024x1024的局部图并高清传输(焦点高清图像)；而融合需要进行过滤的过滤带(融合区域)，并将其自动生成的线条和形状(边缘轮廓1)(边缘轮廓2)与所有的图一并传输；焦点区域获取方法可以是：通过使用深度学习模型不断的计算不同电影的每段视频内的焦点。该方法包括如下步骤：

步骤101、接收原始图像，分析原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割原始图像得到原始图像的图像分块。

步骤102、按照预设的图像缩放比例缩放原始图像得到缩放图像作为背景图像。

步骤103、根据图像中焦点特征提取原始图像中的待选焦点，统计待选焦点在原始图像中出现的次数并从大往小排序，根据排序顺序选择一个待选焦点作为选定焦点，并将选定焦点所在区域对应至原始图像的图像分块，在原始图像的图像分块中使用边缘检测法勾勒出选定焦点的内容的边缘轮廓，从而选中选定焦点的内容；将选中的选定焦点的内容的清晰度提升至预定清晰度值。

在每帧图片使用R-CNN算法提取可能的对象，将对象出现的种类都标定并且记录，每幅图像中人物、相同种类的动物都作为独立的对象，比如如果出现2个兔子则分别记录为兔子1和兔子2。对一段视频片段中每幅图像都应用(5.1R-CNN算法)并将显示最多次数到最少次数的对象逐一列出，如果是相同对象比如每幅图出现2个兔子，则将兔子出现次数除2得出平均数来计算每个兔子出现的次数。同时记录多个对象同时出现时，将显示次数最多的对象作为焦点。示例：在一秒钟长的一段视频中(24幅图)，动物出现2个种类、人物出现2个，其中动物分别是兔子出现5次，熊出现22次。人物1出现13次，人物2出现24次，这个时候我们按照显示次数最多的对象作为焦点的方法，将人物2作为焦点标定。

如果有多个对象同时出现次数一样时，优先选择人物、动物、物体、其他的顺序标定最高优先级焦点。

示例：在一秒钟长的一段视频中(24幅图)，动物出现2个种类、人物出现2个，其中动物分别是兔子出现5次，熊出现24次。人物1出现13次，人物2出现24次，这个时候我们发现熊和人物2出现次数一样，所以按照优先级排序，将人物2作为焦点标定。

如果同类人物或者同类动物出现次数一样，我们按照出现过的对象框图的大小来进行优先级排序，选定有过最大图的那个对象作为焦点标定。

示例：在一秒钟长的一段视频中(24幅图)，动物出现2个种类、人物出现2个，其中动物分别是兔子出现5次，熊出现13次。人物1出现24次(出现过最大的时候框图是320 x310像素大小)，人物2出现24次(出现过最大的时候框图是120 x 150像素大小)。这个时候我们发现人物1和人物2出现的次数是一样的，所以按照最大尺寸来优先级排序，人物1将作为焦点标定。

可选地，使用深度网络提取特征之前，首先把候选区域归一化成同一尺寸227×227。此处有一些细节可做变化：外扩的尺寸大小，形变时是否保持原比例，对框外区域直接截取还是补灰，会轻微影响性能。

网络结构可以基本Hinton 2012年在Image Net上的分类网络2，略作简化3。此网络提取的特征为4096维，之后送入一个4096->1000的全连接(fc)层进行分类，学习率0.01。训练数据，使用ILVCR 2012的全部数据进行训练，输入一张图片，输出1000维的类别标号。调优训练：网络结构，同样使用上述网络，最后一层换成4096->21的全连接网络。学习率0.001，每一个batch包含32个正样本(属于20类)和96个背景。训练数据：使用PASCAL VOC2007的训练集，输入一张图片，输出21维的类别标号，表示20类+背景。考察一个候选框和当前图像上所有标定框重叠面积最大的一个。如果重叠比例大于0.5，则认为此候选框为此标定的类别；否则认为此候选框为背景。

类别判断：分类器，对每一类目标，使用一个线性SVM二类分类器进行判别。输入为深度网络输出的4096维特征，输出是否属于此类。

由于负样本很多，使用hard negative mining方法。

正样本，本类的真值标定框。

负样本，考察每一个候选框，如果和本类所有标定框的重叠都小于0.3，认定其为负样本。

位置精修，目标检测问题的衡量标准是重叠面积：许多看似准确的检测结果，往往因为候选框不够准确，重叠面积很小。故需要一个位置精修步骤。回归器对每一类目标，使用一个线性脊回归器进行精修，正则项。

输入为深度网络pool5层的4096维特征，输出为xy方向的缩放和平移。训练样本判定为本类的候选框中，和真值重叠面积大于0.6的候选框。

使用上述的训练数据，应用到正在传输的视频中，获取当前视频内出现的对象数量，并通过这些对象之间的关联系数，应用上述中的方法得出当前视频片段的焦点对象。

步骤104、将提升清晰度后的选定焦点所在区域的图像与背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放合成图像。

可选地，焦点区域获取方法是：通过使用深度学习模型不断的计算不同电影的每段视频内的焦点变化模式。深度学习方法使用R-CNN(Regions with CNN features)基于卷积神经网络特征的区域方法，RCNN算法分为4个步骤：

-一张图像生成1K～2K个候选区域；

-对每个候选区域，使用深度网络提取特征；

-特征送入每一类的SVM分类器，判别是否属于该类；

-使用回归器精细修正候选框位置。

候选区域生成使用了Selective Search1方法从一张图像生成约2000-3000个候选区域。基本思路如下：

-使用一种过分割手段，将图像分割成小区域；

-查看现有小区域，合并可能性最高的两个区域，重复直到整张图像合并成一个区域位置；

-输出所有曾经存在过的区域，所谓候选区域；

候选区域生成和后续步骤相对独立，实际可以使用任意算法进行。

合并规则优先合并以下四种区域：

-颜色(颜色直方图)相近的；

-纹理(梯度直方图)相近的；

-合并后总面积小的；

-合并后，总面积在其BBOX中所占比例大的。

其中第三条：保证合并操作的尺度较为均匀，避免一个大区域陆续“吃掉”其他小区域。

例：设有区域a-b-c-d-e-f-g-h。较好的合并方式是：ab-cd-ef-gh->abcd-efgh->abcdefgh。

不好的合并方法是：ab-c-d-e-f-g-h->abcd-e-f-g-h->abcdef-gh->abcdefgh。

其中第四条：保证合并后形状规则，例：图2适于合并，图3不适于合并。上述四条规则只涉及区域的颜色直方图、纹理直方图、面积和位置。合并后的区域特征可以直接由子区域特征计算而来，速度较快。

优选地，为尽可能不遗漏候选区域，上述操作在多个颜色空间中同时进行(RGB,HSV,Lab等)。在一个颜色空间中，使用上述四条规则的不同组合进行合并。所有颜色空间与所有规则的全部结果，在去除重复后，都作为候选区域输出。作者提供了Selective Search的源码，内含较多.p文件和.mex文件，难以细查具体实现。

在一些可选的实施例中，如图1和图4所示，为本实施例中第二种标定焦点处理图像的方法的流程示意图。图4与图1中不同的是，步骤104、将提升清晰度后的选定焦点所在区域的图像与背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放合成图像，为：

步骤401、将提升清晰度后的选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至选定焦点的清晰度。

步骤402、根据选定焦点的边缘轮廓将选定焦点的图像与渐变清晰度后的背景图像合并渲染得到焦点内容清晰度提升的合成图像。

可选地，可以将焦点对象使用边缘检测方法获取框选路径(边缘轮廓1)，并对框选路径膨胀得出(边缘轮廓2)；例如，在虚拟现实VR图像中，通过以上形式传输左眼和右眼的图，并通过网络传输给VR客户端；在VR客户端首先会渲染一张非高清图(背景图像)，然后在上面对应的区域渲染一层焦点图，而焦点图直接贴上去会出现断层现象，也就是突然从高清图变成非高清的显示导致的融合边缘异常。使用线条从(边缘轮廓1)强烈的(焦点高清图像)到逐渐变成边缘轮廓2的(背景图像)的过程，使整个显示上能感觉到一个比较舒服的类似景深过度的区域(融合区域)。

在一些可选的实施例中，如图1和图5所示，为本实施例中第三种标定焦点处理图像的方法的流程示意图。图5与图1中不同的是，还包括：

步骤501、根据图像中焦点特征搜索原始图像。

步骤502、根据图像中焦点特征搜索原始图像中没有待选焦点时，根据原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

可选地，通过建立另一套深度学习算法，不断训练得出不同的片段中焦点对象和所有对象之间的关联系数，并在运用5.5、5.6、5.7示例作为算法计算时加入这个参数。

示例：在一秒钟长的一段视频中(24幅图)，动物出现2个种类、人物出现2个，其中动物分别是兔子出现5次，熊出现24次。人物1出现13次，人物2出现24次，训练得出：在兔子、熊、人物同时出现时标定人物作为焦点的概率是60％,标定熊作为焦点的概率是30％，标定兔子作为焦点的概率是10％，那么将这套系数应用于上面的方法得出(所有数量均需整数，所以出现小数点采用四舍五入方法获取整数值)。兔子出现5次*10％＝1次，熊出现24次*30％＝7次。人物1出现13次*60％＝8次，人物2出现24次*60％＝14次，得出结果再使用5.5的方法，将人物2作为焦点标定。

在一些可选的实施例中，如图1和图6所示，为本实施例中第四种标定焦点处理图像的方法的流程示意图。图6与图1中不同的是，还包括：

步骤601、识别原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取原始图像对应的焦点特征。

步骤602、根据图像中焦点特征遍历原始图像提取原始图像中的待选焦点。

步骤603、接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

在一些可选的实施例中，如图1和图7所示，为本实施例中第五种标定焦点处理图像的方法的流程示意图。图7与图1中不同的是，还包括：

步骤701、根据待选焦点出现的次数排序顺序选取预设数量的待选焦点。

步骤702、统计选取的除第一位的待选焦点之外的待选焦点与第一位的待选焦点之间次数差值，当次数差值处于预设的次数差值阈值范围内时，标记待选焦点，并将标记的待选焦点加入至选定焦点中。

如图8中所示，为对输入图像进行不同区域分割获取最终识别对象类型的示意图。

图9为本实施例中一种标定焦点处理图像的系统900的结构示意图，该系统用于实施上述的标定焦点处理图像的方法，该系统包括：图像分块器901、图像缩放器902、图像焦点处理器903及图像合并器904。

其中，图像分块器901，与图像缩放器902及图像焦点处理器903相连接，用于接收原始图像，分析原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割原始图像得到原始图像的图像分块。

图像缩放器902，与图像分块器901及图像合并器904相连接，用于按照预设的图像缩放比例缩放原始图像得到缩放图像作为背景图像。

图像焦点处理器903，与图像分块器901及图像合并器904相连接，用于根据图像中焦点特征提取原始图像中的待选焦点，统计待选焦点在原始图像中出现的次数并从大往小排序，根据排序顺序选择一个待选焦点作为选定焦点，并将选定焦点所在区域对应至原始图像的图像分块，在原始图像的图像分块中使用边缘检测法勾勒出选定焦点的内容的边缘轮廓，从而选中选定焦点的内容；将选中的选定焦点的内容的清晰度提升至预定清晰度值。

图像合并器904，与图像缩放器902及图像焦点处理器903相连接，用于将提升清晰度后的选定焦点所在区域的图像与背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放合成图像。

在一些可选的实施例中，如图10所示，为本实施例中一种标定焦点处理图像的系统1000的结构示意图，与图9不同的是，图像合并器904，包括：图像清晰度渐变单元941及焦点图像和背景图像合并单元942；其中，图像清晰度渐变单元941，与图像缩放器902、图像焦点处理器903及焦点图像和背景图像合并单元942相连接，用于将提升清晰度后的选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至选定焦点的清晰度。

焦点图像和背景图像合并单元942，与图像清晰度渐变单元941相连接，用于根据选定焦点的边缘轮廓将选定焦点的图像与渐变清晰度后的背景图像合并渲染得到焦点内容清晰度提升的合成图像。

在一些可选的实施例中，如图11所示，为本实施例中一种标定焦点处理图像的系统1100的结构示意图，与图9不同的是，还包括：焦点区域选定器1101，与图像焦点处理器903相连接，用于根据图像中焦点特征搜索原始图像中没有待选焦点时，根据原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

在一些可选的实施例中，如图12所示，为本实施例中一种标定焦点处理图像的系统1200的结构示意图，与图9不同的是，还包括：待选焦点选取器1201，与图像焦点处理器903相连接，用于：识别原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取原始图像对应的焦点特征；根据图像中焦点特征遍历原始图像提取原始图像中的待选焦点；接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

在一些可选的实施例中，如图13所示，为本实施例中一种标定焦点处理图像的系统1300的结构示意图，与图9不同的是，还包括：多焦点选取器1301，与图像焦点处理器903相连接，用于：根据待选焦点出现的次数排序顺序选取预设数量的待选焦点；统计选取的除第一位的待选焦点之外的待选焦点与第一位的待选焦点之间次数差值，当次数差值处于预设的次数差值阈值范围内时，标记待选焦点，并将标记的待选焦点加入至选定焦点中。

本实施例中标定焦点处理图像的方法及系统实现的有益效果如下：

(1)本申请的标定焦点处理图像的方法及系统，通过非可视区域模糊而局部焦点清晰化，将一段视频中需要着重表达清楚的部分清晰化达到4K甚至8K的清晰度比如人物、动物等，而比如场景、建筑、花草等次级图像区域将清晰度降到2k甚至1k的水平，通过人工智能对每个图像中的焦点内容轮廓勾勒出来，比如当一个人作为焦点的时候将主要把人的形状最清晰化，然后逐渐将周围慢慢变得非清晰化辐射扩散，既提高图像传输效率且提升用户观看图像的效果，又不影响用户观看体验。

(2)本申请的标定焦点处理图像的方法及系统，在高清晰度图像与低清晰度图像之间合并时采用清晰度渐变的处理方式，避免了因为高清晰度图像与低清晰度图像的突兀感，使整个图像在显示上能感觉到一个比较舒服的类似景深过度的区域，提升了用户的观看体验。

(3)本申请的标定焦点处理图像的方法及系统，还设定了无焦点或多焦点情况下自动选取焦点区域或增加多焦点，避免了用户看到都是低清晰度的背景图像或者在多个焦点时只看到一个焦点的问题，提升了用户的观看体验。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种标定焦点处理图像的方法，其特征在于，包括：

接收原始图像，分析所述原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割所述原始图像得到原始图像的图像分块；

按照预设的图像缩放比例缩放所述原始图像得到缩放图像作为背景图像；

根据图像中焦点特征提取所述原始图像中的待选焦点，统计所述待选焦点在所述原始图像中出现的次数并从大往小排序，根据所述排序顺序选择一个所述待选焦点作为选定焦点，并将所述选定焦点所在区域对应至所述原始图像的图像分块，在所述原始图像的图像分块中使用边缘检测法勾勒出所述选定焦点的内容的边缘轮廓，从而选中所述选定焦点的内容；将选中的所述选定焦点的内容的清晰度提升至预定清晰度值；

将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放所述合成图像；

其中，将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像为：

将提升清晰度后的所述选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至所述选定焦点的清晰度；

根据所述选定焦点的边缘轮廓将所述选定焦点的图像与渐变清晰度后的所述背景图像合并渲染得到焦点内容清晰度提升的合成图像；

其中，根据选定焦点的边缘轮廓将选定焦点的图像与渐变清晰度后的背景图像合并渲染得到焦点内容清晰度提升的合成图像的方法包括：

将焦点对象使用边缘检测方法获取框选路径，并对框选路径膨胀得出边缘轮廓；

在渐变清晰度后的所述背景图像对应的区域渲染一层焦点图；

使用线条从框选路径逐渐变成边缘轮廓。

2.根据权利要求1所述的标定焦点处理图像的方法，其特征在于，还包括：

根据图像中焦点特征搜索所述原始图像中没有所述待选焦点时，根据所述原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

3.根据权利要求1所述的标定焦点处理图像的方法，其特征在于，还包括：

识别所述原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取所述原始图像对应的焦点特征；

根据图像中焦点特征遍历所述原始图像提取所述原始图像中的待选焦点；

接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

4.根据权利要求1所述的标定焦点处理图像的方法，其特征在于，还包括：

根据所述待选焦点出现的次数排序顺序选取预设数量的所述待选焦点；

统计选取的除第一位的所述待选焦点之外的所述待选焦点与第一位的所述待选焦点之间次数差值，当所述次数差值处于预设的次数差值阈值范围内时，标记所述待选焦点，并将标记的所述待选焦点加入至所述选定焦点中。

5.一种标定焦点处理图像的系统，其特征在于，包括：图像分块器、图像缩放器、图像焦点处理器及图像合并器；其中，

所述图像分块器，与所述图像缩放器及图像焦点处理器相连接，用于接收原始图像，分析所述原始图像得到图像尺寸，根据预设的图像尺寸与图像分块的对应关系分割所述原始图像得到原始图像的图像分块；

所述图像缩放器，与所述图像分块器及图像合并器相连接，用于按照预设的图像缩放比例缩放所述原始图像得到缩放图像作为背景图像；

所述图像焦点处理器，与所述图像分块器及图像合并器相连接，用于根据图像中焦点特征提取所述原始图像中的待选焦点，统计所述待选焦点在所述原始图像中出现的次数并从大往小排序，根据所述排序顺序选择一个所述待选焦点作为选定焦点，并将所述选定焦点所在区域对应至所述原始图像的图像分块，在所述原始图像的图像分块中使用边缘检测法勾勒出所述选定焦点的内容的边缘轮廓，从而选中所述选定焦点的内容；将选中的所述选定焦点的内容的清晰度提升至预定清晰度值；

所述图像合并器，与所述图像缩放器及图像焦点处理器相连接，用于将提升清晰度后的所述选定焦点所在区域的图像与所述背景图像合并渲染得到焦点内容清晰度提升的合成图像，并播放所述合成图像；

其中，所述图像合并器，包括：图像清晰度渐变单元及焦点图像和背景图像合并单元；其中，

所述图像清晰度渐变单元，与所述图像缩放器、图像焦点处理器及焦点图像和背景图像合并单元相连接，用于将提升清晰度后的所述选定焦点所在区域内设定范围内的背景图像清晰度，以预定的渐变策略渐变至所述选定焦点的清晰度；

所述焦点图像和背景图像合并单元，与所述图像清晰度渐变单元相连接，用于根据所述选定焦点的边缘轮廓将所述选定焦点的图像与渐变清晰度后的所述背景图像合并渲染得到焦点内容清晰度提升的合成图像；

其中，根据选定焦点的边缘轮廓将选定焦点的图像与渐变清晰度后的背景图像合并渲染得到焦点内容清晰度提升的合成图像的方法包括：

将焦点对象使用边缘检测方法获取框选路径，并对框选路径膨胀得出边缘轮廓；

在渐变清晰度后的所述背景图像对应的区域渲染一层焦点图；

使用线条从框选路径逐渐变成边缘轮廓。

6.根据权利要求5所述的标定焦点处理图像的系统，其特征在于，还包括：焦点区域选定器，与所述图像焦点处理器相连接，用于根据图像中焦点特征搜索所述原始图像中没有所述待选焦点时，根据所述原始图像尺寸随机框定预定尺寸的区域作为选定焦点。

7.根据权利要求5所述的标定焦点处理图像的系统，其特征在于，还包括：待选焦点选取器，与所述图像焦点处理器相连接，用于：

识别所述原始图像的分类信息，利用预设的图像分类信息与图像中焦点特征的对应关系获取所述原始图像对应的焦点特征；

根据图像中焦点特征遍历所述原始图像提取所述原始图像中的待选焦点；

接收更新的原始图像的分类信息与图像中焦点特征的对应关系并保存。

8.根据权利要求5所述的标定焦点处理图像的系统，其特征在于，还包括：多焦点选取器，与所述图像焦点处理器相连接，用于：

根据所述待选焦点出现的次数排序顺序选取预设数量的所述待选焦点；

统计选取的除第一位的所述待选焦点之外的所述待选焦点与第一位的所述待选焦点之间次数差值，当所述次数差值处于预设的次数差值阈值范围内时，标记所述待选焦点，并将标记的所述待选焦点加入至所述选定焦点中。

Images