CN109871841A - 图像处理方法、装置、终端及存储介质 - Google Patents

图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109871841A
CN109871841A CN201910115439.1A CN201910115439A CN109871841A CN 109871841 A CN109871841 A CN 109871841A CN 201910115439 A CN201910115439 A CN 201910115439A CN 109871841 A CN109871841 A CN 109871841A
Authority
CN
China
Prior art keywords
image
pixel
original image
offset
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910115439.1A
Other languages
English (en)
Other versions
CN109871841B (zh
Inventor
胡益清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910115439.1A priority Critical patent/CN109871841B/zh
Publication of CN109871841A publication Critical patent/CN109871841A/zh
Application granted granted Critical
Publication of CN109871841B publication Critical patent/CN109871841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、终端及介质,其中方法包括:获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;获取所述原始图像中的各像素点的偏移量;根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。本发明实施例可以结构化地对原始图像进行恢复处理,更好地消除原始图像中的扭曲特征。

Description

图像处理方法、装置、终端及存储介质
技术领域
本发明涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种图像处理方法、一种图像处理装置、一种终端及一种计算机存储介质。
背景技术
图像获取是指:在物体成像的过程中,将模拟图像转换成数字图像的工作;通常可由扫描仪或者相机来完成。然而,在图像获取的过程中,可能由于扫描仪或相机透镜发生畸变、被拍摄物体表面卷曲(如被拍摄的纸质文档的纸面卷曲)等多种因素,导致产生一定程度的图像扭曲畸变,使得获取到的图像包括扭曲特征。
为了后续可以更好地进行图像业务处理,通常需要对包括扭曲特征的图像进行图像处理,以消除图像中的扭曲特征;所谓图像处理又可称为影像处理,是一种采用计算机对图像进行分析,以达到所需结果的技术。然而研究表明,目前的图像处理技术无法消除原始图像中的扭曲特征。因此,如何消除图像中的扭曲特征成为了研究热点。
发明内容
本发明实施例提供了一种图像处理方法、装置、终端及计算机存储介质,可以结构化地对原始图像进行恢复处理,更好地消除原始图像中的扭曲特征。
一方面,本发明实施例提供了一种图像处理方法,所述图像处理方法包括:
获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
获取所述原始图像中的各像素点的偏移量;
根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
另一方面,本发明实施例提供了一种图像处理装置,该图像处理装置包括:
获取单元,用于获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
所述获取单元,用于获取所述原始图像中的各像素点的偏移量;
处理单元,用于根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
再一方面,本发明实施例提供了一种终端,所述终端包括输入设备和输出设备,所述终端还包括:
处理器,适于实现一条或一条以上指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或一条以上指令,所述一条或一条以上指令适于由所述处理器加载并执行如下步骤:
获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
获取所述原始图像中的各像素点的偏移量;
根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或一条以上指令,所述一条或一条以上指令适于由处理器加载并执行如下步骤:
获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
获取所述原始图像中的各像素点的偏移量;
根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
本发明实施例在进行图像处理时,可获取原始图像,该原始图像包括扭曲特征;由于扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的,因此可获取原始图像中的各像素点的偏移量,根据各像素点的偏移量对原始图像进行恢复处理,得到不包括扭曲特征的目标图像。上述图像处理过程,根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种像素点的基准位置的示意图;
图1b是本发明实施例提供的一种像素点相对于基准位置进行偏移的示意图;
图2是本发明实施例提供的一种图像扭曲的示意图;
图3a是本发明实施例提供的一种图像处理方案的应用场景;
图3b是本发明实施例提供的另一种图像处理方案的应用场景;
图3c是本发明实施例提供的另一种图像处理方案的应用场景;
图4是本发明实施例提供的一种图像处理方法的流程示意图;
图5是本发明实施例提供的一种像素点的偏移量的示意图;
图6是本发明另一实施例提供的一种图像处理方法的流程示意图;
图7a是本发明实施例提供的一种扭曲轴的示意图;
图7b是本发明实施例提供的一种确定扭曲函数的示意图;
图8是本发明实施例提供的一种生成网络的结构示意图;
图9是本发明实施例提供的一种采用掩码矩阵清除第二图像中的无效像素点的示意图;
图10是本发明实施例提供的一种目标图像的对比示意图;
图11是本发明实施例提供的一种图像处理装置的结构示意图;
图12是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
图像通常由多个排成行列的像素点组成,即像素点是组成图像的最小图像单元。终端在显示图像时,通常会根据终端的显示器的分辨率将图像划分成W*H个像素点,并分别对每个像素点进行渲染从而实现图像的显示;其中,W用于表示图像的列数,H用于表示图像的行数。图像中的任一像素行和任一像素列相互垂直,本发明实施例将图像中像素行与像素列垂直交叉的位置称为像素点的基准位置;即针对图像中的任意一个像素点(X,Y),X∈[1,2,…,W],Y∈[1,2,…,H];该像素点(X,Y)的基准位置为:该图像的第X列和第Y行的垂直交叉位置;若像素点(X,Y)没有在基准位置处,则认为该像素点相对于基准位置进行了偏移。例如,终端在显示图像时,将图像划分成11*8个像素点;像素点a(3,2)的基准位置则为该图像的第3列和第2行的垂直交叉位置,如图1a中的灰色圆点所示的位置;若像素点a(3,2)没有位于该图像的第3列和第2行的垂直交叉位置,如图1b所示;那么可认为此时的像素点a相对于基准位置进行了偏移。需要说明的是,图1a和图1b中的圆点只是用于对像素点进行示意性表示,在实际应用中,像素点可以以方格的形式呈现。
实践表明,若图像中的像素点相对于基准位置进行偏移,则会产生图像的扭曲特征,从而使得图像整体扭曲或变形;此处的扭曲特征可以包括:对图像进行扭曲而导致图像中的像素点基于基准位置进行偏移而产生的特征,和/或,对图像进行变形而导致图像中的像素点基于基准位置进行偏移而产生的特征。例如,若图像A中的各像素点均位于基准位置,则得到的图像如图2中的左侧图像所示;若图像A中存在像素点相对于基准位置进行了偏移,则得到的图像如图2中的右侧图像所示。对比图2中的左右两侧图像可知,由于像素点的偏移使得图2中的右侧图像整体产生了扭曲、变形。基于此,本发明实施例提出了一种图像处理方案,以消除图像中的扭曲特征,从而为后续的图像识别、图像文字解析等业务处理提供技术支撑;该图像处理方案可由终端执行,此处的终端包括但不限于:移动终端、平板电脑、膝上计算机等便携式设备,以及台式电脑等等。终端可根据实际的业务需求,将该图像处理方案应用在不同业务的应用场景中,例如图像输出的应用场景、图像识别的应用场景、图像信息提取的应用场景,等等。
本发明实施例以将该图像处理方案应用在图像信息提取的应用场景中为例,对该图像处理方案进行阐述:用户在填写资料时,若需填写原始图像中的纳税人识别号的具体号码(如220012),则可以打开终端的图像信息提取功能,并将原始图像对准终端的用户界面所显示的矩形框,如图3a所示。终端可获取原始图像,并检测到该原始图像包括扭曲特征;由于扭曲特征是原始图像中的各像素点相对于基准位置进行偏移而产生的,因此终端可根据原始图像中的各像素点的偏移量对原始图像进行恢复处理,得到目标图像,如图3b所示。终端得到目标图像后,可对目标图像中的文字进行识别,并根据识别结果提取出目标图像中的纳税人识别号的具体号码,然后在资料填写界面中自动录入所识别出的号码,如图3c所示。
由此可见,本发明实施例在采用图像处理方案进行业务处理时,可对包括扭曲特征的原始图像进行恢复处理,得到目标图像;并对目标图像进行图像识别、信息提取等处理,基于提取出的信息执行业务处理。在上述图像恢复处理过程,终端根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
基于上述的描述,本发明实施例提出一种图像处理方法,该图像处理方法可以由上述所提及的终端执行。请参见图4,该图像处理方法可包括以下步骤S401-S403:
S401,获取待处理的原始图像。
该原始图像包括扭曲特征,扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的。不同的图像,扭曲特征可能不同;扭曲特征可用于表示原始图像中的图像内容是否平整,所谓平整是指图像内容平坦整齐,此处的图像内容可包括文字内容和/或图画内容。原始图像可以是终端通过摄像组件实时拍摄得到的图像、也可以是网页图像、还可以是终端从互联网中下载的图像;其中,从互联网中下载的图像可以包括:从浏览器中下载的图像,和/或,从即时通讯应用中下载的图像;本发明实施例对此不作限定。
相应的,终端在获取待处理的原始图像时,可调用摄像组件对待拍摄对象进行拍摄;若拍摄得到的图像包括扭曲特征,则将该拍摄得到的图像作为原始图像。或者,终端若检测到网页浏览操作,则获取终端在显示浏览网页时,用户界面所显示的网页图像;若获取到的网页图像包括扭曲特征,则将该网页图像作为原始图像。又或者,终端若检测到从互联网中下载图像的下载操作,则检测该下载操作所对应的图像是否包括扭曲特征;若包括,则将下载操作所对应的图像作为原始图像。
S402,获取原始图像中的各像素点的偏移量。
原始图像中的各像素点的偏移量是指:像素点在原始图像中的位置与基准位置之间的差值。像素点的偏移量可包括行偏移量和列偏移量;其中,行偏移量是指像素点在原始图像中的位置的行坐标与基准位置的行坐标之间的差值,列偏移量是指像素点在原始图像中的位置的列坐标与基准位置的列坐标之间的差值。原始图像可对应一个图像坐标系,若像素点相对于基准位置,沿着与图标坐标系的坐标轴方向相同的方向进行偏移,那么像素点的偏移量可取正值;若像素点相对于基准位置,沿着与坐标轴方向相反的方向进行偏移,那么像素点的偏移量可取负值。
例如,原始图像的图像坐标系如图5所示,坐标轴的箭头所指示的方向为坐标轴方向,图5中的灰色圆点均表示像素点的基准位置。若像素点a的基准位置为(3,2),像素点a在原始图像中的位置为(3,5),则说明像素点a沿着与行坐标轴相同的方向偏移了3,那么像素点a的行偏移量取正值,即像素点a的偏移量为(0,3);若像素点b的基准位置为(7,2),像素点b在原始图像中的位置为(5,3.5),则说明像素点b沿着与行坐标轴相同的方向偏移了1.5,那么像素点b的行偏移量取正值;像素点b沿着与列坐标轴相反的方向偏移了2,那么像素点b的列偏移量取负值,即像素点a的偏移量为(-2,1.5)。
在具体实施过程中,终端可调用图像处理模型对原始图像进行处理,得到原始图像的目标偏移矩阵,该目标偏移矩阵包括原始图像中的各像素点的偏移量。此处的图像处理模型包括生成对抗网络(Generative Adversarial Networks,GANs)模型,该图像处理模型是采用预设的样本集进行训练得到的,样本集可包括多个样本对及每个样本对的样本偏移矩阵;样本对包括第一图像及第二图像,所述第一图像不包括扭曲特征,所述第二图像包括扭曲特征。
S403,根据原始图像中的各像素点的偏移量对原始图像进行恢复处理,得到目标图像,该目标图像不包括扭曲特征。
由前述可知,原始图像中的扭曲特征是原始图像中的各像素点相对于基准位置进行偏移而产生的,而像素点的偏移量是指:像素点在原始图像中的位置与基准位置之间的差值。因此,终端可根据原始图像中的各像素点的偏移量以及原始图像中的各像素点在原始图像中的位置,确定原始图像中的各像素点的基准位置,从而根据原始图像中的各像素点的基准位置对原始图像进行恢复处理,使得原始图像中的各像素点均位于基准位置处,从而消除扭曲特征。此处的恢复处理是指:将原始图像中的各像素点置于基准位置处的处理,该恢复处理可包括校正处理。
本发明实施例在进行图像处理时,可获取原始图像,该原始图像包括扭曲特征;由于扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的,因此可获取原始图像中的各像素点的偏移量,根据各像素点的偏移量对原始图像进行恢复处理,得到不包括扭曲特征的目标图像。上述图像处理过程,根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
请参见图6,是本发明实施例提供的另一种图像处理方法的流程示意图。该方法可以由上述所提及的终端执行。请参见图6,该图像处理方法可包括以下步骤S601-S606:
S601,预设样本集。
为了采用样本集进行有效的模型训练,样本集中通常包括大量的样本对以及各样本对的样本偏移矩阵,每个样本对包括第一图像和第二图像;其中,第一图像不包括扭曲特征,第二图像包括扭曲特征。相较于其他深度学习任务,通过传统的搜集图像以及人工标注方式无法获得各样本对的样本偏移矩阵,因此本发明实施例采用数据构造方法预设样本集。样本集的预设过程可包括:①获取第一图像,对第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像,该第一图像与该第二图像构成样本对;此处的第一图像可以是不包括扭曲特征的任意图像。②根据第一图像中的各像素点的偏移量构建样本对的初始偏移矩阵及掩码矩阵。其中,初始偏移矩阵中的元素的值为第一图像中的对应像素点的偏移量,掩码矩阵中的元素的值用于表示初始偏移矩阵中的对应元素的值的合法性。如果采用初始偏移矩阵中的某偏移量对第一图像中的对应像素点进行偏移,使得偏移后的像素点超出了原图范围,那么表明该偏移量不合法,即初始偏移矩阵中用于表示该偏移量的元素的值不合法,此时掩码矩阵中的对应元素的值可设置为0;其中,该原图范围是指:第一图像的像素范围和/或第一图像的显示范围。③将样本对的初始偏移矩阵及掩码矩阵进行合并得到样本对的样本偏移矩阵。具体的,可对样本对的初始偏移矩阵和掩码矩阵进行乘法计算,将计算得到的乘积作为样本对的样本偏移矩阵。
在上述样本集的预设过程中,对第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像的具体实施方式可具体包括如下步骤s11-s14:
s11,获取第一图像的扭曲轴。
第一图像可以是一个高为h、宽为w的图像,即第一图像包括h行像素行及w列像素列。本发明实施例可针对第一图像设置一个扭曲轴,该第一图像的扭曲轴可采用式1.1表示:
x=f(y)=ky+b 式1.1
其中,k表示扭曲轴的斜率,b为扭曲轴与第一图像的上边界的截距;k和b的取值均可随机设置以实现数据随机性;y表示行坐标,x表示列坐标;扭曲轴可如图7a中黑色实线所示。
s12,将第一图像中各像素行与扭曲轴的交点作为第一图像中各像素行的扭曲顶点。
具体的,将第一图像中各像素行与扭曲轴的交点(x,y)作为分别作为各像素行的扭曲顶点,其中x∈[1,2,…,w]。由于扭曲顶点位于扭曲轴上,则扭曲顶点(x,y)还可表示为(f(y),y),f(y)=ky+b,y∈[1,2,…,h]。以第一图像中的第y行像素行为例:该第y行像素行如图7a中的黑色虚线所示,第y行像素行与扭曲轴的交点如图7a中的黑色圆点所示,即第y行像素行的扭曲顶点则为图7a中的黑色圆点。
s13,确定第一图像中各像素行的扭曲函数。
第一图像中任一像素行的扭曲函数为根据任一像素行的多个锚点所确定的曲线函数,第一图像中所有像素行的扭曲函数可构成扭曲函数集合G={g}。在一种实施方式中,任一像素行的扭曲函数的曲线可以为贝塞尔(bezier)曲线。锚点至少包括:任一像素行的边界顶点,及根据任一像素行的扭曲顶点确定的控制点。其中,边界顶点可包括第一边界顶点和第二边界顶点,第一边界顶点是指该任一像素行与第0列像素列相交的顶点,第二边界顶点是指该任一像素行与第w列像素列相交的顶点,控制点包括将扭曲顶点沿着行坐标轴偏移C个单位得到的点;控制常量C可以设为一个大于0的固定常量,也可以设为一个小于0的固定常量。
以第一图像中的第y行像素行为例:第y行像素行的边界顶点可如图7a中的灰色圆点所示,该边界顶点包括:第一边界顶点为(0,y)以及第二顶点为(w,y);扭曲顶点为(x,y),将扭曲顶点沿着行坐标轴偏移C个单位所得到的控制点为(x,y+C)。那么根据第y行像素行的三个锚点,可得到如图7b所示的扭曲函数的曲线。
s14,基于基准位置,采用第一图像中各像素行的扭曲函数分别对第一图像中各像素行的每一个像素点进行偏移处理,得到第二图像。
从第一图像中任意选取一行像素行作为当前像素行;采用当前像素行的扭曲函数根据当前像素行的各像素点的列坐标,计算当前像素行中的各像素点的行偏移量;基于当前像素行中的各像素点的行偏移量,将当前像素行中的各像素点从基准位置处沿着行坐标轴进行偏移。迭代上述步骤,对第一图像中的所有像素行的像素点从基准位置处沿着行坐标轴进行偏移处理,得到第二图像。由此可见,第一图像中任一像素行的扭曲函数的曲线上的点(x,g(x))均为该任一像素行中的对应的像素点进行行偏移得到的,行偏移量g(x)还可由Bernstein(伯恩斯坦)多项式直接计算得到。需要说明的是,本发明实施例也可对第一图像中的所有像素行的像素点从基准位置处沿着列坐标轴进行偏移处理,得到第二图像,具体实施方式可参见上述步骤s11-s14,对此不再赘述。
由于对第一图像中的各像素点相对于基准位置进行偏移处理,可能使得第二图像存在部分空洞,所谓空洞是指像素点缺失,从而导致第二图像缺少像素点。因此,本发明实施例在对第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像时,若第二图像存在像素点缺失,则对第二图像进行插值填充,样本对中的第二图像为插值填充后的第二图像。
S602,采用预设的样本集进行模型训练,得到图像处理模型。
在具体实施过程中,终端可预先基于像素点到像素点的生成对抗网络构建一个初始模型;该初始模型的输入为预设的样本集,输出为初始模型对样本集进行处理所得到的偏移矩阵。生成对抗网络由生成(G)网络和辨别(D)网络级联构成,生成网络用于根据样本对生成不包括扭曲特征的第一图像,判别网络用于判断生成网络所生成的第一图像是否为样本对中真实的第一图像,二者相互对抗并提高各自学习能力。生成对抗的学习方式有助于初始模型学习到图像中的扭曲特征的本质,提高模型学习的效率。为了细粒度地恢复输入图像(如第二图像、原始图像)中的对象,本发明实施例采用Unet网络(一种U型网络)作为生成(G)网络的基础网络。Unet网络通过先逐层下采样获取输入图像各个层次的特征信息,再通过上采样学习并融合各个层级的特征信息,最终为每一个像素点赋予预测的标签,此处的标签是指每个像素点的偏移量。在本发明实施例中,所有像素点的标签所构成的矩阵即为输入图像的偏移矩阵。
本发明实施例采用17层模块来构建Unet网络(即生成网络),如图8所示。其中,前8层网络(D1-D8)是下采样模块,每个下采样模块可由如下单元组成:泄露性线性矫正单元(Leaky Relu)、卷积单元以及批正规化单元(Batch Normalization),该卷积单元的卷积核数大小及步长均可根据实际业务需求或经验值设置,例如设置为卷积单元的卷积核数大小为4,步长为2;经过下采样模块,可把输入图像从原始图像大小(例如512x512)变为1x1的特征图。中间8层网络(S8-S1)是上采样模块,每个上采样模块可由如下单元组成:线性矫正单元(Relu)、反卷积单元、批正规化单元以及合并单元(Concat)组成,该反卷积单元的卷积核数大小及步长均可根据实际业务需求或经验值设置,例如设置为反卷积单元的卷积核数大小为4,步长为2。其中,合并单元的作用是合并上采样模块的上采样特征图和相同尺度大小的下采样特征图,达到特征融合学习的目的;以S2层的上采样特征图为例,与S2的上采样特征图的尺度大小相同的下采样特征图为D2层的下采样特征图,则可将S2层的上采样特征图和D2层的下采样特征图进行合并。最后一层网络是双曲正切模块(Tanh),该双曲正切模块用于将模型的输出矫正到[-1,1]内。采用3层模块构建判别网络,该判别网络的每一层模块由卷积单元、线性矫正单元以及批正规化单元组成;应理解的是,判别网络中的卷积单元的卷积核数大小及步长均可根据实际业务需求或经验值设置,如将卷积核数大小以及步长均设置为1。根据实际的业务需求,生成网络以及判别网络的结构可进行调整,并不局限于上述所提及的网络结构。
在构建好初始模型后,可采用预设的样本集对初始模型进行模型训练,得到图像处理模型,样本集中的样本偏移矩阵可作为初始模型的优化目标,以对初始模型进行优化。具体的,可从预设的样本集中任意选取一样本对作为目标样本对,将目标样本对输入至生成网络以对目标样本对中的第二图像进行扭曲特征的去除处理,得到处理后的第二图像,处理后的第二图像不包括扭曲特征;将处理后的第二图像及目标样本对中的第一图像一并输入至判别网络进行判别处理,得到判别结果;根据目标样本对的样本偏移矩阵以及判别结果对生成网络和判别网络进行训练优化;迭代上述步骤,得到图像处理模型,得到的图像处理模型具有较强的泛化能力(Generalization Ability),所谓泛化能力是指对没有学习过的图像的适应能力。
可选的,本发明实施例在采用预设的样本集进行模型训练之前,还可将样本集中的各样本对中的第一图像和第二图像转换为灰度图,以降低模型的训练优化难度。由于判别网络的结构较为简单,在模型训练中容易快速收敛而无法学习到更为复杂的图像的扭曲特征,从而导致判别网络进行图像判别时容易产生判别误差。因此,本发明实施例还可采用软标签规则对判别结果进行标签标注以避免判别网络的判别误差。所谓软标签规则是指:若判别网络将处理后的第二图像判别为真实的不包括扭曲特征的图像,则判别网络将判别结果中的该处理后的第二图像的标签设置为0.9;而现有技术中的判别网络是直接将判别结果中的该处理后的第二图像的标签设置为1。相对于现有技术,本发明实施例选择将处理后的第二图像的标签设置为0.9,可增加判别网络的随机性,延长收敛时间,使得训练得到的图像处理模型更具鲁棒性。
可选的,由前述可知,样本对中的第二图像可能为插值填充后的第二图像,即样本对中的第二图像中的部分像素点可能是插值补充的,这部分像素点在第一图像中无对应的像素点。因此,学习这些部分像素点的变化不利于模型的收敛;基于此,本发明实施例在采用预设的样本集进行模型训练之前,还可采用掩码矩阵清除样本对中的第一图像中的无效像素点及样本对中的第二图像中的无效像素点;其中,第一图像中的无效像素点包括:第一图像中图像坐标与第二图像中的无效像素点的图像坐标相同的像素点,和/或掩码矩阵中值为0的元素在第一图像中所对应的像素点;第二图像中的无效像素点包括:插值填充所得到的像素点。
例如,第二图像中的像素点b(1,1)是插值填充所得到的,则可将像素点b作为第二图像中的无效像素点;第一图像中的像素点B的图像坐标也为(1,1),则将像素点B作为第一图像中的无效像素点;又如,掩码矩阵中的元素(2,2)的值为0,则表明第一图像中的像素点C(2,2)的偏移量不合法,此时可将像素点C作为第一图像中的无效像素点。在采用掩码矩阵清除样本对中的第一图像中的无效像素点及样本对中的第二图像中的无效像素点时,可分别样本对中的第一图像中的无效像素点及样本对中的第二图像中的无效像素点的区域遮盖并置为黑色,从而引导模型不学习这些无效像素点,可有效地提高模型学习的效率。由此可见,掩码矩阵可用于提升模型学习的效率。其中,采用掩码矩阵清除样本对中的第二图像中的无效像素点的示意图可以参见如图9。
需要说明的是,在上述模型训练过程中,终端可搭载GPU(Graphics ProcessingUnit,图像处理器)芯片,以支持GPU并行计算,从而提高模型训练效率。可选的,在得到图像处理模型之后,还可将图像处理模型融合成图像识别网络的一部分,从而使得深度学习网络端到端的完成整个流程,减少中间结果转换处理的开销。
S603,获取待处理的原始图像。
S604,调用图像处理模型对原始图像进行处理,得到原始图像的目标偏移矩阵,该目标偏移矩阵包括原始图像中的各像素点的偏移量。
在一种实施方式中,可调用图像处理模型对原始图像进行预测处理,得到原始图像的预测偏移矩阵;直接将预测偏移矩阵作为原始图像的目标偏移矩阵。由于待恢复的原始图像往往具有较高的复杂度,图像处理模型得到的预测偏移矩阵中的偏移量可能存在误差,导致后续得到的目标图像存在一定程度的模糊现象,难以用于后续的业务处理中。因此,再一种实施方式中,本发明实施例采用局部平滑偏移矩阵的方法优化预测偏移矩阵;具体的,可对预测偏移矩阵进行精细化处理,得到原始图像的目标偏移矩阵,从而可在一定程度上提高目标图像的图像质量。
其中,对原始图像的预测偏移矩阵进行精细化处理,得到原始图像的目标偏移矩阵的具体实施方式可以为:遍历预测偏移矩阵中的每一个元素,对每一个元素对应的偏移量进行均值平滑处理;采用每一个元素的均值平滑处理后的偏移量构建原始图像的目标偏移矩阵。假定预测偏移矩阵的大小为M x N,针对预测偏移矩阵中的任一元素,将与该任一元素相邻的元素对应的偏移量的均值作为该任一元素的均值平滑处理后的偏移量。在一种实施方式中,与该任一元素相邻的元素的数量可为P x P个。以M=N=512,P=11为例,根据预测偏移矩阵得到的目标图像以及根据精细化处理后的目标偏移矩阵得到的目标图像的示意图可参见图10;通过对比图10的两幅图像可知,根据精细化处理后的目标偏移矩阵得到的目标图像更加清晰,图像质量更高。
S605,根据原始图像中的各像素点的偏移量对原始图像进行恢复处理,得到目标图像。
终端可根据原始图像中的各像素点的偏移量,对原始图像中的各像素点的位置进行校正处理,以消除原始图像的扭曲特征;然后将校正处理后的原始图像作为目标图像。其中,根据原始图像中的各像素点的偏移量,对原始图像中的各像素点的位置进行校正处理时,可具体包括如下步骤:
①从原始图像中选取任一个像素点作为目标像素点。②获取目标像素点的第一图像坐标,该第一图像坐标用于表示目标像素点在原始图像中的位置;例如,目标像素点的第一图像坐标为(3,2),则表示目标像素点位于原始图像中的第3列、第2行。③将目标像素点的第一图像坐标与目标像素点的偏移量进行求和,得到目标像素点的第二图像坐标,第二图像坐标用于表示目标像素点在目标图像中的位置;例如,目标像素点的第一图像坐标为(3,2),目标像素点的偏移量为(0,1),将目标像素点的第一图像坐标与目标像素点的偏移量进行求和是指(3,2)+(0,1)=(3+0,2+1),那么目标像素点的第二图像坐标为(3,3)。④迭代上述步骤,得到原始图像中的各像素点的第二图像坐标,得到的各第二图像坐标处的像素点组成目标图像;此处的迭代上述步骤是指:迭代执行步骤①-③,并且每次执行步骤①时,是从原始图像中未被选取的像素点中选取任一个像素点作为目标像素点;直至原始图像中的每个像素点均已被选取,得到原始图像中的每个像素点的第二图像坐标,此时结束校正处理的流程。
可选的,在得到目标图像之后,还可对目标图像进行图像优化处理,以提高目标图像的图像质量,该图像优化处理可包括:对目标图像中的每个像素点的像素值进行均值平滑处理;其具体实施方式可参见上述对预测偏移矩阵中的每一个元素对应的偏移量进行均值平滑处理的原理,在此不再赘述。
S606,对目标图像进行业务处理。
此处的业务处理可包括:图像输出处理和/或图像识别处理;其中,图像识别处理可包括:文字识别处理、文字解析处理、图画识别处理、表情识别处理,等等。在一种实施方式中,终端可输出该目标图像以显示该目标图像。再一种实施方式中,终端可对目标图像进行图像识别;具体的,若目标图像包括文字内容,则终端可对目标图像进行文字识别处理和/或文字解析处理。若目标图像包括图画内容,则可对目标图像进行图画识别处理,并根据图画识别结果确定目标图像的拍摄场景。例如,对目标图像进行图画识别处理,得到的图画识别结果中包括沙滩、大海等信息,那么可确定目标图像的拍摄场景为海边。若目标图像包括人脸图像,则终端可对目标图像进行表情识别处理,得到目标图像中的人脸的表情,并基于识别出的表情进行相关处理。
本发明实施例在进行图像处理时,可获取原始图像,该原始图像包括扭曲特征;由于扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的,因此可获取原始图像中的各像素点的偏移量,根据各像素点的偏移量对原始图像进行恢复处理,得到不包括扭曲特征的目标图像。上述图像处理过程,根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
基于上述图像处理方法实施例的描述,本发明实施例还公开了一种图像处理装置,所述图像处理装置可以是运行于终端中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图4或图6所示的方法。请参见图11,所述图像处理装置可以运行如下单元:
获取单元101,用于获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的;
所述获取单元101,用于获取所述原始图像中的各像素点的偏移量;
处理单元102,用于根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
在一种实施方式中,处理单元102在用于根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像时,具体用于:
根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理,以消除所述原始图像的扭曲特征;
将校正处理后的原始图像作为目标图像。
再一种实施方式中,处理单元102在用于根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理时,具体用于:
从所述原始图像中选取任一个像素点作为目标像素点;
获取所述目标像素点的第一图像坐标,所述第一图像坐标用于表示所述目标像素点在所述原始图像中的位置;
将所述目标像素点的第一图像坐标与所述目标像素点的偏移量进行求和,得到所述目标像素点的第二图像坐标,所述第二图像坐标用于表示所述目标像素点在所述目标图像中的位置;
迭代上述步骤,得到所述原始图像中的各像素点的第二图像坐标,得到的各第二图像坐标处的像素点组成所述目标图像。
再一种实施方式中,获取单元101在用于获取所述原始图像中的各像素点的偏移量时,具体用于:
调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵,所述目标偏移矩阵包括所述原始图像中的各像素点的偏移量。
再一种实施方式中,获取单元101在用于调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵时,具体用于:
调用图像处理模型对所述原始图像进行预测处理,得到所述原始图像的预测偏移矩阵;
对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵。
再一种实施方式中,获取单元101在用于对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵时,具体用于:
遍历所述预测偏移矩阵中的每一个元素,对所述每一个元素对应的偏移量进行均值平滑处理;
采用所述每一个元素的均值平滑处理后的偏移量构建所述原始图像的目标偏移矩阵。
再一种实施方式中,所述图像处理模型包括生成对抗网络模型;所述图像处理模型是采用预设的样本集进行训练得到的,所述样本集包括多个样本对及每个样本对的样本偏移矩阵;
所述样本对包括第一图像及第二图像,所述第一图像不包括扭曲特征,所述第二图像包括扭曲特征。
再一种实施方式中,所述图像处理装置还可包括预设单元103,所述预设单元103用于预设样本集,所述样本集的预设过程包括:
获取第一图像,对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像,所述第一图像与所述第二图像构成样本对;
根据所述第一图像中的各像素点的偏移量构建所述样本对的初始偏移矩阵及掩码矩阵;
将所述样本对的初始偏移矩阵及掩码矩阵进行合并得到所述样本对的样本偏移矩阵。
再一种实施方式中,预设单元103在用于对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像时,具体用于:
获取所述第一图像的扭曲轴;
将所述第一图像中各像素行与所述扭曲轴的交点作为所述第一图像中各像素行的扭曲顶点;
确定所述第一图像中各像素行的扭曲函数,所述第一图像中任一像素行的扭曲函数为根据所述任一像素行的多个锚点所确定的曲线函数,所述锚点至少包括:所述任一像素行的边界顶点,及根据所述任一像素行的扭曲顶点确定的控制点;
基于基准位置,采用所述第一图像中各像素行的扭曲函数分别对所述第一图像中各像素行的每一个像素点进行偏移处理,得到第二图像。
再一种实施方式中,预设单元103在用于对所述第一图像中的各像素点相对于所述基准位置进行偏移处理得到第二图像时,具体用于:
若所述第二图像存在像素点缺失,则对所述第二图像进行插值填充,所述样本对中的第二图像为插值填充后的第二图像。
再一种实施方式中,预设单元103还可用于:
采用所述掩码矩阵清除所述样本对中的第一图像中的无效像素点及所述样本对中的第二图像中的无效像素点。
再一种实施方式中,处理单元102还可用于:
对所述目标图像进行业务处理,所述业务处理包括:图像输出处理和/或图像识别处理。
根据本发明的一个实施例,图4或图6所示的方法所涉及的各个步骤均可以是由图11所示的图像处理装置中的各个单元来执行的。例如,图4中所示的步骤S401-S402可由图11中所示的获取单元101来执行,步骤S403可由图11中所示的处理单元102来执行;又如,图6中所示的步骤S601-S602可由图11中所示的预设单元103来执行,步骤S603-S604可由图11中所示的获取单元101来执行,步骤S605-S606可由图11中所示的处理单元102来执行。
根据本发明的另一个实施例,图11所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4或图6所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图11中所示的图像处理装置设备,以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例在进行图像处理时,可获取原始图像,该原始图像包括扭曲特征;由于扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的,因此可获取原始图像中的各像素点的偏移量,根据各像素点的偏移量对原始图像进行恢复处理,得到不包括扭曲特征的目标图像。上述图像处理过程,根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种终端。请参见图12,该终端至少包括处理器201、输入设备202、输出设备203以及计算机存储介质204。所述输入设备202中还可包括摄像组件,摄像组件可用于采集图像,所述摄像组件可以是终端出厂时配置在终端上的组件,也可以是与终端相连接的外部组件。其中,终端内的处理器201、输入设备202、输出设备203以及计算机存储介质204可通过总线或其他方式连接。
计算机存储介质204可以存储在终端的存储器中,所述计算机存储介质204用于存储计算机程序,所述计算机程序包括程序指令,所述处理器201用于执行所述计算机存储介质204存储的程序指令。处理器201(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或一条以上指令,具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能;在一个实施例中,本发明实施例所述的处理器201可以用于对原始图像进行一系列的图像处理,包括:获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;获取所述原始图像中的各像素点的偏移量;根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征,等等。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器201加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器201加载并执行计算机存储介质中存放的一条或一条以上指令,以实现上述有关图像处理方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或一条以上指令由处理器201加载并执行如下步骤:
获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
获取所述原始图像中的各像素点的偏移量;
根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
在一种实施方式中,在根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像时,所述一条或一条以上指令由处理器201加载并具体执行:
根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理,以消除所述原始图像的扭曲特征;
将校正处理后的原始图像作为目标图像。
再一种实施方式中,在根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理时,所述一条或一条以上指令由处理器201加载并具体执行:
从所述原始图像中选取任一个像素点作为目标像素点;
获取所述目标像素点的第一图像坐标,所述第一图像坐标用于表示所述目标像素点在所述原始图像中的位置;
将所述目标像素点的第一图像坐标与所述目标像素点的偏移量进行求和,得到所述目标像素点的第二图像坐标,所述第二图像坐标用于表示所述目标像素点在所述目标图像中的位置;
迭代上述步骤,得到所述原始图像中的各像素点的第二图像坐标,得到的各第二图像坐标处的像素点组成所述目标图像。
再一种实施方式中,在获取所述原始图像中的各像素点的偏移量时,所述一条或一条以上指令由处理器201加载并具体执行:
调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵,所述目标偏移矩阵包括所述原始图像中的各像素点的偏移量。
再一种实施方式中,在调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵时,所述一条或一条以上指令由处理器201加载并具体执行:
调用图像处理模型对所述原始图像进行预测处理,得到所述原始图像的预测偏移矩阵;
对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵。
再一种实施方式中,在对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵时,所述一条或一条以上指令由处理器201加载并具体执行:
遍历所述预测偏移矩阵中的每一个元素,对所述每一个元素对应的偏移量进行均值平滑处理;
采用所述每一个元素的均值平滑处理后的偏移量构建所述原始图像的目标偏移矩阵。
再一种实施方式中,所述图像处理模型包括生成对抗网络模型;所述图像处理模型是采用预设的样本集进行训练得到的,所述样本集包括多个样本对及每个样本对的样本偏移矩阵;
所述样本对包括第一图像及第二图像,所述第一图像不包括扭曲特征,所述第二图像包括扭曲特征。
再一种实施方式中,所述一条或一条以上指令还可由处理器201加载并具体执行:预设样本集;所述样本集的预设过程包括:
获取第一图像,对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像,所述第一图像与所述第二图像构成样本对;
根据所述第一图像中的各像素点的偏移量构建所述样本对的初始偏移矩阵及掩码矩阵;
将所述样本对的初始偏移矩阵及掩码矩阵进行合并得到所述样本对的样本偏移矩阵。
再一种实施方式中,在对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像时,所述一条或一条以上指令由处理器201加载并具体执行:
获取所述第一图像的扭曲轴;
将所述第一图像中各像素行与所述扭曲轴的交点作为所述第一图像中各像素行的扭曲顶点;
确定所述第一图像中各像素行的扭曲函数,所述第一图像中任一像素行的扭曲函数为根据所述任一像素行的多个锚点所确定的曲线函数,所述锚点至少包括:所述任一像素行的边界顶点,及根据所述任一像素行的扭曲顶点确定的控制点;
基于基准位置,采用所述第一图像中各像素行的扭曲函数分别对所述第一图像中各像素行的每一个像素点进行偏移处理,得到第二图像。
再一种实施方式中,在对所述第一图像中的各像素点相对于所述基准位置进行偏移处理得到第二图像时,所述一条或一条以上指令由处理器201加载并具体执行:
若所述第二图像存在像素点缺失,则对所述第二图像进行插值填充,所述样本对中的第二图像为插值填充后的第二图像。
再一种实施方式中,所述一条或一条以上指令还可由处理器201加载并具体执行:
采用所述掩码矩阵清除所述样本对中的第一图像中的无效像素点及所述样本对中的第二图像中的无效像素点。
再一种实施方式中,所述一条或一条以上指令还可由处理器201加载并具体执行:
对所述目标图像进行业务处理,所述业务处理包括:图像输出处理和/或图像识别处理。
本发明实施例在进行图像处理时,可获取原始图像,该原始图像包括扭曲特征;由于扭曲特征是由原始图像中的各像素点相对于基准位置进行偏移而产生的,因此可获取原始图像中的各像素点的偏移量,根据各像素点的偏移量对原始图像进行恢复处理,得到不包括扭曲特征的目标图像。上述图像处理过程,根据原始图像中的各像素点的偏移量可结构化地对整个原始图像进行恢复处理,从而更好地消除原始图像中的扭曲特征,提高目标图像的精准度。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
获取所述原始图像中的各像素点的偏移量;
根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
2.如权利要求1所述的方法,其特征在于,所述根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,包括:
根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理,以消除所述原始图像的扭曲特征;
将校正处理后的原始图像作为目标图像。
3.如权利要求2所述的方法,其特征在于,所述根据所述原始图像中的各像素点的偏移量,对所述原始图像中的各像素点的位置进行校正处理,包括:
从所述原始图像中选取任一个像素点作为目标像素点;
获取所述目标像素点的第一图像坐标,所述第一图像坐标用于表示所述目标像素点在所述原始图像中的位置;
将所述目标像素点的第一图像坐标与所述目标像素点的偏移量进行求和,得到所述目标像素点的第二图像坐标,所述第二图像坐标用于表示所述目标像素点在所述目标图像中的位置;
迭代上述步骤,得到所述原始图像中的各像素点的第二图像坐标,得到的各第二图像坐标处的像素点组成所述目标图像。
4.如权利要求1-3任一项所述的方法,其特征在于,所述获取所述原始图像中的各像素点的偏移量,包括:
调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵,所述目标偏移矩阵包括所述原始图像中的各像素点的偏移量。
5.如权利要求4所述的方法,其特征在于,所述调用图像处理模型对所述原始图像进行处理,得到所述原始图像的目标偏移矩阵,包括:
调用图像处理模型对所述原始图像进行预测处理,得到所述原始图像的预测偏移矩阵;
对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵。
6.如权利要求5所述的方法,其特征在于,所述对所述原始图像的预测偏移矩阵进行精细化处理,得到所述原始图像的目标偏移矩阵,包括:
遍历所述预测偏移矩阵中的每一个元素,对所述每一个元素对应的偏移量进行均值平滑处理;
采用所述每一个元素的均值平滑处理后的偏移量构建所述原始图像的目标偏移矩阵。
7.如权利要求4所述的方法,其特征在于,所述图像处理模型包括生成对抗网络模型;所述图像处理模型是采用预设的样本集进行训练得到的,所述样本集包括多个样本对及每个样本对的样本偏移矩阵;
所述样本对包括第一图像及第二图像,所述第一图像不包括扭曲特征,所述第二图像包括扭曲特征。
8.如权利要求7所述的方法,其特征在于,所述样本集的预设过程包括:
获取第一图像,对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像,所述第一图像与所述第二图像构成样本对;
根据所述第一图像中的各像素点的偏移量构建所述样本对的初始偏移矩阵及掩码矩阵;
将所述样本对的初始偏移矩阵及掩码矩阵进行合并得到所述样本对的样本偏移矩阵。
9.如权利要求8所述的方法,其特征在于,所述对所述第一图像中的各像素点相对于基准位置进行偏移处理得到第二图像,包括:
获取所述第一图像的扭曲轴;
将所述第一图像中各像素行与所述扭曲轴的交点作为所述第一图像中各像素行的扭曲顶点;
确定所述第一图像中各像素行的扭曲函数,所述第一图像中任一像素行的扭曲函数为根据所述任一像素行的多个锚点所确定的曲线函数,所述锚点至少包括:所述任一像素行的边界顶点,及根据所述任一像素行的扭曲顶点确定的控制点;
基于基准位置,采用所述第一图像中各像素行的扭曲函数分别对所述第一图像中各像素行的每一个像素点进行偏移处理,得到第二图像。
10.如权利要求9所述的方法,其特征在于,所述对所述第一图像中的各像素点相对于所述基准位置进行偏移处理得到第二图像,还包括:
若所述第二图像存在像素点缺失,则对所述第二图像进行插值填充,所述样本对中的第二图像为插值填充后的第二图像。
11.如权利要求8所述的方法,其特征在于,还包括:
采用所述掩码矩阵清除所述样本对中的第一图像中的无效像素点及所述样本对中的第二图像中的无效像素点。
12.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标图像进行业务处理,所述业务处理包括:图像输出处理和/或图像识别处理。
13.一种图像处理装置,其特征在于,包括:
获取单元,用于获取待处理的原始图像,所述原始图像包括扭曲特征,所述扭曲特征是由所述原始图像中的各像素点相对于基准位置进行偏移而产生的;
所述获取单元,用于获取所述原始图像中的各像素点的偏移量;
处理单元,用于根据所述原始图像中的各像素点的偏移量对所述原始图像进行恢复处理,得到目标图像,所述目标图像不包括所述扭曲特征。
14.一种终端,包括输入设备和输出设备,其特征在于,还包括:
处理器,适于实现一条或一条以上指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或一条以上指令,所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-12任一项所述的图像处理方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或一条以上指令,所述一条或一条以上指令适于由处理器加载并执行如权利要求1-12任一项所述的图像处理方法。
CN201910115439.1A 2019-02-14 2019-02-14 图像处理方法、装置、终端及存储介质 Active CN109871841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910115439.1A CN109871841B (zh) 2019-02-14 2019-02-14 图像处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910115439.1A CN109871841B (zh) 2019-02-14 2019-02-14 图像处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109871841A true CN109871841A (zh) 2019-06-11
CN109871841B CN109871841B (zh) 2023-04-21

Family

ID=66918706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910115439.1A Active CN109871841B (zh) 2019-02-14 2019-02-14 图像处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109871841B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260623A (zh) * 2020-01-14 2020-06-09 广东小天才科技有限公司 图片评价方法、装置、设备及存储介质
CN111583147A (zh) * 2020-05-06 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112233127A (zh) * 2020-10-15 2021-01-15 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN112862724A (zh) * 2021-03-12 2021-05-28 上海壁仞智能科技有限公司 用于计算的方法、计算设备和计算机可读存储介质
CN113222829A (zh) * 2021-02-25 2021-08-06 安徽师范大学 基于Bezier的数字图像分存方法及图像恢复方法
CN113643406A (zh) * 2021-08-12 2021-11-12 北京的卢深视科技有限公司 图像生成方法、电子设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243103A1 (en) * 2004-04-30 2005-11-03 Microsoft Corporation Novel method to quickly warp a 2-D image using only integer math
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法
US20100310128A1 (en) * 2009-06-03 2010-12-09 Athanasios Iliopoulos System and Method for Remote Measurement of Displacement and Strain Fields
CN103971334A (zh) * 2014-04-25 2014-08-06 中国科学院遥感与数字地球研究所 高光谱遥感图像校正方法及装置
CN104200454A (zh) * 2014-05-26 2014-12-10 深圳市中瀛鑫科技股份有限公司 鱼眼图像畸变校正方法及装置
CN106056560A (zh) * 2015-04-03 2016-10-26 康耐视公司 单应性校正
CN106204419A (zh) * 2016-06-27 2016-12-07 乐视控股(北京)有限公司 图像处理方法以及装置
CN106815823A (zh) * 2017-02-22 2017-06-09 广东工业大学 一种透镜畸变标定校正方法及其装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108305224A (zh) * 2018-01-15 2018-07-20 上海顺久电子科技有限公司 一种图像的畸变校正方法、装置及电视机
CN108510463A (zh) * 2018-05-07 2018-09-07 凌云光技术集团有限责任公司 一种畸变图像的矫正方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243103A1 (en) * 2004-04-30 2005-11-03 Microsoft Corporation Novel method to quickly warp a 2-D image using only integer math
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法
US20100310128A1 (en) * 2009-06-03 2010-12-09 Athanasios Iliopoulos System and Method for Remote Measurement of Displacement and Strain Fields
CN103971334A (zh) * 2014-04-25 2014-08-06 中国科学院遥感与数字地球研究所 高光谱遥感图像校正方法及装置
CN104200454A (zh) * 2014-05-26 2014-12-10 深圳市中瀛鑫科技股份有限公司 鱼眼图像畸变校正方法及装置
CN106056560A (zh) * 2015-04-03 2016-10-26 康耐视公司 单应性校正
CN106204419A (zh) * 2016-06-27 2016-12-07 乐视控股(北京)有限公司 图像处理方法以及装置
CN106815823A (zh) * 2017-02-22 2017-06-09 广东工业大学 一种透镜畸变标定校正方法及其装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108305224A (zh) * 2018-01-15 2018-07-20 上海顺久电子科技有限公司 一种图像的畸变校正方法、装置及电视机
CN108510463A (zh) * 2018-05-07 2018-09-07 凌云光技术集团有限责任公司 一种畸变图像的矫正方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A.W. MELLO 等: "Distortion Correction Protocol for Digital Image Correlation after Scanning Electron Microscopy: Emphasis on Long Duration and Ex-Situ Experiments", 《EXPERIMENTAL MECHANICS》 *
JIANGPENG RONG 等: "Radial Lens Distortion Correction Using Convolutional Neural Networks Trained with Synthesized Images", 《ACCV 2016》 *
KE MA 等: "DocUNet: Document Image Unwarping via A Stacked U-Net", 《CVPR 2018》 *
XIAOQING YIN 等: "FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification", 《ECCV 2018》 *
司磊 等: "鱼眼图像畸变校正算法", 《硅谷》 *
吴开兴: "广角图像畸变校正算法的研究与实现", 《计算机应用与软件》 *
李雪瑾 等: "基于生成对抗网络的数字图像修复技术", 《电子测量与仪器学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260623A (zh) * 2020-01-14 2020-06-09 广东小天才科技有限公司 图片评价方法、装置、设备及存储介质
CN111583147A (zh) * 2020-05-06 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583147B (zh) * 2020-05-06 2023-06-06 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112233127A (zh) * 2020-10-15 2021-01-15 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN113222829A (zh) * 2021-02-25 2021-08-06 安徽师范大学 基于Bezier的数字图像分存方法及图像恢复方法
CN112862724A (zh) * 2021-03-12 2021-05-28 上海壁仞智能科技有限公司 用于计算的方法、计算设备和计算机可读存储介质
CN113643406A (zh) * 2021-08-12 2021-11-12 北京的卢深视科技有限公司 图像生成方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109871841B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN109871841A (zh) 图像处理方法、装置、终端及存储介质
Wei et al. Component divide-and-conquer for real-world image super-resolution
Wang et al. Deformable non-local network for video super-resolution
Köhler et al. Mask-specific inpainting with deep neural networks
CN108520247A (zh) 对图像中的对象节点的识别方法、装置、终端及可读介质
CN104067296B (zh) 一维信号抽取的方法和装置
CN105488776B (zh) 超分辨率图像重建方法和装置
CN106056560B (zh) 单应性校正
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN103578093A (zh) 图像配准方法、装置及增强现实系统
CN113903022B (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
Li et al. Lightweight single image super-resolution with dense connection distillation network
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
CN107578375B (zh) 图像处理方法及装置
JP2013109758A (ja) 画像処理方法、および画像処理装置
Yang et al. Xception-based general forensic method on small-size images
CN113240584B (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN115578260B (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
Scotney et al. Biologically motivated feature extraction using the spiral architecture
CN113971738A (zh) 图像检测方法、装置、电子设备及存储介质
He et al. An approach of canny edge detection with virtual hexagonal image structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant