CN109791687B - 在任意曲面上的图像修复 - Google Patents

在任意曲面上的图像修复 Download PDF

Info

Publication number
CN109791687B
CN109791687B CN201880000367.XA CN201880000367A CN109791687B CN 109791687 B CN109791687 B CN 109791687B CN 201880000367 A CN201880000367 A CN 201880000367A CN 109791687 B CN109791687 B CN 109791687B
Authority
CN
China
Prior art keywords
image
dimensional image
dimensional
repair
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880000367.XA
Other languages
English (en)
Other versions
CN109791687A (zh
Inventor
张家俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/945,576 external-priority patent/US10593024B2/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN109791687A publication Critical patent/CN109791687A/zh
Application granted granted Critical
Publication of CN109791687B publication Critical patent/CN109791687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种在三维空间的任意曲面上进行图像修复的方法和装置,使用了偏微分方程对三维图像的一个区域进行修复。本方法包括获得三维空间的一个曲面S上的一个三维图像,且图像的每个点包括图像点值和位置向量。本方法包括定位修复区域D并生成修复掩膜。本方法还包括计算修复区域D内的点的图像点值,并创建第二三维图像以获得修复的图像。本发明解决了先前方法不能很好地适用于任意曲面上的三维图像的技术问题,而且改善了图像修复技术。

Description

在任意曲面上的图像修复
【技术领域】
本发明涉及利用偏微分方程在三维空间中的任意曲面上对图像进行修复的方法和装置。
【背景技术】
图像修复可以重建丢失的或恶化的部分图像。在平坦曲面上进行图像修复的一些方法早已为人所知。然而,这些已知方法仅很好地适用于二维图像,如平坦曲面上的图像。图1A显示一个示例平坦曲面,图1B显示该平坦曲面上一个二维图像的示例。现有方法并不能很好地适用于任意三维图像,即三维空间中任意曲面上的图像不太容易转换到二维空间,而且转换会引起一些畸变,从而影响修复效果。为了提高图像修复技术并解决该问题,期望有一种能够在三维空间的任意曲面上进行图像修复的方法。
【发明内容】
本发明的实施例包括利用偏微分方程在三维空间中任意曲面上进行图像修复的方法和装置。
根据本发明实施例的一个方面,一种图像修复的方法包括:由一个具有存储器(存储指令)和处理器(与存储器通信)的装置,获得第一三维图像。第一三维图像是在三维空间的曲面S上的图像,且第一三维图像的每个点包括三维空间的一个图像点值和一个位置向量。本方法包括:由装置定位第一三维图像的修复区域D,并由装置生成与修复区域D对应的修复掩模。本方法还包括:根据修复区域D由装置来计算修复区域D内的点的图像点值。本方法还包括:根据所计算出的修复区域D内的点的图像点值来创建在三维空间的曲面S上的第二三维图像。
根据本发明实施例的另一方面,用于图像修复的装置包括存储指令的存储器和与存储器通信的处理器。当处理器执行指令时,处理器被配置成使装置能够获得第一三维图像。第一三维图像是三维空间中曲面S上的一个图像,且第一三维图像的每个点包括三维空间的一个图像点值和一个位置向量。处理器被配置成使装置能够定位第一三维图像的修复区域D,并生成与修复区域D相对应的修复掩模。处理器被配置为使装置能够根据修复区域D来计算修复区域D内的点的图像点值。处理器还被配置为使装置能够根据所计算出的修复区域D内的点的图像点值来创建在三维空间的曲面S上的第二三维图像。
根据本发明实施例的另一方面,一种非暂时性计算机可读存储介质存储有指令。当该指令由处理器执行时,使处理器能够获得第一三维图像。第一三维图像是三维空间中曲面S上的一个图像,且第一三维图像的每个点包括三维空间的一个图像点值和一个位置向量。当该指令由处理器执行时,使处理器能够定位第一三维图像的修复区域D,并生成与修复区域D对应的修复掩码。当该指令由处理器执行时,使处理器能够根据修复区域D来计算修复区域D内的点的图像点值。当该指令由处理器执行时,还使得处理器能够根据所计算出的修复区域D内的点的图像点值来创建在三维空间的曲面S上的第二三维图像。
【附图说明】
参考以下附图以及对非限制性和非穷举实施例的描述,可以更好地理解以下所述系统和方法。附图中的组件不一定是按比例绘制。重点在于说明本发明原理。
图1A显示传统二维平坦曲面的一个区域;
图1B显示图1A所示区域上的二维图像;
图2A显示三维空间中兔子的曲面区域;
图2B显示图2A所示区域上的三维图像;
图3显示在三维图像上执行图像修复的框图;
图4显示计算修复区域内的点的图像点值的框图;
图5显示计算修复区域内的点的法向量场的框图;
图6显示根据预设数值方法来离散化偏微分方程(PDE)以获得离散化PDE的框图;
图7A显示半球上的有文本的三维图像;
图7B显示对应于图7A文本的掩码;
图7C显示根据图7A三维图像的修复图像;
图7D显示在半球上没有文本的原始三维图像。
【具体实施方式】
现将参照附图说明特定示例性实施例来描述本方法。但是,本方法可以以各种不同的形式来体现,因此,所涵盖或要求保护的主题旨在被解释为不限于所述的任何示例性实施例。本方法可以体现为方法、装置、组件或系统。所以,实施例可以采取诸如硬件、软件、固件或其任何组合的形式。
在整个说明书和权利要求书中,除了明确指出的含义之外,术语可以具有在上下文中暗示或提示的细微含义。类似地,本发明所使用的短语“在一个实施例中”不一定指代相同的实施例,而且,在此使用的短语“在另一个实施例中”不一定指代不同的实施例。所要求保护的主题全部或部分地包括示例性实施例的组合。
一般而言,可以至少部分地根据上下文中的用法来理解术语。例如,术语“和”、“或”或“和/或”可以包括各种含义,这至少部分取决于使用这些术语的上下文。通常,如果“或”用于关联一个列表,如A、B或C,意在表示A、B和C,在此是以包含意义使用,以及A、B或C,在此是以排除意义使用。另外,在此使用的术语“一个或多个”或“至少一个”至少部分取决于上下文,可以以单数意义描述任何特征、结构或特性,或可以以复数意义描述特征、结构或特征的组合。类似地,术语如“一”、“一个”或“该”可以理解为传达单数用法或传达复数用法,这至少部分取决于上下文。另外,术语“基于”或“由...确定”可以理解为不一定意在传达一组排他因素,而是可以允许存在不需要明确表达的其它因素,这至少部分取决于上下文。
本发明描述了一种使用偏微分方程在三维空间的任意曲面上对图像进行修复的方法和装置。在本发明的一个实施例中,三维空间的任意曲面可以是相对简单的曲面,如平滑球体的曲面。在本发明的另一个实施例中,三维空间的任意曲面可以是相对复杂的曲面,如图2A所示的兔子的曲面。
三维图像是三维空间的一个曲面上的图像。图2B显示三维空间中兔子曲面上的一个三维图像的示例。
在一个实施例中,图像修复可用于重建三维图像的一个区域,其中该区域的图像或纹理已损坏或丢失。损坏和丢失的图像/纹理信息可能是由于图像数据传输期间的噪声干扰或中断,或由于在获取三维图像期间的问题,例如但不限于从三维扫描仪获取三维图像。
在另一个实施例中,图像修复可用于在三维图像的一个区域上重建一个替代图像,其中该区域上的原始图像需要被去除。该区域上的原始图像的移除可能是由于隐私考虑,因此三维图像中的私人信息将被移除,例如但不限于汽车牌照。该区域上原始图像的去除也可能是出于其他考虑因素,因此三维图像中的不想要的信息将被去除,例如但不限于人脸上的雀斑。
有三种主要方法用于二维图像上的图像修复,即纹理合成方法、稀疏方法、和偏微分方程和变分法。以前存在的方法仅适用于简单的二维图像,在任意曲面上的三维图像上则效果不佳。在简单二维图像和任意曲面上的三维图像之间存在的问题之一是任意曲面和二维空间之间的映射关系是不可行的。即使在有限的情况下,映射是可行的,但三维图像将根据曲面的曲率变形到一定程度。
本发明描述了一种使用偏微分方程的方法,其能够很好地适用于任意曲面上的三维图像,因此改善了图像修复技术并解决了现有问题。
图3显示在三维空间的任意曲面上进行图像修复的方法。本方法包括:在步骤310,获得三维(3D)图像f,其使3D空间中一个曲面上的图像。该3D图像f的每个点都包括3D空间中的一个图像点值和一个位置向量。图像点值表示该3D图像的点的像素值。位置向量表示该3D图像的点的空间位置。位置向量可以是包括沿着x轴的x轴分量、沿着y轴的y轴分量和沿着z轴的z轴分量的一个向量。
当3D图像是灰度图像时,图像点值可以包括单个值。单个值可以是8位、16位或32位整数,表示3D图像的点的灰度值。
当3D图像是彩色图像时,图像点值可以包括一个以上颜色值。每个颜色值可以是8位、16位或32位整数,表示颜色通道。在一个实施例中,图像点值可以包括三个值,分别代表红色通道、绿色通道和蓝色通道。
3D图像f可以存储在本地存储介质中。3D图像f也可以存储在远程存储介质中,并通过无线或有线网络获得。3D图像f也可以实时从一个装置获取,例如但不限于3D扫描仪。
本方法包括:在步骤320,确定该3D图像f是否是灰度图像。当3D图像是灰度图像时,将执行以下步骤330、340、350和360。
当3D图像是彩色图像时,本方法包括:在步骤325,将3D图像f分隔成若干颜色通道,并可以将每个颜色通道作为一个灰度图像进行处理。因此,3D彩色图像被分成几个3D灰度图像。对于从3D彩色图像分隔的每个3D灰度图像,将执行以下步骤330、340、350和360。
本方法包括:在步骤330,定位修复区域D。修复区域D可以根据图像点值的大小来定位。在一个实施例中,当3D图像中一个位置的图像点值高于一个高阈值时,可以选择该位置作为修复区域D的一部分。例如,对8位图像点值,高阈值可以是250,对16位图像点值,高阈值可以是65,500。在另一个实施例中,当3D图像中一个位置的图像点值低于一个低阈值时,该位置可以被选择作为修复区域D的一部分。例如,低阈值可以是10或5。在另一个实施例中,当3D图像中一个位置的图像点值等于一个预设特定值时,该位置可以是修复区域D的一部分。
修复区域D也可以根据图像点值大小的图案(pattern)来定位。该图案可以从预设图案库中识别。在其他实施例中,修复区域D还可以根据操作者的输入来定位。
本方法包括:在步骤340,为区域D产生一个修复掩膜。在定位修复区域D之后,为修复区域D产生一个修复掩膜。修复掩膜可用于掩盖修复区域D的原始图像点值。在一个实施例中,修复掩膜可用于将修复区域D的原始图像点值设置为一个预设常数值。例如,预设常数值可以是零。
本方法包括:在步骤350,计算修复区域D内的点的图像点值。步骤350包括几个步骤,如图4所示。
图4显示一种计算修复区域D内的点的图像点值的方法。本方法包括:在步骤410,计算修复区域内的点的法向向量场。3D图像在3D空间的曲面上。对于曲面上的3D图像的每个点,曲面可能有一定的曲率,因此,曲面上每个点都有一个法向量。修复区域D内的点的所有法向量形成一个法向量场。步骤410可以包括几个步骤,如图5所示。
步骤410包括:在步骤510,选择一个离散集合Ω,其包括三维空间中曲面S上的M个点,其中Ω={xi:i=1,...,M}。
对于离散集合中的每个点xi,步骤410包括:在步骤520,选择一个子集Ωi,其包括离散集合Ω中的N个点,其中子集Ωi包括xi周围的相邻点。N是大于2的整数。在一般情况下,N可以是5和10之间的任何数(含5和10)。
对于离散集合中的每个点xi,步骤410包括:在步骤530,计算子集Ωi的协方差矩阵C。协方差矩阵C=YYT,其中m是子集Ωi的形心,
Figure BDA0001647424100000071
Y是3乘N的矩阵,包括[y1 y2 ... yN]和yi=xi-m。
对离散集合Ω中的每个点xi,步骤410包括:在步骤540,计算协方差矩阵C的最小特征值对应的协方差矩阵C的特征向量;在步骤550,输出计算的特征向量作为xi的法向量。
在获得离散集合中每个点的法向量之后,步骤410包括:在步骤560:根据离散集合Ω中的每个点xi的法向量生成修复区域D内的点的法向量场。
在生成法向量场之后,本方法还包括:在步骤420,将法向量场代入偏微分方程(PDE)。在一些实施例中,PDE包括一个具有非线性各向异性扩散贡献的运输方程。
在本发明的一个实施例中,PDF包括:
Figure BDA0001647424100000072
其中uS包括三维空间中曲面S上的图像点值,ν包括一个速度场,n包括一个法向量场,
Figure BDA0001647424100000073
Figure BDA0001647424100000074
包括一个预设曲面坡度算子
Figure BDA0001647424100000075
Δs包括一个曲面拉普拉斯向量
Figure BDA0001647424100000076
HS包括曲面S的平均曲率trace(J(n)(I-nnT)),J(n)包括一个雅可比矩阵:
Figure BDA0001647424100000081
μ包括一个各向异性扩散的扩散常数,g包括一个各向异性扩散函数,
Figure BDA0001647424100000084
是曲面S上的图像。
对于等式1中的对流项,速度场v可以被设置为曲面S的双法向向量场。对于二维修复算法,速度场与图像梯度正交。为了将二维修复算法推广到三维空间,将Laplace-Beltrami算子uΔSu从二维修复算法中的二维拉普拉斯算子u推广到三维拉普拉斯算子。因此,可以使用对流项来获得图像强度的边缘信息,并沿着图像强度的边缘对来自边界的图像进行修复。
在一个实施例中,可以通过仅用传输项求解等式1,即通过将扩散常数μ设置为零来完成修复。在其他实施例中,各向异性扩散项可能是期望的,因为它可以稳定数值的不稳定性。
在等式1中,由于其边缘保持性质而选择各向异性扩散而不是线性扩散。考虑到线性扩散可以使边缘变平滑,这是期望被保留的,选择各向异性扩散来增强边缘。在一个实施例中,各向异性扩散函数可以是
Figure BDA0001647424100000082
K是预设值。例如,K可以是介于0.01和10之间的预设值。在本发明的其他实施例中,各向异性扩散函数可以是
Figure BDA0001647424100000083
K是预设值。例如,K可以是介于0.01和10之间的预设值。
本方法包括:在步骤430,根据预设数值方法离散PDE以获得离散化的PDE。在本发明的一个实施例中,曲面PDE可以利用径向基函数被离散化。步骤430可以包括几个步骤,如图6所示。
步骤430包括:在步骤610,构建离散化的微分算子
Figure BDA0001647424100000091
在本发明的一个实施例中,
Figure BDA0001647424100000092
在曲面S上存在M个点的离散集合,并且
Figure BDA0001647424100000093
作为在xi∈Ω点周围的N个点的小子集,
Figure BDA0001647424100000094
作为在Ωi上的对称正定核。近似值可以被看作:
Figure BDA0001647424100000095
根据一些近似条件,可以近似求解等式2的几个微分算子来求解系数λi。离散化的微分算子
Figure BDA0001647424100000096
可以是线性微分算子,其相应的近似格式可以由矩阵L给出。离散化的微分算子
Figure BDA0001647424100000097
可以由
Figure BDA0001647424100000098
来表示:其中,Li是离散化
Figure BDA0001647424100000099
的行向量,
Figure BDA00016474241000000910
行向量Li可以通过求解线性系统来获得。要求解的线性系统可以是LiKi=bi,其中
Figure BDA00016474241000000911
Figure BDA00016474241000000912
所计算出的系数λi被代入到等式2中,从而获得矩阵
Figure BDA00016474241000000913
矩阵
Figure BDA00016474241000000914
可以近似地满足
Figure BDA00016474241000000915
其中
Figure BDA00016474241000000916
也可以表示矩阵
Figure BDA00016474241000000917
的第i行作为行向量Li。在其他实施例中,矩阵
Figure BDA00016474241000000918
可以是稀疏的,并且矩阵
Figure BDA00016474241000000919
的局部性可以由相邻点数量N的大小来控制。
步骤430包括:在步骤620,由设备将离散化的差分算子
Figure BDA00016474241000000920
代入PDE以获得离散化的PDE。在本发明的一个实施例中,当将离散化微分算子
Figure BDA00016474241000000921
代入等式1中的PDE时,得到离散化PDE:
Figure BDA00016474241000000922
其中[u(t)]j=u(xj,t),F包括一个组合离散化微分算子La的非线性函数。u0是一个初始条件,被设置为要修复的图像。在本发明的其他实施例中,有微分算子
Figure BDA0001647424100000101
其中a∈{x,y,z,xx,yy,zz,xy,yz,xz}。
本方法还包括:在步骤440,利用预设的近似方法和预设的数值算子,计算离散化PDE的解以获得修复区域D内的点的图像点值。
在本发明的一个实施例中,离散化PDE可以通过对离散化PDE应用简单的前向欧拉方法来求解,并计算离散化PDE的解作为uk+1来获得修复区域D内的点的图像点值。对于大于1的整数K,uk+1=uk+ΔtF(uk)。为了求解离散化PDE,Δt可以是在0.0001和0.1之间的预设值,且足够小以保证计算的稳定性。
本方法包括:在步骤360,在三维空间中曲面S上生成修复图像。根据计算出的修复区域内的点的图像点值,可以生成修复图像。修复后的图像也是曲面上的3D图像。
当原始3D图像是彩色图像时,本方法还可以包括:合并原始3D图像的每个颜色通道的生成修复图像以生成修复的3D彩色图像。
本方法还可以包括:输出修复后的3D图像。被修复的3D图像可以被输出到存储介质或计算机数据库。存储介质或计算机数据库可以位于本地或远程,并通过网络连接进行通信。在其他实施例中,可以将修复的3D图像输出到显示设备,例如但不限于3D电视机和/或3D护目镜。
在本发明的一个实施例中,可以使用以下方法来计算协方差矩阵C的特征向量以获得法向量。协方差矩阵C可以是对称正定矩阵,并可以总是具有非负的特征值λi≥0,i=1,2,3。可以应用逆迭代方法来获得最小特征值对应的特征向量。
一个初始猜测向量被分配给特征向量作为v0。初始猜测向量可以是任意的三维向量,例如但不限于v0=[1 1 1]T。对于每次迭代k≥1,使用常量η,求解以下方程:
(C+ηI)v=vk-1
Figure BDA0001647424100000111
根据从等式3计算的值vk,计算||vk-vk-1||的值并与预定容差ε进行比较。例如但不限于,预定容差ε是介于10e-7和10e-5之间的极小数字,包括10e-7和10e-5。当||υkk-1||的值小于或等于预定容差ε时,停止迭代。当||υkk-1||的值不小于或等于预定容差ε时,继续下一次迭代直到||vk-vk-1||≤ε。当迭代停止时,从等式3计算的vk是最小特征值对应的特征向量。
在本发明的其它实施例中,可以用另一种方法来计算协方差矩阵C的特征向量以获得法向量。由于协方差矩阵C的特征值是非负的,且最小特征值对应的特征向量是期望的,所以常数η可以被设置为零。考虑到需要线性系统来解决每次迭代且协方差矩阵C在整个迭代中保持不变,所以Cholesky分解可以应用于协方差矩阵C。因此C=RTR,其中R是上三角矩阵。
初始猜测向量被分配给特征向量作为v0。初始猜测向量可以是任意的三维向量,例如但不限于v0=[1 1 1]T。对于每一次迭代k≥1,RTy=vk-1都可以用正向替代来求解y;Rv=y可以用后向替代来求解υ,并基于
Figure BDA0001647424100000112
计算υk
对于每次迭代,基于计算出的υk,计算||υkk-1||的值并与预设容差ε进行比较。例如但不限于,预设容差ε是介于10e-7和10e-5之间的极小数字,包括10e-7和10e-5。当||vk-vk-1||的值小于或等于预设容差ε时,停止迭代。当||vk-vk-1||的值不小于或等于预设容差ε时,迭代继续进行直到||υkk-1||≤ε。当迭代停止时,计算出的υk是最小特征值对应的特征向量。
在本发明的另一个实施例中,如图7A所示,获得半球曲面上的三维彩色图像。该3D图像包含一些文本,希望删除这些文本并修复文本所占用的区域。基于3D图像中的文本,确认修复区域并创建掩膜,如图7B所示。本发明的方法被应用到该3D图像上,并生成修复图像,如图7C所示。为了显示成功实施所披露方法,图7D显示半球上的原始3D图像作为参考。在图像修复过程中,K取值0.01,而N取值10。
通过以上实施例的描述,本领域技术人员可以理解上述实施例的各种方法可以仅通过硬件或软件加必需的通用硬件平台来实现。然而,在大多数情况下,首选是使用软件和必需的通用硬件平台。基于上述理解,本发明的技术方案本质上或对现有技术做出贡献的部分是以软件产品的形式实施。计算机软件产品存储在存储介质(如ROM/RAM、磁盘或光盘等)中,并包含若干指令,用于指示终端装置(可以是手机、电脑、服务器、网络设备等)执行本发明实施例所述的方法。
虽然已经参考说明性实施例描述了具体发明,但该描述并不意味着是限制性的。本发明说明性实施例和附加实施例的各种修改,对本领域普通技术人员而言将是显而易见的。本领域技术人员将容易认识到,在不脱离本发明精神和范围的情况下,可以对在此所示和所述的示例性实施例作出这些和各种其它修改。因此,所附权利要求将覆盖任何这些修改和替代实施例。附图中的某些比例可能会被夸大,而其他比例可能会降至最低。因此,本发明和附图被认为是说明性的而非限制性的。

Claims (19)

1.一种用于图像修复的方法,所述方法包括:
由包含存储指令的存储器和与所述存储器通信的处理器的装置,获得
第一三维图像,其中:
所述第一三维图像是三维空间中一个曲面S上的一个图像;
所述第一三维图像的每个点包括在所述三维空间的一个图像点值和一个位置向量;
由所述装置定位所述第一三维图像的修复区域D;
由所述装置生成对应所述修复区域D的修复掩膜;
由所述装置根据所述修复区域D计算所述修复区域D内的点的图像点值;
由所述装置基于计算出的所述修复区域D内的点的图像点值,来建立所述三维空间中所述曲面S上的第二三维图像;
其中定位所述第一三维图像的修复区域D的步骤包括:
由所述装置确定所述第一三维图像是否是一个灰度图像;
当确定所述第一三维图像是灰度图像时:
由所述装置定位所述第一三维图像的修复区域D;
当确定所述第一三维图像不是灰度图像时:
由所述装置将所述第一三维图像分成多个颜色通道,其中所述多个颜色通道中的每个颜色通道包括一个等同的灰度图像;
对所述多个颜色通道中的每个颜色通道:
由所述装置定位所述多个颜色通道中的每个颜色通道的修复区域D。
2.根据权利要求1所述的方法,其中由所述装置根据所述计算出的所述修复区域D内的点的图像点值来建立所述三维空间中所述曲面S上的第二三维图像,包括:
当确定所述三维图像不是灰度图像时:
对所述多个颜色通道中的每个颜色通道:
由所述装置基于所述计算出的所述修复区域D内的点的图像点值建立所述多个颜色通道中的每个颜色通道的三维图像;
由所述装置将所述多个颜色通道中的每个颜色通道的所述三维图像合并以建立所述第二三维图像。
3.根据权利要求1所述的方法,还包括:
由所述装置输出所述第二三维图像到计算机数据库。
4.根据权利要求1所述的方法,其中由所述装置根据所述修复区域D计算所述修复区域D内的点的图像点值,包括:
由所述装置根据三维空间中所述曲面S计算所述修复区域D内的点的法向量场;
由所述装置将所述法向量场代入到偏微分方程(PDE);
由所述装置根据一个预设数值方法来离散所述PDE以获得离散PDE;
由所述装置利用一个预设近似方法和预设数字求解器,来计算所述离散PDE的解以获得所述修复区域D内的点的图像点值。
5.根据权利要求4所述的方法,其中由所述装置根据三维空间中所述曲面S来计算所述修复区域D内的点的法向量场,包括:
由所述装置选择一个离散集合Ω,其包括所述三维空间中所述曲面S上的M个点,其中Ω={xi:i=1,...,M};
对所述离散集合Ω中的每个点xi
由所述装置选择一个子集Ωi,其包括所述离散集合Ω中的N个点,其中所述子集Ωi包括在所述xi周围的相邻点;
由所述装置计算所述子集Ωi的协方差矩阵C,其中:
m是所述子集Ωi的形心,且
Figure FDA0003972427960000021
Y是3乘N矩阵,包括
Figure FDA0003972427960000022
和yi=xi-m
所述协方差C=YYT
由所述装置计算所述协方差矩阵C的最小特征值对应的所述协方差矩阵C的特征向量;
由所述装置输出计算出的特征向量作为所述xi的法向量;
由所述装置基于所述离散集合Ω中的每个点xi的所述法向量,生成所述修复区域D内的点的法向量场。
6.根据权利要求5所述的方法,其中由所述装置计算所述协方差矩阵C的最小特征值对应的所述协方差矩阵C的特征向量,包括:
由所述装置设置初始猜想v0
由所述装置根据Cholesky分解求解C=RTR以获得R和RT
对前一次迭代vk-1,其中k≥1:
由所述装置根据前向代入求解RT y=vk-1
由所述装置根据反向代入求解Rv=y;
由所述装置计算当前迭代
Figure FDA0003972427960000031
由所述装置确定||vk-vk-1||值是否小于或等于一个预设容差ε;
当确定所述||vk-vk-1||值不小于或等于所述预设容差ε时;由所述装置继续下一次迭代直到||vk-vk-1||≤ε;
当确定所述||vk-vk-1||值小于或等于所述预设容差ε时;由所述装置停止下一次迭代;
由所述装置输出vk作为所述协方差矩阵C的特征向量。
7.根据权利要求4所述的方法,其中:
所述PDE包括一个对应传输机制的第一部分;
所述PDE包括对应非线性各向异性扩散机制的第二部分。
8.根据权利要求4所述的方法,其中:
所述PDE包括:
Figure FDA0003972427960000032
其中:
uS包括所述三维空间中所述曲面S上的图像点值;
ν包括一个速度场,n包括所述法向量场,且
Figure FDA0003972427960000033
Figure FDA0003972427960000034
包括一个预设曲面梯度算子
Figure FDA0003972427960000035
ΔS包括一个曲面拉普拉斯向量
Figure FDA0003972427960000036
HS包括所述曲面S的平均曲率trace(J(n)(I-nnT)),且J(n)包括一个雅可比矩阵:
Figure FDA0003972427960000041
μ包括一个各向异性扩散的扩散常数;
g包括一个各向异性扩散函数。
9.根据权利要求8所述的方法,其中:
所述各向异性扩散函数包括:
Figure FDA0003972427960000042
且K是一个预设值。
10.根据权利要求8所述的方法,其中:
所述各向异性扩散函数包括:
Figure FDA0003972427960000043
且K是一个预设值。
11.根据权利要求4所述的方法,其中由所述装置根据预设数值方法来离散化所述PDE以获得离散化PDE,包括:
由所述装置构建一个离散微分算子
Figure FDA0003972427960000044
其中:
所述离散微分算子
Figure FDA0003972427960000045
是通过离散微分算子矩阵L近似;
所述离散微分算子矩阵L包括Li,并满足LiKi=bi,其中
Figure FDA0003972427960000046
Figure FDA0003972427960000047
包括一个不对称正定核函数;
由所述装置将所述离散微分算子
Figure FDA0003972427960000048
代入到所述PDE内以获得所述离散化PDE,其中所述离散化PDE是:
Figure FDA0003972427960000049
其中[u(t)]j=u(xj,t),F包括一个结合所述离散微分算子
Figure FDA0003972427960000051
的非线性函数。
12.根据权利要求11所述的方法,其中由所述装置利用预设近似方法和预设数值求解器计算所述离散化PDE的解以获得所述修复区域D内的点的图像点值,包括:
由所述装置在所述离散化PDE上应用一个简单的前向欧拉方法;
由所述装置计算所述离散PDE的解uk+1,其中:
k是大于1的整数;
uk+1=uk+ΔtF(uk);
Δt是一个预设的极小值;
由所述装置根据所述离散化PDE的解,获得所述修复区域D内的点的图像点值。
13.根据权利要求1所述的方法,其中获得所述第一三维图像包括:
由所述装置从存储介质获得所述第一三维图像。
14.根据权利要求1所述的方法,其中获得所述第一三维图像包括:
由所述装置从三维图像扫描仪获得所述第一三维图像。
15.一种用于图像修复的装置,所述装置包括:
存储器,其存储指令;
处理器,其与所述存储器通信,其中当所述处理器执行所述指令时,所述处理器被设置成使所述装置能够:
获得一第一三维图像,其中:
所述第一三维图像是三维空间的一个曲面S上的一个图像;
所述第一三维图像的每个点包括所述三维空间的一个图像点值和一个位置向量;
定位所述第一三维图像的修复区域D;
生成一个对应所述修复区域D的修复掩膜;
根据所述修复区域D,计算所述修复区域D内的点的图像点值;
基于计算出的所述修复区域D内的点的图像点值,建立所述三维空间的所述曲面S上的第二三维图像;
其中定位所述第一三维图像的修复区域D包括:
确定所述第一三维图像是否是一个灰度图像;
当确定所述第一三维图像是灰度图像时:
定位所述第一三维图像的修复区域D;
当确定所述第一三维图像不是灰度图像时:
将所述第一三维图像分成多个颜色通道,其中所述多个颜色通道中的每个颜色通道包括一个等同的灰度图像;
对所述多个颜色通道中的每个颜色通道:
定位所述多个颜色通道中的每个颜色通道的修复区域D。
16.根据权利要求15所述的装置,其中当所述处理器被设置成使所述装置能够根据所述修复区域D来计算所述修复区域D内的点的图像点值时,所述处理器被设置成使所述装置能够:
根据三维空间中的所述曲面S,计算所述修复区域D内的点的法向量场;
将所述法向量场代入到偏微分方程PDE中;
根据一个预设的数值方法来离散化PDE以获得一个离散化的PDE;
利用一个预设的近似方法和预设的数值求解器,计算所述离散化的PDE的解以获得所述修复区域D内的点的图像点值。
17.根据权利要求16所述的装置,其中所述PDE包括:
Figure FDA0003972427960000061
其中:
uS包括所述三维空间中的所述曲面S上的图像点值;
ν包括一个速度场,n包括所述法向量场,且
Figure FDA0003972427960000062
Figure FDA0003972427960000063
包括一个预设曲面梯度算子
Figure FDA0003972427960000064
ΔS包括一个曲面拉普拉斯向量
Figure FDA0003972427960000065
HS包括所述曲面S的平均曲率trace(J(n)(I-nnT)),且J(n)包括一个雅可比矩阵:
Figure FDA0003972427960000071
μ包括一个各向异性扩散的扩散常数;
g包括一个各向异性扩散函数。
18.一种非暂时性计算机可读存储介质,存储指令,其中当所述指令由处理器执行时,使得所述处理器能够执行:
获得一第一三维图像,其中:
所述第一三维图像是三维空间的一个曲面S上的一个图像;
所述三维图像的每个点包括三维空间的一个图像点值和一个位置向量;
定位所述第一三维图像的修复区域D;
生成一个对应所述修复区域D的修复掩膜;
根据所述修复区域D,计算所述修复区域D内的点的图像点值;
基于所述修复区域D内的点的计算出的图像点值,建立所述三维空间的所述曲面S上的第二三位图像;
其中定位所述第一三维图像的修复区域D包括:
确定所述第一三维图像是否是一个灰度图像;
当确定所述第一三维图像是灰度图像时:
定位所述第一三维图像的修复区域D;
当确定所述第一三维图像不是灰度图像时:
将所述第一三维图像分成多个颜色通道,其中所述多个颜色通道中的每个颜色通道包括一个等同的灰度图像;
对所述多个颜色通道中的每个颜色通道:
定位所述多个颜色通道中的每个颜色通道的修复区域D。
19.根据权利要求18所述的非暂时性计算机可读存储介质,其中当所述指令使所述处理器能够执行根据所述修复区域D计算所述修复区域D内的点的图像点值时,所述指令还使所述处理器能够执行:
根据三维空间中的所述曲面S,计算所述修复区域D内的点的法向量场;
将所述法向量场代入到偏微分方程PDE中,其中所述PDE包括:
Figure FDA0003972427960000081
其中:
uS包括所述三维空间中的所述曲面S上的图像点值;
ν包括一个速度场,n包括所述法向量场,且
Figure FDA0003972427960000082
Figure FDA0003972427960000083
包括一个预设曲面梯度算子
Figure FDA0003972427960000084
ΔS包括一个曲面拉普拉斯向量
Figure FDA0003972427960000085
HS包括所述曲面S的平均曲率trace(J(n)(-nnT)),且J(n)包括一个雅可比矩阵:
Figure FDA0003972427960000086
μ包括一个各向异性扩散的扩散常数;
g包括一个各向异性扩散函数;
根据一个预设的数值方法来离散化PDE以获得一个离散化的PDE;
利用一个预设的近似方法和预设的数值求解器,计算所述离散化的PDE的解以获得所述修复区域D内的点的图像点值。
CN201880000367.XA 2018-04-04 2018-04-10 在任意曲面上的图像修复 Active CN109791687B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/945,576 2018-04-04
US15/945,576 US10593024B2 (en) 2018-04-04 2018-04-04 Image inpainting on arbitrary surfaces
PCT/CN2018/082549 WO2019192024A1 (en) 2018-04-04 2018-04-10 Image inpainting on arbitrary surfaces

Publications (2)

Publication Number Publication Date
CN109791687A CN109791687A (zh) 2019-05-21
CN109791687B true CN109791687B (zh) 2023-01-20

Family

ID=66499475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880000367.XA Active CN109791687B (zh) 2018-04-04 2018-04-10 在任意曲面上的图像修复

Country Status (1)

Country Link
CN (1) CN109791687B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7383946B2 (ja) * 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
US11501415B2 (en) * 2019-11-15 2022-11-15 Huawei Technologies Co. Ltd. Method and system for high-resolution image inpainting

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186314A (ja) * 1996-05-31 2001-07-06 Matsushita Electric Ind Co Ltd 画像処理装置
JP4456304B2 (ja) * 2000-09-04 2010-04-28 富士通株式会社 歪み補正方式
US7778455B2 (en) * 2004-05-18 2010-08-17 Shawn Araikum Method of and system for reconstructing a digital optical image
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
TWI492186B (zh) * 2010-11-03 2015-07-11 Ind Tech Res Inst 修補三維立體影像之裝置及方法
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
CN103218785B (zh) * 2013-04-19 2015-10-28 中国科学院深圳先进技术研究院 图像修复方法和装置
US20150325044A1 (en) * 2014-05-09 2015-11-12 Adornably, Inc. Systems and methods for three-dimensional model texturing

Also Published As

Publication number Publication date
CN109791687A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109754417B (zh) 从图像中无监督学习几何结构的系统与方法
Rabin et al. Adaptive color transfer with relaxed optimal transport
US20190370936A1 (en) High Resolution Style Transfer
Min et al. Fast global image smoothing based on weighted least squares
JP6613605B2 (ja) 深度画像の深度値復元方法及びシステム
US20180324465A1 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
US20160314600A1 (en) Method and System for Medical Image Synthesis Across Image Domain or Modality Using Iterative Sparse Representation Propagation
CN105590304B (zh) 超分辨率图像重建方法和装置
US20180137343A1 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
JP2019101686A (ja) 画像処理装置、画像処理方法およびプログラム
CN109791687B (zh) 在任意曲面上的图像修复
US11676030B2 (en) Learning method, learning apparatus, and computer-readable recording medium
CN113888635B (zh) 视觉定位方法、相关装置
US10593024B2 (en) Image inpainting on arbitrary surfaces
JP2020047010A (ja) 情報推定装置及び情報推定方法
CN116309190B (zh) 一种基于最佳区域中值先验的湍流退化图像恢复方法
JP2015197818A (ja) 画像処理装置およびその方法
CN108520259B (zh) 一种前景目标的提取方法、装置、设备及存储介质
US12086965B2 (en) Image reprojection and multi-image inpainting based on geometric depth parameters
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
CN106530261B (zh) 一种双动态模糊图像复原方法
WO2017209213A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
Liang et al. Texture repairing by unified low rank optimization
US11393069B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP2021174406A (ja) デプスマップ超解像装置、デプスマップ超解像方法、及びデプスマップ超解像プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant