CN115775323A - 影像处理方法及影像处理系统 - Google Patents

Abstract

一种影像处理方法，包含下列步骤：通过神经网络装置接收原始影像，其中影像包含复数个像素单元；分析该些像素单元，以取得该些像素单元中的复数个关键单元；根据原始影像中的该些关键单元，产生复数个局部特征数据；根据原始影像中的该些像素单元，产生全域特征数据；以及结合该些局部特征数据及全域特征数据，以产生对应原始影像的一特征描述数据。本公开还涉及一种影像处理系统。

Description

影像处理方法及影像处理系统

技术领域

本公开内容关于一种影像处理方法及影像处理系统，用于分析及比对影像所呈现的内容。

背景技术

“特征比对(Feature Match，特征匹配)”是电脑视觉应用中最关键与常见的技术方法之一。现今的特征比对方法在分析影像时，常会滤除过多特征，导致比对结果模糊而不精确。此外，特征比对的部分运算过程十分倚赖预定义的参数，导致使用者常需要针对不同的检测目标进行手动设置，以设计对应且专属的参数。因此，特征比对的技术上仍有许多需要改进及优化之处。

发明内容

本公开内容涉及一种影像处理方法，包含下列步骤：通过神经网络装置接收原始影像，其中影像包含复数个像素单元；分析该些像素单元，以取得该些像素单元中的复数个关键单元；根据原始影像中的该些关键单元，产生复数个局部特征数据；根据原始影像中的该些像素单元，产生全域特征数据；以及结合该些局部特征数据及全域特征数据，以产生对应原始影像的一特征描述数据。

本公开内容还关于一种影像处理系统，包含神经网络装置及处理器。神经网络装置包含关键分析神经网络、局部特征神经网络及全域特征神经网络。关键分析神经网络用以接收原始影像，且对原始影像中的复数个像素单元进行分析，以取得复数个关键单元。局部特征神经网络电性连接于关键分析神经网络，用以根据该些关键单元产生复数个局部特征数据。全域特征神经网络用以接收原始影像，以根据原始影像中的该些像素单元，产生全域特征数据。处理装置电性连接于局部特征神经网络及全域特征神经网络，用以结合该些局部特征数据及全域特征数据，以产生对应原始影像的特征描述数据。

据此，由于本公开内容是获取原始影像的局部特征数据及全域特征数据，以产生特征描述数据，因此，特征描述数据中能同时兼顾影像中的微观差异(如：物件边缘)与宏观特征(如：背景)，使得影像处理系统能根据特征描述数据，更为精确且快速地完成影像识别。

附图说明

图1为根据本公开内容的部分实施例的影像处理系统的示意图。

图2A为根据本公开内容的部分实施例的影像处理系统的示意图。

图2B、图2C、图2D为原始影像及关键子影像的示意图。

图3为根据本公开内容的部分实施例的影像处理方法的流程图。

图4为根据特征数据以影像方式表达的示意图。

图5为根据本公开内容的部分实施例的影像处理系统的示意图。

图6A、图6B、图6C为根据本公开内容的部分实施例的影像处理方法及其他处理方法的分析结果比较图。

附图标记说明：

100：影像处理系统

200：伺服器

110：神经网络装置

111：关键分析神经网络

111a-111e：运算元

112：局部特征神经网络

113：全域特征神经网络

114：关键分析模块

120：处理装置

So：原始影像

Sa：原始影像

Sb：原始影像

Kp：关键单元

K31-k32：关键单元

K41-k42：关键单元

Kc：关键子影像

Dl：局部特征数据

Dg：全域特征数据

Ds：特征描述数据

Ds’：特征描述数据

具体实施方式

以下将以附图公开本发明的复数个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明部分实施方式中，这些实务上的细节是非必要的。此外，为简化附图起见，一些现有惯用的结构与元件在附图中将以简单示意的方式示出的。

于本文中，当一元件被称为“连接”或“耦接”时，可指“电性连接”或“电性耦接”。“连接”或“耦接”亦可用以表示二或多个元件间相互搭配操作或互动。此外，虽然本文中使用“第一”、“第二”、…等用语描述不同元件，该用语仅是用以区别以相同技术用语描述的元件或操作。除非上下文清楚指明，否则该用语并非特别指称或暗示次序或顺位，亦非用以限定本发明。

图1所示为根据本公开内容的部分实施例的影像处理系统100示意图。影像处理系统100包含神经网络装置110及处理装置120。在部分实施例中，神经网络装置110及处理装置120可设于同一个电子装置(如：伺服器200) 中，且神经网络装置110包含多个神经网络(Neural Network)。神经网络可通过软件、硬件或其组合建构而成，包含多个相互连结的人工神经元，以形成数学模型或计算模型。每个人工神经元都具有运算参数(如：函式运算时的权重值)，使神经网络的数学模型或计算模型能通过学习方法 (Learning Method)得以最佳化。神经网络装置110内的各神经网络可通过机器学习或深度学习以不断更新及优化，由于本领域的人士能理解神经网络的原理，故在此不另赘述。

在一实施例中，神经网络装置110包含关键分析(Keypoint Attention) 神经网络111、局部特征神经网络112及全域特征神经网络113。关键分析神经网络111用以接收原始影像So，原始影像So可为照片或影片，且包含多个像素单元。“像素单元”可指单一个或指多个像素，用以呈现原始影像 So中部分区域的色彩、轮廓或灰阶。关键分析神经网络111用以对原始影像So中的所有像素单元进行分析，以取得复数个关键单元Kp(key point)。

在一实施例中，关键分析神经网络111可通过Triplet Loss学习演算法，计算原始影像So与标记区域的损失函数，以对较重要的特征区域进行优化。优化的区域将分配较高的权重，以显著提高特征匹配的准确性。关键分析神经网络111使用的演算法并不局限于Triplet Loss。

在一实施例中，关键单元可为原始影像So中多个像素单元之间差异大于预定值的区域。例如：像素单元X与相邻的像素单元Y的灰阶差异为30％，大于预设值15％，则像素单元X及像素单元Y将被设定为一个关键单元。

在一实施例中，关键单元亦可为像素单元中用以显示物件边缘的部分。例如：像素单元X用以显示“汽车轮廓(如：车轮与马路的交界处)”，则像素单元X被设定为一个关键单元。

在一实施例中，关键分析神经网络111包含“卷积神经网络 (ConvolutionalNeural Network,CNN)”，用以分析出关键单元。卷积神经网络包含多个卷积层(Convolution Layer)，用以从“点”特征的比对转换成“面”特征的比对。举例而言，以原始影像So中每一像素为中心，获取N x N个像素的面积，且每一个像素具有不同权重，计算加权总和(N为Kernel Size， N x N的矩阵权重称为“卷积核”)，计算出的值将可判断像素是否为“像素变化明显”、“呈现物件边缘”等关键单元(key point)。卷积神经网络会针对每一个像素按序处理，直到原始影像So中的最后一个像素为止。在其他实施例中，卷积神经网络还可包含滤波器(Filter)、池化层(Pooling Layer) 或隐藏层(Dense)，由于本领域的人士能理解卷积神经网络的组成与运行方式，故在此不另赘述。

局部特征神经网络112电性连接于关键分析神经网络111，用以接收关键分析神经网络111产生的关键单元Kp。局部特征神经网络112根据该些关键单元Kp产生复数个局部特征数据Dl。在一实施例中，“局部特征数据Dl”属于一种向量集合，例如512维度的向量集。在部分实施例中，局部特征神经网络112所生成的局部特征数据Dl中，将会包含该些关键单元Kp所对应的坐标信息(位置信息)。

全域特征神经网络113用以接收原始影像So，以根据原始影像So中的所有像素单元，产生全域特征数据Dg。全域特征神经网络113的运算原理可与局部特征神经网络112相同，但其运算目标为所有的像素单元，用以生成对应于原始影像So的整体的特征描述(descriptor)。全域特征数据Dg 亦可为一种向量集合。

前述的局部特征数据Dl及全域特征数据Dg皆为用以描述每一个像素的特征的一种信息集合，以向量维度做记录保存。特征数据Dl、Dg的信息须具备旋转不变性和尺度不变性。换言之，每一笔特征数据的描述信息应不会受到影像旋转或缩放而改变。

处理装置120电性连接于局部特征神经网络112及全域特征神经网络 113，用以结合该些局部特征数据Dl及全域特征数据Dg，以产生对应原始影像So的特征描述数据Ds。“特征描述数据Ds”除了包含有对应于关键单元Kp的特征描述与坐标信息(局部特征数据Dl)外，还具有原始影像So 的整体画面的特征描述(全域特征数据Dg)。

处理装置120可通过内部的微处理器执行各种运算。微处理器亦可以被实施为微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digitalsignal processor)、特殊应用集成集成电路(application specific integratedcircuit，ASIC)或一逻辑电路。同理，神经网络装置110中亦通过微处理器进行数据运算。

具体而言，影像处理系统100可应用于一个建构有立体场景模型的伺服器中。立体场景模型由多张影像数据建构而成，且同样可通过机器学习 (machine learning)或深度学习(deep learning)提升立体场景模型的精密度与准确度。换言之，根据多张原始影像So所产生的多笔特征描述数据Ds，处理装置120可据以于伺服器中建立、修正或调整立体场景模型。当影像处理系统100后续接收到新的一张待比对影像时，影像处理系统100可先分析出待比对影像的特征描述数据，再将待比对影像的特征描述数据与每张原始影像So的特征描述数据Ds相比较，以得到特征相似度。若特征相似度大于预定阈值，即可视为两张影像是记录相同的场景或物件。

本公开内容的影像处理系统100混合了向量特征(如特征描述数据Ds) 与注意力检测(如：关键单元Kp)形成检测网络(Hybrid Descriptors and Attention-basedDetector Network)。

为便于理解，以下根据图2A～2D及图3，说明本公开的一实施例的运行方式。图2A～2D所示为根据本公开内容的部分实施例的影像处理系统 100的应用方式示意图，为区分不同的影像，图2A中是将原始影像标示为 Sa、Sb。图3为所示为根据本公开内容的部分实施例的影像处理方法的流程图。

举例而言，影像处理系统100用以应用于伺服器200中，且伺服器内建置有立体场景模型，用以记录“学校”的场景。在步骤S301中，伺服器通过网络，从终端装置接收原始影像Sa(如：建筑物照片，如图2B所示)。伺服器将原始影像Sa输入至神经网络装置110。

在部分实施例中，影像处理系统100可通过使用具有彩色影像或包含深度影像信息的硬件装置，进行串流以接收原始影像Sa。

在步骤S302中，关键分析神经网络111对原始影像Sa中的全部像素单元进行分析，以取得多个关键单元Kp。如前所述，任一关键单元Kp可为相邻的多个像素单元间的差异大于预定值的一个局部区域，或者可为用以显示物件边缘(如图2C所示，可为建筑物的边缘轮廓)的一部分像素单元。

当关键分析神经网络111分析取得关键单元Kp后，神经网络装置110 可先对原始影像Sa进行关键子影像获取，以由原始影像Sa中获取复数个关键子影像Kc。

关键子影像获取的概念是提取影像信息，决定每个像素单元是否属于一个感兴趣的特征，会把原始影像Sa中的像素单元分类为不同的子集，即“关键子影像Kc”。关键子影像Kc往往属于原始影像Sa中用以呈现物件纹理的部分，例如用以记录原始影像Sa中的独立的点、连续的曲线或者连续的区域。

承上，每个关键子影像Kc包含至少一个关键单元Kp。具体而言，在步骤S303中，关键分析神经网络111将关键单元Kp传送至关键分析模块114。关键分析模块114用以在原始影像Sa中，获取对应于该些关键单元 Kp的任一者的一个获取区域，以产生关键子影像Kc。被获取的关键单元 Kp将位于获取区域的中心。

图2D所示为其中一个关键子影像Kc的示意图。举例而言，关键分析模块114于原始影像Sa中找到一个关键单元Kp。将该关键单元Kp设定为中心，并朝外设定一个获取区域(如：边长6像素的矩形、或边长6像素的圆形)，以作为关键子影像Kc。

在步骤S304中，局部特征神经网络112接收关键分析神经网络111产生的关键单元Kp，或者接收关键分析模块114产生的关键子影像Kc。接着，局部特征神经网络112将关键单元Kp或关键子影像Kc转换为局部特征数据Dl。局部特征数据Dl可为描述关键单元Kp特征的一组向量集合。

在步骤S305中，全域特征神经网络113(例如：通过CNN、DNN、 RNN等配合演算法)，根据原始影像Sa中的所有像素单元产生全域特征数据Dg。全域特征数据Dg可为描述原始影像Sa特征的一组向量集合。步骤 S305可早于步骤S302-S304进行，或与步骤S302-S304同步进行。

在步骤S306中，神经网络装置110结合所有局部特征数据Dl及该全域特征数据Dg，以产生对应原始影像Sa的特征描述数据Ds。在部分实施例中，神经网络装置110可将局部特征数据Dl及该全域特征数据Dg传送给处理装置120，处理装置120结合局部特征数据Dl及该全域特征数据Dg，以产生特征描述数据Ds。特征描述数据Ds分别包含了原始影像Sa的局部特征与整体特征，且去除了非关键性的像素(如：噪声)，因此能使影像处理系统100在识别上更为精准。

在根据原始影像Sa产生特征描述数据Ds后，影像处理系统100可利用特征描述数据Ds建构立体场景模型。在其他实施例中，当影像处理系统 100后续接收到新的一张待比对影像Sb时，在进行前述步骤S301～S306 之后，影像处理系统100可将该原始影像Sa的特征描述数据Ds与待比对影像Sb的待比对特征描述数据Ds’比较，以通过比对后取得的特征相似度，判断两张影像是否用以记录相同场景或物件。

具体而言，请参阅图2A所示，当影像处理系统100接收到待比对影像 Sb时，先通过与前述步骤S301～S306的处理方式相同的原理，产生对应于待比对影像Sb的待比对特征描述数据Ds’。接着，处理装置120将以待比对特征描述数据Ds’与立体场景模型中的所有数据进行比对。若判断待比对特征描述数据Ds’与存储于立体场景模型中特征描述数据Ds间的特征相符(如：特征相似度大于75％)，则可认定待比对特征描述数据Ds’(对应于待比对影像Sb)与特征描述数据Ds(对应于原始影像Sa)属于记录相同的场景。处理装置120将据以更新或调整立体场景模型，同时可回传一个影像定位信息至上传该待比对影像Sb的终端装置。

在一般的影像比对方法中，可能仅筛选出部分较为特别的像素作为比对的特征，导致丢失了过多信息，且亦无法分辨细节与空间的特征区别。此外，仅比对少数特征的影像比对方法难以被应用在机器学习模型上，因为机器无法分辨出每张影像的重复模式。同时，过于模糊的比对结果将被视为为离群(outlier)，而会在运算过程中被滤除。

本公开内容的影像处理方法分别保留一张原始影像中的局部特征与全域特征，因此，生成的特征描述数据具有良好的稳健性，且影像识别的精确性亦可被改善。举例而言，即便两张影像的记录内容略有出入(如：拍摄角度不同、拍摄时间不同或光线强度不同)，影像处理系统100仍能精确地识别两张影像是否记录同一个物件或场景。此外，由于用以建构立体场景模型的所有特征描述数据(如：Ds、Ds’)都经过前述步骤S301～306的处理，仅保留关键性的特征描述，因此，处理装置120在进行影像识别时的运算量将得以减轻。同时，亦可精简伺服器中的存储空间。

图4为根据本公开内容的部分实施例进行影像比对的示意图。如图所示，原始影像Sa中包含多个关键单元K31、K32。待比对影像Sb中包含多个关键单元K41、K42。虽然原始影像Sa、待比对影像Sb的画面不同，但其实只是角度上的差异。换言之，原始影像Sa、待比对影像Sb是分别以不同角度记录同一个物件。由于原始影像Sa、待比对影像Sb可通过前述方法，分析生成对应的特征描述数据Ds、Ds’，且特征描述数据Ds、Ds’包含了局部特征数据Dl与全域特征数据Dg，因此当处理器120以特征描述数据Ds、 Ds’来比对原始影像Sa及待比对影像Sb时，将可同时兼顾微观与宏观的特征，判断出原始影像Sa、待比对影像Sb中的多个关键单元K31～K32及 K41～K42是否互相对应，从而确认原始影像Sa、待比对影像Sb是否对应于同一个物件。

图5为根据本公开内容的另一部分实施例的神经网络装置110示意图。于图5中，与图1的实施例有关的相似元件是以相同的参考标号表示以便于理解，且相似元件的具体原理已于先前段落中详细说明，若非与图5的元件间具有协同运行关系而必要介绍者，于此不再赘述。

在一实施例中，关键分析神经网络111分析产生关键单元Kp，局部特征神经网络112则根据多个关键单元Kp的分布趋势，在原始影像So中裁剪出多个区域，并且使用每个区域的特征最大值(中心)位置来定位张量 (tensor)中所应放大的相对应位置，以提取出局部特征数据Dl。如图5所示，关键分析神经网络111包含多个运算元111a～111e。运算元111a用以接收全域特征数据Dg，并针对全域特征数据Dg内的通道进行累加求和。运算元111b将运算元111a的计算结果传送至运算元111c及运算元111e。运算元111c针对接收到的数据(即，原始影像So及运算元111b输出的数据)，进行倒数梯度计算(计算偏导数gradient)，且通过运算元111d，将计算结果传送至运算元111e。运算元111e则对接收到的数据进行内积计算。

图6A～6C所示为本揭容的影像处理方法与其他方法的比对结果。图 6A为利用演算法D2-Net(A trainable CNN for joint description and detection of localfeatures)比对影像的结果。图6B为利用演算法R2D2(repeatable and reliable detectorand descriptor)比对影像的结果。图6C为利用本公开内容的影像处理方法比对影像的结果。比对三组图片可知，在分析“不同光影/ 不同角度”但“记录铜一个场景”的图片时，本公开内容的影像处理方法所比对出的特征最多，且比对错误极少。

前述各实施例中的各项元件、方法步骤或技术特征，是可相互结合，而不以本公开内容中的文字描述顺序或附图呈现顺序为限。

虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何本领域技术人员，在不脱离本公开内容的构思和范围内，当可作各种变动与润饰，因此本公开内容的保护范围当视权利要求所界定者为准。

Claims (16)

1.一种影像处理方法，包含：

通过一神经网络装置，接收一原始影像，其中该影像包含复数个像素单元；

分析该些像素单元，以取得该些像素单元中的复数个关键单元；

根据该原始影像中的该些关键单元，产生复数个局部特征数据；

根据该原始影像中的该些像素单元，产生一全域特征数据；以及

结合该些局部特征数据及该全域特征数据，以产生对应该原始影像的一特征描述数据。

2.如权利要求1所述的影像处理方法，还包含：

将该特征描述数据与一待比对影像的一待比对特征描述数据相比较，以得到一特征相似度。

3.如权利要求1所述的影像处理方法，还包含：

根据该特征描述数据，建立、修正或调整一伺服器中的一立体场景模型。

4.如权利要求1所述的影像处理方法，其中该些关键单元的任一者为该原始影像中该些像素单元之间的差异大于一预定值的一区域。

5.如权利要求1所述的影像处理方法，其中该些关键单元的任一者为该些像素单元中用以显示一物件边缘的一部分。

6.如权利要求1所述的影像处理方法，其中产生该些局部特征数据的方法包含：

由该原始影像中获取复数个关键子影像，其中每个关键子影像包含该些关键单元的任一者；以及

将该些关键子影像转换为该些局部特征数据。

7.如权利要求6所述的影像处理方法，其中由该原始影像中获取该些关键子影像的方法包含：

获取该原始影像中对应于该些关键单元的任一者的一获取区域，以产生该些关键子影像，其中该些关键单元的任一者为该获取区域的中心。

8.如权利要求7所述的影像处理方法，其中该些关键子影像用以记录物件纹理。

9.一种影像处理系统，包含：

一神经网络装置，包含：

一关键分析神经网络，用以接收一原始影像，且对该原始影像中的复数个像素单元进行分析，以取得复数个关键单元；

一局部特征神经网络，电性连接于该关键分析神经网络，用以根据该些关键单元，产生复数个局部特征数据；

一全域特征神经网络，用以接收该原始影像，以根据该原始影像中的该些像素单元，产生一全域特征数据；以及

一处理装置，电性连接于该局部特征神经网络及该全域特征神经网络，用以结合该些局部特征数据及该全域特征数据，以产生对应该原始影像的一特征描述数据。

10.如权利要求9所述的影像处理系统，其中该处理器还用以将该特征描述数据与一待比对影像的一待比对特征描述数据相比较，以得到一特征相似度。

11.如权利要求9所述的影像处理系统，其中该处理装置还用以根据该特征描述数据，建立、修正或调整一立体场景模型。

12.如权利要求9所述的影像处理系统，其中该些关键单元的任一者为该原始影像中该些像素单元之间的差异大于一预定值的一区域。

13.如权利要求9所述的影像处理系统，其中该些关键单元的任一者为该些像素单元中用以显示一物件边缘的一部分。

14.如权利要求9所述的影像处理系统，其中该神经网络装置还包含：

一关键分析模块，用以由该原始影像中获取复数个关键子影像，其中每个关键子影像包含该些关键单元的任一者，该局部特征神经网络将该些关键子影像转换为该些局部特征数据。

15.如权利要求14所述的影像处理系统，其中该关键分析模块用以获取该原始影像中对应于该些关键单元的任一者的一获取区域，以产生该些关键子影像，其中该些关键单元的任一者为该获取区域的中心。

16.如权利要求15所述的影像处理系统，其中该些关键子影像用以记录物件纹理。

Images