模板优化方法、装置、电子设备和计算机程序产品
技术领域
本申请涉及增强现实技术领域,特别涉及模板优化方法、装置、电子设备和计算机程序产品。
背景技术
AR(Augmented Reality,增强现实)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的“增强”。该技术通过实时采集真实世界的图像,并根据摄像机相对于真实物体的位置设置虚拟物体的位置,使得虚拟物体能正确叠加在真实物体之上。
常用的AR技术多以平面物体(如卡片,书本封面)作为叠加的目标,这些用于叠加的目标即AR图像模板。首先预存模板的平面图像(如卡片,书本封面的图像),在运行时实时识别视频帧,使用图像匹配算法将其与图像模板进行匹配,根据匹配结果计算出相机的位姿信息。所述图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点,如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数,取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下,运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配,在以自然图像为模板时通常以图像特征为基础进行匹配。
特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征),对特征进行参数描述后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高层次的特征,然后建立两幅图像之间特征的匹配对应关系,通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有:统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。此外特征匹配算法主要由如下四个要素组合而成:(1)特征空间,特征空间是由参与匹配的图像特征构成的,选择好的特征可以提高匹配性能、降低搜索空间、减小噪声等不确定性因素对匹配算法的影响;(2)相似性度量,相似性度量指用什么度量来确定待匹配特征之间的相似性,它通常定义为某种代价函数或者是距离函数的形式;(3)图像匹配变换类型,图像几何变换用于解决两幅图像之间的几何位置差别,包括刚体变换、仿射变换、投影变换、多项式变换等;(4)搜索策略,搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计,使得图像之间经过变换后的相似性最大。特征匹配成功以后,通过求解模板目标与视频帧中目标的单应矩阵,进而得到相机姿态,以便设置相应的虚拟物体姿态。
现有技术的不足在于:
当AR图像模板质量较差时,将不能正确的根据这些图像模板与现实图像的特征匹配完成相应的位姿计算和虚拟物体叠加。
发明内容
本申请实施例提出了模板优化方法、装置、设备和计算机程序产品,主要用以对一些AR图像模板进行优化以便能够正确的根据这些图像模板与现实图像的特征匹配完成相应的位姿计算和虚拟物体叠加。
在一个方面,本申请实施例提供了一种模板优化方法,其特征在于,所述方法包括:获取AR图像模板;根据所述图像模板包含的图像特征确定所述图像模板质量不满足第一标准;为所述图像模板添加增强图像特征。
在另一个方面,本申请实施例提供了一种模板优化装置,其特征在于,所述装置包括:获取模块,用于获取AR图像模板;质量确定模块,用于根据所述图像模板包含的图像特征确定所述图像模板质量不满足第一标准;优化模块,用于为所述图像模板添加增强图像特征。
在另一个方面,本申请实施例提供了一种电子设备,其特征在于,所述电子设备包括:存储器,一个或多个处理器;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行上述方法中各个步骤的指令。
在另一个方面,本申请实施例提供了一种与电子设备结合使用的计算机程序产品,所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序,所述计算机程序包括用于使所述电子设备执行上述方法中的各个步骤的指令。
本申请实施例的有益效果如下:
本申请中,能够对AR图像模板进行优化,提升图像模板匹配正确率,提升特征匹配效率。
附图说明
下面将参照附图描述本申请的具体实施例,其中:
图1示出了本申请实施例一中模板优化方法的流程示意图;
图2示出了本申请实施例二中模板优化装置的结构示意图;
图3示出了本申请实施例三中电子设备的结构示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到:当某些AR图像模板包含的图像特征不鲁棒或者数量太少时,将不能正确的根据这些图像模板与现实图像的特征匹配完成相应的位姿计算和虚拟物体叠加。
针对上述不足,本申请提供了一种模板优化方法,当根据AR图像模板的图像特征情况确定其图像模板质量不佳时,通过添加增强图像特征的方式对所述AR图像模板进行优化。本申请中,能够对AR图像模板进行优化,提升图像模板匹配正确率,提升特征匹配效率。
以下通过具体示例,进一步阐明本发明实施例技术方案的实质。
实施例一:
图1示出了本申请实施例一中模板优化方法流程示意图,如图1所示,所述模板优化方法包括:
步骤101,获取AR图像模板;
步骤102,根据所述图像模板包含的图像特征确定所述图像模板质量不满足第一标准;
步骤103,为所述图像模板添加增强图像特征。
在步骤101中,获取AR图像模板,即接收用户输入的,接收终端上传的或者云端服务器调取获得的AR图像模板,所述AR图像模板即使用AR技术叠加虚拟图像时的叠加模板,通常被印制在平面物体上。
在步骤102中,根据所述图像模板包含的图像特征判断所述图像模板质量是否满足第一标准,即确定所述AR图像模板是否质量较差需要被优化。
图像特征是AR图像模板匹配的基础,在不同的图像匹配算法中对图像特征确定方式可能不同,图像特征的数量和位置也可能不同。在应用各类图像匹配算法时,都可以根据图像模板包含的图像特征对图像模板质量进行评价,判断其是否满足预设的第一标准,所述图像特征具体指图像特征的各种状态或者信息,其可以包括图像特征的数量、图像特征的密度(单位面积或者一定量的像素中图像特征的数量)、图像特征的聚集程度(各图像特征是否分散或者聚拢的排布)或者图像特征的显著程度(在某种图像识别或者匹配算法下,各图像特征是否易于识别)等中的一种或者几种的组合,以各种图像特征对模板质量进行判断时相应的有不同的标准,即所述第一标准可以为图像特征的数量阈值、密度阈值、聚集程度阈值或者显著程度阈值等中的一种或者几种的组合。若图像特征达到了预先设定的标准,则认为该图像模板的图像特征丰富,鲁棒性好,比较合适进行AR中的特征匹配;若不能达到预先设定的标准,则进行后续步骤添加图像特征以进行模板优化。
在一些实施方式中,根据所述图像模板包含的图像特征的密度和/或聚集程度确定所述图像模板质量不满足第一标准。
以图像特征的密度为例,可以限定图像特征的密度阈值,即所述第一标准为每千个像素N个图像特征(N可以为整数或者非整数),根据当前的图像模板中的像素数量和图像特征数量n确定其所述图像模板的质量是否满足第一标准,当图像模板中每千个像素的数量大于N时,视为图像模板质量满足第一标准。
以图像特征的聚集程度为例,可以限定图像特征的聚集程度的阈值C,即所述第一标准为C,图像特征的聚集程度计算公式如下:
上式中c表示图像模板中图像特征的聚集程度,∑d为图像模板中所有图像特征两两之间的欧氏距离的总和,n为图像模板中的图像特征数量,s为图像模板的面积。当c≥C时,视为图像模板的质量满足第一标准。需要说明的是,图像特征的聚集程度的计算不限于上述算法,常用的能够表征散点聚集程度的算法均可使用,相应的需要设定不同的第一标准。
此外还可以同时设定图像特征的密度和聚集程度的阈值作为第一标准,图像模板同时达到两个阈值时视为满足第一标准。在根据第一标准对图像模板进行质量评估时可以采用相对简单的算法以快速确定某图像模板是否需要被优化。
步骤103,为所述图像模板添加增强图像特征。
当图像模板的质量不满足预设标准时可主动为所述图像模板添加图像特征,例如添加具有特殊颜色、纹理、形状等的点、线、面的图像特征等,将新的增强图像特征添加入图像模板后,能够在一定程度上提升图像模板匹配正确率,提升特征匹配效率。当然可以选择如星形、矩形等几何图案作为增强图像特征进行添加,这些图案特征更加明显,在传感器噪声、成像过程中视角改变引起的图像变化、目标移动和变形、光照或者环境的改变带来的图像变化影响下,这些特征的相似性并不高,不容易受各种影响,能够在特征匹配过程中很容易的被分辨出来,进一步提升图像模板的匹配正确率,提升特征匹配效率。
在一些实施方式中,在所述步骤103之前还包括将所述图像模板划分为多个图像区域;所述步骤103具体为,为所述图像模板的质差区域添加增强图像特征,所述质差区域为根据各图像区域包含的图像特征确定的图像质量不满足第二标准的图像区域。
即在步骤102确定了图像模板质量不满足预设的第一标准后,可对该图像模板进行区域划分,例如平均分为2个区域、4个区域、以“#”型划分为9个区域,或者以其他随机或者非随机的方式划分为多个区域。
在划分了区域后评估各图像区域的图像质量,可以采用类似步骤102中的根据各区域中包含的图像特征的各种状态或者信息确定各图像区域的图像质量是否满足第二标准,将不满足第二标准的图像区域列为质差区域,并在质差区域中添加增强图像特征。其中图像特征和相应的第二标准与步骤102中类似,不再赘述。可以理解将增强图像特征添加至图像质量相对较差的区域更能够明显提升图像模板整体的图像质量。
在一些实施方式中,在上述为质差区域添加增强图像特征的实施方式的基础上,在存在质优区域并且根据所述质优区域的分辨率确定所述质优区域能够划分时,将所述质优区域划分为多个区域,所述质优区域为根据各图像区域包含的图像特征确定的图像质量满足第二标准的区域。
将所述图像模板划分为多个图像区域后评估各图像区域的图像质量,可以采用类似步骤102中的根据各区域中包含的图像特征的各种状态或者信息确定各图像区域的图像质量是否满足第二标准,将满足第二标准的图像区域列为质优区域,对划分出的图像区域中的质优区域暂不添加增强图像特征,而是进一步划分,质优区域划分出来的区域如果包含质差区域,则为质差区域添加增强图像特征,若划分出来的仍为质优区域,则继续进一步划分,直到各质优区域不能继续划分为止。其中判断质优区域是否能够继续划分可以根据当前区域的分辨率确定,当分辨率小于一定阈值后可以不再对该质优区域进行划分,因为划分出来的很可能将为质差区域,但在其中添加增强图像特征并不能明显的提示图像模板的质量。本实施方式中图像特征和相应的第二标准与步骤102中类似,不再赘述。可以理解将增强图像特征添加至图像质量相对较差的区域更能够明显提升图像模板整体的图像质量,当某些图像区域为质优区域时,其可能仍包含质量不佳的部分,因此对质优区域进一步划分找出这些区域并添加增强图像特征能够更有针对性的提升图像模板的质量。
在一些实施方式中,所述第二标准根据图像区域包含的所有图像特征对应的Harris响应值的均值阈值和方差阈值确定。
在对某个划分得到的图像区域进一步进行质量评估判断其是否质差区域或者质优区域时,可以采用相对复杂的评估标准,例如可计算该图像区域中各图像特征对应的Harris响应值,并计算该图像区域中所有图像特征的对应的Harris响应值的平均值和方差是否满足预设的阈值标准,即第二标准,以确定各图像区域为质优区域或者质差区域。
其中Harris角点检测是一种特征点检测方法,其应用邻近像素点灰度差值判断是否为角点、边缘、平滑区域,基本其原理是利用移动的窗口在图像中计算灰度变化值,主要流程包括将图像转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点等。计算得到的各图像特征对应的响应值可以在一定程度上表征各图像特征的显著程度,在该种实施方式中以显著程度阈值作为第二标准,以对各图像特征是否均显著,其显著程度是否相差不多进行评估,能够根据图像区域中图像特征的显著程度合理的确定其为质优区域或者质差区域,以便进一步确定其是否需要添加增强图像特征或者是否需要进一步划分。
本实施例因涉及图像处理运算,当算法复杂运算量大时,可由云端服务器完成相关计算,并将计算结果反馈给各个发起AR图像模板优化请求的前端。
本申请中,能够对AR图像模板进行优化,提升图像模板匹配正确率,提升特征匹配效率。能够基于对图像模板的图像区域的划分和分区域的图像质量评估确定将增强图像特征添加至图像模板的哪个区域,以便显著的提升图像模板整体的图像质量;在划分的图像区域质量仍较好时进一步划分,以便更精确的确定质量差的图像区域以便更有针对性的添加增强图像特征。此外本申请还能够采用合理的评估标准快速的确定需要优化的图像模板,也能够采用合理的评估标准更准确的确定划分的图像区域是否需要进一步优化。
实施例二:
基于同一发明构思,本申请实施例中还提供了一种模板优化装置,由于这些装置解决问题的原理与模板优化方法相似,因此这些装置的实施可以参见方法的实施,重复之处不再赘述。如图2所示,所述模板优化装置200包括:
获取模块201,用于获取AR图像模板;
质量确定模块202,用于根据所述图像模板包含的图像特征确定所述图像模板质量不满足第一标准;
优化模块203,用于为所述图像模板添加增强图像特征。
在一些实施方式中,所述质量确定模块202具体用于,根据所述图像模板包含的图像特征的密度和/或聚集程度确定所述图像模板质量不满足第一标准。
在一些实施方式中,所述装置200还包括分区模块204,用于在所述为所述图像模板添加增强图像特征之前,将所述图像模板划分为多个图像区域;
所述优化模块203具体用于,为所述图像模板的质差区域添加增强图像特征,所述质差区域为根据各图像区域包含的图像特征确定的图像质量不满足第二标准的图像区域。
在一些实施方式中,所述分区模块204还用于,在存在质优区域并且根据所述质优区域的分辨率确定所述质优区域能够划分时,将所述质优区域划分为多个区域,所述质优区域为根据各图像区域包含的图像特征确定的图像质量满足第二标准的区域。
在一些实施方式中,所述第二标准根据图像区域包含的所有图像特征对应的Harris响应值的均值阈值和方差阈值确定。
实施例三:
基于同一发明构思,本申请实施例中还提供了一种电子设备,由于其原理与模板优化方法相似,因此其实施可以参见方法的实施,重复之处不再赘述。如图3所示,所述电子设备300包括:存储器301,一个或多个处理器302;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行任一上述方法中各个步骤的指令。
实施例四:
基于同一发明构思,本申请实施例还提供了一种与电子设备结合使用的计算机程序产品,所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序,所述计算机程序包括用于使所述电子设备执行任一上述方法中的各个步骤的指令。
为了描述的方便,以上所述装置的各部分以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。