CN111079803B - 基于梯度信息的模板匹配方法 - Google Patents

基于梯度信息的模板匹配方法 Download PDF

Info

Publication number
CN111079803B
CN111079803B CN201911211930.0A CN201911211930A CN111079803B CN 111079803 B CN111079803 B CN 111079803B CN 201911211930 A CN201911211930 A CN 201911211930A CN 111079803 B CN111079803 B CN 111079803B
Authority
CN
China
Prior art keywords
point
matched
template
value
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911211930.0A
Other languages
English (en)
Other versions
CN111079803A (zh
Inventor
赵进
崔鹏飞
尹仕斌
郭寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Si Si Hangzhou Technology Co ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN201911211930.0A priority Critical patent/CN111079803B/zh
Publication of CN111079803A publication Critical patent/CN111079803A/zh
Application granted granted Critical
Publication of CN111079803B publication Critical patent/CN111079803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • G06V10/473Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度信息的模板匹配方法,包括:提取模板图像的边缘梯度信息,筛选关键点集;对各关键边缘点的梯度方向进行近似处理;提取待匹配图像的边缘梯度信息;得到目标边缘点的近似梯度方向;获取待匹配点集;以待匹配点集内单个点为中心点,确定邻域,将中心点的近似梯度方向分别复制到其邻域内其他点上;将单个点所对应的近似梯度方向组成的集合记为集合A;遍历待匹配点集内所有点,得到各点的特征数,最大值记为匹配值,判断匹配值是否大于预设值,若否,匹配失败;若是,匹配值所对应的待匹配点集内具体点为匹配结果,完成待匹配图像的匹配;当待测目标存在旋转、缩放、遮挡等问题时,本方法具有准确性高,实时性好的特点。

Description

基于梯度信息的模板匹配方法
技术领域
本发明涉及图像定位识别技术领域,具体涉及一种基于梯度信息的模板匹配方法。
背景技术
模板匹配是根据模板图像到另一幅图像中寻找与模板图像相似的子区域的过程;在实际应用中,由于待匹配图像中的物体产生旋转、缩放、被遮挡等问题,导致模板图像和待匹配图像不能完全吻合,为了处理上述模板匹配问题,现阶段常用的处理方法是,逐角度生成一系列模板图像集,然后在模板匹配时,分别使用模板图像集中的每个图像对待匹配图像进行匹配,这种方法需要使用多个模板进行匹配,逐一比较,过程繁琐,耗时较长,大大限制了模板匹配技术的应用。
发明内容
使用图像梯度作为几何特征进行相似度匹配,具有抗非线性光照变化的能力、鲁棒性强,在机器视觉、目标追踪、物体识别等诸多领域有重要应用:基于图像梯度的模板匹配方法是:在模板图像中提取边缘点作为匹配的几何特征,并基于模板图像的边缘点梯度与待匹配图像各像素点梯度进行最佳相似度位置搜索,可辅助图像金字塔分层处理的方式对匹配进行加速。
本发明提出一种基于梯度信息的模板匹配方法,适用于各类型图像的目标匹配、查找,特别是当待测目标存在旋转、缩放、遮挡等问题时,本方法相比于现有方法具有准确性高,实时性好的特点。
具体方案如下:
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向GM;将全部模板边缘点或筛选出的部分模板边缘点记为关键点集,将所述关键点集内所有点记为关键边缘点;
2)对关键点集中的各关键边缘点的梯度方向GM进行近似处理,得到近似梯度方向GM1
GM1=round(GM/angleStep)angleStep
其中,angleStep为预设的角度步长且其能整除360°;round(GM/angleStep)表示四舍五入到最接近的整数;
3)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;利用与步骤2)相同的计算过程,得到目标边缘近似梯度方向;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
4)分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与关键点集内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,匹配失败;若是,匹配值所对应的待匹配点集内具体点为匹配结果,完成待匹配图像的匹配。
为了防止待匹配图像的旋转、缩放对匹配结果的影响;以下方案对模板图像进行了旋转、缩放,利用多张模板图像进行匹配,检测结果不仅能够输出待匹配图像中的最佳匹配像素点的坐标位置,还能够输出待匹配图像的旋转、缩放信息;技术方案如下:
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
2)对模板图像进行旋转和/或缩放;得到多张模板图像;对每张模板图像进行以下处理,分别获取多个模板图像与待匹配点集的匹配值:
①提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集,将所有关键点集内的点记为关键边缘点;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
②利用以下步骤计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与单个模板图像所对应的关键点集内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与单个模板图像所对应的关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
③遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
3)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
进一步,为了加速匹配进程,以下方案对关键点集中的点进行分组,具体为:将步骤2)替换为:
对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像进行以下处理获取模板图像与待匹配点集的匹配值:
a)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
b)将a)得到的关键点集中近似梯度方向相同的点划分为同一组,得到多组点;依据组内点数量从大到小排序,依次利用单个组内点计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与当前组内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与当前组内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
c)遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,判断该最大值是否大于预设值;
若是,则将该最大值存储为备选值,继续利用关键点集内下一组点计算特征数,直到遍历到最后一组,将各备选值中的最大值,记为匹配值并将其存储;
若否,则当前模板图像匹配失败,继续对下一张模板图像进行步骤a)~c)。
为了加速匹配过程,先记录存储各点与各角度值对应的分数表,利用查表的方式即可快速获取各个分数值,无需对每张模板图像进行大量计算;具体技术方案如下:
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;
将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
为了加速匹配过程,下一步先记录存储各点与各角度值对应的分数表;具体为:
2)令θi=i·angleStep,i取值为[0,360°/angleStep)内的整数;
计算同一θi与待匹配点集内某一点所对应的集合A中各个近似梯度方向的余弦相似度值,将余弦相似度最大值标记为分数值;调整i的取值,采用相同方法获取其他θi与待匹配点集内同一点的分数值,列表记录;
遍历待匹配点集中各点,依次获取各θi与待匹配点集内不同点的分数值,列表记录为分数表;
辅助Intel指令集可加速运算,通过查找所述分数表,得出待匹配点集内同一点与关键点集内各点的分数值,进一步提高匹配效率;具体为:
3)对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像均进行以下处理,得到每张模板图像对应的匹配值;
提取单张模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
令θi=关键点集中具体点的近似梯度方向,查找所述分数表,得出待匹配点集内同一点与关键点集内各点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
4)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
进一步,根据待匹配图像采集情况,设置旋转角度的变化范围(θminmax)和旋转步长θstep;缩放变化范围(αminmax)和缩放步长αstep;对模板图像进行旋转和缩放;θstep<10°;0.2≤αmin<1、1≤αmax<5、αstep≤0.5。
进一步,筛选部分模板边缘点记为关键点集的方式为:
遍历模板图像中每个模板边缘点,若当前遍历到的模板边缘点在所处的八邻域内,幅度值均大于其他模板边缘点,或,当前遍历到的模板边缘点的幅度值大于与其相邻的上下左右各模板边缘点的幅度信息,则将该模板边缘点记为关键点,存储在关键点集中。
优选,在进行步骤1)之前,先对模板图像和待匹配图像进行预处理,所述预处理包括:高斯滤波平滑图像边缘、剔除图像中的噪声。
优选,以待匹配点集内单个点为中心点,确定邻域的方式为:以待匹配点集内单个点为中心点的八邻域。
优选,提取边缘梯度采用Sobel算子。
本发明方法适用于各类型图像的目标匹配、查找:对于待测目标存在遮挡的问题,本方法通过将中心点的近似梯度方向GS分别复制到选区的其他边缘点处;进行了“梯度扩散”,有效避免像点被遮挡,而出现误匹配的问题;
对于存在旋转、缩放的问题,本方法通过将待匹配图像进行旋转、缩放,适配不同情形的待匹配图像,且可以输出当前目标物的旋转角度、缩放比例;
此外,本方法还针对计算过程进行了优化,如将梯度梯度方向进行近似处理、查表计算分数值、对关键边缘点进行分组匹配等,缩短了处理时间,以10个1000*1000像素的模板在3000*3000像素待匹配图像上的匹配过程为例,本方法耗时30ms;现有方法耗时2s;本方法具有准确性高,耗时短、实时性好的特点。
附图说明
图1为近似梯度方向复制过程示意图;
图2为关键点集内单点与集合A计算分数值过程示意图。
具体实施方式
以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
实施例1
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向GM;将全部模板边缘点或筛选出的部分模板边缘点记为关键点集,将关键点集内所有点记为关键边缘点;
2)对关键点集中的各关键边缘点的梯度方向GM进行近似处理,得到近似梯度方向GM1
GM1=round(GM/angleStep)angleStep
其中,angleStep为预设的角度步长且其能整除360°;round(GM/angleStep)表示四舍五入到最接近的整数;本实施例中,angleStep设置为60°;
3)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;利用与步骤2)相同的计算过程,得到目标边缘近似梯度方向;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
如图1所示,以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
本实施例中,提取边缘梯度采用Sobel算子、邻域设置为:以待匹配点集内单个点为中心点的八邻域。
4)分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与关键点集内某一点所对应的近似梯度方向的余弦相似度,如图2所示,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断匹配值是否大于预设值,若否,匹配失败;若是,匹配值所对应的待匹配点集内具体点为匹配结果,完成待匹配图像的匹配。
为了简化计算,减少耗时,筛选部分模板边缘点记为关键点集,具体为:
遍历模板图像中每个模板边缘点,若当前遍历到的模板边缘点在所处的八邻域内,幅度值均大于其他模板边缘点,或,当前遍历到的模板边缘点的幅度值大于与其相邻的上下左右各模板边缘点的幅度信息,则将该模板边缘点记为关键点,存储在关键点集中。
为了得到较为清晰的图像,本实施例中,在进行步骤1)之前,先对模板图像和待匹配图像进行预处理,预处理包括:高斯滤波平滑图像边缘、剔除图像中的噪声。
实施例2
为了防止待匹配图像的旋转、缩放对匹配结果的影响;本实施例对模板图像进行了旋转、缩放,利用多张模板图像进行匹配,检测结果不仅能够输出待匹配图像中的最佳匹配像素点的坐标位置,还能够输出待匹配图像的旋转、缩放信息;技术方案如下:
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;本实施例中,angleStep设置为30°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
如图1所示,以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
本实施例中,提取边缘梯度采用Sobel算子、邻域设置为:以待匹配点集内单个点为中心点的八邻域。
2)对模板图像进行旋转和/或缩放;得到多张模板图像;对每张模板图像进行以下处理,分别获取多个模板图像与待匹配点集的匹配值:
①提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集,将所有关键点集内的点记为关键边缘点;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
②利用以下步骤计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与单个模板图像所对应的关键点集内某一点所对应的近似梯度方向的余弦相似度,如图1所示,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与单个模板图像所对应的关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
③遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
3)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
为了加速匹配进程,本实施例中,还对关键点集中的点进行了分组,此时步骤2)的过程为:
对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像进行以下处理获取模板图像与待匹配点集的匹配值:
a)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
b)将a)得到的关键点集中近似梯度方向相同的点划分为同一组,得到多组点;依据组内点数量从大到小排序,依次利用单个组内点计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与当前组内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与当前组内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
c)遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,判断该最大值是否大于预设值;
若是,则将该最大值存储为备选值,继续利用关键点集内下一组点计算特征数,直到遍历到最后一组,将各备选值中的最大值,记为匹配值并将其存储;
若否,则当前模板图像匹配失败,继续对下一张模板图像进行步骤a)~c)。
其中,具体的旋转、缩放方法为:根据待匹配图像采集情况,设置旋转角度的变化范围(θminmax)和旋转步长θstep;缩放变化范围(αminmax)和缩放步长αstep;对模板图像进行旋转和缩放;θstep<10°;0.2≤αmin<1、1≤αmax<5、αstep≤0.5。
以角度步长θstep=1°,度变化范围设置为[0°,3°)为例,将旋转得到3副模板图像,对应的旋转角度分别为0°、1°、2°;
再将得到的3副模板图像分别进行缩放,变化范围为[1.0,1.5),缩放步长为αstep=0.2,;得到9张模板图像;对应的缩放比例1.0、1.2、1.4;
为了简化计算,减少耗时,筛选部分模板边缘点记为关键点集,具体为:
遍历模板图像中每个模板边缘点,若当前遍历到的模板边缘点在所处的八邻域内,幅度值均大于其他模板边缘点,或,当前遍历到的模板边缘点的幅度值大于与其相邻的上下左右各模板边缘点的幅度信息,则将该模板边缘点记为关键点,存储在关键点集中。
为了得到较为清晰的图像,本实施例中,在进行步骤1)之前,先对模板图像和待匹配图像进行预处理,预处理包括:高斯滤波平滑图像边缘、剔除图像中的噪声。
实施例3
为了加速匹配过程,本实施例中,先记录存储各点与各角度值对应的分数表,利用查表的方式即可快速获取各个分数值,无需对每张模板图像进行大量计算;具体技术方案如下:
一种基于梯度信息的模板匹配方法,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;
将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;本实施例中,angleStep设置为45°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
如图1所示,以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
为了加速匹配过程,下一步先记录存储各点与各角度值对应的分数表;具体为:
2)令θi=i·angleStep,i取值为[0,360°/angleStep)内的整数;
计算同一θi与待匹配点集内某一点所对应的集合A中各个近似梯度方向的余弦相似度值,将余弦相似度最大值标记为分数值;调整i的取值,采用相同方法获取其他θi与待匹配点集内同一点的分数值,列表记录;
遍历待匹配点集中各点,依次获取各θi与待匹配点集内不同点的分数值,列表记录为分数表;
具体的,本实施例中,[0,360°/angleStep)=[0,360°/45°);i=0,1,2……7;
角度值θi对应的为0°、45°、90°……315°;
首先计算角度0°与待匹配点集中的第一个点所对应的集合A,计算余弦相似度值,将余弦相似度值的最大值记为第一个分数值;
利用旋转角度45°与待匹配点集中的第一个点所对应的集合A,计算余弦相似度值,将余弦相似度值的最大值记为第二个分数值;
利用旋转角度90°与待匹配点集中的第一个点所对应的集合A,计算余弦相似度值,将余弦相似度值的最大值记为第三个分数值;
……采用相同方法获取其他θi与待匹配点集内同一点的分数值,列表记录;
遍历待匹配点集中各点,依次获取各θi与待匹配点集内不同点的分数值,列表记录为分数表;
下一步可通过查找分数表,得出待匹配点集内同一点与关键点集内各点的分数值;减少计算,具体为:
3)对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像均进行以下处理,得到每张模板图像对应的匹配值;
提取单张模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
令θi=关键点集中具体点的近似梯度方向,查找分数表,得出待匹配点集内同一点与关键点集内各点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
4)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
其中,具体的旋转、缩放方法为:根据待匹配图像采集情况,设置旋转角度的变化范围(θminmax)和旋转步长θstep;缩放变化范围(αminmax)和缩放步长αstep;对模板图像进行旋转和缩放;θstep<10°;0.2≤αmin<1、1≤αmax<5、αstep≤0.5。
以角度步长θstep=1°,度变化范围设置为[0°,3°)为例,将旋转得到3副模板图像,对应的旋转角度分别为0°、1°、2°;
再将得到的3副模板图像分别进行缩放,变化范围为[1.0,1.5),缩放步长为αstep=0.2,;得到9张模板图像;对应的缩放比例1.0、1.2、1.4;
为了简化计算,减少耗时,筛选部分模板边缘点记为关键点集,具体为:
遍历模板图像中每个模板边缘点,若当前遍历到的模板边缘点在所处的八邻域内,幅度值均大于其他模板边缘点,或,当前遍历到的模板边缘点的幅度值大于与其相邻的上下左右各模板边缘点的幅度信息,则将该模板边缘点记为关键点,存储在关键点集中。
为了得到较为清晰的图像,本实施例中,在进行步骤1)之前,先对模板图像和待匹配图像进行预处理,预处理包括:高斯滤波平滑图像边缘、剔除图像中的噪声。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的,选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用,从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (9)

1.一种基于梯度信息的模板匹配方法,其特征在于,包括以下步骤:
1)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向GM;将全部模板边缘点或筛选出的部分模板边缘点记为关键点集,将所述关键点集内所有点记为关键边缘点;
2)对关键点集中的各关键边缘点的梯度方向GM进行近似处理,得到近似梯度方向GM1
GM1=round(GM/angleStep)angleStep
其中,angleStep为预设的角度步长且其能整除360°;round(GM/angleStep)表示四舍五入到最接近的整数;
3)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;利用与步骤2)相同的计算过程,得到目标边缘近似梯度方向;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
4)分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与关键点集内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,匹配失败;若是,匹配值所
对应的待匹配点集内具体点为匹配结果,完成待匹配图像的匹配。
2.一种基于梯度信息的模板匹配方法,其特征在于,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
2)对模板图像进行旋转和/或缩放;得到多张模板图像;对每张模板图像进行以下处理,分别获取多个模板图像与待匹配点集的匹配值:
①提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集,将所有关键点集内的点记为关键边缘点;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
②利用以下步骤计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与单个模板图像所对应的关键点集内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与单个模板图像所对应的关键点集内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
③遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
3)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
3.如权利要求2所述基于梯度信息的模板匹配方法,其特征在于:将步骤2)替换为;
对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像进行以下处理获取模板图像与待匹配点集的匹配值:
a)提取模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像所对应的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
b)将a)得到的关键点集中近似梯度方向相同的点划分为同一组,得到多组点;依据组内点数量从大到小排序,依次利用单个组内点计算待匹配点集内某一具体点的特征数:
分别计算待匹配点集内某一点所对应的集合A内所有近似梯度方向与当前组内某一点所对应的近似梯度方向的余弦相似度,取最大值,标记为分数值;采用相同方法分别计算待匹配点集内同一点与当前组内其余点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
c)遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,判断该最大值是否大于预设值;
若是,则将该最大值存储为备选值,继续利用关键点集内下一组点计算特征数,直到遍历到最后一组,将各备选值中的最大值,记为匹配值并将其存储;
若否,则当前模板图像匹配失败,继续对下一张模板图像进行步骤a)~c)。
4.如权利要求2或3所述基于梯度信息的模板匹配方法,其特征在于:根据待匹配图像采集情况,设置旋转角度的变化范围(θminmax)和旋转步长θstep;缩放变化范围(αminmax)和缩放步长αstep;对模板图像进行旋转和缩放;θstep<10°;0.2≤αmin<1、1≤αmax<5、αstep≤0.5。
5.如权利要求1~3中任一项所述基于梯度信息的模板匹配方法,其特征在于:筛选部分模板边缘点记为关键点集的方式为:
遍历模板图像中每个模板边缘点,若当前遍历到的模板边缘点在所处的八邻域内,幅度值均大于其他模板边缘点,或,当前遍历到的模板边缘点的幅度值大于与其相邻的上下左右各模板边缘点的幅度信息,则将该模板边缘点记为关键点,存储在关键点集中。
6.如权利要求1~3中任一项所述基于梯度信息的模板匹配方法,其特征在于:在进行步骤1)之前,先对模板图像和待匹配图像进行预处理,所述预处理包括:高斯滤波平滑图像边缘、剔除图像中的噪声。
7.如权利要求1~3中任一项所述基于梯度信息的模板匹配方法,其特征在于:以待匹配点集内单个点为中心点,确定邻域的方式为:以待匹配点集内单个点为中心点的八邻域。
8.如权利要求1~3中任一项所述基于梯度信息的模板匹配方法,其特征在于:提取边缘梯度采用Sobel算子。
9.一种基于梯度信息的模板匹配方法,其特征在于,包括以下步骤:
1)提取待匹配图像的边缘梯度信息,得到待匹配图像中各个边缘点的幅度值和梯度方向;
将具体边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
将所有待匹配图像中边缘点所组成的集合记为待匹配点集;
以待匹配点集内单个点为中心点,确定邻域,将中心点所对应的近似梯度方向分别复制到其邻域内其他点上;遍历待匹配点集内所有点;
将所述待匹配点集内的单个点所对应的原有近似梯度方向和复制来的近似梯度方向组成的集合记为集合A;
2)令θi=i·angleStep,i取值为[0,360°/angleStep)内的整数;
计算同一θi与待匹配点集内某一点所对应的集合A中各个近似梯度方向的余弦相似度值,将余弦相似度最大值标记为分数值;调整i的取值,采用相同方法获取其他θi与待匹配点集内同一点的分数值,列表记录;
遍历待匹配点集中各点,依次获取各θi与待匹配点集内不同点的分数值,列表记录为分数表;
3)对模板图像进行旋转和/或缩放;得到多张模板图像,对每张模板图像均进行以下处理,得到每张模板图像对应的匹配值;
提取单张模板图像的边缘梯度信息,得到模板图像中各个模板边缘点的幅度值和梯度方向;将全部模板边缘点或筛选出的部分模板边缘点记为此张模板图像的关键点集;
将关键点集中的各关键边缘点的梯度方向利用如下公式转换为近似梯度方向;
近似梯度方向=round(梯度方向/angleStep)angleStep
其中:round(梯度方向/angleStep)表示四舍五入到最接近的整数,angleStep为预设的角度步长且其能整除360°;
令θi=关键点集中具体点的近似梯度方向,查找所述分数表,得出待匹配点集内同一点与关键点集内各点的分数值;将所有分数值加和、求取平均值,记为该待匹配点集内具体点的特征数;
遍历待匹配点集内所有点,得到各点所对应的特征数,取最大值,标记为匹配值,判断所述匹配值是否大于预设值,若否,则匹配失败;若是,则将该匹配值进行存储;
4)将所有被存储的匹配值排序,取最大值所对应的待匹配点集内具体点作为匹配结果、其对应的模板图像的旋转角度和/或缩放比例记为待匹配图像的旋转角度和/或缩放比例。
CN201911211930.0A 2019-12-02 2019-12-02 基于梯度信息的模板匹配方法 Active CN111079803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211930.0A CN111079803B (zh) 2019-12-02 2019-12-02 基于梯度信息的模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211930.0A CN111079803B (zh) 2019-12-02 2019-12-02 基于梯度信息的模板匹配方法

Publications (2)

Publication Number Publication Date
CN111079803A CN111079803A (zh) 2020-04-28
CN111079803B true CN111079803B (zh) 2023-04-07

Family

ID=70312338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211930.0A Active CN111079803B (zh) 2019-12-02 2019-12-02 基于梯度信息的模板匹配方法

Country Status (1)

Country Link
CN (1) CN111079803B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920049B (zh) * 2020-06-24 2024-03-22 中国科学院沈阳自动化研究所 一种基于少量正样本融合的模板匹配方法
CN112085033B (zh) * 2020-08-19 2024-04-09 浙江华睿科技股份有限公司 一种模板匹配方法、装置、电子设备及存储介质
CN112308121B (zh) * 2020-10-16 2022-06-14 易思维(杭州)科技有限公司 一种模板图像边缘点优化方法
CN113033640B (zh) * 2021-03-16 2023-08-15 深圳棱镜空间智能科技有限公司 模板匹配方法、装置、设备及计算机可读存储介质
CN113409372B (zh) * 2021-06-25 2023-03-24 浙江商汤科技开发有限公司 图像配准方法及相关装置、设备和存储介质
CN114240984B (zh) * 2021-12-22 2024-05-31 易思维(杭州)科技股份有限公司 一种圆形标志点边缘提取方法及其应用
CN114693948A (zh) * 2022-02-21 2022-07-01 北京市农林科学院智能装备技术研究中心 农业机器人作业目标图像的形态描述方法及系统
CN114913351A (zh) * 2022-04-28 2022-08-16 东声(苏州)智能科技有限公司 图像多模板匹配方法、存储介质和计算机
CN117115487B (zh) * 2023-10-23 2024-03-08 睿励科学仪器(上海)有限公司 模板匹配方法、模板匹配系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679702A (zh) * 2013-11-20 2014-03-26 华中科技大学 一种基于图像边缘矢量的匹配方法
CN104268872A (zh) * 2014-09-25 2015-01-07 北京航空航天大学 基于一致性的边缘检测方法
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN106548147A (zh) * 2016-11-02 2017-03-29 南京鑫和汇通电子科技有限公司 一种快速的噪声鲁棒性图像异物检测方法及teds系统
CN106815553A (zh) * 2016-12-13 2017-06-09 华中科技大学 一种基于边缘匹配的红外前视图像舰船检测方法
CN108734180A (zh) * 2018-05-22 2018-11-02 东南大学 一种基于计算方式优化的sift特征点梯度生成方法
CN110472674A (zh) * 2019-07-31 2019-11-19 苏州中科全象智能科技有限公司 一种基于边缘和梯度特征的模板匹配算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116823B2 (en) * 2002-07-10 2006-10-03 Northrop Grumman Corporation System and method for analyzing a contour of an image by applying a Sobel operator thereto
US20120082385A1 (en) * 2010-09-30 2012-04-05 Sharp Laboratories Of America, Inc. Edge based template matching
US8867844B2 (en) * 2012-02-01 2014-10-21 Sharp Laboratories Of America, Inc. Edge based template matching

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679702A (zh) * 2013-11-20 2014-03-26 华中科技大学 一种基于图像边缘矢量的匹配方法
CN104268872A (zh) * 2014-09-25 2015-01-07 北京航空航天大学 基于一致性的边缘检测方法
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN106548147A (zh) * 2016-11-02 2017-03-29 南京鑫和汇通电子科技有限公司 一种快速的噪声鲁棒性图像异物检测方法及teds系统
CN106815553A (zh) * 2016-12-13 2017-06-09 华中科技大学 一种基于边缘匹配的红外前视图像舰船检测方法
CN108734180A (zh) * 2018-05-22 2018-11-02 东南大学 一种基于计算方式优化的sift特征点梯度生成方法
CN110472674A (zh) * 2019-07-31 2019-11-19 苏州中科全象智能科技有限公司 一种基于边缘和梯度特征的模板匹配算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴晓军 ; 邹广华 ; .基于边缘几何特征的高性能模板匹配算法.仪器仪表学报.2013,第34卷(第07期),第23-30页. *

Also Published As

Publication number Publication date
CN111079803A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111079803B (zh) 基于梯度信息的模板匹配方法
CN111079802B (zh) 一种基于梯度信息的匹配方法
CN105205781B (zh) 输电线路航拍图像拼接方法
CN105354866B (zh) 一种多边形轮廓相似度检测方法
CN109949227A (zh) 图像拼接方法、系统及电子设备
CN108010045A (zh) 基于orb的视觉图像特征点误匹配提纯方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN104134208B (zh) 利用几何结构特征从粗到精的红外与可见光图像配准方法
CN102122359B (zh) 一种图像配准方法及装置
JP2009086926A (ja) 画像認識方法および装置
CN116664559A (zh) 基于机器视觉的内存条损伤快速检测方法
CN110827189B (zh) 一种数字图像或视频的水印去除方法及系统
CN110728326A (zh) 一种带旋转的边缘模板匹配方法
JP4993615B2 (ja) 画像認識方法および装置
Wang et al. Automatic fundus images mosaic based on SIFT feature
CN105184225A (zh) 一种多国纸币图像识别方法和装置
Warif et al. CMF-iteMS: An automatic threshold selection for detection of copy-move forgery
CN109345514A (zh) 一种基于PatchMatch的数字图像盲取证技术
CN113095385A (zh) 一种基于全局和局部特征描述的多模图像匹配方法
CN109977910B (zh) 基于彩色线段的票据快速定位方法及其系统
CN114972453A (zh) 改进的基于lsd与模板匹配的sar图像区域配准方法
CN113011498B (zh) 基于彩色图像的特征点提取与匹配方法、系统及介质
Nayef et al. On the use of geometric matching for both: Isolated symbol recognition and symbol spotting
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN113658080B (zh) 一种基于特征点匹配的线扫圆柱体几何校正方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee after: Yi Si Si (Hangzhou) Technology Co.,Ltd.

Address before: Room 495, building 3, 1197 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province 310051

Patentee before: ISVISION (HANGZHOU) TECHNOLOGY Co.,Ltd.