CN105447864B - 图像的处理方法、装置及终端 - Google Patents
图像的处理方法、装置及终端 Download PDFInfo
- Publication number
- CN105447864B CN105447864B CN201510812499.0A CN201510812499A CN105447864B CN 105447864 B CN105447864 B CN 105447864B CN 201510812499 A CN201510812499 A CN 201510812499A CN 105447864 B CN105447864 B CN 105447864B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- scale
- similarity
- fisrt feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 2
- 239000010931 gold Substances 0.000 claims 2
- 229910052737 gold Inorganic materials 0.000 claims 2
- 238000000151 deposition Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000854350 Enicospilus group Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
本公开是关于图像的处理方法、装置及终端，该方法包括：对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；基于所述匹配点对所述两幅图像进行拼接和融合处理。应用本公开实施例，实现了对公路路面上裂缝、凹槽等微小破损处的有效检测，准确度高，实时性好，便于对破损路面制定修复策略。
Description
技术领域
本公开涉及图像检测技术领域，尤其涉及一种图像的处理方法、装置及终端。
背景技术
在公路路面破损检测项目中，通常采用双目视觉机器人进行图像的拍摄，并基于GPS(Global Positioning System，全球定位系统)定位技术，将拍摄到的两幅图像进行拼接。但是由于GPS定位本身存在误差，因而所拼接的图像的准确度也受到影响。
发明内容
为克服相关技术中存在的问题，本公开提供了图像的处理方法、装置及终端。
根据本公开实施例的第一方面，提供一种图像的处理方法，包括：
对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
基于所述匹配点对所述两幅图像进行拼接和融合处理。
可选的，所述对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，包括：
采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对所述第二图像进行尺度变换，得到第二空间表示序列。
可选的，所述基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点，包括：
对于每一尺度的所述第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的所述第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
将各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
所述基于对应同一尺度的所述特征点的相似度，将每一尺度的特征点分别聚类到不同的簇，包括：
将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组；
对于各所述第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，对于各所述第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与所述第二预设中心点之间的第二相似度；
基于所述第一相似度将各尺度的第一特征点分为多个第一簇，各所述第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于所述第二相似度将各尺度的第二特征点分为多个第二簇，各所述第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
可选的，所述将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组，包括：
对于同一尺度的第一特征点，计算各所述第一特征点之间的第一距离，对于同一尺度的第二特征点，计算各所述第二特征点之间的第二距离；
将所述第一距离不超过设定距离阈值的第一特征点分到同一第一组，将所述第二距离不超过设定距离阈值的第二特征点分到同一第二组。
可选的，所述计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，包括：
分别读取所述其他第一特征点及所述第一预设中心点的像素值，并计算各所述其他第一特征点与所述第一预设中心点的第一像素值差值；
分别读取所述其他第一特征点与所述第一预设中心点的坐标，并计算各所述其他第一特征点与所述第一预设中心点的第一距离；
基于所述第一像素值差值及所述第一距离确定所述其他第一特征点与所述第一预设中心点之间的第一相似度；
所述计算同一第二组中的各其他第二特征点与所述第二预设中心点的第二相似度，包括：
分别读取所述其他第二特征点及所述第二预设中心点的像素值，并计算各所述其他第二特征点与所述第二预设中心点的第二像素值差值；
分别读取所述其他第二特征点与所述第二预设中心点的坐标，并计算各所述其他第二特征点与所述第二预设中心点的第二距离；
基于所述第二像素值差值及所述第二距离确定所述其他第二特征点与所述第二预设中心点之间的第二相似度。
可选的，所述方法还包括：
如果所述第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与所述第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点；
如果所述第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与所述第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
可选的，所述基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点，包括：
从位于所述第一图像中的与第二图像重叠的区域中选择至少两个第一簇，从各所述第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口；
确定与各所述第一簇对应的各第二簇，基于所述第二簇中的各第二特征点分别确定第二相关窗口；
计算各所述第一相关窗口与各对应的所述第二相关窗口的相关系数；
将相关系数最大的第二相关窗口对应的第二特征点确定为第一特征点的第一匹配点。
可选的，所述基于所述匹配点对所述两幅图像进行拼接和融合处理，包括：
将距离拼接方向最近的两个所述第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个所述第二匹配点确定为第二最终匹配点；
基于所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接；
对拼接之后的图像进行融合处理。
可选的，所述基于所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接，包括：
以所述第一图像和所述第二图像中的任一个作为基准图像，基于所述第一最终匹配点的连线和所述第二最终匹配点的连线，确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵；
基于所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
可选的，所述对拼接之后的图像进行融合处理，包括：
确定所述重叠部分在所述拼接之后的图像中的权重；
基于所述权重对所述拼接之后的图像进行融合处理。
可选的，所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
根据本公开实施例的第二方面，提供一种图像的处理装置，包括：
变换模块，被配置为对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
提取模块，被配置为基于所述变换模块得到的两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
聚类模块，被配置为基于对应同一尺度的所述提取模块提取的特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
确定模块，被配置为基于所述聚类模块得到的所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
拼接模块，被配置为基于所述确定模块确定的匹配点对所述两幅图像进行拼接和融合处理。
可选的，所述变换模块包括：
变换子模块，被配置为采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对所述第二图像进行尺度变换，得到第二空间表示序列。
可选的，所述提取模块包括：
划分子模块，被配置为对于每一尺度的所述第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的所述第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
确定子模块，被配置为将所述划分子模块划分到的各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
所述聚类模块包括：
分组子模块，被配置为将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组；
相似度计算子模块，被配置为对于各所述分组子模块所分的第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，对于各所述第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与所述第二预设中心点之间的第二相似度；
分簇子模块，被配置为基于所述相似度计算子模块计算的所述第一相似度将各尺度的第一特征点分为多个第一簇，各所述第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于所述第二相似度将各尺度的第二特征点分为多个第二簇，各所述第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
可选的，所述分组子模块包括：
第一距离计算单元，被配置为对于同一尺度的第一特征点，计算各所述第一特征点之间的第一距离，对于同一尺度的第二特征点，计算各所述第二特征点之间的第二距离；
第一分组单元，被配置为将所述第一距离计算单元计算的所述第一距离不超过设定距离阈值的第一特征点分到同一第一组，将所述第二距离不超过设定距离阈值的第二特征点分到同一第二组。
可选的，所述相似度计算子模块包括：
像素值差值计算单元，被配置为分别读取所述其他第一特征点及所述第一预设中心点的像素值，并计算各所述其他第一特征点与所述第一预设中心点的第一像素值差值；还被配置为分别读取所述其他第二特征点及所述第二预设中心点的像素值，并计算各所述其他第二特征点与所述第二预设中心点的第二像素值差值；
第二距离计算单元，被配置为分别读取所述其他第一特征点与所述第一预设中心点的坐标，并计算各所述其他第一特征点与所述第一预设中心点的第一距离；还被配置为分别读取所述其他第二特征点与所述第二预设中心点的坐标，并计算各所述其他第二特征点与所述第二预设中心点的第二距离；
相似度计算单元，被配置为基于所述像素值差值计算单元计算的第一像素值差值及所述第二距离计算单元计算的第一距离确定所述其他第一特征点与所述第一预设中心点之间的第一相似度；还被配置为基于所述像素值差值计算单元计算的第二像素值差值及所述第二距离计算单元计算的所述第二距离确定所述其他第二特征点与所述第二预设中心点之间的第二相似度。
可选的，所述聚类模块还包括：
选择子模块，被配置为如果所述第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与所述第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点；还被配置为如果所述第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与所述第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
可选的，所述确定模块包括：
第一窗口确定子模块，被配置为从位于所述第一图像中的与第二图像重叠的区域中选择至少两个第一簇，从各所述第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口；
第二窗口确定子模块，被配置为确定与各所述第一簇对应的各第二簇，基于所述第二簇中的各第二特征点分别确定第二相关窗口
计算子模块，被配置为计算所述第一窗口确定子模块确定的各所述第一相关窗口与各对应的所述第二相关窗口的相关系数；
匹配点确定子模块，被配置为将相关系数最大的第二相关窗口对应的第二特征点确定为第一特征点的第一匹配点。
可选的，所述拼接模块包括：
最终匹配点确定子模块，被配置为将距离拼接方向最近的两个所述第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个所述第二匹配点确定为第二最终匹配点；
拼接子模块，被配置为基于所述最终匹配点确定子模块确定的所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接；
融合子模块，被配置为对所述拼接子模块拼接之后的图像进行融合处理。
可选的，所述拼接子模块包括：
拼接确定单元，被配置为以所述第一图像和所述第二图像中的任一个作为基准图像，基于所述第一最终匹配点的连线和所述第二最终匹配点的连线，确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵；
拼接单元，被配置为基于所述拼接确定单元确定的旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
可选的，所述融合子模块包括：
权重确定单元，被配置为确定所述重叠部分在所述拼接之后的图像中的权重；
融合单元，被配置为基于所述权重确定单元确定的所述权重对所述拼接之后的图像进行融合处理。
可选的，所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
根据本公开实施例的第三方面，提供一种终端，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：
对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
基于所述匹配点对所述两幅图像进行拼接和融合处理。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开中终端可以对双目机器人采集的两幅图像进行尺度变换，并确定变换后的图像的特征点和匹配点，最后根据匹配点对两幅图像进行拼接和融合处理，从而实现了对公路路面上裂缝、凹槽等微小破损处的有效检测，准确度高，实时性好，便于对破损路面制定修复策略。
本公开中终端可以采用高斯金字塔对两幅图像进行尺度变换，保证特征点的定位精度与检测精确度。
本公开中终端可以基于Harris算法来确定特征点，在提取如裂缝、坑、槽等点的图像配准中，检测效率高，速度快，并且有较高的重复率。终端还可以采用FCM聚类算法对特征点划分簇，易于实现。
本公开中由于公路图像中的特征点比较分散，不够集中，为了确定匹配点，终端可以先将特征点进行分组，有利于后续步骤中确定匹配点。
本公开中终端可以基于特征点之间的像素值差值以及距离大小来确定相似度，为后续确定匹配点提供依据。
本公开中终端还可以在预设中心点不满足条件时，重新选择预设中心点，以便基于相似度为特征点准确划分簇。
本公开中终端可以对两幅图像分别做相关窗口，基于相关窗口的相关系数来确定特征点的匹配点，从而得到精确的匹配点。
本公开中终端可以选择距离拼接方向最近的两个匹配点作为最终匹配点，以提高拼接的准确度，而且终端可以采用加权平均的融合方法对拼接之后的图像进行处理，能够保证拼接处的光滑过渡，从而保证拼接之后的图像的清晰度和准确度。
本公开中终端可以基于匹配点确定实现拼接所需的旋转角度及平移矩阵，从而保证两幅图像能够准确拼接。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种图像的处理方法流程图。
图2是本公开根据一示例性实施例示出的另一种图像的处理方法流程图。
图3是本公开根据一示例性实施例示出的一种图像的处理方法的应用场景示意图。
图4是本公开根据一示例性实施例示出的一种图像的处理装置框图。
图5是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图6是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图7是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图8是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图9是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图10是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图11是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图12是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图13是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图14是本公开根据一示例性实施例示出的一种用于图像的处理装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示，图1是根据一示例性实施例示出的一种图像的处理方法流程图，该方法可以用于终端中，包括以下步骤：
步骤101、对第一图像和第二图像进行尺度变换，得到多尺度下的尺度空间表示序列，该第一图像与第二图像为具有重叠部分的两幅图像。
本公开中的终端可以是任何具有上网功能的智能终端，例如，可以具体为手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)等。其中，终端可以通过无线局域网接入路由器，并通过路由器访问公网上的服务器。
本公开实施例所基于的两幅图像为双目机器人采集的两幅图像，即双目机器人的左目拍摄的左部图像，以及双目机器人的右目拍摄的右部图像。为了减少拼接的工作量，左部图像与右部图像具有一部分重叠，例如可以具有1/3的重叠。本公开实施例中将左部图像称之为第一图像，将右部图像称之为第二图像。
本公开实施例中，主要针对公路图像中的裂缝、凹槽等细小特征进行特征提取，进而实现后续的图像拼接。
步骤102、基于两个空间表示序列中的像素点分别提取特征点，得到分别对应于第一图像和第二图像的每一尺度的特征点。
步骤103、基于对应同一尺度的特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇。
步骤104、基于第一图像和第二图像的簇中的特征点分别确定匹配点。
步骤105、基于匹配点对两幅图像进行拼接和融合处理。
上述实施例中，终端可以对双目机器人采集的两幅图像进行尺度变换，并确定变换后的图像的特征点和匹配点，最后根据匹配点对两幅图像进行拼接和融合处理，从而实现了对公路路面上裂缝、凹槽等微小破损处的有效检测，准确度高，实时性好，便于对破损路面制定修复策略。
如图2所示，图2是根据一示例性实施例示出的另一种图像的处理方法流程图，该方法可以用于终端中，可以包括以下步骤：
步骤201、采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对第二图像进行尺度变换，得到第二空间表示序列。
本公开步骤中，可以采用高斯金字塔对图像进行多尺度变换，由于双目机器人采集的两幅图像不仅存在光照、位置的不同，还存在尺度的不同。实际的两幅图像中的特征点常常出现在不同的尺度范围内，并且每个特征点的尺度信息是未知的，因而有必要对两幅图像进行尺度变换。
具体而言，在高斯金字塔中，各尺度的图像为以设定数目的像素点为间隔提取的像素点组成的图像。例如各尺度的金字塔(即空间表示序列)之间通过以2降采样得到，即如果第一尺度的图像为每隔10个像素点取一个像素点组成的图像，那么第二尺度的图像为每隔20个像素点取一个像素点组成的图像，第三尺度的图像为每隔40个像素点取一个像素点，等。一般可以将一副图像变换为五个尺度的空间表示序列。
通常认为在较大的尺度下能较可靠的消除误检和检测到真正的特征点，但特征点的定位不易准确。相反，在较小尺度下对真正的特征点的定位会比较准确，但误检的比例会增加。本公开实施例通过将多尺度和多分辨率理论相结合，建立多级金字塔，从而实现了多分辨率，保证了定位与检测精确度。
步骤202、对于每一尺度的第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间。
本公开步骤中，采用Harris算法来确定特征点。Harris算法是一种比较有效的点特征提取算法，将其应用到提取如裂缝、坑、槽等点的图像配准中，检测效率高，并且有较高的重复率。
步骤203、将各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点。
具体而言，对于每一尺度的空间表示序列中的像素点，以一定的间隔取像素点，例如以5为步长取像素点。然后对获取的像素点，基于像素值的大小进行排序，然后基于设定的区间个数(例如将该尺度的像素点分成三个区间)或设定的像素值大小(例如基于像素值的大小将该尺度的像素点划分为多个区间)等对像素点进行区间的划分；取第二大的像素值的区间作为阈值，将大于该阈值的像素点确定为特征点。
对各个尺度的第一空间表示序列都进行上述同样的处理，从而得到对应每一尺度的第一特征点。对各个尺度的第二空间表示序列都进行上述同样的处理，从而得到对应每一尺度的第二特征点。
本公开实施例中，采用Harris算法确定特征点的速度比较快，实现了特征点的自动匹配。
步骤204、将各尺度的第一特征点进行分组，得到若干个第一组，将各尺度的第二特征点进行分组，得到若干个第二组。
本公开步骤中，由于公路图像中的特征点比较分散，不够集中，为了确定匹配点，首先将特征点进行分组，然后对分组之后的特征点进行分簇，分组的过程可以包括：
对于同一尺度的第一特征点，计算各第一特征点之间的距离，这里称之为第一距离，然后基于第一距离对第一特征点进行分组，即将第一距离不超过设定距离阈值的第一特征点分到同一第一组。从而对于每一尺度的第一空间序列，都能够得到至少一个第一组。
对第二特征点进行与第一特征点同样的处理，即：对于同一尺度的第二特征点，计算各第二特征点之间的距离，这里称之为第二距离，然后基于第二距离对第二特征点进行分组，即将第二距离不超过设定距离阈值的第二特征点分到同一第二组，从而对于每一尺度的第二空间序列，都能够得到至少一个第二组。
对于每一尺度，可能有多个组。对于与其他像素点都相距较远，超过设定距离阈值的像素点，可能会出现一个像素点即一个组的情况。
其中，设定距离阈值的选取可以例如：对于1024*1024的图像，将该设定距离阈值选择为100。
步骤205、对于各第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与该第一预设中心点的第一相似度；对于各第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与该第二预设中心点之间的第二相似度。
本公开步骤中，相似度可以基于像素值的差值和距离大小来计算，第一相似度的计算过程可以包括：
分别读取其他第一特征点及第一预设中心点的像素值，并计算各其他第一特征点与第一预设中心点的第一像素值差值；分别读取其他第一特征点与第一预设中心点的坐标，并计算各其他第一特征点与该第一预设中心点的第一距离；基于第一像素值差值及第一距离确定其他第一特征点与第一预设中心点之间的第一相似度。
以与第一相似度同样的方式计算第二相似度，可以包括：
分别读取其他第二特征点及第二预设中心点的像素值，并计算各其他第二特征点与第二预设中心点的第二像素值差值；分别读取其他第二特征点与第二预设中心点的坐标，并计算各其他第二特征点与第二预设中心点的第二距离；基于第二像素值差值及第二距离确定其他第二特征点与第二预设中心点之间的第二相似度。
此外，在上述计算相似度的步骤中，如果第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点。
如果第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
举例而言，有一个第一组包含10个特征点，任选点5为第一预设中心点，计算点5与点1-4，以及点6-10的相似度，得到9个相似度，如果点5与点1-4、点6、8、10这7个特征点的相似度都小于设定相似度阈值，由于7的占比约等于77.8％，假设设定比例为60％，则77.8％多于60％，则需要重新选择第一预设中心点，从点1-4、6、8、10这7个特征点中任意选择一个作为第一预设中心点，例如选择点6作为新的第一预设中心点，重新计算点6与该组中的其它点的相似度。
如果预设中心点与多于设定比例的其他特征点的相似度大于设定阈值，则不必重新选择预设中心点。
步骤206、基于第一相似度将各尺度的第一特征点分别分为多个第一簇，各第一簇中的各第一特征点之间的相似度大于设定相似度阈值；基于第二相似度将各尺度的第二特征点分为多个第二簇，各第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
本公开实施例采用模糊C均值(Fuzzy C means，简称FCM)聚类算法来划分簇，FCM聚类算法是一种基于划分的聚类算法，是一种柔性的模糊划分，其思想就是使得被划分到同一簇的各像素点之间的相似度最大，而不同簇的像素点之间的相似度最小。
经过本公开步骤的聚类分簇，各尺度的第一特征点被分到若干个第一簇中，各尺度的第二特征点被分到若干第二簇中。
步骤207、从位于第一图像中的与第二图像重叠的区域的中选择至少两个第一簇，从各第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口。
由于第一图像和第二图像具有重叠区域，对于左目拍摄的第一图像，其右侧为重叠区域，对于右目拍摄的第二图像，其左侧为重叠区域。对于第一图像，从其重叠区域选择任意至少两个第一簇，本公开实施例以选择两个第一簇为例进行说明。对两个第一簇执行下述同样的处理：从第一簇中任选一个第一特征点，以该第一特征点为中心确定第一相关窗口。
步骤208、确定与各第一簇对应的各第二簇，基于第二簇中的各第二特征点分别确定第二相关窗口。
在第二图像的重叠区域中，确定与第一簇对应的第二簇，并以第二簇中的各个第二特征点为中心，建立多个第二相关窗口。步骤209、计算各第一相关窗口与对应的各第二相关窗口的相关系数。
步骤210、将相关系数最大的第二相关窗口对应的第二特征点确定为第一特征点的第一匹配点。
通过上述方式，通过在两个第一簇中分别选择一个第一特征点，能够得到两组匹配点。
举例而言，在第一图像的重叠区域中选择第一簇11和第一簇12。对于第一簇11，第一簇11中有3个第一特征点，点111、点112和点113，任选点112为中心做第一相关窗口112。然后在第二图像的重叠区域确定与第一簇11对应的第二簇21，第二簇21中有4个第二特征点，点211、点212、点213和点214，以点211为中心做第二相关窗口211，以点212为中心做第二相关窗口212，以点213为中心做第二相关窗口213，并以点214为中心做第二相关窗口214。
对于第一簇12，第一簇12中有5个第一特征点，点121、点122、点123、点124和点125，任选点125为中心做第一相关窗口125。然后在第二图像的重叠区域确定与第一簇12对应的第二簇22，第二簇22中有2个第二特征点，点221和点222，以点221为中心做第二相关窗口221，以点222为中心做第二相关窗口222。
然后，对于第一簇11，计算第一相关窗口112分别与第二相关窗口211，第二相关窗口212，第二相关窗口213，以及第二相关窗口214的相关系数，得到四个相关系数。假设与第二相关窗口213的相关系数最大，则确定第一特征点112的匹配点为第二特征点213。
对于第一簇12，计算第一相关窗口125分别与第二相关窗口221和第二相关窗口222的相关系数，得到两个相关系数。假设与第二相关窗口222的相关系数最大，则确定第一特征点125的匹配点为第二特征点222。
步骤211、将距离拼接方向最近的两个第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个第二匹配点确定为第二最终匹配点。
需要说明的是，在上述步骤210中，以确定两个匹配点为例进行了说明，如果确定了多个匹配点，那么按照本公开步骤中的原则来确定两个最终匹配点。
图像拼接指的是将两幅图像中的数据统一到同一坐标下。这里的拼接方向可以理解为，对于第一图像(左目图像)，其拼接方向是右侧方向，对于第二图像(右目图像)，其拼接方向是左侧方向。
步骤212、基于第一最终匹配点与第二最终匹配点的位置关系，对两幅图像进行拼接。
在一种公开方式中，该步骤可以包括：
以第一图像和第二图像中的任一个作为基准图像，以第一图像和第二图像中的另一个作为移动图像，基于第一匹配点的连线和第二匹配点的连线，确定移动图像与基准图像实现拼接所需的旋转角度及平移矩阵。
基于旋转角度及平移矩阵对第一图像和第二图像进行拼接。
设f1为待拼接的第一图像，f2为第二图像，f1中的极值点A和f2中的极值点B相对应，则几何关系的变化可表示为：
f2＝f1*shift1*rot*shift2
其中，rot表示第二图像f2相对于第一图像f1的旋转角度，shift1为将点B移动到第二图像f2坐标系原点的平移矩阵，shift2表示将第二图像f2坐标原点移动到点A的平移矩阵。
如果计算出的极值点有多个，那么将距离拼接处最近的两个极值点作为匹配点。
步骤213、对拼接之后的图像进行融合处理。
当找到匹配点后，下一步工作将是把两幅图像合成一幅图像。对于重叠部分，若只是简单的取第一幅图像或第二幅图像的数据，会造成图像的模糊和明显的连接痕迹；即使取两幅图像的平均值，图像的清晰度也比较低。为了能使拼接区域平滑，本公开实施例采用了渐入渐出的方法，即在重叠部分由第一幅图像慢慢过渡到第二幅图像。在一种公开方式中，该步骤可以通过加权平均的融合方法来实现，包括以下步骤：
确定重叠部分在拼接之后的图像中的权重，基于权重对拼接之后的图像进行融合处理。
本公开实施例中采用加权平均的融合方法对拼接之后的图像进行融合处理。设第一图像为f1，第二图像为f2，将第一图像f1和第二图像f2在空间进行叠加，叠加后的图像的像素f可表示为：
其中，d1和d2分别表示第一图像及第二图像的权重值，d1和d2与重叠区域的宽度有关，且d1+d2＝1，0<d1,d2<1，在重叠区域中，d1由1渐变到0，d2由0渐变到1。
上述实施例中，终端可以采用加权平均的融合方法对拼接之后的图像进行处理，能够保证拼接处的光滑过渡，从而保证拼接之后的图像的清晰度和准确度。
如图3所示，图3是本公开根据一示例性实施例示出的一种图像的处理应用场景示意图。在图3所示的场景中，包括：作为终端的智能手机。
智能手机上显示有双目机器人的左目拍摄的第一图像f1和双目机器人的右目拍摄的第二图像f2，f1和f2具有部分重叠。智能手机首先基于高斯金字塔对f1进行尺度变换，得到多尺度下的第一空间表示序列，基于高斯金字塔对f2进行尺度变换，得到多尺度下的第二空间表示序列。然后终端基于各个尺度的第一空间表示序列中的像素点的像素值大小确定第一特征点，基于各个尺度的第二空间表示序列中的像素点的像素值大小确定第二特征点。然后终端基于各尺度的第一特征点之间的距离将各尺度的第一特征点进行分组，并通过FCM算法，基于各组中的第一特征点之间的相似度将第一特征点进行分簇，得到若干个第一簇，还基于各尺度的第二特征点之间的距离将各尺度的第二特征点进行分组，并基于各组中的第二特征点之间的相似度将第二特征点进行分簇，得到若干个第二簇。然后终端从f1的重叠区域中的第一簇中任选一个第一特征点，以该第一特征点为中心做第一相关窗口，并从f2的重叠区域中的选择与第一簇相对应的第二簇，以第二簇中的每个第二特征点为中心分别做第二相关窗口，计算第一相关窗口与各第二相关窗口的相关系数，将相关系数最大的第二相关窗口对应的第二特征点作为选择的第一特征点的匹配点，以同样的方式，可以得到两组匹配点。最后智能手机基于计算出的极值点对f1和f2进行拼接和融合处理。
在图3所示应用场景中，实现图像的处理的具体过程可以参见前述对图1-2中的描述，在此不再赘述。
与前述图像的处理方法实施例相对应，本公开还提供了图像的处理装置及其所应用的终端的实施例。
如图4所示，图4是本公开根据一示例性实施例示出的一种图像的处理装置框图，该装置可以包括：变换模块410、提取模块420、聚类模块430、确定模块440和拼接模块450。
变换模块410，被配置为对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，该第一图像与第二图像为具有重叠部分的两幅图像；
提取模块420，被配置为基于变换模块410得到的两个空间表示序列中的像素点分别提取特征点，得到分别对应于第一图像和第二图像的每一尺度的特征点；
聚类模块430，被配置为基于对应同一尺度的提取模块420提取的特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
确定模块440，被配置为基于聚类模块430得到的第一图像和第二图像的簇中的特征点分别确定匹配点；
拼接模块450，被配置为基于确定模块440确定的匹配点对两幅图像进行拼接和融合处理。
上述实施例中，终端可以对双目机器人采集的两幅图像进行尺度变换，并确定变换后的图像的特征点和匹配点，最后根据匹配点对两幅图像进行拼接和融合处理，从而实现了对公路路面上裂缝、凹槽等微小破损处的有效检测，准确度高，实时性好，便于对破损路面制定修复策略。
如图5所示，图5是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图4所示实施例的基础上，变换模块410可以包括：变换子模块411。
变换子模块411，被配置为采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对第二图像进行尺度变换，得到第二空间表示序列。
上述实施例中，终端可以采用高斯金字塔对两幅图像进行尺度变换，保证特征点的定位精度与检测精确度。
如图6所示，图6是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图5所示实施例的基础上，提取模块420可以包括：划分子模块421和确定子模块422。
划分子模块421，被配置为对于每一尺度的第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
确定子模块422，被配置为将划分子模块421划分到的各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
聚类模块430可以包括：分组子模块431、相似度计算子模块432和分簇子模块433。
分组子模块431，被配置为将各尺度的第一特征点进行分组，得到若干个第一组，将各尺度的第二特征点进行分组，得到若干个第二组；
相似度计算子模块432，被配置为对于各分组子模块431所分的第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与第一预设中心点的第一相似度，对于各第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与第二预设中心点之间的第二相似度；
分簇子模块433，被配置为基于相似度计算子模块432计算的第一相似度将各尺度的第一特征点分为多个第一簇，各第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于第二相似度将各尺度的第二特征点分为多个第二簇，各第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
上述实施例中，终端可以基于Harris算法来确定特征点，在提取如裂缝、坑、槽等点的图像配准中，检测效率高，速度快，并且有较高的重复率。终端还可以采用FCM聚类算法对特征点划分簇，易于实现。
如图7所示，图7是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图6所示实施例的基础上，分组子模块431可以包括：第一距离计算单元434和第一分组单元435。
第一距离计算单元434，被配置为对于同一尺度的第一特征点，计算各第一特征点之间的第一距离，对于同一尺度的第二特征点，计算各第二特征点之间的第二距离；
第一分组单元435，被配置为将第一距离计算单元434计算的第一距离不超过设定距离阈值的第一特征点分到同一第一组，将第二距离不超过设定距离阈值的第二特征点分到同一第二组。
上述实施例中，由于公路图像中的特征点比较分散，不够集中，为了确定匹配点，终端可以先将特征点进行分组，有利于后续步骤中确定匹配点。
如图8所示，图8是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图4所示实施例的基础上，相似度计算子模块432可以包括：像素值差值计算单元436、第二距离计算单元437和相似度计算单元438。
像素值差值计算单元436，被配置为分别读取其他第一特征点及第一预设中心点的像素值，并计算各其他第一特征点与第一预设中心点的第一像素值差值；还被配置为分别读取其他第二特征点及第二预设中心点的像素值，并计算各其他第二特征点与第二预设中心点的第二像素值差值；
第二距离计算单元437，被配置为分别读取其他第一特征点与第一预设中心点的坐标，并计算各其他第一特征点与第一预设中心点的第一距离；还被配置为分别读取其他第二特征点与第二预设中心点的坐标，并计算各其他第二特征点与第二预设中心点的第二距离；
相似度计算单元438，被配置为基于像素值差值计算单元436计算的第一像素值差值及第二距离计算单元437计算的第一距离确定其他第一特征点与第一预设中心点之间的第一相似度；还被配置为基于像素值差值计算单元436计算的第二像素值差值及第二距离计算单元437计算的第二距离确定其他第二特征点与第二预设中心点之间的第二相似度。
上述实施例中，终端可以基于特征点之间的像素值差值以及距离大小来确定相似度，为后续确定匹配点提供依据。
如图9所示，图9是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图6所示实施例的基础上，聚类模块430还可以包括：选择子模块439。
选择子模块439，被配置为如果第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点；还被配置为如果第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
上述实施例中，终端还可以在预设中心点不满足条件时，重新选择预设中心点，以便基于相似度为特征点准确划分簇。
如图10所示，图10是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图6所示实施例的基础上，确定模块440可以包括：第一窗口确定子模块441、第二窗口确定子模块442、计算子模块443和匹配点确定子模块444。
第一窗口确定子模块441，被配置为从位于第一图像中的与第二图像重叠的区域中选择至少两个第一簇，从各第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口；
第二窗口确定子模块442，被配置为确定与各第一簇对应的各第二簇，基于第二簇中的各第二特征点分别确定第二相关窗口
计算子模块443，被配置为计算第一窗口确定子模块441确定的各第一相关窗口与各对应的第二窗口确定子模块442确定的第二相关窗口的相关系数；
匹配点确定子模块444，被配置为将计算子模块443计算出的相关系数最大的第二相关窗口对应的第二特征点确定为第一特征点的第一匹配点。
上述实施例中，终端可以对两幅图像分别做相关窗口，基于相关窗口的相关系数来确定特征点的匹配点，从而得到精确的匹配点。
如图11所示，图11是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图10所示实施例的基础上，拼接模块450可以包括：最终匹配点确定子模块451、拼接子模块452和融合子模块453。
最终匹配点确定子模块451，被配置为将距离拼接方向最近的两个第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个第二匹配点确定为第二最终匹配点；
拼接子模块452，被配置为基于最终匹配点确定子模块451确定的第一最终匹配点与第二最终匹配点的位置关系，对两幅图像进行拼接；
融合子模块453，被配置为对拼接子模块452拼接之后的图像进行融合处理。
上述实施例中，终端可以选择距离拼接方向最近的两个匹配点作为最终匹配点，以提高拼接的准确度，而且终端可以采用加权平均的融合方法对拼接之后的图像进行处理，能够保证拼接处的光滑过渡，从而保证拼接之后的图像的清晰度和准确度。
如图12所示，图12是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图11所示实施例的基础上，拼接子模块452可以包括：拼接确定单元454和拼接单元455。
拼接确定单元454，被配置为以第一图像和第二图像中的任一个作为基准图像，基于第一最终匹配点的连线和第二最终匹配点的连线，确定第一图像和第二图像中的另一个与基准图像实现拼接所需的旋转角度及平移矩阵；
拼接单元455，被配置为基于拼接确定单元454确定的旋转角度及平移矩阵对第一图像和第二图像进行拼接。
上述实施例中，终端可以基于匹配点确定实现拼接所需的旋转角度及平移矩阵，从而保证两幅图像能够准确拼接。
如图13所示，图13是本公开根据一示例性实施例示出的另一种图像的处理装置框图，该实施例在前述图11所示实施例的基础上，融合子模块453可以包括：权重确定单元456和融合单元457。
权重确定单元456，被配置为确定重叠部分在拼接之后的图像中的权重；
融合单元457，被配置为基于权重确定单元456确定的权重对拼接之后的图像进行融合处理。
在上述实施例中，第一图像和第二图像分别为双目机器人的左目和右目所拍摄的图像。
上述图4至图13示出的图像的处理装置实施例可以应用在终端中。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
与图4相应的，本公开还提供一种终端，该终端可以包括有处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：
对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
基于所述匹配点对所述两幅图像进行拼接和融合处理。
如图14所示，图14是本公开根据一示例性实施例示出的一种用于图像的处理装置1400的一结构示意图(终端侧)。例如，装置1400可以是具有路由功能的移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图14，装置1400可以包括以下一个或多个组件：处理组件1402，存储器1404，电源组件1406，多媒体组件1408，音频组件1410，输入/输出(I/O)的接口1412，传感器组件1414，以及通信组件1416。
处理组件1402通常控制装置1400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1402可以包括一个或多个处理器1420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1402可以包括一个或多个模块，便于处理组件1402和其他组件之间的交互。例如，处理组件1402可以包括多媒体模块，以方便多媒体组件1408和处理组件1402之间的交互。
存储器1404被配置为存储各种类型的数据以支持在装置1400的操作。这些数据的示例包括用于在装置1400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1406为装置1400的各种组件提供电力。电源组件1406可以包括电源管理系统，一个或多个电源，及其他与为装置1400生成、管理和分配电力相关联的组件。
多媒体组件1408包括在所述装置1400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1408包括一个前置摄像头和/或后置摄像头。当装置1400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1410被配置为输出和/或输入音频信号。例如，音频组件1410包括一个麦克风(MIC)，当装置1400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中，音频组件1410还包括一个扬声器，用于输出音频信号。
I/O接口1412为处理组件1402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1414包括一个或多个传感器，用于为装置1400提供各个方面的状态评估。例如，传感器组件1414可以检测到装置1400的打开/关闭状态，组件的相对定位，例如所述组件为装置1400的显示器和小键盘，传感器组件1414还可以检测装置1400或装置1400一个组件的位置改变，用户与装置1400接触的存在或不存在，装置1400方位或加速/减速和装置1400的温度变化。传感器组件1414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器，微波传感器或温度传感器。
通信组件1416被配置为便于装置1400和其他设备之间有线或无线方式的通信。装置1400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1404，上述指令可由装置1400的处理器1420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (19)
1.一种图像的处理方法，其特征在于，包括：
对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
基于所述匹配点对所述两幅图像进行拼接和融合处理；
所述对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，包括：
采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对所述第二图像进行尺度变换，得到第二空间表示序列；
所述基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点，包括：
对于每一尺度的所述第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的所述第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
将各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
所述基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇，包括：
将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组；
对于各所述第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，对于各所述第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与所述第二预设中心点之间的第二相似度；
基于所述第一相似度将各尺度的第一特征点分为多个第一簇，各所述第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于所述第二相似度将各尺度的第二特征点分为多个第二簇，各所述第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
2.根据权利要求1所述的方法，其特征在于，所述将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组，包括：
对于同一尺度的第一特征点，计算各所述第一特征点之间的第一距离，对于同一尺度的第二特征点，计算各所述第二特征点之间的第二距离；
将所述第一距离不超过设定距离阈值的第一特征点分到同一第一组，将所述第二距离不超过设定距离阈值的第二特征点分到同一第二组。
3.根据权利要求1所述的方法，其特征在于，所述计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，包括：
分别读取所述其他第一特征点及所述第一预设中心点的像素值，并计算各所述其他第一特征点与所述第一预设中心点的第一像素值差值；
分别读取所述其他第一特征点与所述第一预设中心点的坐标，并计算各所述其他第一特征点与所述第一预设中心点的第一距离；
基于所述第一像素值差值及所述第一距离确定所述其他第一特征点与所述第一预设中心点之间的第一相似度；
所述计算同一第二组中的各其他第二特征点与所述第二预设中心点的第二相似度，包括：
分别读取所述其他第二特征点及所述第二预设中心点的像素值，并计算各所述其他第二特征点与所述第二预设中心点的第二像素值差值；
分别读取所述其他第二特征点与所述第二预设中心点的坐标，并计算各所述其他第二特征点与所述第二预设中心点的第二距离；
基于所述第二像素值差值及所述第二距离确定所述其他第二特征点与所述第二预设中心点之间的第二相似度。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
如果所述第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与所述第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点；
如果所述第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与所述第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点，包括：
从位于所述第一图像中的与第二图像重叠的区域中选择至少两个第一簇，从各所述第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口；
确定与各所述第一簇对应的各第二簇，基于所述第二簇中的各第二特征点分别确定第二相关窗口；
计算各所述第一相关窗口与各对应的所述第二相关窗口的相关系数，得到至少两组相关系数；
将各组中相关系数最大的第二相关窗口对应的第二特征点分别确定为第一特征点的至少两个匹配点，所述两个匹配点包括第一匹配点和第二匹配点。
6.根据权利要求5所述的方法，其特征在于，所述基于所述匹配点对所述两幅图像进行拼接和融合处理，包括：
将距离拼接方向最近的两个所述第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个所述第二匹配点确定为第二最终匹配点；
基于所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接；
对拼接之后的图像进行融合处理。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接，包括：
以所述第一图像和所述第二图像中的任一个作为基准图像，基于所述第一最终匹配点的连线和所述第二最终匹配点的连线，确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵；
基于所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
8.根据权利要求6所述的方法，其特征在于，所述对拼接之后的图像进行融合处理，包括：
确定所述重叠部分在所述拼接之后的图像中的权重；
基于所述权重对所述拼接之后的图像进行融合处理。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
10.一种图像的处理装置，其特征在于，包括：
变换模块，被配置为对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
提取模块，被配置为基于所述变换模块得到的两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
聚类模块，被配置为基于对应同一尺度的所述提取模块提取的特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
确定模块，被配置为基于所述聚类模块得到的所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
拼接模块，被配置为基于所述确定模块确定的匹配点对所述两幅图像进行拼接和融合处理；
所述变换模块包括：
变换子模块，被配置为采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对所述第二图像进行尺度变换，得到第二空间表示序列；
所述提取模块包括：
划分子模块，被配置为对于每一尺度的所述第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的所述第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
确定子模块，被配置为将所述划分子模块划分到的各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
所述聚类模块包括：
分组子模块，被配置为将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组；
相似度计算子模块，被配置为对于各所述分组子模块所分的第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，对于各所述第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与所述第二预设中心点之间的第二相似度；
分簇子模块，被配置为基于所述相似度计算子模块计算的所述第一相似度将各尺度的第一特征点分为多个第一簇，各所述第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于所述第二相似度将各尺度的第二特征点分为多个第二簇，各所述第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
11.根据权利要求10所述的装置，其特征在于，所述分组子模块包括：
第一距离计算单元，被配置为对于同一尺度的第一特征点，计算各所述第一特征点之间的第一距离，对于同一尺度的第二特征点，计算各所述第二特征点之间的第二距离；
第一分组单元，被配置为将所述第一距离计算单元计算的所述第一距离不超过设定距离阈值的第一特征点分到同一第一组，将所述第二距离不超过设定距离阈值的第二特征点分到同一第二组。
12.根据权利要求10所述的装置，其特征在于，所述相似度计算子模块包括：
像素值差值计算单元，被配置为分别读取所述其他第一特征点及所述第一预设中心点的像素值，并计算各所述其他第一特征点与所述第一预设中心点的第一像素值差值；还被配置为分别读取所述其他第二特征点及所述第二预设中心点的像素值，并计算各所述其他第二特征点与所述第二预设中心点的第二像素值差值；
第二距离计算单元，被配置为分别读取所述其他第一特征点与所述第一预设中心点的坐标，并计算各所述其他第一特征点与所述第一预设中心点的第一距离；还被配置为分别读取所述其他第二特征点与所述第二预设中心点的坐标，并计算各所述其他第二特征点与所述第二预设中心点的第二距离；
相似度计算单元，被配置为基于所述像素值差值计算单元计算的第一像素值差值及所述第二距离计算单元计算的第一距离确定所述其他第一特征点与所述第一预设中心点之间的第一相似度；还被配置为基于所述像素值差值计算单元计算的第二像素值差值及所述第二距离计算单元计算的所述第二距离确定所述其他第二特征点与所述第二预设中心点之间的第二相似度。
13.根据权利要求10所述的装置，其特征在于，所述聚类模块还包括：
选择子模块，被配置为如果所述第一预设中心点与多于设定比例的其他第一特征点的第一相似度小于设定阈值，则在与所述第一预设中心点的第一相似度小于设定阈值的第一特征点中，重新选择第一预设中心点；还被配置为如果所述第二预设中心点与多于设定比例的其他第二特征点的第二相似度小于设定阈值，则在与所述第二预设中心点的第二相似度小于设定阈值的第二特征点中，重新选择第二预设中心点。
14.根据权利要求10所述的装置，其特征在于，所述确定模块包括：
第一窗口确定子模块，被配置为从位于所述第一图像中的与第二图像重叠的区域中选择至少两个第一簇，从各所述第一簇中分别选择一个第一特征点，基于选择的第一特征点分别确定第一相关窗口；
第二窗口确定子模块，被配置为确定与各所述第一簇对应的各第二簇，基于所述第二簇中的各第二特征点分别确定第二相关窗口；
计算子模块，被配置为计算所述第一窗口确定子模块确定的各所述第一相关窗口与各对应的所述第二相关窗口的相关系数，得到至少两组相关系数；
匹配点确定子模块，被配置为将各组中相关系数最大的第二相关窗口对应的第二特征点分别确定为第一特征点的至少两个匹配点，所述两个匹配点包括第一匹配点和第二匹配点。
15.根据权利要求14所述的装置，其特征在于，所述拼接模块包括：
最终匹配点确定子模块，被配置为将距离拼接方向最近的两个所述第一匹配点确定为第一最终匹配点，并将距离拼接方向最近的两个所述第二匹配点确定为第二最终匹配点；
拼接子模块，被配置为基于所述最终匹配点确定子模块确定的所述第一最终匹配点与所述第二最终匹配点的位置关系，对所述两幅图像进行拼接；
融合子模块，被配置为对所述拼接子模块拼接之后的图像进行融合处理。
16.根据权利要求15所述的装置，其特征在于，所述拼接子模块包括：
拼接确定单元，被配置为以所述第一图像和所述第二图像中的任一个作为基准图像，基于所述第一最终匹配点的连线和所述第二最终匹配点的连线，确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵；
拼接单元，被配置为基于所述拼接确定单元确定的旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
17.根据权利要求15所述的装置，其特征在于，所述融合子模块包括：
权重确定单元，被配置为确定所述重叠部分在所述拼接之后的图像中的权重；
融合单元，被配置为基于所述权重确定单元确定的所述权重对所述拼接之后的图像进行融合处理。
18.根据权利要求10-17任一项所述的装置，其特征在于，所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
19.一种图像的处理终端，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：
对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，所述第一图像与所述第二图像为具有重叠部分的两幅图像；
基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点；
基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇；
基于所述第一图像和所述第二图像的簇中的特征点分别确定匹配点；
基于所述匹配点对所述两幅图像进行拼接和融合处理；
所述对第一图像和第二图像分别进行尺度变换，得到两个多尺度下的空间表示序列，包括：
采用高斯金字塔对第一图像进行尺度变换，得到第一空间表示序列，并且采用高斯金字塔对所述第二图像进行尺度变换，得到第二空间表示序列；
所述基于两个所述空间表示序列中的像素点分别提取特征点，得到分别对应于所述第一图像和所述第二图像的每一尺度的特征点，包括：
对于每一尺度的所述第一空间表示序列中的像素点，按照像素值的大小划分为若干个第一区间，对于每一尺度的所述第二空间表示序列中的像素点，按照像素值的大小划分为若干个第二区间；
将各尺度的像素值最大的第一区间中的像素点确定为对应于该尺度的第一特征点，将各尺度的像素值最大的第二区间中的像素点确定为对应于该尺度的第二特征点；
所述基于对应同一尺度的所述特征点之间的相似度，将每一尺度的特征点分别聚类到不同的簇，包括：
将各尺度的所述第一特征点进行分组，得到若干个第一组，将各尺度的所述第二特征点进行分组，得到若干个第二组；
对于各所述第一组中的第一特征点，任选一个第一特征点作为第一预设中心点，计算同一第一组中的各其他第一特征点与所述第一预设中心点的第一相似度，对于各所述第二组中的第二特征点，任选一个第二特征点作为第二预设中心点，计算同一第二组中的各其他第二特征点与所述第二预设中心点之间的第二相似度；
基于所述第一相似度将各尺度的第一特征点分为多个第一簇，各所述第一簇中的各第一特征点之间的相似度大于设定相似度阈值，基于所述第二相似度将各尺度的第二特征点分为多个第二簇，各所述第二簇中的各第二特征点之间的相似度大于设定相似度阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510812499.0A CN105447864B (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510812499.0A CN105447864B (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105447864A CN105447864A (zh) | 2016-03-30 |
| CN105447864B true CN105447864B (zh) | 2018-07-27 |
Family
ID=55557997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510812499.0A Active CN105447864B (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105447864B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10347002B2 (en) * | 2016-07-01 | 2019-07-09 | Guangdong Virtual Reality Technology Co., Ltd. | Electronic tracking device, electronic tracking system and electronic tracking method |
| CN106548492A (zh) * | 2016-09-30 | 2017-03-29 | 上海联影医疗科技有限公司 | 确定匹配点对的方法及装置、图像获取方法 |
| US10580135B2 (en) | 2016-07-14 | 2020-03-03 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
| CN108664983A (zh) * | 2018-05-21 | 2018-10-16 | 天津科技大学 | 一种尺度与特征强度自适应的surf特征点匹配方法 |
| CN109215004B (zh) * | 2018-07-26 | 2021-11-19 | 努比亚技术有限公司 | 一种图像合成方法、移动终端及计算机可读存储介质 |
| CN109376576A (zh) * | 2018-08-21 | 2019-02-22 | 中国海洋大学 | 基于交替更新密集连通从零训练网络的目标检测方法 |
| CN109523461A (zh) * | 2018-11-09 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 显示目标图像的方法、装置、终端及存储介质 |
| CN110163798B (zh) * | 2019-04-18 | 2020-12-04 | 中国农业大学 | 渔场围网破损检测方法及系统 |
| CN110084851B (zh) * | 2019-04-19 | 2020-12-04 | 湖北亿咖通科技有限公司 | 一种双目点云生成方法及系统 |
| CN110188889A (zh) * | 2019-04-28 | 2019-08-30 | 温州市兴海市政建设有限公司 | 一种基于预防性护养的城市道路路面护养管理系统 |
| CN110223226B (zh) * | 2019-05-07 | 2021-01-15 | 中国农业大学 | 全景图像拼接方法及系统 |
| CN110764049B (zh) * | 2019-10-30 | 2023-05-23 | 北京小米智能科技有限公司 | 信息处理方法、装置、终端及存储介质 |
| CN112001357B (zh) * | 2020-09-07 | 2022-02-11 | 江苏炎颂科技有限公司 | 目标识别检测方法及系统 |
| CN115661584B (zh) * | 2022-11-18 | 2023-04-07 | 浙江莲荷科技有限公司 | 一种模型训练方法、开放域目标检测方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013079776A2 (en) * | 2011-11-30 | 2013-06-06 | Nokia Corporation | Method and apparatus for image stitching |
| CN104408696A (zh) * | 2014-09-16 | 2015-03-11 | 哈尔滨恒誉名翔科技有限公司 | 一种针对侧扫声纳成像特点的图像拼接方法 |
| CN104637041A (zh) * | 2014-12-31 | 2015-05-20 | 浙江理工大学 | 一种基于参照特征的宽幅织物图像获取与拼接方法 |
-
2015
- 2015-11-20 CN CN201510812499.0A patent/CN105447864B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013079776A2 (en) * | 2011-11-30 | 2013-06-06 | Nokia Corporation | Method and apparatus for image stitching |
| CN104408696A (zh) * | 2014-09-16 | 2015-03-11 | 哈尔滨恒誉名翔科技有限公司 | 一种针对侧扫声纳成像特点的图像拼接方法 |
| CN104637041A (zh) * | 2014-12-31 | 2015-05-20 | 浙江理工大学 | 一种基于参照特征的宽幅织物图像获取与拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| The Method of Damaged Pavement Image Splicing Based on Image Pyramid and FCM Clustering;Jie Song;《2008 International Conference on Advanced Computer Theory and Engineering》;20081231;第822-826页 * |
| 基于金字塔和模糊聚类的路面图像拼接方法;宋洁 等;《河北工业大学学报》;20081030;第37卷(第5期);第13-19页 * |
| 孙荣艳.公路图像拼接的算法研究.《万方数据》.2009, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105447864A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447864B (zh) | 图像的处理方法、装置及终端 | |
| US11189037B2 (en) | Repositioning method and apparatus in camera pose tracking process, device, and storage medium | |
| US11244170B2 (en) | Scene segmentation method and device, and storage medium | |
| CN108629747B (zh) | 图像增强方法、装置、电子设备及存储介质 | |
| JP7058760B2 (ja) | 画像処理方法およびその、装置、端末並びにコンピュータプログラム | |
| CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| JP7305249B2 (ja) | 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス | |
| WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN109670397A (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
| CN104111778B (zh) | 图片显示方法和装置 | |
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN105631403A (zh) | 人脸识别方法及装置 | |
| CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN111680697B (zh) | 实现领域自适应的方法、装置、电子设备及介质 | |
| CN111242090A (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
| CN106503682A (zh) | 视频数据中的关键点定位方法及装置 | |
| CN113706576A (zh) | 检测跟踪方法、装置、设备及介质 | |
| CN107133361A (zh) | 手势识别方法、装置和终端设备 | |
| CN114741559A (zh) | 确定视频封面的方法、设备及存储介质 | |
| CN112308103A (zh) | 生成训练样本的方法和装置 | |
| CN111353946A (zh) | 图像修复方法、装置、设备及存储介质 | |
| CN110728167A (zh) | 文本检测方法、装置及计算机可读存储介质 | |
| CN111428551A (zh) | 密度检测方法、密度检测模型训练方法和装置 | |
| CN109934168A (zh) | 人脸图像映射方法及装置 | |
| CN113742430B (zh) | 确定图数据中结点构成三角形结构个数的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |