CN112001848A - 大数据监控系统中的图像识别拼接方法及系统 - Google Patents
大数据监控系统中的图像识别拼接方法及系统 Download PDFInfo
- Publication number
- CN112001848A CN112001848A CN202010925697.9A CN202010925697A CN112001848A CN 112001848 A CN112001848 A CN 112001848A CN 202010925697 A CN202010925697 A CN 202010925697A CN 112001848 A CN112001848 A CN 112001848A
- Authority
- CN
- China
- Prior art keywords
- pixel
- characteristic
- point
- pixel point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012544 monitoring process Methods 0.000 title claims description 28
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract 7
- 201000010099 disease Diseases 0.000 abstract 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 3
- 230000036285 pathological change Effects 0.000 abstract 2
- 231100000915 pathological change Toxicity 0.000 abstract 2
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000003703 image analysis method Methods 0.000 abstract 1
- 230000003902 lesion Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种精准医疗图像分析方法及机器人手术系统，获得病变部位的多张图像；对每张图像进行分区，每张图像对应得到多个区域图像；将多张图像的位置对应的区域图像按照拍摄时间的先后顺序构建成区域链；将多条区域链同时输入联动分析模型；全适应映射网络根据输出层的联动分析网的联动分析节点的输出值，得到病变部位的疾病特征，所述疾病特征包括对所述病变部位预测的疾病类型和严重程度。因为相同层的联动分析网的联动分析节点之间能够相互影响、相互调节，上下两层的相互对应的联动分析节点也能够相互影响、相互调节，实现了对相互影响的图像区域或者像素点或者细微到细胞之间的影响进行分析。
Description
技术领域
本发明涉及监控领域，具体而言，涉及一种大数据监控系统中的图像识别拼接方法及系统。
背景技术
监控系统广泛应用于银行、商场、公司办公楼、公交、地铁、城市道路、高速公路、学校中，用以对这些地方的区域进行监控，以提高这些区域的安全性。在全景监控领域，图像的识别和拼接是得到全景图像的必要手段。
现有技术中，全景图像主要来自于多个摄像机拍摄的不同角度的图像，对这些图像基于深度值进行匹配，从而得到匹配的图像点对，进而对实现图像拼接。这种方法，一方面需要通过多个摄像机，摄像机造价昂贵，成本高，另一方面，基于深度值进行匹配的方法计算量大，匹配精度低。
发明内容
本发明的目的在于提供了一种大数据监控系统中的图像识别拼接方法及系统，用以解决现有技术中存在的上述问题。
第一方面，本发明实施例提供了一种大数据监控系统中的图像识别拼接方法，包括：
获得需要拼接的两张图像，两张图像包括第一图像和第二图像；
分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；
对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
可选的，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
可选的，所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
可选的，所述特征点为角点和\或纹理的端头和\或端尾。
可选的，需要拼接的两张图像是由同一个摄像头在不同时刻拍摄得到的图像。
第二方面，本发明实施例还提供了一种大数据监控系统中的图像识别拼接系统，包括：
获得模块，用于获得需要拼接的两张图像，两张图像包括第一图像和第二图像；
特征提取模块，用于分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
匹配因子模块，用于获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
匹配模块，用于若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
扩张模块，用于对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
拼接填充模块，用于获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
可选的，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
可选的，所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
可选的，所述特征点为角点和\或纹理的端头和\或端尾。
可选的，需要拼接的两张图像是由同一个摄像头在不同时刻拍摄得到的图像。
相对于现有技术，本发明实施例达到的有益效果如下：
本发明的目的在于提供了一种大数据监控系统中的图像识别拼接方法及系统，所述方法包括：获得需要拼接的两张图像，两张图像包括第一图像和第二图像；分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
一方面先通过过特征点进行匹配特征点匹配，特征点匹配成功后再对非特征点（不是特征点的像素点）进行匹配，从而完成整张图像的匹配，匹配精度高。另一方面，也是特别的，通过计算特征点（第一特征点和第二特征点）之间的位置坐标距离和像素值差值的绝对值，以位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商作为匹配因子，该匹配因子可以准确刻画和反应两个特征点之间的匹配程度，如此可以提高特征点匹配的准确性，特征点匹配为两张图像的匹配提供了挤出的支撑，提高特征点匹配的准确性的同时也提高了两张图像匹配的准确性，从而提高了两张图像匹配的图像拼接的准确性，提高了图像拼接的精度。
附图说明
图1是本发明实施例提供的一种大数据监控系统中的图像识别拼接方法流程图。
图2是本发明实施例提供的一种电子设备的方框结构示意图。
图标： 500-总线；501-接收器；502-处理器；503-发送器；504-存储器；505-总线接口。
具体实施方式
下面结合附图，对本发明作详细的说明。
实施例
本发明实施例提供了一种大数据监控系统中的图像识别拼接方法，用于对两张需要拼接的图像进行识别和拼接，如图1所示，大数据监控系统中的图像识别拼接方法包括：
S101：获得需要拼接的两张图像，两张图像包括第一图像和第二图像。
其中，图像可以是CCD相机拍摄的图像。具体的，由大数据监控系统中监控服务器从大数据中获得拼接的两张图像，或者CCD相机拍摄拍摄得到需要拼接的两张图像，发送到监控那个服务器中，有监控服务器执行S101~S109的步骤。
S102：分别提取第一图像和第二图像中的特征点。
其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点。
S103：获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值。
S104：获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商。
具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度和匹配程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值。
S105：若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对。
S106：基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对。
其中，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点。
S107：对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点。
S108：获得相互匹配的第一像素点和第二像素点的像素值的平均值，将所述平均值作为扩张后的图像的第一像素点的像素值。
S109：对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
通过采用以上方案，一方面先通过过特征点进行匹配特征点匹配，特征点匹配成功后再对非特征点（不是特征点的像素点）进行匹配，从而完成整张图像的匹配，匹配精度高。另一方面，也是特别的，通过计算特征点（第一特征点和第二特征点）之间的位置坐标距离和像素值差值的绝对值，以位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商作为匹配因子，该匹配因子可以准确刻画和反应两个特征点之间的匹配程度，如此可以提高特征点匹配的准确性，特征点匹配为两张图像的匹配提供了挤出的支撑，提高特征点匹配的准确性的同时也提高了两张图像匹配的准确性，从而提高了两张图像匹配的图像拼接的准确性，提高了图像拼接的精度。
需要说明的是，所述的两张图像可以由同一个相机在不同时刻拍摄的，也可以是不同摄像机在不同角度和时间拍摄的。
可选的，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
可选的，所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
如此，提高了两张图像中的像素点匹配的准确性，为图像拼接的准确性和进度提供了奠定了重要的基础。
其中，所述特征点（第一特征点、第二特征点）为角点和\或纹理的端头和\或端尾。
扩张后的图像的像素值包括第一像素点的像素值和扩张像素点的像素值。
针对上述实施例提供一种大数据监控系统中的图像识别拼接方法，本申请实施例还对应提供大数据监控系统中的图像识别拼接系统，大数据监控系统中的图像识别拼接用于执行上述的大数据监控系统中的图像识别拼接方法。大数据监控系统中的图像识别拼接系统包括：
获得模块，用于获得需要拼接的两张图像，两张图像包括第一图像和第二图像；
特征提取模块，用于分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
匹配因子模块，用于获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
匹配模块，用于若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
扩张模块，用于对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
拼接填充模块，用于获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
其中，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
可选的。所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
可选的，所述特征点为角点和\或纹理的端头和\或端尾。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在上述有方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备，其中，所述的服务端和客户端可以是所述的电子设备。如图2所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前所述大数据监控系统中的图像识别拼接方法的任一方法的步骤。
上述的大数据监控系统中的图像识别拼接方法、大数据监控系统中的图像识别拼接系统，应用于本发明实施例提供的电子设备。
其中，在图2中，总线架构（用总线500来代表），总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述大数据监控系统中的图像识别拼接方法的任一方法的步骤。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种大数据监控系统中的图像识别拼接方法，其特征在于，包括：
获得需要拼接的两张图像，两张图像包括第一图像和第二图像；
分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；
获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；
基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；
对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
2.根据权利要求1所述的方法，其特征在于，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
3.根据权利要求2所述的方法，其特征在于，所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
4.根据权利要求3所述的方法，其特征在于，所述特征点为角点和\或纹理的端头和\或端尾。
5.根据权利要求1所述的方法，其特征在于，需要拼接的两张图像是由同一个摄像头在不同时刻拍摄得到的图像。
6.一种大数据监控系统中的图像识别拼接系统，其特征在于，包括：
获得模块，用于获得需要拼接的两张图像，两张图像包括第一图像和第二图像；
特征提取模块，用于分别提取第一图像和第二图像中的特征点，其中，第一特征点和第二特征点分别是第一图像和第二图像中的特征点；
匹配因子模块，用于获得第一特征点和第二特征点之间的位置坐标距离和像素值差值的绝对值；获得匹配因子，所述匹配因子等于所述位置坐标距离与位置坐标距离加1的商，乘以像素值差值与像素值差值加1的商，具体为：
r=d/（d+1）* Id /(Id+1)，其中，r为匹配因子，匹配因子用于表示第一特征点和第二特征点的相似程度，d表示位置坐标距离，位置坐标距离为第一特征点与第二特征点之间的像素距离，d为0或者正数；Id表示像素值差值的绝对值，像素值差值为第一特征点的像素值减去第二特征点的像素值；
匹配模块，用于若所述匹配因子小于预设值，确定所述第一特征点和所述第二特征点相互匹配，第一特征点和第二特征点构成匹配点对；基于匹配的第一特征点和第二特征点，对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，匹配点对包括第一像素点和第二像素点，第一像素点和第二像素点相互匹配；相互匹配的第一特征点和所述第二特征点分别是第一像素点和第二像素点；
扩张模块，用于对第一像素点所在的图像进行扩张，扩张后的第一像素点所在的图像包括扩原始的第一像素点和扩张像素点；
拼接填充模块，用于获得相互匹配的第一像素点和第二像素点的像素值的平均值；将所述平均值作为扩张后的图像的第一像素点的像素值；对于第二像素点所在的图像中未匹配成功的像素点的像素值作为与所述未匹配成功的像素点对应的扩张像素点的像素值；所述未匹配成功的像素点与所述扩张像素点对应的物理坐标相同。
7.根据权利要求6所述的系统，其特征在于，所述对第一像素点所在的图像进行扩张，包括：
获得第二像素点所在图像中未匹配成功的像素点的数量和与未匹配成功的像素点的对应的物理位置信息；
按照摄像机的成像投影关系，将第一像素点所在的图像扩展到与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点的位置，与所述物理位置信息满足拍摄第一像素点所在的图像的摄像机的成像投影关系的像素点为扩展像素点；
其中，未匹配成功的像素点与所述物理位置信息对应，所述物理位置信息与所述扩展像素点对应，则得到了未匹配成功的像素点与扩展像素点之间的对应关系。
8.根据权利要求7所述的系统，其特征在于，所述对相互匹配的两张图像中的其他像素点进行稠密匹配，得到相互匹配的两张图像的匹配点对，包括：
获得第一图像中的第一非特征像素点到第一特征点的第一距离，以及获得所述第一非特征像素点的像素值与第一特征点的像素值的第一差值；
获得第二图像中的第二非特征像素点到第二特征点的第二距离，以及获得所述第二非特征像素点的像素值与第二特征点的像素值的第二差值；
若所述第一距离与第二距离的差值的绝对值小于第一阈值，且所述第一差值与所述第二差值的绝对值小于第二阈值，则对第一非特征像素点和第二非特征像素点进行匹配；
对第一非特征像素点和第二非特征像素点进行匹配具体为：
获得第一非特征像素点和第二非特征像素点之间的非特征位置坐标距离和非特征像素值差值的绝对值；
获得非特征匹配因子，所述非特征匹配因子等于所述非特征位置坐标距离与非特征位置坐标距离加1的商，乘以非特征像素值差值与非特征像素值差值加1的商，具体为：r1=d1/（d1+1）* Id1 /(Id1+1)，其中，r1为非特征匹配因子，非特征匹配因子用于表示第一非特征像素点和第二非特征像素点的相似程度，d1表示非特征位置坐标距离，非特征位置坐标距离为第一非特征像素点与第二非特征像素点之间的像素距离，d1为0或者正数；Id1表示非特征像素值差值的绝对值，非特征像素值差值为第一非特征像素点的像素值减去第二非特征像素点的像素值；
若所述匹配因子小于预设值，确定所述第一非特征像素点和所述第二非特征像素点相互匹配，第一非特征像素点和非特征像素点构成匹配点对。
9.根据权利要求8所述的系统，其特征在于，所述特征点为角点和\或纹理的端头和\或端尾。
10.根据权利要求6所述的方法，其特征在于，需要拼接的两张图像是由同一个摄像头在不同时刻拍摄得到的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925697.9A CN112001848B (zh) | 2020-09-07 | 2020-09-07 | 大数据监控系统中的图像识别拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925697.9A CN112001848B (zh) | 2020-09-07 | 2020-09-07 | 大数据监控系统中的图像识别拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001848A true CN112001848A (zh) | 2020-11-27 |
| CN112001848B CN112001848B (zh) | 2022-04-26 |
Family
ID=73470094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010925697.9A Active CN112001848B (zh) | 2020-09-07 | 2020-09-07 | 大数据监控系统中的图像识别拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001848B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952247A (zh) * | 2017-03-17 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种双摄像头终端及其图像处理方法和系统 |
| US20180315193A1 (en) * | 2017-04-27 | 2018-11-01 | Retinopathy Answer Limited | System and method for automated funduscopic image analysis |
| CN111402252A (zh) * | 2020-04-02 | 2020-07-10 | 杨仙莲 | 精准医疗图像分析方法及机器人手术系统 |
| CN111583118A (zh) * | 2020-05-13 | 2020-08-25 | 创新奇智(北京)科技有限公司 | 图像拼接方法、装置、存储介质及电子设备 |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
-
2020
- 2020-09-07 CN CN202010925697.9A patent/CN112001848B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106952247A (zh) * | 2017-03-17 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种双摄像头终端及其图像处理方法和系统 |
| US20180315193A1 (en) * | 2017-04-27 | 2018-11-01 | Retinopathy Answer Limited | System and method for automated funduscopic image analysis |
| CN111402252A (zh) * | 2020-04-02 | 2020-07-10 | 杨仙莲 | 精准医疗图像分析方法及机器人手术系统 |
| CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及系统 |
| CN111583118A (zh) * | 2020-05-13 | 2020-08-25 | 创新奇智(北京)科技有限公司 | 图像拼接方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001848B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105046235B (zh) | 车道线的识别建模方法和装置、识别方法和装置 | |
| CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
| CN110895819A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| CN112348921A (zh) | 一种基于视觉语义点云的建图方法及系统 | |
| CN113160330B (zh) | 基于端到端的相机与激光雷达标定方法、系统及介质 | |
| CN107610097A (zh) | 仪表定位方法、装置和终端设备 | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| CN112001357B (zh) | 目标识别检测方法及系统 | |
| CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN112767211A (zh) | 救援资源推荐方法、装置、电子设备和存储介质 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| CN113034666B (zh) | 一种基于金字塔视差优化代价计算的立体匹配方法 | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| CN112001848B (zh) | 大数据监控系统中的图像识别拼接方法及系统 | |
| CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| CN114821513B (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
| CN112712018A (zh) | 标识地图的建立方法、视觉定位方法及装置 | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| CN113781575B (zh) | 一种相机参数的标定方法、装置、终端和存储介质 | |
| CN116630216A (zh) | 基于雷达和影像的目标融合方法、装置、设备及存储介质 | |
| CN116753859A (zh) | 三维扫描方法和三维扫描系统 | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging | |
| AU2022210442A1 (en) | Systems and methods for roof area and slope estimation using a point set | |
| CN114511483A (zh) | 一种图像处理的方法、装置、设备、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220407 Address after: 518000 Room 101, building 8, row 3, Dawei intersection, Xinzhuang community, Matian street, Guangming District, Shenzhen, Guangdong Applicant after: Pengxiang Smart Security Co.,Ltd. Address before: 556000 No.38, Yingpan West Road, Ximen street, Kaili City, Qiandongnan Miao and Dong Autonomous Prefecture, Guizhou Province Applicant before: Yang Xianlian |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |