CN108648149A - 基于增强现实的图像拼接方法、系统、设备及存储介质 - Google Patents
基于增强现实的图像拼接方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN108648149A CN108648149A CN201810442012.8A CN201810442012A CN108648149A CN 108648149 A CN108648149 A CN 108648149A CN 201810442012 A CN201810442012 A CN 201810442012A CN 108648149 A CN108648149 A CN 108648149A
- Authority
- CN
- China
- Prior art keywords
- image
- transition matrix
- homography
- region
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 99
- 230000007704 transition Effects 0.000 claims abstract description 97
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于增强现实的图像拼接方法、系统、设备及存储介质，包括：采用第一图像，根据所述第一图像的生成与所述第一图像相对应的成像区域；预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。本发明在采集待拼接的另一图像时，能够预览另一图像与先采集到的前一图像的重叠区域，保证了采集到另一图像与前一图像的匹配效果，提高了图像拼接的质量。
Description
技术领域
本发明涉及新零售技术，具体地，涉及一种基于增强现实的图像拼接方法、系统、设备及存储介质。
背景技术
新零售，即企业以互联网为依托，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结构与生态圈，并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。
在新零售系统的搭建过程中，需要对货架的图像进行采集，以对货架进行重建并识别货架上的商品信息。而在超市、商场以及一些便利店中，多个货架依次排列形成较长的序列，因此无法通过相机实现对整排货架进行采集。当采集到的货架图像超过一定长度时，图像上的商品会显示模糊，不容易进行识别。因此在通过货架的图像对货架进行重建时，需要对货架进行分段采集，将多张货架的图像拼接形成货架的整张图像。
传统的图像拼接技术是将几张图像进行简单的加权融合或淡入淡出处理。但是当目标区域位于重叠提示区域时，会使目标变形。当目标区域位于拼接接缝时，表现出同一目标亮度不一，或边界模糊。此外，当配准算法得到的转换矩阵并不是最优解时，导致重叠部分目标会出现“鬼影”。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于增强现实的图像拼接方法、系统、设备及存储介质。
根据本发明提供的基于增强现实的图像拼接方法，其特征在于，包括如下步骤：
步骤S1：采用第一图像，根据所述第一图像的生成与所述第一图像相对应的成像区域；
步骤S2：预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；
步骤S3：当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。
优选地，所述步骤S2包括如下步骤：
步骤S201：提取所述第一图像的多个角点；
步骤S202：在预览的第n图像中通过稀疏光流法得到所述角点在所述第n图像中的位置；
步骤S203：根据多个所述角点在所述第一图像和所述第n图像中的位置生成所述第n图像与所述另一图像之间的第n单应性转换矩阵Hn，进而根据第n单应性转换矩阵Hn生成所述重叠提示区域；
步骤S204：当所述预览的视角变化时生成第n+1图像的预览，通过稀疏光流法提取所述第n+1图像和所述第n图像中重合的角点，根据所述第n+1图像和所述第n图像中重合的角点生成第n+1单应性转换矩阵Hn+1，进而根据第n+1单应性转换矩阵Hn+1生成所述第n+1图像和所述第n图像之间的重叠提示区域；
步骤S205：迭代执行步骤S204，依次生成预览的第n+m图像的第n+m单应性转换矩阵Hn+m和第n+m图像与第n+m-1图像之间的重叠提示区域，m为大于等于1的自然数；
步骤S206：根据Hn、Hn+1……Hn+m生成图像拼接转换矩阵。
优选地，所述重叠提示区域符合第一预设规则，具体包括如下任一种或任多种规则：
-所述重叠提示区域的面积大于预设面积阈值；
-所述重叠提示区域的最小内角大于预设角度阈值；
-所述重叠提示区域的形状为四边形。
优选地，判断每一单应性转换矩阵是否符合第二设定规则，所述第二设定规则包括如下规则：
-H00大于等于0；
-H11大于等于0；
-H01的绝对值小于等于0.15；
-H00和H11之中的最小值大于0.85；
-H00和H11之中的最小值小于1.15；
当所述单应性转换矩阵H不符合第二设定规则时，丢弃所述单应性转换矩阵H；
所述单应性转换矩阵H包括第n单应性转换矩阵Hn，第n+1单应性转换矩阵Hn+1……第n+m单应性转换矩阵Hn+m。
优选地，当所述单应性转换矩阵H符合第二设定规则，判断所述单应性转换矩阵H是否符合第三设定规则，具体包括如下步骤：
步骤M1：计算每一单应性转换矩阵H的行列式；
步骤M2：将在时间顺序上相邻单应性转换矩阵H的行列式相减并求绝对值M，当所述绝对值M大于0.001时触发步骤M3，否则，丢弃在时间顺序上排列在后的单应性转换矩阵H；
步骤M3：计算每一所述单应性转换矩阵H的偏移量offset，
步骤M4：当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值大于等于1时，则认定后一单应性转换矩阵H符合第三设定规则，否则，在所述第n+1图像和所述第n图像之间提取多个重合的特征点，根据所述特征点生成图像拼接转换矩阵。
优选地，步骤S4：重复执行步骤S2至步骤S3，将采集到的多张图像进行拼接以扩展所述拼接图像。
优选地，所述步骤S4包括如下步骤：
步骤S401：重复执行步骤S2至步骤S3，将采集到的多张图像按采集的时间依次排列并进行拼接；
步骤S402：计算每一图像的拍摄角度与预设的初始角度之间的偏转角度，以确定偏转角度最小的图像；
步骤S403：将偏转角度最小的图像作为基准图像，将剩余图像拼接在所述基准图像的一侧或两侧。
根据本发明提供的基于增强现实的图像拼接方法接系统，用于实现所述的基于增强现实的图像拼接方法，包括：
成像区域生成模块，用于采用一图像，根据所述图像的生成与所述图像相对应的成像区域；
重叠区域展示模块，预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；
图像拼接模块，用于当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。
根据本发明提供的基于增强现实的图像拼接方法设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述基于增强现实的图像拼接方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述基于增强现实的图像拼接方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在采集待拼接的另一图像时，能够预览另一图像与先采集到的前一图像的重叠区域，仅在重叠区域符合第一预设规则时，采集另一图像，当重叠区域不符合第一预设规则时，对另一图像不进行采集，保证了采集到另一图像与前一图像的匹配效果，提高了图像拼接的质量；
2、本发明基于稀疏光流法得到所述第一图像上的角点在所述第n图像中的位置，生成单应性转换矩阵Hn，根据第n单应性转换矩阵Hn生成所述重叠提示区域，提高了重叠提示区域的准确度和图像拼接的速度；
3、本发明中当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值小于1时，在所述重叠提示区域提取多个特征点，根据所述特征点生成图像拼接转换矩阵，提高了客户的体验效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中基于增强现实的图像拼接方法的步骤流程图；
图2为本发明变形例中基于增强现实的图像拼接方法的步骤流程图；
图3为本发明中图像拼接转换矩阵生成的步骤流程图；
图4为本发明中第三设定规则的判断步骤流程图；
图5为本发明中多张图像顺次排列拼接的步骤流程图；
图6为本发明中基于增强现实的图像拼接系统的模块示意图；
图7为本发明中基于增强现实的图像拼接设备的结构示意图；以及
图8为本发明中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本实施例中，图1为本发明中基于增强现实的图像拼接方法的步骤流程图如图1所示，本发明提供的基于增强现实的图像拼接方法，包括如下步骤：
步骤S1：采用第一图像，根据所述第一图像的生成与所述第一图像相对应的成像区域；
步骤S2：预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；
步骤S3：当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。所述重叠提示区域符合第一预设规则，具体包括如下任一种或任多种规则：
-所述重叠提示区域的面积大于预设面积阈值；
-所述重叠提示区域的最小内角大于预设角度阈值；
-所述重叠提示区域的形状为四边形。
在本实施例中，所述预设角度阈值可以为30°，所述预设面积阈值可以为相拼接的两张图像中面积较小的图像与重叠区域面积比值小于三分之一。
在本实施例中，本发明在采集待拼接的另一图像时，能够预览另一图像与先采集到的前一图像的重叠区域，仅在重叠区域符合第一预设规则时，采集另一图像，当重叠区域不符合第一预设规则时，对另一图像不进行采集，保证了采集到另一图像与前一图像的匹配效果，提高了图像拼接的质量。
图2为本发明变形例中基于增强现实的图像拼接方法的步骤流程图；该变形例，本领域技术人员可以理解为，对图1所示实施例进行的变形。在该变形例中，相对于图1所示的实施例，增加如下步骤：
步骤S4：重复执行步骤S2至步骤S3，将采集到的多张图像进行拼接以扩展所述拼接图像。
即在该变形例中，本发明通过重复执行步骤S2至步骤S3，实现多种图像的采集，并将采集到的图像拼接在一起，形成一个完整的场景。
图3为本发明变形例中基于增强现实的图像拼接方法的步骤流程图；如图3所示，所述步骤S2包括如下步骤：
步骤S201：提取所述第一图像的多个角点；
步骤S202：在预览的第n图像中通过稀疏光流法得到所述角点在所述第n图像中的位置；
步骤S203：根据多个所述角点在所述第一图像和所述第n图像中的位置生成所述第n图像与所述另一图像之间的第n单应性转换矩阵Hn，进而根据第n单应性转换矩阵Hn生成所述重叠提示区域；
步骤S204：当所述预览的视角变化时生成第n+1图像的预览，通过稀疏光流法提取所述第n+1图像和所述第n图像中重合的角点，根据所述第n+1图像和所述第n图像中重合的角点生成第n+1单应性转换矩阵Hn+1，进而根据第n+1单应性转换矩阵Hn+1生成所述第n+1图像和所述第n图像之间的重叠提示区域；
步骤S205：迭代执行步骤S204，依次生成预览的第n+m图像的第n+m单应性转换矩阵Hn+m和第n+m图像与第n+m-1图像之间的重叠提示区域，m为大于等于1的自然数；
步骤S206：根据Hn、Hn+1……Hn+m生成图像拼接转换矩阵。
在本实施例中，具体将Hn、Hn+1……Hn+m相乘后通过增强的相关系数算法(EnhancedCorrelation Coefficient，ECC)计算生成图像拼接转换矩阵，并生成相关性系数r。当r小于0.86时，则根据sift或surf算法提取第一图像和所述第n图像之间重合的特征点，进而计算出图像拼接转换矩阵。
特征点的提取采用SIFT(Scale-Invariant Features,尺寸不变特征)特征点检测方法，也可采用SIFT的改进算法。对于图像拼接转换矩阵，为单应性矩阵，其求解是本领域众所周知的技术，比如可以根据匹配特征点的齐次坐标来求解单应性矩阵，此处不作详细述说。
在本实施例中，稀疏光流法具体为Lucas-Kanade稀疏光流法，为一种基于多层图像金字塔进行角点的偏移信息计算方法。在每层图像金字塔上，算法通过迭代计算获得角点在当前金字塔图像上的偏移，进而求得角点在当前金字塔图像的位置；随后将角点在当前金字塔图像的位置映射到下一层金字塔图像，继续进行迭代处理，最终求得在跟踪窗口内角点在下一帧图像上的偏移信息和当前位置。Lucas-Kanade稀疏光流法是常用的一种角点跟踪算法，这里不再赘述。
在变形例中，也可以在Hn、Hn+1……Hn+m取中值作为图像拼接转换矩阵。
判断每一单应性转换矩阵是否符合第二设定规则，所述第二设定规则包括如下规则：
-H00大于等于0；
-H11大于等于0；
-H01的绝对值小于等于0.15；
-H00和H11之中的最小值大于0.85；
-H00和H11之中的最小值小于1.15；
当所述单应性转换矩阵H不符合第二设定规则时，丢弃所述单应性转换矩阵H；
所述单应性转换矩阵H包括第n单应性转换矩阵Hn，第n+1单应性转换矩阵Hn+1……第n+m单应性转换矩阵Hn+m。
图4为本发明中第三设定规则的判断步骤流程图，如图4所示，当所述单应性转换矩阵H符合第二设定规则，判断所述单应性转换矩阵H是否符合第三设定规则，具体包括如下步骤：
步骤M1：计算每一单应性转换矩阵H的行列式；
步骤M2：将在时间顺序上相邻单应性转换矩阵H的行列式相减并求绝对值M，当所述绝对值M大于0.001时触发步骤M3，否则，丢弃在时间顺序上排列在后的单应性转换矩阵H；
步骤M3：计算每一所述单应性转换矩阵H的偏移量offset，
步骤M4：当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值大于等于1时，则认定后一单应性转换矩阵H符合第三设定规则，否则，在所述第n+1图像和所述第n图像之间提取多个重合的特征点，根据所述特征点生成图像拼接转换矩阵提取多个特征点，根据所述特征点生成图像拼接转换矩阵。
在本实施例中，当连续5次当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值小于1时，则将该5次对应的图像拼接转换矩阵丢弃，重新进行计算。
在本实施例中，单应性转换矩阵H的行列式的计算公式如下：
图5为本发明中多张图像顺次排列拼接的步骤流程图，如图5所示，所述步骤S4包括如下步骤：
步骤S401：重复执行步骤S2至步骤S3，将采集到的多张图像按采集的时间依次排列；
步骤S402：计算每一图像的拍摄角度与预设的初始角度之间的偏转角度，以确定偏转角度最小的图像；
步骤S403：将偏转角度最小的图像作为基准图像，将剩余图像拼接在所述基准图像的一侧或两侧。
本发明在采集到多张图像后，计算每一图像的拍摄角度与预设的初始角度之间的偏转角度，以确定偏转角度的最小的图像并将偏转角度的最小的图像作为基准图像，将剩余图像拼接在所述基准图像的一侧或两侧，再次提高了拼接图像的质量。即每采集一张图像，在图片中选择最正的图像为基准进行拼接，避免了当一张照片拍斜时导致拼接的整体效果的降低。
图6为本发明中基于增强现实的图像拼接系统的模块示意图，如图6所示，本发明提供的基于增强现实的图像拼接方法接系统，用于实现所述的基于增强现实的图像拼接方法，包括：
成像区域生成模块，用于采用一图像，根据所述图像的生成与所述图像相对应的成像区域；
重叠区域展示模块，用于预览待采集的另一图像，根据成像区域与所述待采集的另一图像生成重叠区域并展示所述重叠区域；
图像拼接模块，用于当所述重叠区域符合第一预设规则时，采集另一图像，进而拼接所述图像和所述另一图像生成拼接图像。
本发明实施例中还提供一种基于增强现实的图像拼接设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于增强现实的图像拼接方法的步骤。
如上，该实施例中在采集待拼接的另一图像时，能够预览另一图像与先采集到的前一图像的重叠区域，仅在重叠区域符合第一预设规则时，采集另一图像，当重叠区域不符合第一预设规则时，对另一图像不进行采集，保证了采集到另一图像与前一图像的匹配效果，提高了图像拼接的质量。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图7是本发明的基于增强现实的图像拼接设备的结构示意图。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于增强现实的图像拼接方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明基于商品图像中的多组相同的商品区域，在其中识别出多个依次排列并位于货架不同层的两组目标商品区域，即第一目标商品区域和第二目标商品区域，两个第一目标商品区域和第二目标商品区域即能够确定矫正直线，从而提供了矫正速度快，并且矫正效果较好。
图8是本发明的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本实施例中，本发明在采集待拼接的另一图像时，能够预览另一图像与先采集到的前一图像的重叠区域，仅在重叠区域符合第一预设规则时，采集另一图像，当重叠区域不符合第一预设规则时，对另一图像不进行采集，保证了采集到另一图像与前一图像的匹配效果，提高了图像拼接的质量；本发明基于稀疏光流法得到所述第一图像上的角点在所述第n图像中的位置，生成单应性转换矩阵Hn，根据第n单应性转换矩阵Hn生成所述重叠提示区域，提高了重叠提示区域的准确度和图像拼接的速度；本发明中当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值小于1时，在所述重叠提示区域提取多个特征点，根据所述特征点生成图像拼接转换矩阵，提高了客户的体验效果。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种基于增强现实的图像拼接方法，其特征在于，包括如下步骤：
步骤S1：采用第一图像，根据所述第一图像的生成与所述第一图像相对应的成像区域；
步骤S2：预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；
步骤S3：当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。
2.根据权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：提取所述第一图像的多个角点；
步骤S202：在预览的第n图像中通过稀疏光流法得到所述角点在所述第n图像中的位置；
步骤S203：根据多个所述角点在所述第一图像和所述第n图像中的位置生成所述第n图像与所述另一图像之间的第n单应性转换矩阵Hn，进而根据第n单应性转换矩阵Hn生成所述重叠提示区域；
步骤S204：当所述预览的视角变化时生成第n+1图像的预览，通过稀疏光流法提取所述第n+1图像和所述第n图像中重合的角点，根据所述第n+1图像和所述第n图像中重合的角点生成第n+1单应性转换矩阵Hn+1，进而根据第n+1单应性转换矩阵Hn+1生成所述第n+1图像和所述第n图像之间的重叠提示区域；
步骤S205：迭代执行步骤S204，依次生成预览的第n+m图像的第n+m单应性转换矩阵Hn+m和第n+m图像与第n+m-1图像之间的重叠提示区域，m为大于等于1的自然数；
步骤S206：根据Hn、Hn+1……Hn+m生成图像拼接转换矩阵。
3.根据权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述重叠提示区域符合第一预设规则，具体包括如下任一种或任多种规则：
-所述重叠提示区域的面积大于预设面积阈值；
-所述重叠提示区域的最小内角大于预设角度阈值；
-所述重叠提示区域的形状为四边形。
4.根据权利要求2所述的基于增强现实的图像拼接方法，其特征在于，判断每一单应性转换矩阵是否符合第二设定规则，所述第二设定规则包括如下规则：
-H00大于等于0；
-H11大于等于0；
-H01的绝对值小于等于0.15；
-H00和H11之中的最小值大于0.85；
-H00和H11之中的最小值小于1.15；
当所述单应性转换矩阵H不符合第二设定规则时，丢弃所述单应性转换矩阵H；
所述单应性转换矩阵H包括第n单应性转换矩阵Hn，第n+1单应性转换矩阵Hn+1……第n+m单应性转换矩阵Hn+m。
5.根据权利要求4所述的基于增强现实的图像拼接方法，其特征在于，当所述单应性转换矩阵H符合第二设定规则，判断所述单应性转换矩阵H是否符合第三设定规则，具体包括如下步骤：
步骤M1：计算每一单应性转换矩阵H的行列式；
步骤M2：将在时间顺序上相邻单应性转换矩阵H的行列式相减并求绝对值M，当所述绝对值M大于0.001时触发步骤M3，否则，丢弃在时间顺序上排列在后的单应性转换矩阵H；
步骤M3：计算每一所述单应性转换矩阵H的偏移量offset，
步骤M4：当在时间顺序上的后一单应性转换矩阵H的偏移量offset与后一单应性转换矩阵H的偏移量offset的差值大于等于1时，则认定后一单应性转换矩阵H符合第三设定规则，否则，在所述第n+1图像和所述第n图像之间提取多个重合的特征点，根据所述特征点生成图像拼接转换矩阵。
6.根据权利要求1所述的基于增强现实的图像拼接方法，其特征在于，步骤S4：重复执行步骤S2至步骤S3，将采集到的多张图像进行拼接以扩展所述拼接图像。
7.根据权利要求6所述的基于增强现实的图像拼接方法，其特征在于，所述步骤S4包括如下步骤：
步骤S401：重复执行步骤S2至步骤S3，将采集到的多张图像按采集的时间依次排列并进行拼接；
步骤S402：计算每一图像的拍摄角度与预设的初始角度之间的偏转角度，以确定偏转角度最小的图像；
步骤S403：将偏转角度最小的图像作为基准图像，将剩余图像拼接在所述基准图像的一侧或两侧。
8.一种基于增强现实的图像拼接系统，用于实现权利要求1至7中任一项所述的基于增强现实的图像拼接方法，其特征在于，包括：
成像区域生成模块，用于采用一图像，根据所述图像的生成与所述图像相对应的成像区域；
重叠区域展示模块，预览待采集的第n图像，根据成像区域与所述待采集的第n图像生成重叠提示区域并展示所述重叠提示区域，在第一图像和第n图像中提取多个重合的角点或特征点生成图像拼接转换矩阵；
图像拼接模块，用于当所述重叠提示区域符合第一预设规则时，采集第n图像，进而根据所述图像拼接转换矩阵拼接所述第一图像和所述第n图像生成拼接图像，n为大于1的自然数。
9.一种基于增强现实的图像拼接设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述基于增强现实的图像拼接方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述基于增强现实的图像拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810442012.8A CN108648149B (zh) | 2018-05-10 | 2018-05-10 | 基于增强现实的图像拼接方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810442012.8A CN108648149B (zh) | 2018-05-10 | 2018-05-10 | 基于增强现实的图像拼接方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108648149A true CN108648149A (zh) | 2018-10-12 |
| CN108648149B CN108648149B (zh) | 2022-05-31 |
Family
ID=63754131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810442012.8A Active CN108648149B (zh) | 2018-05-10 | 2018-05-10 | 基于增强现实的图像拼接方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648149B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
| CN109147627A (zh) * | 2018-10-31 | 2019-01-04 | 天津天创数字科技有限公司 | 数字博物馆ar讲解方法 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| TWI743477B (zh) * | 2019-05-07 | 2021-10-21 | 威盛電子股份有限公司 | 圖像處理裝置及圖像處理的方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646022A (zh) * | 2009-09-04 | 2010-02-10 | 深圳华为通信技术有限公司 | 一种图像拼接的方法、系统 |
| US20120274739A1 (en) * | 2009-12-21 | 2012-11-01 | Huawei Device Co.,Ud. | Image splicing method and apparatus |
| CN103793894A (zh) * | 2013-12-04 | 2014-05-14 | 国家电网公司 | 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法 |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
| US9626589B1 (en) * | 2015-01-19 | 2017-04-18 | Ricoh Co., Ltd. | Preview image acquisition user interface for linear panoramic image stitching |
| CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
| CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
| CN107680126A (zh) * | 2017-09-29 | 2018-02-09 | 西安电子科技大学 | 随机抽样一致性的图像匹配去噪处理系统及方法 |
| CN108648140A (zh) * | 2018-04-12 | 2018-10-12 | 上海扩博智能技术有限公司 | 图像拼接方法、系统、设备及存储介质 |
-
2018
- 2018-05-10 CN CN201810442012.8A patent/CN108648149B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646022A (zh) * | 2009-09-04 | 2010-02-10 | 深圳华为通信技术有限公司 | 一种图像拼接的方法、系统 |
| US20120274739A1 (en) * | 2009-12-21 | 2012-11-01 | Huawei Device Co.,Ud. | Image splicing method and apparatus |
| CN103793894A (zh) * | 2013-12-04 | 2014-05-14 | 国家电网公司 | 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法 |
| US9626589B1 (en) * | 2015-01-19 | 2017-04-18 | Ricoh Co., Ltd. | Preview image acquisition user interface for linear panoramic image stitching |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN105205781A (zh) * | 2015-08-24 | 2015-12-30 | 电子科技大学 | 输电线路航拍图像拼接方法 |
| CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
| CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
| CN107680126A (zh) * | 2017-09-29 | 2018-02-09 | 西安电子科技大学 | 随机抽样一致性的图像匹配去噪处理系统及方法 |
| CN108648140A (zh) * | 2018-04-12 | 2018-10-12 | 上海扩博智能技术有限公司 | 图像拼接方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 程争刚: "一种基于无人机位姿信息的航拍图像拼接方法", 《测绘学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
| CN109064409B (zh) * | 2018-10-19 | 2023-04-11 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
| CN109147627A (zh) * | 2018-10-31 | 2019-01-04 | 天津天创数字科技有限公司 | 数字博物馆ar讲解方法 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| TWI743477B (zh) * | 2019-05-07 | 2021-10-21 | 威盛電子股份有限公司 | 圖像處理裝置及圖像處理的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108648149B (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648149A (zh) | 基于增强现实的图像拼接方法、系统、设备及存储介质 | |
| JP7135125B2 (ja) | 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム | |
| US20220178688A1 (en) | Method and apparatus for binocular ranging | |
| JP6040882B2 (ja) | 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム | |
| CN108648140A (zh) | 图像拼接方法、系统、设备及存储介质 | |
| CN113724368B (zh) | 图像采集系统、三维重建方法、装置、设备以及存储介质 | |
| CN115409933B (zh) | 多风格纹理贴图生成方法及其装置 | |
| TWI643137B (zh) | 物件辨識方法及物件辨識系統 | |
| CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| CN111868738B (zh) | 跨设备监控计算机视觉系统 | |
| CN112862877A (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
| US20210209776A1 (en) | Method and device for depth image fusion and computer-readable storage medium | |
| CN109190919A (zh) | 零售关键业绩指标生成方法、系统、设备及存储介质 | |
| CN114067051A (zh) | 三维重建处理方法、装置、电子设备以及存储介质 | |
| Traumann et al. | Accurate 3D measurement using optical depth information | |
| CN113870439A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN114565916A (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
| WO2021105871A1 (en) | An automatic 3d image reconstruction process from real-world 2d images | |
| CN108805823A (zh) | 商品图像矫正方法、系统、设备及存储介质 | |
| CN115170510B (zh) | 一种病灶检测方法、装置、电子设备及可读存储介质 | |
| CN116797768A (zh) | 全景图像减少现实的方法和装置 | |
| TW202009789A (zh) | 臉部表情建構方法、裝置及非暫態電腦可讀取紀錄媒體 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN113325950B (zh) | 功能控制方法、装置、设备以及存储介质 | |
| CN115393423A (zh) | 目标检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |