CN110428363A - 基于增强现实的图像拼接方法、系统、设备及存储介质 - Google Patents

基于增强现实的图像拼接方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110428363A
CN110428363A CN201910706058.0A CN201910706058A CN110428363A CN 110428363 A CN110428363 A CN 110428363A CN 201910706058 A CN201910706058 A CN 201910706058A CN 110428363 A CN110428363 A CN 110428363A
Authority
CN
China
Prior art keywords
image
projection
target
augmented reality
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910706058.0A
Other languages
English (en)
Inventor
胡晓俊
陈小明
乐旸
柯严
严治庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Expand Intelligent Technology Co Ltd
Original Assignee
Shanghai Expand Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Expand Intelligent Technology Co Ltd filed Critical Shanghai Expand Intelligent Technology Co Ltd
Priority to CN201910706058.0A priority Critical patent/CN110428363A/zh
Publication of CN110428363A publication Critical patent/CN110428363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，特别涉及一种基于增强现实的图像拼接方法、系统、设备及存储介质。所述图像拼接方法包括步骤：在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息。在本发明提供的基于增强现实的图像拼接方法、系统、设备及存储介质中，能够将多种不同位置的目标特征精准的投影到同一个面上，因此无论获取的图像是以哪一种角度拍摄得到，都可以采用获取目标特征的位置信息进行投影，从而提高图像拼接的精度，而且还能始终保持拼接的精确度。

Description

基于增强现实的图像拼接方法、系统、设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于增强现实的图像拼接方法、系统、设备及存储介质。
背景技术
零售行业中，对应商品是否被摆放在货架上，以及是否被摆放在正确的位置，对于对应商品的销量来说都会产生巨大的影响。
为了保证对应商品被始终保持在正确的位置上，对应的品牌商会建立零售巡检队伍，以实现定期对对应商品进行巡视检查。
利用人工智能技术对货架上的商品进行连续拍照获取货架上的商品图像，进而通过像素比对找到重叠区域等方式，将图像信息进行裁剪拼接，最后利用拼接图像，形成能够反映商品摆放位置的数据报表，能够方便巡检人员快速掌握对应商品的摆放情况，从而方便巡检人员进行巡视查询。
发明内容
本发明的一方面提供了一种基于增强现实的图像拼接方法。所述基于增强现实的图像拼接方法包括如下步骤：
S1：在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
S2：在所述标记系统中选择一平面作为投影面；
S3：依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
S4：按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
进一步，所述基于增强现实的图像拼接方法还包括如下步骤：
S5：获取更多张原始图像的所述目标特征；
S6：重复步骤S2至步骤S4，以完成覆盖目标采集区域的图像的拼接。
优选的，所述投影面为竖直投影面。
优选的，所述步骤S2包括如下步骤：
S201：获取若干个所述目标特征的空间位置信息；
S202：依据所述目标特征的空间位置信息，将一竖直面作为所述投影面；其中，
所述投影面相比其他竖直面具有数量最多的所述目标特征。
优选的，所述步骤S3包括如下步骤：
S301：在所述投影面上建立一能够覆盖所述目标图像采集区域的边框；其中，
所述边框能够随着所述目标图像采集区域的变化而变动；
S302：依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，获得投影图像；
S303：将所述投影图像和所述边框进行比对，获得处于所述边框中的所述第一投影图像和所述第二投影图像。
优选的，所述步骤S4还包括如下步骤：
S401：判断所述第一投影图像与所述第二投影图像之间是否存在重合区域，当出现重合区域时执行步骤S402，否者执行步骤S403；
S402：重叠所述第一投影图像与所述第二图像之间的重合区域，完成图像拼接；
S403：按照所述第一投影图像和所述第二投影图像的空间位置进行位置固定，以形成带有空白区域的拼接图像，完整图像拼接。
本发明的另一方面是提供了一种基于增强现实的图像拼接系统。所述基于增强现实的图像拼接系统用于实现如前所述的基于增强现实的图像拼接方法的步骤。所述基于增强现实的图像拼接系统包括：
位置信息获取模块，用于在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
图像投影处理模块，在所述标记系统中选择一平面作为投影面；依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
图像拼接模块，按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
本发明的再一方面还提供了一种图像拼接设备。所述图像拼接设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如本发明前一方面所述的基于增强现实的图像拼接方法的步骤。
进一步，所述图像拼接设备还包括：
能够与所述处理器和所述存储器进行通信连接，用于在图像采集区域采集所述第一原始图像和所述第二原始图像的摄像头。
本发明的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的基于增强现实的图形拼接方法的步骤。
在本发明提供的基于增强现实的图像拼接方法、系统、设备及存储介质中，通过利用第一原始图像和第二原始图像上的目标特征点的空间位置信息，将第一原始图像和第二原始图像上的目标特征投影到同一个面上，能够将多种不同位置的目标特征精准的投影到同一个面上，因此无论获取的图像是以哪一种角度拍摄得到，都可以采用获取目标特征的位置信息进行投影，从而提高图像拼接的精度，而且还能始终保持拼接的精确度。
还有，也无需按照现有技术那样必须保证相邻的两个图像之间存在重叠区域，即获取的第一原始图像和第二原始图像之间没有重叠区域时，也能够按照两张图像的实际坐标位置完成图像拼接。
另外，当把投影面设置为竖直面时，符合大多数图像的拍摄角度的最佳投影面，以在投影面上呈现出更多的能够反映原始图像的信息，从而进一步提高了图像拼接的精确度。
最后，由于本发明是将能够反映商品信息的目标特征进行投影处理，大大减少了数据处理量，降低了对硬件结构的性能要求，也进一步提高了图像拼接速度。
附图说明
图1是本发明实施例提供的基于增强现实的图形拼接方法的步骤流程图；
图2是本发明实施例提供的应对多张图像时的图像拼接方法的步骤流程图；
图3是本发明实施例中提供的投影面的建立步骤流程图；
图4是本发明实施例提供的获取投影图像的步骤流程图；
图5是本发明实施例提供的有无重叠区域时的拼接步骤流程图；
图6是本发明实施例提供的基于增强现实的图像拼接系统的模块连接示意图；
图7是本发明实施例提供的图像拼接设备的结构示意图；
图8是本发明实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
通过上述说明可知，在零售巡检过程中，可以利用人工智能技术对货架上的商品进行拍照来获取货架上的商品图像，进而通过像素比对找到重叠区域等方式，最终将找出的重叠区域进行裁剪去重，形成拼接图像。巡检人员可以利用拼接图像，形成能够反映商品摆放位置的数据报表，以便快速掌握对应商品的摆放情况。
然而，在利用上述现有技术长期的实施过程中，发明人发现采用现有技术实现的图像拼接，随着图像数量的增加，会严重消耗硬件系统的性能(占用硬件的内存空间)，降低拼接的成功率，并且在进行图像拍摄阶段，必须要保证相邻的两个图像之间存在重叠区域，且对重叠区域有严格的尺寸限制，这些要求严重制约了进行拼接图像的效率。为了解决现有技术存在的问题，发明人通过创造性的劳动提出了一种基于增强现实的图像拼接方法、系统、设备以及存储介质。
以下结合附图和具体实施例对本发明提出的基于增强现实的图像拼接方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，图1是本实施例提供的基于增强现实的图形拼接方法的步骤流程图。本实施例提供的所述拼接方法包括如下步骤：
S1：在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
具体的，步骤S1中的能够标记目标特征空间位置的标记系统，可以是在增强现实环境中建立的空间坐标系，同理目标特征的空间位置可以为空间坐标。而其中的目标特征容易理解，其是能够反映对应商品、货架和图像边框(这是由获取图像的设备所决定，并且容易获取的)的、可以通过算法训练而可以被识别出的一种标记。在背景技术中有提到，巡检人员需要查看对应商品是否被摆放或被正确摆放在货架上。然而，容易理解，能够让巡检人员获得对应商品信息并非只有如实还原整个商品的彩色图像才能做到。如果一种商品具有不同与其他商品的商标和/或图案等信息，甚至是商品包装盒的形状、大小等同样能够让巡检人员准确的分别出对应的是哪一种商品。这就像日常生活中去商店购买饮料，并非需要完全看到某种饮料的全部图像，只要看到贴的标签，甚至是瓶盖等特征时就能够知道其为某种品牌的饮料。鉴于此，本实施例提到的所述第一原始图像信息和所述第二原始图像信息至少会包含上述内容中的目标特征。当然，这也不限制所述第一原始图像信息和所述第二图像信息还记载有其他有利于图像拼接的信息内容。
S2：在所述标记系统中选择一平面作为投影面；依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
S3：按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
本实施例通过利用第一原始图像和第二原始图像上的目标特征点的空间位置信息，将第一原始图像和第二原始图像上的目标特征投影到同一个面上，能够将多种不同位置的目标特征精准的投影到同一个面上，因此无论获取的图像是以哪一种角度拍摄得到，都可以采用获取目标特征的位置信息进行投影，从而提高图像拼接的精度，而且还能始终保持拼接的精确度。
当然，实际操作过程中，往往需要拍摄多张图像才能覆盖到所有的对应商品，鉴于此，请参考图2所示，图2是本实施例提供的应对多张图像时的图像拼接方法的步骤流程图，所述方法还包括如下步骤：
S5：获取更多张原始图像的所述目标特征；
S6：重复步骤S2至步骤S4，以完成覆盖目标采集区域的图像的拼接。
通过上述步骤可知，本实施例提供的图像拼接方法可以按照获取图像信息的先后顺序不断地进行图像拼接，以适应更大面积的图像采集区域。
在货架上的多种货物通常是进行竖直方向的排列，因此竖直面能够呈现出更多的货物信息，并且巡检人员在进行图像拍摄时，获取的通常也是近乎于竖直面的图像信息，因此作为本实施例中更为优化的变形例，所述投影面可以采用竖直投影面。
进一步，为使投影面上的投影能够反映更多的图像信息，所述投影面还可以考虑选择利用对应于目标图像采集区域(例如目标采集区域中的货物、托盘)的目标特征来建立投影面，容易理解，当一个平面能够覆盖最多的目标特征时，那么这个投影面无疑是较为理想的投影面。因此请参考图3所示内容，图3是本实施例中提供的投影面的建立步骤流程图。所述投影面采用如下步骤建立：
S201：获取若干个所述目标特征的空间位置信息；
S202：依据所述目标特征的空间位置信息，将一竖直面作为所述投影面；其中，
所述投影面相比其他竖直面具有数量最多的所述目标特征。
可见，通过获取目标特征的空间位置信息，并选区包含目标特征数量最多的竖直面能够反映更多的图像信息，从而进一步提高图像拼接的精确度。
通常原始图像的覆盖范围往往会在某个方向的尺寸(例如在拍摄货柜时，由于图像获取设备(相机、智能手机等)的自身参数配置和拍摄距离等问题所导致的获取的原始图像的长度要大于目标采集区域的高度)大于目标采集区域，如果直接将处于原始图像范围下的目标特征(较大的范围中难免会出现充当目标特征的干扰信息出现)进行投影，无论是在投影阶段，还是在后续的图像拼接过程中，数据处理量无疑仍然比较大。鉴于此，本实施例还提供了一种用于获取投影图像的变形例，请参阅图4，图4是本实施例提供的获取投影图像的步骤流程图。该变形例中用于获取投影图像的步骤如下：
S301：在所述投影面上建立一能够覆盖所述目标图像采集区域的边框；其中，
所述边框能够随着所述目标图像采集区域的变化而变动；
S302：依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，获得投影图像；
S303：将所述投影图像和所述边框进行比对，获得处于所述边框中的所述第一投影图像和所述第二投影图像。
通过上述步骤可以知道，本实施例在获得投影图像时，通过在投影面上设置一个能够覆盖目标图像采集区域的边框，将投影到投影面上的目标特征限缩在边框的范围内，减少了多余的数据，提高了数据的处理效率，从而提高了图像拼接的效率和精确度。
还有，边框随着所述目标采集区域的变化而适时调整，保证了获取的每个原始图像的投影都能保证处于边框中，更有利于提高图像拼接的效率和精确度。
这里的边框可以采用矩形框，而本领域技术人员容易理解，这里的边框可以采用诸如三角形、五边形或六边形或其他容易建立的形状的边框，在此不再一一赘述。总之设置所述边框的目的是为了方便图像拼接，减少数据计算量，从而进一步提高图像拼接的效率和精确度。
摆放在货柜上的商品并非仅仅是一个生产商所有，因此某一个品牌生产商的巡检员也没有必要将所有的商品全部拍下以进行数据统一，而仅仅可以将位于特定位置的商品进行拍摄即可。容易理解，同一个品牌商的不同商品因为不同的销售目的，并不一定会摆放在一起。这就意味着，在实施现有的要求出现重叠区域的图像拼接技术时，最终的拼接图像上往往会出现一些不必要或者不会被利用的信息，但这部分信息仍然会参与到图像拼接的整个过程中。面对这一事实，这无疑会增加图像拼接的工作量。如果将不需要的图像内容进行剔除，或者在获取图像时就有针对性的进行拍摄，只是在拼接时按照获取图像的相对位置继进行固定拼接，同样可以向巡检人员反映出所需要的对应商品的摆放情况。
通过上述内容可知，采用本实施例提供的图像拼接方法进行图像拼接时，并没有要求相邻的两个原始图像(拍摄顺序上相邻)之间必须存在重叠区域。为此，本实施例还进一步提供了一种变形例，以详细说明相邻两个原始图像之间存在重叠区域和不存在重叠区域的拼接方法。请参考图5所示，图5是本实施例提供的有无重叠区域时的图像拼接步骤流程图。应对有无重叠区域时的拼接步骤如下：
S401：判断所述第一投影图像与所述第二投影图像之间是否存在重合区域，当出现重合区域时执行步骤S402，否者执行步骤S403；
容易理解，这里的区域是由每个投影图像中的目标特征之间的连线所确定的封闭范围。
S402：重叠所述第一投影图像与所述第二图像之间的重合区域，完成图像拼接；
S403：按照所述第一投影图像和所述第二投影图像的空间位置进行位置固定，以形成带有空白区域的拼接图像，完整图像拼接。
基于步骤S403得到的拼接图像，实际上会在拼接图像中出现信息空白区域，这是因为所述第一投影图像与所述第二投影图像之间并没有重叠区域，即所述第一投影图像与所述第二投影图像之间存在间隙，这里的间隙就对应着拼接图像中的信息空白区域。
可见，通过上述步骤可以应对相邻的原始图像之间存在和不存在重叠区域时的拼接情况，进一步提高了图像的拼接效率，降低了对原始图像的拍摄要求，扩大了应用范围。
本实施例的再一方面还提供了一种基于增强现实的图像拼接系统，请参考图6所示，图6是本实施例提供的基于增强现实的图像拼接系统的模块连接示意图。所述基于增强现实的图像拼接系统，能够用于实现上述基于增强现实的图像拼接方法的步骤。该系统包括：
位置信息获取模块501，用于在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
图像投影处理模块502，在所述标记系统中选择一平面作为投影面；依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
图像拼接模块503，按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
本实施例的另一方面还提供了一种图像拼接设备。所述图像拼接设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述所述的基于增强现实的图像拼接方法的步骤。
进一步，所述设备上还包括能够与所述处理器和所述存储器进行通信连接，用于在图像采集区域采集所述第一原始图像和所述第二原始图像的摄像头。
本领域技术人员能够理解，本实施例的各个方面可以实现为系统、方法或程序产品。因此，本实施例的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图7是本实施例提供的图像拼接设备的结构示意图。下面参照图7来详细描述根据本发明中的实施方式实施的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元执行610，使得处理单元610执行本实施例中上述图像拼接方法部分中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)和/或高速缓存存储单元，可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图7中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本实施例的最后一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述所述的基于增强现实的图像拼接方法的步骤。尽管本实施例未详尽的列举其他具体的实施方式，但在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本实施例上述图像拼接方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上说明之内容，本实施例提供的计算机刻度存储介质中存储的计算机程序被执行时，通过利用第一原始图像和第二原始图像上的目标特征点的空间位置信息，将第一原始图像和第二原始图像上的目标特征投影到同一个面上，能够将多种不同位置的目标特征精准的投影到同一个面上，因此无论获取的图像是以哪一种角度拍摄得到，都可以采用获取目标特征的位置信息进行投影，从而提高图像拼接的精度，而且还能始终保持拼接的精确度。
图8是本实施例提供的计算机可读存储介质的结构示意图。如图8所示，其中描述了根据本发明的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本文中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，在本实施例提供的基于增强现实的图像拼接方法、系统、设备及存储介质中，通过利用第一原始图像和第二原始图像上的目标特征点的空间位置信息，将第一原始图像和第二原始图像上的目标特征投影到同一个面上，能够将多种不同位置的目标特征精准的投影到同一个面上，因此无论获取的图像是以哪一种角度拍摄得到，都可以采用获取目标特征的位置信息进行投影，从而提高图像拼接的精度，而且还能始终保持拼接的精确度。
还有，实施本实施例提供的技术方案时，也无需按照现有技术那样必须保证相邻的两个图像之间存在重叠区域，即获取的第一原始图像和第二原始图像之间没有重叠区域时，也能够按照两张图像的实际坐标位置完成图像拼接。
另外，当把投影面设置为竖直面时，符合大多数图像的拍摄角度的最佳投影面，以在投影面上呈现出更多的能够反映原始图像的信息，从而进一步提高了图像拼接的精确度。
最后，由于本实施例是将能够反映商品信息的目标特征进行投影处理，大大减少了数据处理量，降低了对硬件结构的性能要求，也进一步提高图像拼接速度。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种基于增强现实的图像拼接方法，其特征在于，包括如下步骤：
S1：在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
S2：在所述标记系统中选择一平面作为投影面；
S3：依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
S4：按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
2.如权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述方法还包括如下步骤：
S5：获取更多张原始图像的所述目标特征；
S6：重复步骤S2至步骤S4，以完成覆盖目标采集区域的图像的拼接。
3.如权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述投影面为竖直投影面。
4.如权利要求3所述的基于增强现实的图像拼接方法，其特征在于，所述投影面采用如下步骤建立：
S201：获取若干个所述目标特征的空间位置信息；
S202：依据所述目标特征的空间位置信息，将一竖直面作为所述投影面；其中，
所述投影面相比其他竖直面具有数量最多的所述目标特征。
5.如权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述步骤S3包括如下步骤：
S301：在所述投影面上建立一能够覆盖所述目标图像采集区域的边框；其中，
所述边框能够随着所述目标图像采集区域的变化而变动；
S302：依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，获得投影图像；
S303：将所述投影图像和所述边框进行比对，获得处于所述边框范围中的所述第一投影图像和所述第二投影图像。
6.如权利要求1所述的基于增强现实的图像拼接方法，其特征在于，所述步骤S4还包括如下步骤：
S401：判断所述第一投影图像与所述第二投影图像之间是否存在重合区域，当出现重合区域时执行步骤S402，否者执行步骤S403；
S402：重叠所述第一投影图像与所述第二图像之间的重合区域，完成图像拼接；
S403：按照所述第一投影图像和所述第二投影图像的空间位置进行位置固定，以形成带有空白区域的拼接图像，完整图像拼接。
7.一种基于增强现实的图像拼接系统，用于实现权利要求1至6中任一项所述的基于增强现实的图像拼接方法的步骤，其特征在于，所述系统包括：
位置信息获取模块，用于在能够标记目标特征空间位置的标记系统中，获取第一原始图像上的若干所述目标特征的空间位置信息，并获取第二原始图像上的若干所述目标特征的空间位置信息；
图像投影处理模块，在所述标记系统中选择一平面作为投影面；依据所述目标特征的空间位置信息，将所述目标特征投影到所述投影面上，得到与所述第一原始图像和所述第二原始图像分别对应的第一投影图像和第二投影图像；
图像拼接模块，按照所述第一投影图像和所述第二投影图像在所述投影面上的位置信息，进行图像固定，完成图像拼接。
8.一种图像拼接设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6中任一项所述的基于增强现实的图像拼接方法的步骤。
9.如权利要求8所述的图像拼接设备，其特征在于，还包括：
能够与所述处理器和所述存储器进行通信连接，用于在图像采集区域采集所述第一原始图像和所述第二原始图像的摄像头。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于增强现实的图形拼接方法的步骤。
CN201910706058.0A 2019-07-31 2019-07-31 基于增强现实的图像拼接方法、系统、设备及存储介质 Pending CN110428363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706058.0A CN110428363A (zh) 2019-07-31 2019-07-31 基于增强现实的图像拼接方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706058.0A CN110428363A (zh) 2019-07-31 2019-07-31 基于增强现实的图像拼接方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110428363A true CN110428363A (zh) 2019-11-08

Family

ID=68413739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706058.0A Pending CN110428363A (zh) 2019-07-31 2019-07-31 基于增强现实的图像拼接方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110428363A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096252A (zh) * 2015-07-29 2015-11-25 广州遥感信息科技有限公司 一种带状全方位街景影像图的制作方法
CN108596837A (zh) * 2018-05-09 2018-09-28 北京玖瑞科技有限公司 图像拼接方法、装置、设备和计算机介质
CN109035145A (zh) * 2018-08-02 2018-12-18 广州市鑫广飞信息科技有限公司 基于视频帧匹配信息的视频图像自适应拼接方法及装置
US20190251663A1 (en) * 2017-03-22 2019-08-15 Tencent Technology (Shenzhen) Company Limited Image splicing method, apparatus, terminal, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096252A (zh) * 2015-07-29 2015-11-25 广州遥感信息科技有限公司 一种带状全方位街景影像图的制作方法
US20190251663A1 (en) * 2017-03-22 2019-08-15 Tencent Technology (Shenzhen) Company Limited Image splicing method, apparatus, terminal, and storage medium
CN108596837A (zh) * 2018-05-09 2018-09-28 北京玖瑞科技有限公司 图像拼接方法、装置、设备和计算机介质
CN109035145A (zh) * 2018-08-02 2018-12-18 广州市鑫广飞信息科技有限公司 基于视频帧匹配信息的视频图像自适应拼接方法及装置

Similar Documents

Publication Publication Date Title
US10664692B2 (en) Visual task feedback for workstations in materials handling facilities
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
US11222442B2 (en) Method for augmented reality display, method for determining pose information, and apparatuses
US20200151657A1 (en) Information processing apparatus, control method, and program
US20150046299A1 (en) Inventory Assessment with Mobile Devices
US20120313963A1 (en) Enhanced Asset Management and Planning System
US9723248B1 (en) Perspective-aware projected user interfaces
CN111553889A (zh) 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN111881894A (zh) 采集货柜商品售卖信息的方法、系统、设备和存储介质
US20210374902A1 (en) Method and Apparatus for Generating Sample Image and Electronic Device
CN114419289B (zh) 一种基于Unity的虚拟场景货架陈列方法及系统
CN108648140A (zh) 图像拼接方法、系统、设备及存储介质
CN111178357A (zh) 车牌识别方法、系统、设备和存储介质
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
CN111310606A (zh) 多张图片之间重复内容获取方法、系统、设备和介质
CN109948736A (zh) 商品识别模型主动训练方法、系统、设备及存储介质
US10733565B1 (en) Interactive data processing system
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN110428363A (zh) 基于增强现实的图像拼接方法、系统、设备及存储介质
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
US10304175B1 (en) Optimizing material handling tasks
US20220318529A1 (en) Error correction using combination rfid signals
WO2023213070A1 (zh) 基于2d相机获取货物位姿方法、装置、设备及存储介质
US20230186323A1 (en) Product compliance and certification validation
CN110930300B (zh) 图像拉正方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108

RJ01 Rejection of invention patent application after publication