CN109740425A - 基于增强现实的图像标注方法、系统、设备及存储介质 - Google Patents

基于增强现实的图像标注方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN109740425A
CN109740425A CN201811408143.0A CN201811408143A CN109740425A CN 109740425 A CN109740425 A CN 109740425A CN 201811408143 A CN201811408143 A CN 201811408143A CN 109740425 A CN109740425 A CN 109740425A
Authority
CN
China
Prior art keywords
commodity
frame images
video data
region
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811408143.0A
Other languages
English (en)
Inventor
胡晓俊
柯严
严治庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Expand Intelligent Technology Co Ltd
Original Assignee
Shanghai Expand Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Expand Intelligent Technology Co Ltd filed Critical Shanghai Expand Intelligent Technology Co Ltd
Priority to CN201811408143.0A priority Critical patent/CN109740425A/zh
Publication of CN109740425A publication Critical patent/CN109740425A/zh
Priority to US16/691,035 priority patent/US20200167568A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供的基于增强现实的图像标注方法、系统、设备及存储介质，包括：采集第一视频数据，将第一视频数据转化为多张时间上连续的单帧图像，进而根据多张单帧图像生成虚拟图像场景；采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标注单帧图像进行单元识别，识别出多个商品区域并将商品区域标记出；把标记出多个商品区域的单帧图像与虚拟图像场景中的对应区域进行替换。本发明能够根据智能手机上的摄像头采集的第一视频数据建立虚拟图像场景，并进而将单元识别出的商品区域补充至虚拟图像场景中，实现能够在虚拟图像场景中对商品区域进行标注，避免了对同一商品区域的重复标注，提高了商品区域标注和训练图像的生成效率。

Description

基于增强现实的图像标注方法、系统、设备及存储介质
技术领域
本发明涉及新零售，具体地，涉及一种基于增强现实的图像标注方法、系统、设备及存储介质。
背景技术
虽然线上零售一段时期以来替代了传统零售的功能，但从两大电商平台，天猫和京东的获客成本可以看出，电商的线上流量红利见顶；与此同时线下边际获客成本几乎不变，且实体零售进入整改关键期，因此导致的线下渠道价值正面临重估。
移动支付等新技术开拓了线下场景智能终端的普及，以及由此带来的移动支付、大数据、虚拟现实等技术革新，进一步开拓了线下场景和消费社交，让消费不再受时间和空间制约。
现在很多企业正以互联网为依托，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结构与生态圈，并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。
为了提高用户的线下购物体验和购物效率，在该零售新模式中需要对线下店中的商品通过移动端进行识别。现有技术中对该识别模型进行训练时所用的训练图像，一般是采集大量的图像然后由人员对感兴趣区域进行逐个框选，然后标注相应的框选出区域的商品类别。当该人员需要处理过多的图片时，用户需要逐一框选，操作极为繁琐，同时因为频繁的框选操作以及图像拍摄清晰度不够时可能使的用户出现误操作，时间消耗较长且花费大量的劳动力。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于增强现实的图像标注方法、系统、设备及存储介质。
根据本发明提供的基于增强现实的图像标注方法，用于通过智能手机对货架上的商品图像进行标注，包括如下步骤：
步骤S1：采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
步骤S2：采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并将所述商品区域标记出；
步骤S3：把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
优选地，所述步骤S2包括如下步骤：
步骤S201：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S202：通过所述单元识别模型对一所述待标注单帧图像进行单元识别，识别出多个商品区域；
步骤S203：通过标记框将识别出的所述商品区域标记出。
优选地，所述步骤S201包括如下步骤：
步骤S2011：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S2012：顺次提取时间上连续的两帧待标注单帧图像的特征点，根据所述特征点计算时间上连续的两帧待标注单帧图像之间的位移；
步骤S2013：判断所述位移是否小于预设定的位移阈值，当所述位移小于预设定的位移阈值时，则触发步骤S202。
优选地，所述步骤S3之后还包括如下步骤：
步骤M1：在所述虚拟图像场景中判断所述标记框的标记位置是否存在错误，若存在标记位置错误的标记框，则拖动所述标记框进行修正，若不存在标记位置错误的标记框，则进入步骤M2；
步骤M2：选定一待标注的所述商品区域扫描该商品区域对应的商品获取该商品区域的标记码或直接对一商品区域输入相应的标记码进行标注；
步骤M3：在所述虚拟图像场景选定该标记码对应的所有商品区域，完成该标记码对应商品的标注。
优选地，所述标注位置错误的标记框包括如下任一种或任多种错误：
-一商品区域的部分区域位于所述标记框外侧；
-两个相邻的商品区域的部分区域位于一所述标记框内侧；
-标记框的面积与商品区域面积比值大于预设的比例阈值。
优选地，所述步骤S1包括如下步骤：
步骤S101：开启智能手机的摄像头，移动所述智能手机采集第一视频数据；
步骤S102：当所述智能手机移动时，记录第一视频数据中每一单帧图像与摄像头的位置坐标对应关系，所述位置坐标包括摄像头的空间三维坐标、章动角θ、旋进角ψ以及自转角φ；
步骤S103：根据多张所述单帧图像生成虚拟图像场景，并生成所述摄像头的位置坐标与虚拟图像场景中图像区域的对应关系。
优选地，所述步骤S3包括如下步骤：
步骤S301：获取标记出多个商品区域的单帧图像对应的摄像头的位置坐标；
步骤S302：根据所述摄像头的位置坐标确定所述标注出多个商品区域的单帧图像对应的虚拟图像场景中图像区域；
步骤S303：根据所述标记出多个商品区域的单帧图像与对应的所述虚拟图像场景中图像区域进行替换以更新所述虚拟图像场景。
根据本发明提供的基于增强现实的图像标注系统，用于实现所述的基于增强现实的图像标注方法，包括：
虚拟图像场景构建模块，用于采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
识别标记模块，用于采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并对所述商品区域进行标记；
虚拟图像场景更新模块，用于把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
根据本发明提供的基于增强现实的图像标注设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述基于增强现实的图像标注方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述基于增强现实的图像标注方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明能够根据智能手机上的摄像头采集的第一视频数据建立虚拟图像场景，并进而将单元识别出的商品区域补充至虚拟图像场景中，实现能够在虚拟图像场景中对商品区域进行标注，避免了对一同一商品区域的重复标注，提高了商品区域标注和训练图像的生成效率；本发明能够应用与智能手机上，从而直接在货架前进行商品的识别和标注，提高了标注的准确度，避免了因照片拍摄不清楚或者商品相似度较高时造成的标准错误。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中基于增强现实的图像标注方法的步骤流程图；
图2为本发明中虚拟图像场景与摄像头的位置坐标关系生成的步骤流程图；
图3为本发明中对一商品区域进行标注的步骤流程图；
图4为本发明中进行单元识别的触发步骤流程图；
图5为本发明中对待标注目标帧图像进行修正并标注的步骤流程图；
图6为本发明中对虚拟图像场景进行更新的步骤流程图；
图7为本发明中基于增强现实的图像标注方法的模块示意图；
图8为本发明中基于增强现实的图像标注设备的结构示意图；以及
图9为本发明中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明中基于增强现实的图像标注方法的步骤流程图，如图1所示，本发明提供的基于增强现实的图像标注方法，用于通过智能手机对货架上的商品图像进行标注，包括如下步骤：
步骤S1：采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
步骤S2：采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并将所述商品区域标记出；
步骤S3：把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
在本实施例中，所述单元识别模型可以通过标注出商品区域的训练图像进行预训练生成，也可以直接借用现有技术中已经训练好的单元识别模型。
在本实施例中，本发明能够根据智能手机上的摄像头采集的第一视频数据建立虚拟图像场景，并进而将单元识别出的商品区域补充至虚拟图像场景中，实现能够在虚拟图像场景中对商品区域进行标注，避免了对一同一商品区域的重复标注，提高了商品区域标注和训练图像的生成效率；本发明能够应用与智能手机上，从而直接在货架前进行商品的识别和标注，提高了标注的准确度，避免了因照片拍摄不清楚或者商品相似度较高时造成的标准错误。
图2为本发明中虚拟图像场景与摄像头的位置坐标关系生成的步骤流程图，如图2所示，所述步骤S1包括如下步骤：
步骤S101：开启智能手机的摄像头，移动所述智能手机采集第一视频数据；
步骤S102：当所述智能手机移动时，记录第一视频数据中每一单帧图像与摄像头的位置坐标对应关系，所述位置坐标包括摄像头的空间三维坐标、章动角θ、旋进角ψ以及自转角φ；
步骤S103：根据多张所述单帧图像生成虚拟图像场景，并生成所述摄像头的位置坐标与虚拟图像场景中图像区域的对应关系。
即，在本实施例中，根据智能手机的空间位置变化和摄像头的欧拉角的变化将智能手机的摄像头拍摄的场景进行对应生成所述虚拟图像场景。所述摄像头的空间三维坐标可以采用GPS信息，也可以直接建立三维空间坐标系生成所述空间三维坐标。
在本实施例中，所述虚拟图像场景采用苹果公司的ARkit平台建立。
图3为本发明中对一商品区域进行标注的步骤流程图，如图3所示，所述步骤S2包括如下步骤：
步骤S201：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S202：通过所述单元识别模型对一所述待标注单帧图像进行单元识别，识别出多个商品区域；
步骤S203：通过标记框将识别出的所述商品区域标记出。
在本实施例中，所述标记框为矩形框。
图4为本发明中进行单元识别的触发步骤流程图，如图4所示，所述步骤S201包括如下步骤：
步骤S2011：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S2012：顺次提取时间上连续的两帧待标注单帧图像的特征点，根据所述特征点计算时间上连续的两帧待标注单帧图像之间的位移；
步骤S2013：判断所述位移是否小于预设定的位移阈值，当所述位移小于预设定的位移阈值时，则触发步骤S202。
在本实施例中，所述预设定的位移阈值可以设置为1厘米。即在判定到所述智能手机处于相对静止的情况下，才进行商品区域的单元识别。
在本实施例中，在位移小于预设定的位移阈值时间上连续的两帧待标注单帧图像中选择一所述待标注单帧图像作为待标记的目标帧图像；通过所述单元识别模型对一所述待标记的目标帧图像进行单元识别，识别出多个商品区域并将每一商品区域通过标记框标记出。
图5为本发明中对待标注目标帧图像进行修正并标注的步骤流程图；如图5所示，所述步骤S3之后还包括如下步骤：
步骤M1：在所述虚拟图像场景中判断所述标记框的标记位置是否存在错误，若存在标记位置错误的标记框，则拖动所述标记框进行修正，若不存在标记位置错误的标记框，则进入步骤M2；
步骤M2：选定一待标注的所述商品区域扫描该商品区域对应的商品获取该商品区域的标记码或直接对一商品区域输入相应的标记码进行标注；
步骤M3：在所述虚拟图像场景选定该标记码对应的所有商品区域，完成该标记码对应商品的标注。
在本实施例中，可以在步骤M2之前对商品区域进行采集，然后再进行标注，实现训练图像的生成，也可以在步骤M3完成标注之后对标注完成是商品区域的进行采集直接生成训练图像。
本实施例中，所述单元识别模型基于苹果公司的Create ML模型，采集的训练图像也可以用来Create ML模型的训练。
在本实施例中，判断所述标记框的标记位置是否存在错误时，通过操作人员直接进行判断，扫描获取标记码时也在也是通过操作人员进行。
在本实施例中，所述标记码采用条形码。
在本实施例中，所述标注位置错误的标记框包括如下任一种或任多种错误：
-一商品区域的部分区域位于所述标记框外侧；
-两个相邻的商品区域的部分区域位于一所述标记框内侧；
-标记框的面积与商品区域面积比值大于预设的比例阈值。
图6为本发明中对虚拟图像场景进行更新的步骤流程图，如图6所示，所述步骤S3包括如下步骤：
步骤S301：获取标记出多个商品区域的单帧图像对应的摄像头的位置坐标；
步骤S302：根据所述摄像头的位置坐标确定所述标注出多个商品区域的单帧图像对应的虚拟图像场景中图像区域；
步骤S303：根据所述标注出多个商品区域的单帧图像与对应的所述虚拟图像场景中图像区域进行替换以更新所述虚拟图像场景。
在本实施例中，本发明中将标出的商品区域的单帧图像全部映射到虚拟图像场景中，然后在该虚拟图像场景进行标注。
在变形例中，也可以通过特征点匹配的方法将标注出多个商品区域的单帧图像拼接到对应的所述虚拟图像场景中图像区域中。
当使用本发明提供的基于增强现实的图像标注方法时，可以将执行本发明中基于增强现实的图像标注方法的软件智能手机上，当运行该软件时，自动开启智能手机上的摄像头，采集第一视频数据，移动智能手机将整个货架的视频数据均采集到，进而可以通过该第一视频数据建立出所述虚拟图像场景。然后将智能手机相对静止对准货架上的一区域，即可实现对该区域商品区域的单元识别，并将标记出的商品区域整合至所述虚拟图像场景。进而在所述虚拟图像场景对标记错误的标记框进行拖动，使得每一标记框框住一商品区域，然后对框出的商品区域进行采集，最后选定一商品区域，在货架上拿出对应的商品，通过扫描该商品的条形码，实现对该商品区域的标注，然后选择该商品在虚拟图像场景中对应的所有商品区域，即可实现该商品对应的所有商品区域的标注。
图7为本发明中基于增强现实的图像标注方法的模块示意图，如图7所示，本发明提供的基于增强现实的图像标注系统，用于实现所述的基于增强现实的图像标注方法，包括：
虚拟图像场景构建模块，用于采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
识别标记模块，用于采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并对所述商品区域进行标出；
虚拟图像场景更新模块，用于把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
本发明实施例中还提供一种基于增强现实的图像标注设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于增强现实的图像标注方法的步骤。
如上，该实施例中本发明能够将一风机叶片对应的多张风机叶片图像按采集时间的顺序依次进行拼接形成一完整的风机叶片图像，便于对风机叶片上缺陷的准确定位，方便了风机叶片检修时对缺陷的定位。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的基于增强现实的图像标注设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于增强现实的图像标注方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于增强现实的图像标注方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于增强现实的图像标注方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明能够将一风机叶片对应的多张风机叶片图像按采集时间的顺序依次进行拼接形成一完整的风机叶片图像，便于对风机叶片上缺陷的准确定位，方便了风机叶片检修时对缺陷的定位。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本实施例中，本发明能够根据智能手机上的摄像头采集的第一视频数据建立虚拟图像场景，并进而将单元识别出的商品区域补充至虚拟图像场景中，实现能够在虚拟图像场景中对商品区域进行标注，避免了对一同一商品区域的重复标注，提高了商品区域标注和训练图像的生成效率；本发明能够应用与智能手机上，从而直接在货架前进行商品的识别和标注，提高了标注的准确度，避免了因照片拍摄不清楚或者商品相似度较高时造成的标准错误。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于增强现实的图像标注方法，用于通过智能手机对货架上的商品图像进行标注，其特征在于，包括如下步骤：
步骤S1：采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
步骤S2：采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并将所述商品区域标记出；
步骤S3：把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
2.根据权利要求1所述的基于增强现实的图像标注方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S202：通过所述单元识别模型对一所述待标注单帧图像进行单元识别，识别出多个商品区域；
步骤S203：通过标记框将识别出的所述商品区域标记出。
3.根据权利要求2所述的基于增强现实的图像标注方法，其特征在于，所述步骤S201包括如下步骤：
步骤S2011：采集第二视频数据，在所述第二视频数据提取出多张时间上连续的待标注单帧图像；
步骤S2012：顺次提取时间上连续的两帧待标注单帧图像的特征点，根据所述特征点计算时间上连续的两帧待标注单帧图像之间的位移；
步骤S2013：判断所述位移是否小于预设定的位移阈值，当所述位移小于预设定的位移阈值时，则触发步骤S202。
4.根据权利要求2所述的基于增强现实的图像标注方法，其特征在于，所述步骤S3之后还包括如下步骤：
步骤M1：在所述虚拟图像场景中判断所述标记框的标记位置是否存在错误，若存在标记位置错误的标记框，则拖动所述标记框进行修正，若不存在标记位置错误的标记框，则进入步骤M2；
步骤M2：选定一待标注的所述商品区域扫描该商品区域对应的商品获取该商品区域的标记码或直接对一商品区域输入相应的标记码进行标注；
步骤M3：在所述虚拟图像场景选定该标记码对应的所有商品区域，完成该标记码对应商品的标注。
5.根据权利要求4所述的基于增强现实的图像标注方法，其特征在于，所述标注位置错误的标记框包括如下任一种或任多种错误：
-一商品区域的部分区域位于所述标记框外侧；
-两个相邻的商品区域的部分区域位于一所述标记框内侧；
-标记框的面积与商品区域面积比值大于预设的比例阈值。
6.根据权利要求1所述的基于增强现实的图像标注方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：开启智能手机的摄像头，移动所述智能手机采集第一视频数据；
步骤S102：当所述智能手机移动时，记录第一视频数据中每一单帧图像与摄像头的位置坐标对应关系，所述位置坐标包括摄像头的空间三维坐标、章动角θ、旋进角ψ以及自转角φ；
步骤S103：根据多张所述单帧图像生成虚拟图像场景，并生成所述摄像头的位置坐标与虚拟图像场景中图像区域的对应关系。
7.根据权利要求6所述的基于增强现实的图像标注方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：获取标记出多个商品区域的单帧图像对应的摄像头的位置坐标；
步骤S302：根据所述摄像头的位置坐标确定所述标注出多个商品区域的单帧图像对应的虚拟图像场景中图像区域；
步骤S303：根据所述标记出多个商品区域的单帧图像与对应的所述虚拟图像场景中图像区域进行替换以更新所述虚拟图像场景。
8.一种基于增强现实的图像标注系统，用于实现权利要求1至7中任一项所述的基于增强现实的图像标注方法，其特征在于，包括：
虚拟图像场景构建模块，用于采集第一视频数据，将所述第一视频数据转化为多张时间上连续的单帧图像，进而根据所述多张所述单帧图像生成虚拟图像场景；
识别标记模块，用于采集第二视频数据，通过预设置的单元识别模型对第二视频数据中的待标记单帧图像进行单元识别，识别出多个商品区域并对所述商品区域进行标记；
虚拟图像场景更新模块，用于把所述标记出多个商品区域的单帧图像与所述虚拟图像场景中的对应区域进行替换。
9.一种基于增强现实的图像标注设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述基于增强现实的图像标注方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述基于增强现实的图像标注方法的步骤。
CN201811408143.0A 2018-11-23 2018-11-23 基于增强现实的图像标注方法、系统、设备及存储介质 Pending CN109740425A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811408143.0A CN109740425A (zh) 2018-11-23 2018-11-23 基于增强现实的图像标注方法、系统、设备及存储介质
US16/691,035 US20200167568A1 (en) 2018-11-23 2019-11-21 Image processing method, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811408143.0A CN109740425A (zh) 2018-11-23 2018-11-23 基于增强现实的图像标注方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109740425A true CN109740425A (zh) 2019-05-10

Family

ID=66358155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811408143.0A Pending CN109740425A (zh) 2018-11-23 2018-11-23 基于增强现实的图像标注方法、系统、设备及存储介质

Country Status (2)

Country Link
US (1) US20200167568A1 (zh)
CN (1) CN109740425A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211243A (zh) * 2019-06-06 2019-09-06 北京悉见科技有限公司 Ar设备及其实体标注方法
CN111026265A (zh) * 2019-11-29 2020-04-17 华南理工大学 一种基于vr场景视频的情绪标签连续标注系统及方法
CN111047647A (zh) * 2019-11-28 2020-04-21 咪咕视讯科技有限公司 定位方法、电子设备和计算机可读存储介质
CN111209846A (zh) * 2020-01-03 2020-05-29 秒针信息技术有限公司 一种暴力分拣的识别方法及装置
CN111901536A (zh) * 2020-08-04 2020-11-06 携程计算机技术（上海）有限公司 基于场景识别的视频剪辑方法、系统、设备及存储介质
CN114581636A (zh) * 2022-03-08 2022-06-03 中国农业大学 一种自定义标注叠加位置的增强现实实现工具
CN114879851A (zh) * 2022-07-11 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统
WO2023202404A1 (zh) * 2022-04-22 2023-10-26 华为技术有限公司 增强现实显示方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096194B (zh) * 2021-05-08 2024-03-26 北京字节跳动网络技术有限公司 确定时序的方法、装置、终端及非暂时性存储介质
CN113645415A (zh) * 2021-08-13 2021-11-12 京东科技信息技术有限公司 用于生成视频的方法、装置、电子设备和介质
CN113727029B (zh) * 2021-11-03 2022-03-18 武汉星巡智能科技有限公司 多视角采集图像后合并的智能生成订单方法及智能售货机
CN117354449B (zh) * 2023-09-30 2024-08-23 武汉小麦便利科技有限公司 基于动态视觉的商品识别方法、系统、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
EP2530622A2 (en) * 2011-06-01 2012-12-05 Nintendo Co., Ltd. Image display program, image display apparatus, image display method, and image display system
CN103218854A (zh) * 2013-04-01 2013-07-24 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
US8542906B1 (en) * 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
CN104081389A (zh) * 2011-11-08 2014-10-01 维迪诺蒂有限公司 图像标注方法和系统
CN106203292A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像的增强现实处理的方法、装置及移动终端
CN106897907A (zh) * 2017-03-30 2017-06-27 上海量明科技发展有限公司 基于扫描输出增强现实信息的方法、客户端及系统
CN108021896A (zh) * 2017-12-08 2018-05-11 北京百度网讯科技有限公司 基于增强现实的拍摄方法、装置、设备及计算机可读介质
CN207587085U (zh) * 2017-12-29 2018-07-06 浙江咪网电子科技有限公司 一种基于增强现实技术的用户自助计费装置
CN108509824A (zh) * 2017-02-24 2018-09-07 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
CN108734162A (zh) * 2018-04-12 2018-11-02 上海扩博智能技术有限公司 商品图像中目标识别方法、系统、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
US8542906B1 (en) * 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
EP2530622A2 (en) * 2011-06-01 2012-12-05 Nintendo Co., Ltd. Image display program, image display apparatus, image display method, and image display system
CN104081389A (zh) * 2011-11-08 2014-10-01 维迪诺蒂有限公司 图像标注方法和系统
CN103218854A (zh) * 2013-04-01 2013-07-24 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
CN106203292A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像的增强现实处理的方法、装置及移动终端
CN108509824A (zh) * 2017-02-24 2018-09-07 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
CN106897907A (zh) * 2017-03-30 2017-06-27 上海量明科技发展有限公司 基于扫描输出增强现实信息的方法、客户端及系统
CN108021896A (zh) * 2017-12-08 2018-05-11 北京百度网讯科技有限公司 基于增强现实的拍摄方法、装置、设备及计算机可读介质
CN207587085U (zh) * 2017-12-29 2018-07-06 浙江咪网电子科技有限公司 一种基于增强现实技术的用户自助计费装置
CN108734162A (zh) * 2018-04-12 2018-11-02 上海扩博智能技术有限公司 商品图像中目标识别方法、系统、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211243A (zh) * 2019-06-06 2019-09-06 北京悉见科技有限公司 Ar设备及其实体标注方法
CN110211243B (zh) * 2019-06-06 2023-12-01 北京悉见科技有限公司 Ar设备及其实体标注方法
CN111047647A (zh) * 2019-11-28 2020-04-21 咪咕视讯科技有限公司 定位方法、电子设备和计算机可读存储介质
CN111047647B (zh) * 2019-11-28 2024-04-09 咪咕视讯科技有限公司 定位方法、电子设备和计算机可读存储介质
CN111026265A (zh) * 2019-11-29 2020-04-17 华南理工大学 一种基于vr场景视频的情绪标签连续标注系统及方法
CN111209846A (zh) * 2020-01-03 2020-05-29 秒针信息技术有限公司 一种暴力分拣的识别方法及装置
CN111209846B (zh) * 2020-01-03 2023-04-18 秒针信息技术有限公司 一种暴力分拣的识别方法及装置
CN111901536A (zh) * 2020-08-04 2020-11-06 携程计算机技术（上海）有限公司 基于场景识别的视频剪辑方法、系统、设备及存储介质
CN114581636A (zh) * 2022-03-08 2022-06-03 中国农业大学 一种自定义标注叠加位置的增强现实实现工具
WO2023202404A1 (zh) * 2022-04-22 2023-10-26 华为技术有限公司 增强现实显示方法、装置、设备及存储介质
CN114879851A (zh) * 2022-07-11 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统

Also Published As

Publication number Publication date
US20200167568A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN109740425A (zh) 基于增强现实的图像标注方法、系统、设备及存储介质
CN107067003B (zh) 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
CN107832662B (zh) 一种获取图片标注数据的方法和系统
US9836651B2 (en) Displaying information relating to a designated marker
JP6619635B2 (ja) 画像処理装置及び画像処理方法
CN107908641B (zh) 一种获取图片标注数据的方法和系统
US11403766B2 (en) Method and device for labeling point of interest
EP3588325B1 (en) Method, device and system for processing image tagging information
US11734954B2 (en) Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium
US20210174299A1 (en) Method, system and device for collecting sales information of commodities in cabinet, and storage medium
CN108388649B (zh) 处理音视频的方法、系统、设备及存储介质
US20230007989A1 (en) Methods and devices for generating training sample, training model and recognizing character
CN108876857A (zh) 无人驾驶车辆的定位方法、系统、设备及存储介质
CN109902636A (zh) 商品识别模型训练方法、系统、设备及存储介质
CN104881860A (zh) 基于照片进行定位的方法和装置
CN108648140A (zh) 图像拼接方法、系统、设备及存储介质
CN109978668A (zh) 基于时间戳匹配的交易顾客识别方法、系统、设备及介质
CN109190919A (zh) 零售关键业绩指标生成方法、系统、设备及存储介质
CN110443317A (zh) 一种纸档资料电子化的方法、装置和电子设备
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
US9830530B2 (en) High speed searching method for large-scale image databases
CN109948736A (zh) 商品识别模型主动训练方法、系统、设备及存储介质
CN108363086A (zh) 室内导航方法、装置、服务器及存储介质
CN113670298B (zh) 基于增强现实的业务办理引导方法以及装置
CN117234939A (zh) 程序定位方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510

RJ01 Rejection of invention patent application after publication