CN108573293A - 一种基于增强现实技术的无人超市购物协助方法及系统 - Google Patents

一种基于增强现实技术的无人超市购物协助方法及系统 Download PDF

Info

Publication number
CN108573293A
CN108573293A CN201810321961.0A CN201810321961A CN108573293A CN 108573293 A CN108573293 A CN 108573293A CN 201810321961 A CN201810321961 A CN 201810321961A CN 108573293 A CN108573293 A CN 108573293A
Authority
CN
China
Prior art keywords
augmented reality
information
commodity
glasses
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810321961.0A
Other languages
English (en)
Other versions
CN108573293B (zh
Inventor
李志�
胡孝义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810321961.0A priority Critical patent/CN108573293B/zh
Publication of CN108573293A publication Critical patent/CN108573293A/zh
Application granted granted Critical
Publication of CN108573293B publication Critical patent/CN108573293B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供的一种基于增强现实技术的无人超市购物协助方法及系统，其中该方法包括：对增强现实眼镜定位并实时更新位置；接收输入的语音信息并进行语义识别得到商品信息；根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。本发明通过语音识别以及AR导航使得用户说出想要的商品信息则可以被增强现实眼镜通过AR导航至相应的地点，相较于现有技术中依靠导航指示牌或导购人员带领，本发明不仅能实现无人导航，并且能够使用户“沉浸”到该环境中，让购物消费者拥有更加清晰和沉浸式的导航服务和购物体验。

Description

一种基于增强现实技术的无人超市购物协助方法及系统
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实技术的无人超市购物协助方法及系统。
背景技术
目前以及未来，大型超市复杂的室内场所，上万种超市商品、图书馆众多的书籍等，并且在人们的生活中会出现越来越多的种类。在这些复杂的室内环境中，人们为了找到所需目标，很快找到自己希望采购的种类或品牌，现有技术是求助于墙壁上的室内规划图，或者向营业员或者陌生人打听方位以及自己的寻找。
尤其在未来的大型无人超市，一般情况下，零售业做为最末端销售，主要依靠服务价值品牌+情感价值+产品的价格的形式展开销售模式。大部分消费者对销售价格比较敏感，假如说销售的价格相对差不多的情况下，想要消费者心动，产生购买意愿的主要因素是现场服务价值品牌+情感价值，而这部分正是无人超市缺失的部分。
超市及超级市场，顾客自我服务，初期的超市和无人超市只有少量的货品，目前的超市有五金，食品，服装，化妆品等等达到几万种商品，内设咖啡厅，电影院等等一系类服务。
无人超市是指超市里没有营业员，购物、付款全部由顾客自助完成。普通超市是指有营业员介绍商品的名称，价格，用法，用途等，并且有人工结账。
增强现实技术：增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前的成功产品有微软Hololens,Meta公司的Meta2。
基于RFID的定位系统：RFID系统由RFID标签和RFID阅读器以及他们之间的通信组成。每个RFID标签具有唯一的标识符，即唯一的ID，他连接到某个对象上。用户用他的RFID阅读器读取RFID标签的唯一ID，使用户能够识别与RFID标签所连接的对象。将射频识别技术用于室内定位领域是目前RFID的一个热点。
然而，目前，复杂的室内场所，上万种超市商品、图书馆众多的书籍等，并且在人们的生活中会出现越来越多的种类。在这些复杂的室内环境中，人们为了找到所需目标，很快找到自己希望采购的种类或品牌，现有技术是求助于墙壁上的室内规划图，或者向营业员或者陌生人打听方位以及自己的寻找。
尤其在未来的大型无人超市，一般情况下，零售业做为最末端销售，主要依靠服务价值品牌+情感价值+产品的价格的形式展开销售模式。大部分消费者对销售价格比较敏感，假如说销售的价格相对差不多的情况下，想要消费者心动，产生购买意愿的主要因素是现场服务价值品牌+情感价值，而这部分正是无人超市缺失的部分。
发明内容
本发明提供了一种基于增强现实技术的无人超市购物协助方法及系统，给消费者提供了清晰、实时的购物导航路线，同时进行商品介绍。
本发明提供的一种基于增强现实技术的无人超市购物协助方法，包括：
对增强现实眼镜定位并实时更新位置；
接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
优选地，所述接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中之后还包括：
获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放。
优选地，所述对增强现实眼镜定位并实时更新位置具体包括：
通过RFID读写器对位于增强显示眼镜上的RFID标签进行识别处理；
将识别后的RFID数据信息中转到ZIGBEE无线传输基站再传输到定位数据处理中心；
通过定位算法进行数据定位处理计算出增强现实眼镜的位置、实时更新位置并储存相关数据。
优选地，所述获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放之前还包括：
根据增强现实眼镜位置信息和商品位置信息确定增强现实眼镜与商品的距离小于预设的阈值。
优选地，所述根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径具体为：
根据商品信息匹配商品位置数据库中的商品三维位置信息，并根据增强现实眼镜三维位置信息、商品三维位置信息和数据库中的超市三维空间布局图规划出最优三维路径并实时更新三维路径。
本发明提供的一种基于增强现实技术的无人超市购物协助系统，包括：增强现实眼镜、服务器、室内定位跟踪系统；
所述增强现实眼镜与所述服务器通信连接；所述室内定位跟踪系统与所述服务器通信连接；
所述室内定位跟踪系统用于对增强现实眼镜定位并实时更新位置；
所述增强现实眼镜用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
所述服务器用于根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
所述增强现实眼镜还用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
优选地，所述增强现实眼镜还用于获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放。
优选地，所述室内定位跟踪系统具体包括：
RFID数据采集系统，用于通过RFID读写器对位于增强显示眼镜上的RFID标签进行识别处理；
ZIGBEE无线传输基站，用于从所述RFID数据采集系统接收识别后的RFID数据信息再传输到定位数据处理中心；
定位数据处理中心，用于通过定位算法进行数据定位处理计算出增强现实眼镜的位置、实时更新位置并储存相关数据；
所述RFID数据采集系统与所述ZIGBEE无线传输基站通信连接，所述ZIGBEE无线传输基站与所述定位数据处理中心通信连接。
优选地，所述增强现实眼镜包括：
语义识别模块，用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至所述服务器；
AR模块，用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中；
RFID标签，用于被识别检测实现定位；
摄像机，用于拍摄图像和获取商品的二维码信息；
通信模块，用于与所述服务器通信并根据二维码信息从服务器下载对应的商品介绍视频；
显示模块，用于显示AR图像及商品介绍视频；
所述增强现实眼镜还包括眼镜本体，所述语义识别模块、AR模块、RFID标签、摄像机、通信模块和所述显示模块安装在所述眼镜本体上。
优选地，所述服务器还用于根据增强现实眼镜位置信息和商品位置信息确定增强现实眼镜与商品的距离小于预设的阈值。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的一种基于增强现实技术的无人超市购物协助方法及系统，其中该方法包括：对增强现实眼镜定位并实时更新位置；接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。本发明通过语音识别以及AR导航使得用户说出想要的商品信息则可以被增强现实眼镜通过AR导航至相应的地点，相较于现有技术中依靠导航指示牌或导购人员带领，本发明不仅能实现无人导航，并且能够使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。让购物消费者拥有更加清晰和沉浸式的导航服务和购物体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的一种基于增强现实技术的无人超市购物协助方法的一个实施例的示意图；
图2为本发明提供的一种基于增强现实技术的无人超市购物协助方法的另一个实施例的示意图；
图3为本发明提供的一种基于增强现实技术的无人超市购物协助方法的另一个实施例中实现流程图；
图4为本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例的示意图；
图5为本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例中室内定位跟踪系统流程图；
图6为本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例中增强现实眼镜示意图；
图7为本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例中超市商品数据库结构图。
具体实施方式
本发明提供了一种基于增强现实技术的无人超市购物协助方法及系统，给消费者提供了清晰、实时的购物导航路线，同时进行商品介绍。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种基于增强现实技术的无人超市购物协助方法的一个实施例，包括：
101、对增强现实眼镜定位并实时更新位置；
102、接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
103、根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
104、接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
需要说明的是，步骤101可以实时进行，第一次完成眼镜定位后便能输出增强现实眼镜位置信息。
以上是对本发明提供的一种基于增强现实技术的无人超市购物协助方法的一个实施例进行详细的描述，以下将对本发明提供的一种基于增强现实技术的无人超市购物协助方法的另一个实施例进行详细的描述。
请参阅图2，本发明提供的一种基于增强现实技术的无人超市购物协助方法的另一个实施例，包括：
201、通过RFID读写器对位于增强显示眼镜上的RFID标签进行识别处理；
202、将识别后的RFID数据信息中转到ZIGBEE无线传输基站再传输到定位数据处理中心；
203、通过定位算法进行数据定位处理计算出增强现实眼镜的位置、实时更新位置并储存相关数据；
204、接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
205、根据商品信息匹配商品位置数据库中的商品三维位置信息，并根据增强现实眼镜三维位置信息、商品三维位置信息和数据库中的超市三维空间布局图规划出最优三维路径并实时更新三维路径；
206、接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中；
207、根据增强现实眼镜位置信息和商品位置信息确定增强现实眼镜与商品的距离小于预设的阈值(确定用户到达商品附近)；
208、获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放。
请参阅图3，以下将通过详细的流程来说明本发明实施例：
1当购物者进入无人超市后，到超市的智能眼镜柜台拿出眼镜，根据用户的瞳距，可以自行选择不同型号的眼镜。
2由定位系统获得消费者的位置并且位置跟踪，将位置信息反馈到超市的信息处理器中。
3输入所需要的商品信息，在戴上增强现实眼镜后，通过语音输入，进行商品的选择(精确输入或者范围输入)，比如需要洗发水，洗发水是一个小类别，也可以指定某品牌某系列的具体单品。
4通过消费者的语音输入，增强现实眼镜进行语义识别，并且将信息反馈到服务器。
5根据消费者输入的语义，服务器从超市数据库中得到相应商品的位置信息。
6最优实时路径规划，服务器发出反馈，增强现实眼镜中生成用于寻找商品的三维导航指向图标。
路径规划是在服务器中完成的，服务器将路径规划实时的反馈到眼镜上。眼镜将用户的语音信息，眼镜位置信息，拍摄到的画面信息传送到服务器。服务器通过语音与用户不断确认所需要的商品，确认商品后，服务器将最优路线实时反馈到眼镜上，当找到指定商品后，根据用户选择是否播放介绍视频。
7到达所需商品位置后，由微型摄像机摄取外部环境的图像，获取到商品二维码后，由增强现实眼镜播放该商品的介绍视频(介绍视频存放在服务器中)，实现情感销售。
8进入下一个商品路径规划。
以上是对本发明提供的一种基于增强现实技术的无人超市购物协助方法的另一个实施例进行详细的描述，以下将对本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例进行详细的描述。
请参阅图4，本发明提供的一种基于增强现实技术的无人超市购物协助系统的一个实施例，包括：增强现实眼镜、服务器、室内定位跟踪系统；
增强现实眼镜与服务器通信连接；室内定位跟踪系统与服务器通信连接；
室内定位跟踪系统用于对增强现实眼镜定位并实时更新位置；
增强现实眼镜用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
服务器用于根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
增强现实眼镜还用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
增强现实眼镜还用于获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放。
室内定位跟踪系统具体包括：
RFID数据采集系统，用于通过RFID读写器对位于增强显示眼镜上的RFID标签进行识别处理；
ZIGBEE无线传输基站，用于从RFID数据采集系统接收识别后的RFID数据信息再传输到定位数据处理中心；
定位数据处理中心，用于通过定位算法进行数据定位处理计算出增强现实眼镜的位置、实时更新位置并储存相关数据；
RFID数据采集系统与ZIGBEE无线传输基站通信连接，ZIGBEE无线传输基站与定位数据处理中心通信连接。
请参阅图5，本发明采用基于RFID的无人超市精确定位系统。
GPS(Globle Pozitioning System)是当前应用最为广泛的定位技术。但是，利用GPS进行室内定位的缺点是定位信号到达地面时较弱，而且信号不能穿透建筑物，定位器终端的成本较高。另外，一些室内无线定位技术，如红外、超声、射频、蓝牙的技术，存在信号应用范围小，稳定性差，易受噪声干扰等缺点。本专利运用了基于射频信号的室内精确定位系统。
通过对定位系统的基本组合和基本功能的分析，针对眼镜位置的室内定位系统结构流程为：首先通过RFID读写器对RFID标签进行识别处理，RFID标签位于增强现实眼镜上，将采集到的数据信息中转到ZIGBEE无线传输的基站模块上，利用ZIGBEE基站无线传输的特性进行数据转送，接着数据处理中心通过接口通信处理识别到传输的数据，根据定位算法进行数据定位处理和数据储存，最终通过数据调用实现增强现实眼镜的室内定位。
增强现实眼镜包括：
语义识别模块，用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
AR模块，用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中；
RFID标签，用于被识别检测实现定位；
摄像机，用于拍摄图像和获取商品的二维码信息；
通信模块(可以是wifi模块或蓝牙模块等等)，用于与服务器通信并根据二维码信息从服务器下载对应的商品介绍视频；
显示模块(可以是设置于眼镜镜片上的显示屏，也可以是微型投影仪等等)，用于显示AR图像及商品介绍视频；
增强现实眼镜还包括眼镜本体，语义识别模块、AR模块、RFID标签、摄像机、通信模块和显示模块安装在眼镜本体上。
请参阅图6，本发明采用添加RFID标签的增强现实眼镜。
增强现实是指将虚拟物体叠加到显示场景中，并支持使用者与其进行交互。
一个典型的增强现实系统通常由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成，随着人机交互技术在不断成熟，语音识别技术已经非常成熟。本次用的增强现实眼镜将会加入RFID标签，用于定位和跟踪。当定位跟踪后，根据用户当前的位置，用户所需商品的位置，规划出实时最优路线给消费者导航，路线出现方式将由三维图像的形式出现在显示系统中(此处不用下载超市三维空间布局图，只是在眼镜中生成一条路线叠加到现实的场景中。)。当到达指定商品位置后，微型摄像机摄取外部环境的图像，获取到指定商品后(即拍摄到二维码)，将确认找到该商品。该微型摄像机可以采用微型CCD摄像机。
服务器还用于根据增强现实眼镜位置信息和商品位置信息确定增强现实眼镜与商品的距离小于预设的阈值。
请参阅图7，本发明服务器中的数据库结构如图7所示：包括无人超市商品的精确位置信息数据库和超市商品介绍视频的数据库。
构建超市三维空间布局图，设置好每个单品和每个类别商品的的X,Y,Z方位的位置信息数据库。分大分类，大分类是超级市场最粗线条的分类，大分类的主要标准是商品特征，如一般食品、日用杂货、日用百货、家用电器等。中分类，中分类是大分类中细分出来的类别。小分类，小分类是中分类中进一步细分出来的类别。单品，单品是商品分类中不能进一步细分的、完整独立的商品品项。预先将上述几种类别的位置信息匹配到超市三维空间的对应的位置上。为每个单品设置一个二维码，建立单品的介绍视频数据库，也可以是商品的广告视频。
本发明有以下优点：
1、增强现实眼镜是利用计算机生成一种逼真的视、听等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。让购物消费者拥有更加清晰和沉浸式的导航服务和购物体验。
2、利用RFID的分布式进行商品定位，定位精度更高，且能够实现三维定位，能更加准确的找到所需要的商品。
3、增强现实显示系统中增加了商品信息视频介绍，让消费者感受到真正的虚拟营业员导购，从而实现情感价值销售。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于增强现实技术的无人超市购物协助方法，其特征在于，包括：
对增强现实眼镜定位并实时更新位置；
接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至服务器；
根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
2.根据权利要求1所述的一种基于增强现实技术的无人超市购物协助方法，其特征在于，所述接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中之后还包括：
获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放。
3.根据权利要求1所述的一种基于增强现实技术的无人超市购物协助方法，其特征在于，所述对增强现实眼镜定位并实时更新位置具体包括：
通过RFID读写器对位于增强显示眼镜上的RFID标签进行识别处理；
将识别后的RFID数据信息中转到ZIGBEE无线传输基站再传输到定位数据处理中心；
通过定位算法进行数据定位处理计算出增强现实眼镜的位置、实时更新位置并储存相关数据。
4.根据权利要求2所述的一种基于增强现实技术的无人超市购物协助方法，其特征在于，所述获取商品的二维码信息，并根据二维码信息从服务器下载对应的商品介绍视频进行播放之前还包括：
根据增强现实眼镜位置信息和商品位置信息确定增强现实眼镜与商品的距离小于预设的阈值。
5.根据权利要求1所述的一种基于增强现实技术的无人超市购物协助方法，其特征在于，所述根据商品信息匹配商品位置数据库中的商品位置信息，并根据增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径具体为：
根据商品信息匹配商品位置数据库中的商品三维位置信息，并根据增强现实眼镜三维位置信息、商品三维位置信息和数据库中的超市三维空间布局图规划出最优三维路径并实时更新三维路径。
6.一种基于增强现实技术的无人超市购物协助系统，其特征在于，包括：增强现实眼镜、服务器、室内定位跟踪系统；
所述增强现实眼镜与所述服务器通信连接；所述室内定位跟踪系统与所述服务器通信连接；
所述室内定位跟踪系统用于对所述增强现实眼镜定位并实时更新位置；
所述增强现实眼镜用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至所述服务器；
所述服务器用于根据商品信息匹配商品位置数据库中的商品位置信息，并根据所述增强现实眼镜位置信息、商品位置信息和数据库中的超市三维空间布局图规划出最优路径并实时更新路径；
所述增强现实眼镜还用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中。
7.根据权利要求6所述的一种基于增强现实技术的无人超市购物协助系统，其特征在于，
所述增强现实眼镜还用于获取商品的二维码信息，并根据二维码信息从所述服务器下载对应的商品介绍视频进行播放。
8.根据权利要求6所述的一种基于增强现实技术的无人超市购物协助系统，其特征在于，所述室内定位跟踪系统具体包括：
RFID数据采集系统，用于通过RFID读写器对位于所述增强显示眼镜上的RFID标签进行识别处理；
ZIGBEE无线传输基站，用于从所述RFID数据采集系统接收识别后的RFID数据信息再传输到定位数据处理中心；
所述定位数据处理中心，用于通过定位算法进行数据定位处理计算出所述增强现实眼镜的位置、实时更新位置并储存相关数据；
所述RFID数据采集系统与所述ZIGBEE无线传输基站通信连接，所述ZIGBEE无线传输基站与所述定位数据处理中心通信连接。
9.根据权利要求6所述的一种基于增强现实技术的无人超市购物协助系统，其特征在于，所述增强现实眼镜包括：
语义识别模块，用于接收输入的语音信息并进行语义识别，将识别后的包含商品信息的语义信息发送至所述服务器；
AR模块，用于接收路径信息并根据路径信息生成导航图像通过增强现实技术叠加到AR图像中；
RFID标签，用于被识别检测实现定位；
摄像机，用于拍摄图像和获取商品的二维码信息；
通信模块，用于与所述服务器通信并根据二维码信息从所述服务器下载对应的商品介绍视频；
显示模块，用于显示AR图像及商品介绍视频；
所述增强现实眼镜还包括眼镜本体，所述语义识别模块、所述AR模块、所述RFID标签、所述摄像机、所述通信模块和所述显示模块安装在所述眼镜本体上。
10.根据权利要求6所述的一种基于增强现实技术的无人超市购物协助系统，其特征在于，所述服务器还用于根据所述增强现实眼镜的位置信息和商品位置信息确定所述增强现实眼镜与商品的距离小于预设的阈值。
CN201810321961.0A 2018-04-11 2018-04-11 一种基于增强现实技术的无人超市购物协助方法及系统 Expired - Fee Related CN108573293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810321961.0A CN108573293B (zh) 2018-04-11 2018-04-11 一种基于增强现实技术的无人超市购物协助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810321961.0A CN108573293B (zh) 2018-04-11 2018-04-11 一种基于增强现实技术的无人超市购物协助方法及系统

Publications (2)

Publication Number Publication Date
CN108573293A true CN108573293A (zh) 2018-09-25
CN108573293B CN108573293B (zh) 2021-07-06

Family

ID=63574714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810321961.0A Expired - Fee Related CN108573293B (zh) 2018-04-11 2018-04-11 一种基于增强现实技术的无人超市购物协助方法及系统

Country Status (1)

Country Link
CN (1) CN108573293B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324693A (zh) * 2018-12-04 2019-02-12 塔普翊海（上海）智能科技有限公司 Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
CN109754032A (zh) * 2018-11-15 2019-05-14 湖南机电职业技术学院 一种基于ar技术的图书馆管理设备
CN109945863A (zh) * 2018-09-29 2019-06-28 大连艾米移动科技有限公司 一种超市购物投影导航方法
CN110609883A (zh) * 2019-09-20 2019-12-24 成都中科大旗软件股份有限公司 Ar地图动态导航系统
CN111046689A (zh) * 2020-01-16 2020-04-21 张小强 一种基于智能眼镜的商品信息自动识别及读取方法
CN111090327A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备
CN111144177A (zh) * 2018-11-05 2020-05-12 北京京东尚科信息技术有限公司 图像处理方法及电子设备、服务器
CN111175974A (zh) * 2020-01-06 2020-05-19 南京水晶视界文化科技有限公司 一种ar眼镜的增强信息系统
CN111273770A (zh) * 2020-01-16 2020-06-12 昆山捷亿诺自动化科技有限公司 基于ar技术的仓库管理系统及出入库方法
CN111445314A (zh) * 2020-02-19 2020-07-24 上海萃钛智能科技有限公司 一种混合现实购物环境可视交流系统和可视交流方法
CN112669125A (zh) * 2021-01-19 2021-04-16 蒂姆维澳(上海)网络技术有限公司 基于ar技术的智能商超引导方法、终端及系统
CN112684892A (zh) * 2020-12-30 2021-04-20 中国人民解放军32181部队 一种增强现实弹药识别眼镜-手柄连携系统
WO2021090219A1 (en) * 2019-11-06 2021-05-14 Chain Technology Development Co., Ltd. 3d video generation for showing shortest path to destination
WO2021184388A1 (zh) * 2020-03-20 2021-09-23 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN111090327B (zh) * 2018-10-23 2024-05-31 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954276A (zh) * 2014-04-21 2014-07-30 中国科学院深圳先进技术研究院 基于智能眼镜的购物导航系统和方法
US20160232498A1 (en) * 2015-02-11 2016-08-11 FRED TOMLIN, Jr. Systems and methods for object identification and pricing for waste removal and transport services
CN106097258A (zh) * 2016-05-31 2016-11-09 深圳市元征科技股份有限公司 一种影像处理方法及增强现实设备
CN107816992A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的室内定位方法及系统
CN107816984A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的导览方法及系统
CN107816983A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的导购方法及系统
CN207181824U (zh) * 2017-09-14 2018-04-03 呼伦贝尔市瑞通网络信息咨询服务有限公司 景区讲解ar设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954276A (zh) * 2014-04-21 2014-07-30 中国科学院深圳先进技术研究院 基于智能眼镜的购物导航系统和方法
US20160232498A1 (en) * 2015-02-11 2016-08-11 FRED TOMLIN, Jr. Systems and methods for object identification and pricing for waste removal and transport services
CN106097258A (zh) * 2016-05-31 2016-11-09 深圳市元征科技股份有限公司 一种影像处理方法及增强现实设备
CN107816992A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的室内定位方法及系统
CN107816984A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的导览方法及系统
CN107816983A (zh) * 2017-08-28 2018-03-20 深圳市赛亿科技开发有限公司 一种基于ar眼镜的导购方法及系统
CN207181824U (zh) * 2017-09-14 2018-04-03 呼伦贝尔市瑞通网络信息咨询服务有限公司 景区讲解ar设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109945863A (zh) * 2018-09-29 2019-06-28 大连艾米移动科技有限公司 一种超市购物投影导航方法
CN111090327A (zh) * 2018-10-23 2020-05-01 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备
CN111090327B (zh) * 2018-10-23 2024-05-31 阿里巴巴集团控股有限公司 商品信息的处理方法、装置及电子设备
CN111144177A (zh) * 2018-11-05 2020-05-12 北京京东尚科信息技术有限公司 图像处理方法及电子设备、服务器
CN109754032A (zh) * 2018-11-15 2019-05-14 湖南机电职业技术学院 一种基于ar技术的图书馆管理设备
CN109324693A (zh) * 2018-12-04 2019-02-12 塔普翊海（上海）智能科技有限公司 Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
CN110609883A (zh) * 2019-09-20 2019-12-24 成都中科大旗软件股份有限公司 Ar地图动态导航系统
WO2021090219A1 (en) * 2019-11-06 2021-05-14 Chain Technology Development Co., Ltd. 3d video generation for showing shortest path to destination
CN111175974A (zh) * 2020-01-06 2020-05-19 南京水晶视界文化科技有限公司 一种ar眼镜的增强信息系统
CN111046689A (zh) * 2020-01-16 2020-04-21 张小强 一种基于智能眼镜的商品信息自动识别及读取方法
CN111273770A (zh) * 2020-01-16 2020-06-12 昆山捷亿诺自动化科技有限公司 基于ar技术的仓库管理系统及出入库方法
CN111445314A (zh) * 2020-02-19 2020-07-24 上海萃钛智能科技有限公司 一种混合现实购物环境可视交流系统和可视交流方法
WO2021184388A1 (zh) * 2020-03-20 2021-09-23 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN114830067A (zh) * 2020-03-20 2022-07-29 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN112684892A (zh) * 2020-12-30 2021-04-20 中国人民解放军32181部队 一种增强现实弹药识别眼镜-手柄连携系统
CN112684892B (zh) * 2020-12-30 2024-01-12 中国人民解放军32181部队 一种增强现实弹药识别眼镜-手柄连携系统
CN112669125A (zh) * 2021-01-19 2021-04-16 蒂姆维澳(上海)网络技术有限公司 基于ar技术的智能商超引导方法、终端及系统

Also Published As

Publication number Publication date
CN108573293B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108573293A (zh) 一种基于增强现实技术的无人超市购物协助方法及系统
JP6823023B2 (ja) 仮想プラノグラム管理、システム及び方法
CN107507017A (zh) 一种线下导购方法和装置
CN106570716B (zh) 提供商品对象信息的方法及装置
US20130103608A1 (en) Location Determination and Map Building
US20150142569A1 (en) Systems and methods for accessing shopping center services using a portable electronic device
Decker et al. Revealing the Retail Black Box by Interaction Sensing.
US20150170256A1 (en) Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
WO2017065187A1 (ja) 情報表示端末装置及び商品情報提供システム並びに商品販売促進方法
CN104182881A (zh) 基于wifi室内定位的超市智能导购系统及定位方法
Kahl et al. Irl smartcart-a user-adaptive context-aware interface for shopping assistance
CN106991578A (zh) 基于便携式终端的智能导购方法及相关装置
Jayananda et al. Augmented reality based smart supermarket system with indoor navigation using beacon technology (easy shopping android mobile app)
KR20140119291A (ko) 미러월드 마케팅 플랫폼 기반 증강현실 장바구니 시스템
CN106408359A (zh) 一种网络购物系统、销售商品的方法和购买商品的方法
WO2012075589A1 (en) Method and system for virtual shopping
KR20140008200A (ko) 오프라인 거래정보를 이용한 전자상거래 중개 시스템 및 방법
KR20150022064A (ko) 미러월드 기반 인터랙티브 온라인 쇼핑몰 제품의 판매 지원 시스템
CN108171584A (zh) 一种基于虚拟现实的智能超市购物系统
Pangriya et al. Automation in Retail: Modern Ways of Customer Engagement
KR20160095362A (ko) 구매 알림 푸시용 프로그램 및 이를 구현하는 플랫폼 서버
CN107784541A (zh) 提供数据对象信息的方法及装置
CN110445821A (zh) 家用电器的信息推送方法、装置、系统及信息处理方法
Wiwatwattana et al. Augmenting for purchasing with mobile: Usage and design scenario for ice dessert
JP7313157B2 (ja) 店舗システム、ステータス判定方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210706