CN111310713A - 基于增强现实的货物分拣方法及智能穿戴设备 - Google Patents

Abstract

本发明公开一种基于增强现实的货物分拣方法和智能穿戴设备，该方法首先发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息，再搜索与标识码对应的参考图像，获取货物的实时图像，再计算实时图像与参考图像的匹配度，若匹配度大于或等于预设匹配阈值，则生成并发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以将虚拟图像与实景图像进行合成呈现在用户面前，协助用户进行货物分拣，并且提高分拣效率。

Description

基于增强现实的货物分拣方法及智能穿戴设备

技术领域

本发明涉及增强现实技术领域，特别是涉及一种基于增强现实的货物分拣方法及智能穿戴设备。

背景技术

随着互联网的发展，零售业逐步从线下转向线上，电商成为个人和企业重要的购物方式。随之而来的，物流中心的包裹也来越多，包裹的拣选工作量也越来越大，因此，包裹拣选对于人工的需求过高，同时为了改善出库时的差错率，人工复核工作量和成本也日益增高。

目前物流作业员大多使用手持扫描枪拣货，但由于操作员需要拿着扫描枪进行扫描货物，这样就会无形中占用操作员一只手，工作效率比较低，并且，对于一些较大的货物分拣，单只手进行操作还存在拣选不方便的缺点。

发明内容

本发明实施例一个目的旨在提供一种基于增强现实的货物分拣方法及智能穿戴设备，其能够协助用户进行货物分拣，提高货物分拣效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

在第一方面，本发明实施例提供一种基于增强现实的货物分拣方法，应用于智能穿戴设备，包括：

发送至少一个所述货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息；

搜索与所述标识码对应的参考图像；

获取所述货物的实时图像；

计算所述实时图像与所述参考图像的匹配度；

判断所述匹配度是否大于或等于预设匹配阈值；

若是，生成并发射所述第一光线，

其中，所述第一光线可形成虚拟图像，所述虚拟图像包含分拣结果信息；

接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含所述货物所在的场景画面；

将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。

在一些实施例中，所述方法还包括：

使用图像分析算法处理所述实时图像，得到所述货物所在场景的光强信息；

确定佩戴所述智能穿戴设备的用户的当前视野范围；

当所述光强信息低于或等于预设光强阈值时，向所述当前视野范围投射灯光作补光处理；

将所述当前视野范围的光强信息叠加在所述虚拟图像内。

在一些实施例中，所述方法还包括：

获取所述货物的货物图像和/或货物视频；

将所述货物的货物图像和/或货物视频保存在预设文件夹中。

在一些实施例中，单个所述标识码由所述智能穿戴设备扫描单个货物得到的；

或者，

两个以上所述标识码由所述智能穿戴设备集群扫描若干货物得到的。

在一些实施例中，当两个以上所述标识码由所述智能穿戴设备集群扫描若干货物得到时，所述发射第一光线包括：

确定每个所述标识码对应的货物在所述智能穿戴设备的显示屏幕的坐标信息；

将每个所述标识码对应的坐标信息及分拣结果信息作关联处理；

根据与所述坐标信息对应的分拣结果信息，生成第一光线，其中，所述虚拟图像中的分拣结果信息呈现在所述坐标信息的预设范围内。

在一些实施例中，所述生成第一光线包括：

获取与每个所述标识码对应的分拣结果信息的复核确认结果；

根据每个所述标识码对应的复核确认结果，计算货物分拣数量；

生成第一光线，其中，所述虚拟图像还包含所述货物分拣数量。

在一些实施例中，所述获取与每个所述标识码对应的分拣结果信息的复核确认结果，包括：

获取佩戴所述智能穿戴设备的用户的第一眼球转动信息；

根据所述第一眼球转动信息，选择所述用户注视的货物为目标货物；

判断注视所述目标货物的时长是否达到预设时长阈值；

若是，再次追踪所述用户的第二眼球转动信息，判断所述用户的第二眼球转动信息是否满足预设确认条件时，若满足，生成与每个所述标识码对应的分拣结果信息的复核成功结果；若未满足，生成与每个所述标识码对应的分拣结果信息的复核失败结果；

向所述仓库管理后台反馈所述复核确认结果。

在一些实施例中，所述方法还包括：

获取远程视频指令；

根据所述远程视频指令，发送远程视频请求至所述仓库管理后台，以使所述仓库管理后台与所述智能穿戴设备建立远程视频连接。

在一些实施例中，所述方法还包括：

获取佩戴所述智能穿戴设备的用户的虹膜信息；

判断预设数据库内是否存在与所述虹膜信息匹配的预设虹膜特征；

若是，根据所述用户的虹膜信息登录所述智能穿戴设备。

在一些实施例中，所述方法还包括：

获取佩戴所述智能穿戴设备的用户的眼球的生理特征；

根据所述眼球的生理特征，判断佩戴所述智能穿戴设备的用户是否处于疲劳状态；

若是，锁闭所述智能穿戴设备。

在第二方面，本发明实施例提供一种智能穿戴设备，包括：

至少一个处理器；和

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于增强现实的货物分拣方法。

本发明实施例的有益效果是：区别于现有技术的情况，在本发明实施例中，首先发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息，再搜索与标识码对应的参考图像，获取货物的实时图像，再计算实时图像与参考图像的匹配度，判断匹配度是否大于或等于预设匹配阈值，若是，则生成并发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，并且提高分拣效率、用户体验好、使用方便。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种基于增强现实的货物分拣方法的应该场景示意图。

图2a是本发明实施例提供的一种智能穿戴设备的结构示意图；

图2b是本发明另一实施例提供的一种智能穿戴设备的结构示意图；

图2c是图2a所示的透视型导光元件设置在头戴框架上时的示意图；

图2d是图2a所示的显示模块的侧视角度与显示亮度之间的第一关系图；

图2e是图2a所示的显示模块的侧视角度与显示亮度之间的第二关系图；

图2f是图2a所示的显示模块的侧视角度与显示亮度之间的第三关系图；

图3a是佩戴图2a所示的智能穿戴设备时显示模块与用户脸部的位置关系示意图；

图3b是旋转图2a所示的显示模块的示意图；

图4a是图2a所示的智能穿戴设备的成像原理示意图；

图4b是图2a所示的智能穿戴设备的其中一实施例的场景示意图；

图4c是图2a所示的智能穿戴设备的其中一实施例的场景示意图；

图5是图2a所示的智能穿戴设备连接外接设备工作时的示意图；

图6是本发明实施例提供一种基于增强现实的货物分拣装置的结构示意图。

图7是本发明实施例提供一种基于增强现实的货物分拣方法的流程示意图；

图8是本发明另一实施例提供一种基于增强现实的货物分拣方法的流程示意图；

图9是本发明又另一实施例提供一种基于增强现实的货物分拣方法的流程示意图；

图10是图7中步骤206的另一流程示意图；

图11是图10中步骤2063的流程示意图；

图12是图11中步骤20631的流程示意图；

图13是本发明又另一实施例提供一种基于增强现实的货物分拣方法的流程示意图；

图14是本发明又另一实施例提供一种基于增强现实的货物分拣方法的流程示意图；

图15是本发明又另一实施例提供一种基于增强现实的货物分拣方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1是本发明实施例提供的一种用户佩戴智能穿戴设备进行分拣货物的应用场景，如图1所示，在货物分拣中心，有各种各样的待分拣的货物，这些货物可以根据类别存储在对应的货架上，每个货物上都贴有该货物的标识码，另外，当用户佩戴该智能穿戴设备进行分拣之前，需要登录该智能穿戴设备系统，选择库区等，用户登录可以使用自己的工号进行登录，这样后续可以查找到这个时间段使用该智能穿戴设备的用户身份以及其分拣货物的相关信息，然后任务挑选单号预先存储于该智能穿戴设备，用户根据该任务挑选单号，佩戴着该智能穿戴设备进行货物分拣，将属于该任务挑选单号的货物挑选出来并放入货物小推车内。相比于使用手持扫描枪分拣货物，通过智能穿戴设备进行分拣货物使得分拣速度加快，无需占用用户的双手，使用更加方便，分拣效率也得到相应提高。

请参阅图2a，本发明实施例提供的一种智能穿戴设备，所述智能穿戴设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种部分显示真实图像和部分生成虚拟图像的光学合成装置。

所述显示模块12以及透视型导光元件13皆设置在头戴框架11上，头戴框架11将显示模块12和透视型导光元件13进行固定。显示模块12设置在透视型导光元件13的上侧，显示模块12发出的光线能够经过透视型导光元件13后发生传导。可选地，所述显示模块12还可位于所述透视型导光元件13的侧方。

所述智能穿戴设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。

请参阅图2b，头戴框架11上还设置有单目摄像头111、双目/多目摄像头112、眼球追踪摄像头113、陀螺仪114、加速度计115、磁场计116、景深传感器117、环境光传感器118和/或距离传感器119。

单目摄像头111、双目/多目摄像头112、眼球追踪摄像头113、陀螺仪114、加速度计115、磁场计116、景深传感器117、环境光传感器118和/或距离传感器119皆电连接在主板17上。

具体地，所述单目摄像头111为彩色单目摄像头，放置于头戴框架11的前部。用户佩戴该智能穿戴设备时，单目摄像头111朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。

本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一朝内面，朝内面朝向用户的双眼设置。当用户佩戴该智能穿戴设备进行货物分拣时，单目摄像头111拍摄所分拣的货物以及货物周边的环境，具体可以拍摄货物的标识码，并将该货物标识码传送给主板17，由主板17中的处理器进行处理该货物标识码，具体地：

处理器首先将该货物标识码发送到仓库管理后台，该仓库管理后台中存储有所有货物的信息，包括货物的物流信息，目前的进度，包含的货物数量，货物的邮寄人和收件人的具体信息等，所以仓库管理后台可以根据该标识码对该货物做分拣处理，分拣时指根据出库单的要求或配送计划，将商品从拣货区或储存区拣取出来，并按一定的方式进行分类、集中的作业过程。分拣是仓库的重要作业环节，是货物出库的基础。分拣作业的效率将直接影响货物出库和订单完成的效率。因此仓库管理台对货物做分拣处理以后，会返回一个分拣结果信息，分拣结果信息可以包括该货物的具体属性，所属的订单编号，所属的类别以及该类别中所包含的其他未分拣的货物和已分拣的货物等信息。

处理器获取货物标识码之后，会根据货物标识码搜索出该标识码对应的参考图像，这些参考图像可以预先存储在存储器中，也可以实时进行在线搜索参考图像，例如，该货物标识码对应的货物是冰箱，那么该标识码对应的参考图像是冰箱的形状。然后该智能穿戴设备再根据单目摄像头111获取该货物目前的实时图像，并将实时图像传送给处理器，处理器计算该实时图像与搜索的参考图像的匹配度，两者匹配度的大小反映了两者的相似度，匹配度的值越大，代表两者越相似，匹配度的值越小，代表两者越不相似，因此，将计算得出的匹配度与预设匹配阈值进行比较，判断该匹配度是否大于或等于预设匹配阈值，若是，则代表两者的匹配度较高，两者比较相似，这时，就会将分拣结果信息发送到显示模块12，由显示模块12生成包含该分拣结果信息的第一光线。所以一般将预设匹配阈值的值设置得比较大，这样当匹配度大于或等于该预设阈值时，才能代表两者的相似度较高，将实时图像与参考图像的匹配度作为生成第一光线的触发条件，若两者不匹配或不相似，则不会生成第一光线，这样可以防止分拣结果信息与实际货物不对应，减少货物分拣的出错率。例如：货物标识码对应的分拣结果信息是冰箱，那么该标识码对应的参考图像是冰箱的形状，若单目摄像头111获取的该货物的实时图像是手机，那么冰箱与手机的匹配度肯定比较小，匹配度也就不会大于或等于预设匹配阈值，那么证明该货物的分拣结果信息与目前的货物实体不对应，因此，处理器就不会将该分拣结果发送给显示模块12，显示模块12更不会生成第一光线,这样可以重复确认当前货物信息是否正确。

当处理器将分拣结果传送到显示模块12，由显示模块12进行显示，并且，显示模块12向透视型导光元件13发射第一光线，该第一光线包含虚拟图像信息，同时，外部场景发射第二光线，同样由透视型导光元件13接收，该第二光线可以形成包含外部场景的实景图像，透视型导光元件13将第一光线和第二光线进行合成，然后将合成以后的光线经由一透视型导光元件13的朝内面传导进入用户的左眼，以及经由另一透视型导光元件13的朝内面传导的另一合成光线进入用户的右眼，以在用户的头脑中形成虚拟图像和外部场景的实景图像合成后的图像。

参阅图2c，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。

需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。

头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当智能穿戴设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当智能穿戴设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。

头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。

显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。

参阅图2d，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。

LCD应用于对于增强现实显示系统时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示系统主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图2e，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于增强现实显示系统中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。

可选地，参阅图2f，应用于增强现实显示系统的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。

参阅图3a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述智能穿戴设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。

参阅图3b，在某些实例中，透视型导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。

头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托1110和镜腿1111，通过鼻托1110与镜腿1111固定在用户的头部，所述镜腿1111为可折叠结构，其中鼻托1110对应固定在用户的鼻梁上，镜腿1111对应固定在用户的耳朵上。进一步的，镜腿1111之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。

可选地，鼻托1110和镜腿1111为可伸缩机构，可分别调整鼻托1110的高度和镜腿1111的伸缩长度。同样，鼻托1110和镜腿1111还可以为可拆卸结构，拆卸后可对鼻托1110或者镜腿1111进行更换。

可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形,例如：该智能穿戴设备可以是头箍式，或者是和安全帽结合的形式等。

请一并参阅图3a和图4a，分拣结果信息传送给显示模块12，显示模块12发射第一光线121，该第一光线121可以形成左眼的第一虚拟图像，该第一虚拟图像包含分拣结果信息，第一光线121经由一透视型导光元件13的朝内面131传导的第一光线121进入用户的左眼14；同理，显示模块12发射另一第一光线，该另一第一光线包含分拣结果信息，可以形成右眼的第一虚拟图像，该另一第一光线经由另一透视型导光元件的朝内面传导的另一第一光线进入用户的右眼，从而在用户的大脑中形成虚拟图像的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件传导更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。

在本发明实施例中，当智能穿戴设备实现增强现实的功能，每一透视型导光元件13还具有一与朝内面相背设置的朝外面；经由透视型导光元件13的朝外面和朝内面透射的包含外部场景的实景图像信息的第二光线进入用户的双眼，以形成混合虚拟图像和真实实景的视觉。再次参阅图2a，一透视型导光元件13还具有与朝内面131相背设置的朝外面132，经由透视型导光元件13的朝外面132和朝内面131透射的包含外部场景的实景图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其朝内面相背设置的朝外面，经由该透视型导光元件的朝外面和朝内面透射的包含货物所在的实景图像信息的第二光线进入用户的右眼，用户能够看到外界货物所在的真实场景，从而形成混合虚拟图像和真实场景的视觉感受。

因此，该智能穿戴设备可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，不需要另外占用用户的手，提高了分拣效率、用户体验好、使用方便。

在一些实施例中，单目摄像头111获取货物实时图像时，可能会因光照不足，而使得获取的图像不清晰，因此，当货物周围环境光照不足时，该智能穿戴设备会对货物周围环境做补光处理，以使得单目摄像头111能够拍摄出清晰的货物的实时图像，具体地：

单目摄像头111首先获取货物的实时图像，并将该实时图像传送给处理器，处理器使用图像分析算法处理该实时图像，得到该货物所在场景的光强信息。然后处理器通过单目摄像头111确定佩戴该智能穿戴设备的用户的当前视野范围，即确定用户目前的视野范围边界，边界以内的地方均属于用户能看到的地方，都属于用户的视野范围。然后处理器会判断检测到的光强信息是否低于或等于预设光强阈值，若结果为是，处理器则向当前视野范围投射灯光做补光处理，处理器可以通过控制智能穿戴设备上的小灯泡的开关来实现补光，其中，预设光强阈值是用户自定义的，一般是单目摄像头111能够拍摄清晰的货物实时图像的最低光照条件，或者是处理器能够获得准确获得货物实时图像中的数据的最低光照条件，也可以是用户进行分拣工作时候能够接受的最低光照条件。该智能穿戴设备向当前视野范围做补光处理以后，采集当前视野范围的光强信息，处理器将该光强信息传送到显示模块12，显示模块12通过第一光线将该光强信息叠加在上述包含分拣结果的虚拟图像内。这样可以使得用户在黑夜分拣货物时，通过对视野范围内的周围环境做补光处理，使得用户可以正常工作，减少因光照原因而产生的分拣错误。

处理器对用户视野范围内进行补光是分档次的补光，用户可以根据需要进行调节灯光的亮度，若用户对目前补的灯光亮度不满意，可以通过眼球的转动信息来调节补光的档次，进而调节灯光的亮度。该智能穿戴设备可以通过眼球追踪摄像头113来追踪用户的眼球转动方向，该眼球追踪摄像头113设置在透视型导光元件13的一侧，用户佩戴该智能穿戴设备时，眼球追踪摄像头113朝向相对于用户脸部的一侧。所述眼球追踪摄像头113用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。

其中，用户的眼球转动信息包括第一方向转动信息、第二方向转动信息及第三方向转动信息，当眼球追踪摄像头113追踪到用户的眼球转动信息是第一方向转动信息时，处理器就控制补光设备加大一个档次进行补光，也就是增强灯光的亮度，当眼球追踪摄像头113追踪到用户的眼球转动信息是第二方向转动信息时，处理器就控制补光设备降低一个档次进行补光，也就是降低灯光的亮度，当眼球追踪摄像头113追踪到用户的眼球转动信息是第三方向转动信息时，处理器就控制补光设备锁定目前档次进行补光，也就是不改变灯光的亮度，确定目前的灯光亮度是合适的灯光亮度。其中，第一方向转动信息、第二方向转动信息及第三方向转动信息均不做限定，可以由用户自己定义，例如：第一方向转动信息是眼球左转，第二方向转动信息是眼球右转，第三方向转动信息是眼球上下转动。这样可以使得用户不用手就可以根据需要调节灯光亮度，使用方便。

其中，获取货物所在场景的光强信息还可以通过环境光传感器118，所述环境光传感器118设置在头戴框架11上，可以实时监控环境光线的强弱。该智能穿戴设备可以根据环境光的变化实时的调整显示模块12的亮度，以保证显示效果在不同环境光下的一致性。环境光传感器118将采集的光强信息传送到处理器，处理器再根据相应操作对货物所在场景进行补光。

在一些实施例中，佩戴智能穿戴设备的用户通过单目摄像头111获取货物的货物图像和/或货物视频时，处理器会将这些图像和视频保存在预设文件夹中，该预设文件夹专门用以存储用户分拣货物时货物的图像或视频，以及货物周边环境的图像或视频，当后续出现货物分拣错误时，可以从预设文件夹中提取出当时分拣的情况，从而可以确定出错的步骤和责任人。该预设文件夹可以是处理器内部的存储器中存储的文件夹，也可以是外部存储器存储的文件夹，处理器还可以将获取的货物图像和/或货物视频通过上传云端等方式保存该货物图像和/或货物视频。

在一些实施例中，该智能穿戴设备传送到管理后台的货物标识码可以是单个，也可以是多个，单个的货物标识码由该智能穿戴设备通过单目摄像头111扫描单个货物得到的，两个以上的货物标识码由双目/多目摄像头112集群扫描若干货物得到的，所述双目/多目摄像头112可以是单色或彩色的摄像头，其设置在头戴框架11前部或侧面，且位于单目摄像头111的一侧、两侧或者四周。进一步的，所述双目/多目摄像头112可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。集群扫码是指拍一次照片而获取多个条码，也即多目摄像头拍摄货物的图片，该图片中包含多个货物的图像，处理器对该图片进行图像识别，获取多个货物的标识码。

处理器获取多个货物标识码以后，将所有的标识码都发送给货物管理后台，货物管理后台将分拣结果信息发送到处理器，处理器将货物图像与分拣结果都发送到显示模块12，但分拣结果在显示模块12上的显示并不是随意显示的，而是每个货物对应的分拣结果信息显示在对应货物图像处，具体地：

请参阅图4b，如图4b所示，货物图像在显示模块12上显示，每个货物图像在显示模块12上都有其对应的坐标，处理器确定每个货物图像对应的坐标信息，也就是每个标识码对应的坐标信息，再将每个标识码对应的坐标信息与其对应的分拣结果信息做关联处理，也就是将每个标识码对应的坐标信息与相应的分拣结果信息进行一一对应，然后将与每个坐标信息对应的分拣结果信息传送到显示模块12，由显示模块12生成相应的第一光线，该第一光线可以形成包含分拣结果信息的虚拟图像，并且该智能穿戴设备会获取货物的实时图像，虚拟图像与实时图像相结合，呈现在用户的面前，同时，虚拟图像中每个货物标识码对应的分拣结果信息呈现在该货物标识码对应的货物的坐标信息的预设范围内，也就是，虚拟图像中每个货物标识码对应的分拣结果信息与其对应的货物的实景图像在同一坐标信息的预设范围内。当有分拣多个货物时，这样可以使得用户能够直观地看到每个货物对应的分拣结果，能够辅助用户更快地核对分拣结果，提高分拣效率。

当用户获取分拣结果时，根据包含分拣结果的虚拟图像和货物的真实图像，用户会再次对该货物进行复核，用户会确认该标识码对应的分拣结果信息是否正确，且分拣结果与该标识码对应的真实货物的对应是否正确，若用户对该货物进行复核以后，确认所有信息是正确的，那么用户可以给出一个复核成功的复核确认结果，若用户发现某一项信息是错误的，或者货物不正确时，那么用户会给出一个复核失败的复核确认结果，该智能穿戴设备在得到用户给出的复核确认结果以后，根据该复核确认结果处理对应的分拣结果信息。至于用户与该智能穿戴设备之间的交互，可以通过手势操作，也可以是根据眼球转动操作，例如：用户在对多个货物进行复核时，根据货物标识码对应的分拣结果与真实的货物图像，用户确认与该货物对应的所有信息均是正确的，则可以做出“OK”手势，由摄像头拍摄该手势，并传送到处理器，处理器确认该标识码对应的货物复核成功，若用户发现与该货物对应的一部分信息是错误的，则双手可以做出“X”手势，同样由摄像头拍摄该手势，处理器则确认该标识码对应的货物复核失败。

请参阅图4c，如图4c所示，处理器获取与每个标识码对应的分拣结果信息的复核确认结果以后，根据该复核确认结果，计算货物分拣数量，其中，复核确认结果包括复核成功结果和复核失败结果，那么货物分拣数量同样包括货物分拣成功数量和货物分拣失败数量，当用户确认货物标识码对应的货物复核成功，处理器获取其对应的复核成功结果，进而货物分拣成功数量加1，当用户确认货物标识码对应的货物复核失败，处理器获取其对应的复核失败结果，进而货物分拣失败数量加1。最后处理器将货物分拣数量发送到显示模块12，由显示模块12根据该货物分拣数量生成第一光线并形成相应的包含货物分拣数量的虚拟图像。这样可以使得用户能够直观清楚地看到这次货物分拣分拣成功的数量和分拣失败的数量，进而对于分拣失败的货物，可以再进行分拣、复核和确认，使得用户分拣货物的速度加快，效率提高。

在一些实施例中，该智能穿戴设备除了通过用户手势判断复核确认结果之外，还可以通过眼球转动信息来定义复核确认结果。眼球的具体转动信息所对应的复核确认结果可以由用户自己设置，例如：用户眼球左转代表复核成功结果，其他的眼球转动均代表复核失败结果，具体地：

当用户对相应货物标识码对应的货物进行复核时，用户会注视待复核的货物，这时眼球追踪摄像头113获取该用户的第一眼球转动信息，并将用户在第一眼球转动信息下注视的货物图像传送到处理器，处理器就选择该用户注视的货物为目标货物，然后判断用户注视该目标货物的时长是否达到预设时长阈值，该步骤是防止用户不经意扫过货物就对货物进行复核，而是符合一定的注视时间，才会进入下一步非复核确认工作，这样可以防止频繁启动该智能设备的确认复核功能。当注视目标货物的时长达到预设时长阈值时，该眼球追踪摄像头113就再次追踪该用户的第二眼球转动信息，判断该第二眼球转动信息是否满足预设确认条件，该预设确认条件是用户预先存储的代表复核成功的眼球的转动信息，若预设确认条件是眼球左转，那么若第二眼球转动信息是眼球左转，那么处理器就生成与该标识码对应的分拣结果信息的复核成功结果，若第二眼球转动信息不是眼球左转，那么处理器就生成与该标识码对应的分拣结果信息的复核失败结果。同时，处理器还会将每个标识码对应的分拣结果的复核结果反馈给仓库管理后台，由仓库管理后台管理和记录所有货物对应复核结果。这样可以使得复核确认的操作更加简单方便，解放用户的双手，复核效率提高，进而使得分拣效率也提高。

在一些实施例中，当用户根据绑定的分拣任务单号进行分拣货物时，若发现待分拣的货物不属于该分拣任务单号，那么用户可以打开该智能设备绑定的尚未完成的分拣任务信息，对其进行确认或者进行相应修改。用户还可以通过语音指令对分拣任务信息进行修改、取消或者返回等工作，还可以通过手势指令完成上述功能。

所述单目摄像头111还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过该智能穿戴设备看到的内容。在一些实施例中，当用户发现有些货物分拣结果错误时，还可以通过单目摄像头111获取远程视频指令，该远程视频指令可以是一些手势或者语音指令，用于触发该智能穿戴设备与物流管理中心远程视频的请求，具体的远程视频指令可以由用户自己定义，例如：用户发现一些分拣错误情况，可以做出一个具体的手势或者发出类似于“远程视频”的语音指令，处理器接收到该远程视频指令，向物流管理中心发出远程视频的请求，使得用户与物流管理中心的工作人员远程视频通话，及时反映情况，并将所拍摄的货物周围情况的视频传送给物流管理中心控制室，这样可以及时解决货物分拣错误情况，或者及时处理一些突发状况，更进一步地提高了用户货物分拣的效率。

可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

在一些实施例中，佩戴该智能穿戴设备的用户不仅可以通过工号手动登录系统，还可以通过扫描该用户的虹膜登录系统，具体地：

当用户佩戴该智能穿戴设备时，眼球追踪摄像头113获取用户的虹膜信息，虹膜是一种在眼睛中瞳孔内的织物状各色环状物，每一个虹膜都包含一个独一无二的基于像冠、水晶体、细丝、斑点、结构、凹点、射线、皱纹和条纹等特征的结构，没有任何两个虹膜是一样的。人类虹膜独特的图样在出生后的10个月时间内完全形成，并且在一个人的整个生命历程中都将保持不变。因此可以通过获取的虹膜信息判断用户的身份。当获取用户的虹膜信息以后，判断预设数据库内是否存在与所述虹膜信息匹配的预设虹膜特征，预设数据库中存储的预设虹膜特征是用户事先存储的，是可以登录该智能穿戴设备的用户的虹膜信息，且每个人的虹膜信息与其身份信息相匹配，例如：在使用智能穿戴设备之前，用户根据设置指示，将其虹膜信息收录进智能穿戴设备中的预设数据库中，并将其虹膜信息与其工号、姓名等可以代表身份特征的信息相关联，一个智能穿戴设备可以收录多个用户的虹膜特征。若获取的虹膜信息与预设数据库内的预设虹膜特征相匹配，则根据获取的虹膜信息，登录该智能穿戴设备。该操作可以使得用户通过虹膜识别的方式登录系统，且通过其虹膜信息可以确定该用户的身份，使得用户登录方便且防止其他人错误登录该智能穿戴设备。

在一些实施例中，当用户佩戴该智能穿戴设备工作时，眼球追踪摄像头113和单目摄像头111、双目摄像头112配合，获取佩戴该智能穿戴设备的用户的眼球的生理特征，该生理特征可以包括用户在预设参考时长内的睁眼时长、闭眼时长和眨眼频率等生理信息，由于用户在不同的状态下，例如清醒或者困倦等状态下，各个预设参考时长内的睁闭眼状态可能是不一样的，用户在预设时长内的睁眼时长、闭眼时长和眨眼频率可能是不一样的，当用户的状态发生变化时，处理器根据用户的眼球的生理特征，获取其变化规律，根据该变化规律，判断佩戴该智能穿戴设备的用户是否处于疲劳状态，若是，则处理器锁闭该智能穿戴设备，强制退出工作，这样操作可以使得疲劳的用户强制休息，并提醒用户进行换班等。

上述处理器的操作不仅可以由智能穿戴设备的处理器进行，也可以由一些终端设备中的处理器进行，终端设备与该智能穿戴设备可以由电缆进行连接。

在一些实施例中，距离传感器119设置在该智能穿戴设备与用户面部接触的位置，用于检测该智能穿戴设备是否佩戴在用户头部。若用户摘下了该智能穿戴设备，则可以通过关闭显示模块12、处理器等方式节电。

所述景深传感器117设置在头戴框架11的前部，可以直接获得环境中的景深信息。与双/多目摄像头112相比，景深传感器可以获得更准确、分辨率更高的景深数据。

可选地，该智能穿戴设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板17上，所述红外/近红外光LED用于为双目/多目摄像头112提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头112获取的物体时，所述物体将红外线传导回去，双目/多目摄像头112上的感光元件接收传导回来的红外线并转换成电信号，接着再进行成像处理。

参阅图5，二显示模块12通过电缆连接到主板17上。

主板17上还设置有摄像头、视频接口、电源接口、通信芯片以及存储器。

所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。

所述电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。

所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过WiFi、WDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它智能穿戴设备连接；或者直接通过通信协议与其它智能穿戴设备相连。

所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。

当智能穿戴设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17，所有的虚拟场景渲染、对应双眼的图像生成均可以在与智能穿戴设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，智能穿戴设备通过摄像头拍摄外部图像信息，或者通过相应接口接收外部图像信息或者视频信息，并将该外部图像和视频信息解码后在显示模块12上显示。外接设备接收基于增强现实的智能穿戴设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块12上显示的图像上进行体现。基于增强现实的智能穿戴设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。

同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述智能穿戴设备进行交互。这种基本结构的应用实例包括但不限于大屏幕便携显示器。智能穿戴设备可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与智能穿戴设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。

进一步地，该基于增强现实的智能穿戴设备将获取到的外部真实场景图像与虚拟图像合成后进行显示时，显示方式包括第一显示模式、第二显示模式或第三显示模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式。所述第三显示模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示：

需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由系统软件决定也可以由使用者自主设置。

本发明实施例提供的一种基于增强现实的智能穿戴设备，首先发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码作分拣处理并返回分拣结果信息，再搜索与标识码对应的参考图像，获取货物的实时图像，再计算实时图像与参考图像的匹配度，判断匹配度是否大于或等于预设匹配阈值，若是，则生成并发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，并且提高分拣效率、用户体验好、使用方便。

作为本发明实施例的另一方面，本发明实施例提供一种基于增强现实的货物分拣装置，该基于增强现实的货物分拣装置作为软件系统，其可以存储在图1-图5中的智能穿戴设备的处理器中，该基于增强现实的货物分拣装置包括若干指令，该若干指令存储于存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述基于增强现实的货物分拣的控制逻辑。

如图6所示，该基于增强现实的货物分拣装置300包括发送模块301，用于发送至少一个所述货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息；搜索模块302用于搜索与所述标识码对应的参考图像；第一获取模块303，用于获取所述货物的实时图像；计算模块304，用于计算所述实时图像与所述参考图像的匹配度；第一判断模块305，用于判断所述匹配度是否大于或等于预设匹配阈值；发射模块306，用于生成并发射第一光线，其中，所述第一光线可形成虚拟图像，所述虚拟图像包含分拣结果信息；接收模块307，用于接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含所述货物所在的场景画面；合成模块308，用于将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。

该基于增强现实的货物分拣装置300能够发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码作分拣处理并返回分拣结果信息，再搜索与标识码对应的参考图像，获取货物的实时图像，再根据实时图像与参考图像，生成并发射第一光线，其中，根据实时图像与参考图像，生成第一光线包括计算实时图像与参考图像的匹配度，判断匹配度是否大于或等于预设匹配阈值，若是，则生成第一光线，再发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，并且提高分拣效率、用户体验好、使用方便。

在一些实施例中，请继续参阅图6，该基于增强现实的货物分拣装置300还包括处理模块309，用于使用图像分析算法处理所述实时图像，得到所述货物所在场景的光强信息；确定模块310，用于确定佩戴所述智能穿戴设备的用户的当前视野范围；投射模块311，用于当所述光强信息低于或等于预设光强阈值时，向所述当前视野范围投射灯光作补光处理；叠加模块312，用于将所述当前视野范围的光强信息叠加在所述虚拟图像内。

在一些实施例中，请继续参阅图6，该基于增强现实的货物分拣装置300还包括第二获取模块313，用于获取所述货物的货物图像和/或货物视频；保存模块314，用于将所述货物的货物图像和/或货物视频保存在预设文件夹中。

在一些实施例中，请继续参阅图6，该基于增强现实的货物分拣装置300还包括第三获取模块315，用于获取远程视频指令；第二发送模块316，用于根据所述远程视频指令，发送远程视频请求至所述仓库管理后台，以使所述仓库管理后台与所述智能穿戴设备建立远程视频连接。

在一些实施例中，请继续参阅图6，该基于增强现实的货物分拣装置300还包括第四获取模块317，用于获取佩戴所述智能穿戴设备的用户的虹膜信息；第二判断模块318，用于判断预设数据库内是否存在与所述虹膜信息匹配的预设虹膜特征；登录模块319，用于根据所述用户的虹膜信息登录所述智能穿戴设备。

在一些实施例中，请继续参阅图6，该基于增强现实的货物分拣装置300还包括第五获取模块320，用于获取佩戴所述智能穿戴设备的用户的眼球的生理特征；第三判断模块321，用于根据所述眼球的生理特征，判断佩戴所述智能穿戴设备的用户是否处于疲劳状态；锁闭模块322，用于锁闭所述智能穿戴设备。

在一些实施例中，请继续参阅图6，发射模块306还包括第一确定单元3061，用于确定每个所述标识码对应的货物在所述智能穿戴设备的显示屏幕的坐标信息；关联单元3062，用于将每个所述标识码对应的坐标信息及分拣结果信息作关联处理；生成单元3063，用于根据与所述坐标信息对应的分拣结果信息，生成第一光线，其中，所述虚拟图像中的分拣结果信息呈现在所述坐标信息的预设范围内。

在一些实施例中，请继续参阅图6，生成单元3063包括第一获取子单元30631，用于获取与每个所述标识码对应的分拣结果信息的复核确认结果，具体用于获取佩戴所述智能穿戴设备的用户的第一眼球转动信息；根据所述第一眼球转动信息，选择所述用户注视的货物为目标货物；判断注视所述目标货物的时长是否达到预设时长阈值；若是，再次追踪所述用户的第二眼球转动信息，判断所述用户的第二眼球转动信息是否满足预设确认条件时，若满足，生成与每个所述标识码对应的分拣结果信息的复核成功结果；若未满足，生成与每个所述标识码对应的分拣结果信息的复核失败结果；向所述仓库管理后台反馈所述复核确认结果。还包括第二计算子单元30632，用于根据每个所述标识码对应的复核确认结果，计算货物分拣数量；第二生成子单元30633，用于生成第一光线，其中，所述虚拟图像还包含所述货物分拣数量。

作为本发明实施例的又另一方面，本发明实施例提供一种基于增强现实的货物分拣方法，应用于智能穿戴设备。本发明实施例的基于增强现实的货物分拣方法的功能除了借助上述图6所述的基于增强现实的货物分拣装置的软件系统来执行，其亦可以借助硬件平台来执行。例如：基于增强现实的货物分拣方法可以在合适类型具有运算能力的处理器的电子设备中执行，例如：单片机、数字处理器(Digital Signal Processing，DSP)、可编程逻辑控制器(Programmable Logic Controller，PLC)等等。

下述各个实施例的基于增强现实的货物分拣方法对应的功能是以指令的形式存储在电子设备的存储器上，当要执行下述各个实施例的基于增强现实的货物分拣方法对应的功能时，电子设备的处理器访问存储器，调取并执行对应的指令，以实现下述各个实施例的基于增强现实的货物分拣方法对应的功能。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如上述实施例中的基于增强现实的货物分拣装置300对应的程序指令/模块(例如，图6所述的各个模块和单元)，或者下述实施例基于增强现实的货物分拣方法对应的步骤。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行基于增强现实的货物分拣装置300的各种功能应用以及数据处理，即实现下述实施例基于增强现实的货物分拣装置300的各个模块与单元的功能，或者下述实施例基于增强现实的货物分拣方法对应的步骤的功能。

存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的基于增强现实的货物分拣方法，例如，执行下述实施例描述的图7至图15所示的各个步骤；也可实现附图6所述的各个模块和单元的功能。

如图7所示，该基于增强现实的货物分拣方法200包括：

步骤201、发送至少一个所述货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息；

步骤202、搜索与所述标识码对应的参考图像；

步骤203、获取所述货物的实时图像；

步骤204、计算所述实时图像与所述参考图像的匹配度；

步骤205、判断所述匹配度是否大于或等于预设匹配阈值；

步骤206、若是，生成并发射所述第一光线，其中，所述第一光线可形成虚拟图像，所述虚拟图像包含分拣结果信息；

步骤207、接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含所述货物所在的场景画面；

步骤208、将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。

通过采用该方法，其能够发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码作分拣处理并返回分拣结果信息，再搜索与标识码对应的参考图像，获取货物的实时图像，再根据实时图像与参考图像，生成并发射第一光线，其中，根据实时图像与参考图像，生成第一光线包括计算实时图像与参考图像的匹配度，判断匹配度是否大于或等于预设匹配阈值，若是，则生成并发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，并且提高分拣效率、用户体验好、使用方便。

在一些实施例中，如图8所示，该基于增强现实的货物分拣方法200还包括：

步骤209、使用图像分析算法处理所述实时图像，得到所述货物所在场景的光强信息；

步骤210、确定佩戴所述智能穿戴设备的用户的当前视野范围；

步骤211、当所述光强信息低于或等于预设光强阈值时，向所述当前视野范围投射灯光作补光处理；

步骤212、将所述当前视野范围的光强信息叠加在所述虚拟图像内。

在一些实施例中，如图9所示，该基于增强现实的货物分拣方法200还包括：

步骤213、获取所述货物的货物图像和/或货物视频；

步骤214、将所述货物的货物图像和/或货物视频保存在预设文件夹中。

在一些实施例中，如图10所示，当两个以上所述标识码由所述智能穿戴设备集群扫描若干货物得到时，步骤206还包括：

步骤2061、确定每个所述标识码对应的货物在所述智能穿戴设备的显示屏幕的坐标信息；

步骤2062、将每个所述标识码对应的坐标信息及分拣结果信息作关联处理；

步骤2063、根据与所述坐标信息对应的分拣结果信息，生成第一光线，其中，所述虚拟图像中的分拣结果信息呈现在所述坐标信息的预设范围内。

在一些实施例中，如图11所示，步骤2063包括：

步骤20631、获取与每个所述标识码对应的分拣结果信息的复核确认结果；

步骤20632、根据每个所述标识码对应的复核确认结果，计算货物分拣数量；

步骤20633、生成第一光线，其中，所述虚拟图像还包含所述货物分拣数量。

在一些实施例中，如图12所示，步骤20631包括：

步骤206311、获取佩戴所述智能穿戴设备的用户的第一眼球转动信息；

步骤206312、根据所述第一眼球转动信息，选择所述用户注视的货物为目标货物；

步骤206313、判断注视所述目标货物的时长是否达到预设时长阈值；

步骤206314、若是，再次追踪所述用户的第二眼球转动信息，判断所述用户的第二眼球转动信息是否满足预设确认条件时，若满足，生成与每个所述标识码对应的分拣结果信息的复核成功结果；若未满足，生成与每个所述标识码对应的分拣结果信息的复核失败结果；

步骤206315、向所述仓库管理后台反馈所述复核确认结果。

在一些实施例中，请参阅图13，该基于增强现实的货物分拣方法200还包括：

步骤215、获取远程视频指令；

步骤216、根据所述远程视频指令，发送远程视频请求至所述仓库管理后台，以使所述仓库管理后台与所述智能穿戴设备建立远程视频连接。

在一些实施例中，请参阅图14，该基于增强现实的货物分拣方法200还包括：

步骤217、获取佩戴所述智能穿戴设备的用户的虹膜信息；

步骤218、判断预设数据库内是否存在与所述虹膜信息匹配的预设虹膜特征；

步骤219、根据所述用户的虹膜信息登录所述智能穿戴设备。

在一些实施例中，请参阅图15，该基于增强现实的货物分拣方法200还包括：

步骤220、获取佩戴所述智能穿戴设备的用户的眼球的生理特征；

步骤221、根据所述眼球的生理特征，判断佩戴所述智能穿戴设备的用户是否处于疲劳状态；

步骤222、锁闭所述智能穿戴设备。

由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，方法实施例的内容可以引用装置实施例的，在此不赘述。

作为本发明实施例的又另一方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使微波设备执行如上任一项所述的磁控管状态检测方法，例如执行上述任意方法实施例中的磁控管状态检测方法，例如，执行上述任意装置实施例中的磁控管状态检测装置。

通过采用该方法，发送至少一个货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息，再发射可形成虚拟图像的第一光线，该虚拟图像包含分拣结果信息，然后接收可形成实景图像的第二光线，该实景图像包含货物所在的场景画面，最后将第一光线与第二光线作合成处理，呈现合成后的图像。因此，该方法可以根据货物标识码从仓库管理台获取分拣结果信息，并将该分拣结果信息形成虚拟图像，进而将虚拟图像与实景图像进行合成呈现在用户面前，这种基于增强现实的货物分拣方法可以协助用户进行货物分拣，并且提高分拣效率、用户体验好、使用方便。

需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (11)

1.一种基于增强现实的货物分拣方法，应用于智能穿戴设备，其特征在于，所述方法包括：

发送至少一个所述货物的标识码至仓库管理后台，以使所述仓库管理后台根据所述标识码做分拣处理并返回分拣结果信息；

搜索与所述标识码对应的参考图像；

获取所述货物的实时图像；

计算所述实时图像与所述参考图像的匹配度；

判断所述匹配度是否大于或等于预设匹配阈值；

若是，生成并发射所述第一光线，其中，所述第一光线可形成虚拟图像，所述虚拟图像包含分拣结果信息；

接收第二光线，其中，所述第二光线可形成实景图像，所述实景图像包含所述货物所在的场景画面；

将所述第一光线与所述第二光线作合成处理，呈现合成后的图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

使用图像分析算法处理所述实时图像，得到所述货物所在场景的光强信息；

确定佩戴所述智能穿戴设备的用户的当前视野范围；

当所述光强信息低于或等于预设光强阈值时，向所述当前视野范围投射灯光作补光处理；

将所述当前视野范围的光强信息叠加在所述虚拟图像内。

3.根据权利要求1至2任一项所述的方法，其特征在于，还包括：

获取所述货物的货物图像和/或货物视频；

将所述货物的货物图像和/或货物视频保存在预设文件夹中。

4.根据权利要求1至2任一项所述的方法，其特征在于，

单个所述标识码由所述智能穿戴设备扫描单个货物得到的；

或者，

两个以上所述标识码由所述智能穿戴设备集群扫描若干货物得到的。

5.根据权利要求4所述的方法，其特征在于，当两个以上所述标识码由所述智能穿戴设备集群扫描若干货物得到时，所述发射第一光线包括：

确定每个所述标识码对应的货物在所述智能穿戴设备的显示屏幕的坐标信息；

将每个所述标识码对应的坐标信息及分拣结果信息作关联处理；

根据与所述坐标信息对应的分拣结果信息，生成第一光线，其中，所述虚拟图像中的分拣结果信息呈现在所述坐标信息的预设范围内。

6.根据权利要求5所述的方法，其特征在于，所述生成第一光线包括：

获取与每个所述标识码对应的分拣结果信息的复核确认结果；

根据每个所述标识码对应的复核确认结果，计算货物分拣数量；

生成第一光线，其中，所述虚拟图像还包含所述货物分拣数量。

7.根据权利要求6所述的方法，其特征在于，所述获取与每个所述标识码对应的分拣结果信息的复核确认结果，包括：

获取佩戴所述智能穿戴设备的用户的第一眼球转动信息；

根据所述第一眼球转动信息，选择所述用户注视的货物为目标货物；

判断注视所述目标货物的时长是否达到预设时长阈值；

若是，再次追踪所述用户的第二眼球转动信息，判断所述用户的第二眼球转动信息是否满足预设确认条件时，若满足，生成与每个所述标识码对应的分拣结果信息的复核成功结果；若未满足，生成与每个所述标识码对应的分拣结果信息的复核失败结果；

向所述仓库管理后台反馈所述复核确认结果。

8.根据权利要求1所述的方法，其特征在于，还包括：

获取远程视频指令；

根据所述远程视频指令，发送远程视频请求至所述仓库管理后台，以使所述仓库管理后台与所述智能穿戴设备建立远程视频连接。

9.根据权利要求1所述的方法，其特征在于，还包括：

获取佩戴所述智能穿戴设备的用户的虹膜信息；

判断预设数据库内是否存在与所述虹膜信息匹配的预设虹膜特征；

若是，根据所述用户的虹膜信息登录所述智能穿戴设备。

10.根据权利要求1所述的方法，其特征在于，还包括：

获取佩戴所述智能穿戴设备的用户的眼球的生理特征；

根据所述眼球的生理特征，判断佩戴所述智能穿戴设备的用户是否处于疲劳状态；

若是，锁闭所述智能穿戴设备。

11.一种智能穿戴设备，其特征在于，包括：

至少一个处理器；和

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10任一项所述的基于增强现实的货物分拣方法。

Images