CN107705317A - 基于视觉跟踪识别的控制系统 - Google Patents

Abstract

提供一种基于视觉跟踪识别的控制系统，所述控制系统包括：至少一个摄像装置，被配置为连续捕获图像；处理器，被配置为在每个摄像装置的拍摄范围内以预定步长为间隔构建矩形网格，确定所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系，其中，当从所述至少一个摄像装置捕获的图像中识别出目标对象时，处理器利用所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系确定所述目标对象的位置，并跟踪所述目标对象的实时位置变化，其中，所述目标对象的位置通过经线的经度和纬线的纬度来表示。采用上述本发明示例性实施例的基于视觉跟踪识别的控制系统，能够根据捕获的包含目标对象的图像来确定该目标对象在实际空间中的位置。

Description

基于视觉跟踪识别的控制系统

技术领域

本发明总体说来涉及电子技术领域，更具体地讲，涉及一种基于视觉跟踪识别的控制系统。

背景技术

在计算机视觉领域，目标跟踪一直是热点研究领域之一。所谓目标跟踪，即是在一个连续的图像序列中，对感兴趣的目标进行持续的定位的过程。目标跟踪广泛应用于军事、交通、监控等多个领域。

在现有技术中目标跟踪一般是指随着目标的移动来跟踪记录包括所述目标的图像，也就是说，现有技术中仅是为了跟踪记录包含目标的图像，不涉及对跟踪的目标进行其他后续处理。

发明内容

提供本发明内容以按照简化形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意图识别要求保护的主题的关键特征或本质特征，也不意图用来帮助确定要求保护的主题的范围。

根据本发明示例性实施例的一方面，提供一种基于视觉跟踪识别的控制系统，其特征在于，所述控制系统包括：至少一个摄像装置，被配置为连续捕获图像；处理器，被配置为在每个摄像装置的拍摄范围内以预定步长为间隔构建矩形网格，确定所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系，其中，处理器还被配置为，当从所述至少一个摄像装置捕获的图像中识别出目标对象时，利用所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系确定所述目标对象的位置，并跟踪所述目标对象的实时位置变化，其中，所述目标对象的位置通过经线的经度和纬线的纬度来表示。

可选地，当所述至少一个摄像装置包括多个摄像装置时，所述多个摄像装置可被分别安装在预定位置处，以使各个摄像装置的拍摄范围覆盖预定区域，其中，所述预定区域的范围可大于所述多个摄像装置中的任一摄像装置的拍摄范围。

可选地，处理器可还被配置为基于所述至少一个摄像装置中的每个摄像装置的拍摄范围之间的相对位置关系定义每个摄像装置之间的切换顺序，其中，当处理器确定所述目标对象离开当前摄像装置的拍摄范围时，处理器可确定所述目标对象的行进方向，根据所述切换顺序确定与所述目标对象的行进方向对应的下一摄像装置，并从所述下一摄像装置捕获的图像中识别所述目标对象，以继续跟踪所述目标对象的实时位置变化。

可选地，当所述至少一个摄像装置捕获的图像存在中断且中断时间不大于预定时间时，处理器可记录中断前最后一帧图像中所述目标对象的位置，并将中断恢复后捕获的图像中与记录的位置之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，基于中断恢复后捕获的图像继续跟踪所述目标对象的实时位置变化。

可选地，处理器可还被配置为，通过光学测量方式以预定大小的图框框住所述目标对象，所述图框的位置跟随所述目标对象的位置变化而变化，其中，当所述至少一个摄像装置捕获的图像存在中断且中断时间不大于预定时间时，处理器将中断恢复后捕获的图像中与所述图框之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，以使所述图框框住中断恢复后捕获的图像中的目标对象，并使所述图框的位置跟随中断恢复后捕获的图像中的目标对象的位置变化而变化，其中，在中断期间，所述图框不消失且所述图框的位置保持在中断前的位置不变。

可选地，当所述目标对象包括多个目标对象时，处理器可以不同颜色的图框区分所述多个目标对象。

可选地，处理器可还被配置为，为所述目标对象进行编号，并实时更新所述编号对应的目标对象的位置变化。

可选地，当所述至少一个摄像装置捕获的图像存在中断时，处理器可获取中断前第一预定数量的连续帧的图像和中断恢复后第二预定数量的连续帧的图像，处理器可确定从第二预定数量的连续帧的图像中识别的目标对象是否为从第一预定数量的连续帧的图像中识别的目标对象，如果从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象，则可基于所述第二预定数量的连续帧的图像继续跟踪所述目标对象的实时位置变化。

可选地，处理器可基于以下条件中的至少一个确定从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象：两个目标对象的行进方向一致、两个目标对象的颜色一致、两个目标对象的穿戴物一致、两个目标对象的轮廓一致、两个目标对象的高度一致、两个目标对象的宽度一致。

可选地，当所述目标对象停止移动时，处理器可确定与所述目标对象的当前位置满足预定关系的另一位置，确定处于所述另一位置的物体，当所述物体为智能货柜或商品陈列堆头时，处理器确定所述智能货柜或商品陈列堆头中被取走商品，并针对被取走的商品从所述目标对象的账户进行扣费。

可选地，与所述目标对象的当前位置满足预定关系的另一位置可表示所述目标对象正面面对的、距当前位置第一预定距离的位置或者所述目标对象的手臂指向的、距当前位置第二预定距离的位置。

可选地，所述至少一个摄像装置可设置在智能售货门店内，所述智能售货门店入口处可设置有门锁装置，所述货柜为设置在智能售货门店内的智能货柜，其中，在通过特定移动终端或基于生物特征识别方式控制所述门锁装置打开或者通过所述特定移动终端或基于生物特征识别方式控制所述智能货柜的电控门锁打开之后，处理器可获取所述特定移动终端的账户的信息或与输入的生物特征相关联的账户的信息，将从捕获的图像中识别出的目标对象与获取的账户建立关联，以使处理器根据被取走的商品从所述账户进行扣费。

可选地，处理器可基于所述智能货柜或商品陈列堆头的图像确定所述智能货柜或商品陈列堆头中被取走商品，以针对被取走的商品从所述目标对象的账户进行扣费。

可选地，所述智能货柜可包括语音设备，处理器可控制所述语音设备根据所述目标对象的实时位置变化、指示被取走商品的信息和/或扣费过程播放语音提示。

采用上述本发明示例性实施例的基于视觉跟踪识别的控制系统，能够根据捕获的包含目标对象的图像来确定该目标对象在实际空间中的位置，以有助于根据目标对象在实际空间中的位置变化确定用户购买商品的智能货柜或陈列商品堆头并进行自动扣费，从而简化购物流程，提高用户的购物体验。

从以下具体实施方式、附图和权利要求中，其他的特征和方面将是清楚的。

附图说明

图1示出根据本发明示例性实施例的基于视觉跟踪识别的控制系统的结构框图。

图2示出根据本发明示例性实施例的至少一个摄像装置的布置示意图。

图3示出根据本发明示例性实施例的用于设置在自助售货门店的入口处的智能门锁装置的结构图。

图4示出根据本发明示例性实施例的布置在自助售货门店内的智能货柜的结构图。

贯穿附图和具体实施方式，相同的参考标号表示相同的元件。附图可不按比例绘制，为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。

具体实施方式

提供以下具体实施方式以帮助读者获得在此描述的方法、设备和/或系统的全面理解。然而，在此描述的方法、设备和/或系统的各种改变、修改和等同物对全面理解本说明书的本领域普通技术人员来说将是显而易见的。这里描述的操作的顺序仅为示例，除非必须按照特定次序发生的操作，否则操作的顺序不限于在此阐述的顺序，而可如全面理解本说明书的本领域普通技术人员将清楚的那样改变。此外，为了更加清楚和简明，可省略对完全理解本说明书的本领域普通技术人员来说公知的结构的描述。

在此描述的特征可以以不同的形式被实现，而将不被解释为受在此描述的示例所限制。相反，已经提供在此描述的示例以使本发明将是彻底和完整的，并将向全面理解本说明书的本领域普通技术人员传达本发明。

考虑描述的实施例，已在这里采用通用和广泛使用的术语，并且所述术语可根据全面理解本发明的本领域普通技术人员的意图、先例或新技术的出现而变化。在一些情况下，申请人可任意选择专用术语，在这种情况下，申请人将在实施例的描述中提供所述术语的含义。因此，将理解，除非在这里明确地限定，否则这里使用的术语应被解释为具有与它们在相关领域的语境中的含义一致的含义，而将不被解释为理想化或过于正式的意义。

以下，将参照附图以实施例可被发明构思所属的领域的普通技术人员全面理解本说明书的情况下容易地实施的方式描述实施例。为了描述清楚，省略与实施例无关的一些组件。如这里使用的，术语“和/或”包括一个或多个相关所列项的任意组合和所有组合。

图1示出根据本发明示例性实施例的基于视觉跟踪识别的控制系统的结构框图。

参照图1，根据本发明示例性实施例的基于视觉跟踪识别的控制系统包括至少一个摄像装置10和处理器20。

具体说来，至少一个摄像装置10被配置为连续捕获图像。例如，所述至少一个摄像装置10可连续不间断地(即，实时)捕获图像。

处理器20被配置为在每个摄像装置对应的拍摄范围内以预定步长为间隔构建矩形网格，确定所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系。

优选地，所述预定步长可指预定数量的像素，例如，处理器20可针对摄像装置捕获的图像以预定数量的像素为间隔由横竖网格线来形成矩形网格，并确定横竖网格线与实际位置空间的经线、纬线的对应关系。

处理器20还被配置为从所述至少一个摄像装置10接收捕获的图像，当处理器20从捕获的图像中识别出目标对象时，利用所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系确定所述目标对象的位置，并跟踪所述目标对象的实时位置变化。这里，所述目标对象的位置通过经线的经度和纬线的纬度来表示，也就是说，这里所确定的目标对象的位置是该目标对象在实际位置空间中的经度/纬度坐标值。

例如，处理器20从捕获的图像中识别出目标对象之后，可基于所述目标对象在捕获的图像上所构建的矩形网格中的位置，根据所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系确定所述目标对象的位置(即，确定所述目标对象的经度/纬度坐标值)。处理器20根据从所述至少一个摄像装置10接收的实时捕获的图像来更新所述目标对象的位置，以跟踪所述目标对象的实时位置变化。优选地，处理器20可为从捕获的图像中识别出的目标对象进行编号，并实时更新所述编号对应的目标对象的位置变化，即，实时更新所述编号对应的目标对象的经度/纬度坐标值。

优选地，所述至少一个摄像装置10可包括一个或多个摄像装置，所述至少一个摄像装置10可用于捕获预定区域的图像。这里，所述至少一个摄像装置10可被安装在预定位置处，以使所有摄像装置的拍摄范围能够覆盖预定区域。例如，当所述至少一个摄像装置10为一个摄像装置时，所述一个摄像装置的拍摄范围能够覆盖所述预定区域。当所述至少一个摄像装置10为多个摄像装置时，所述多个摄像装置被分别安装在预定位置处，以使各个摄像装置的拍摄范围的总和能够覆盖所述预定区域，此时，所述预定区域的范围大于所述多个摄像装置中的任一摄像装置的拍摄范围。在此情况下，处理器20可分别从所述多个摄像装置接收其捕获的图像。

下面参照图2来介绍至少一个摄像装置10的布置方式以及基于所述至少一个摄像装置10捕获的图像来进行自助购物的过程。

图2示出根据本发明示例性实施例的至少一个摄像装置10的布置示意图。

作为示例，所述至少一个摄像装置10可设置在自助售货门店1内，所述预定区域可指自助售货门店1内的区域，从而通过所述至少一个摄像装置10捕获自助售货门店1内的图像。

在本示例中，假设所述至少一个摄像装置10包括第一摄像装置101、第二摄像装置102、第三摄像装置103和第四摄像装置104，图2示出与每个摄像装置对应的拍摄范围，各个摄像装置对应的拍摄范围的总和覆盖自助售货门店1内的区域。

优选地，处理器20可预先基于所述至少一个摄像装置10中的每个摄像装置对应的拍摄范围之间的相对位置关系定义每个摄像装置之间的切换顺序。例如，参照图2每个摄像装置对应的拍摄范围之间的相对位置关系可指第二拍摄范围位于第一拍摄范围的第一预定方向(如下方)，第三拍摄范围位于第四拍摄范围的第二预定方向(如上方)，第一拍摄范围位于第三拍摄范围的第三预定方向(如左侧)，第四拍摄范围位于第二拍摄范围的第四预定方向(如右侧)，第三拍摄范围还位于第二拍摄范围的第五预定方向(如右上方)，第一拍摄范围还位于第四拍摄范围的第六预定方向(如左上方)等，本发明对此不一一罗列。

相应地，基于上述每个摄像装置对应的拍摄范围之间的相对位置关系可定义每个摄像装置之间的切换顺序为：第二摄像装置为布置在第一摄像装置的第一预定方向的摄像装置，第三摄像装置为布置在第四拍摄范围的第二预定方向的摄像装置，第一摄像装置为布置在第三摄像装置的第三预定方向的的摄像装置，第四摄像装置为布置在第二摄像装置的第四预定方向的摄像装置，第三摄像装置还为布置在第二摄像装置的第五预定方向的摄像装置，第一摄像装置还为布置在第四摄像装置的第六预定方向的摄像装置等，本发明对此也不一一罗列。

当处理器20确定所述目标对象离开当前摄像装置的拍摄范围时，处理器20确定所述目标对象的行进方向，根据所述切换顺序确定与所述目标对象的行进方向对应的下一摄像装置，并从所述下一摄像装置捕获的图像中识别所述目标对象，以继续跟踪所述目标对象的实时位置变化。

作为示例，参照图2，假设处理器20可从四个摄像装置捕获的图像中识别出目标对象A位于第二摄像装置102的拍摄范围内，此时，实时跟踪目标对象A的位置变化。当处理器20从第二摄像装置102捕获的图像中检测不到目标对象A时，认为目标对象A离开第二摄像装置102的拍摄范围，此时处理器20可基于目标对象A离开前捕获的预定帧图像确定目标对象A的行进方向，在本示例中，假设目标对象A的进行方向为第一预定方向(如上方)，此时，处理器20可根据目标对象A的进行方向确定摄像装置的切换顺序中与当前摄像装置的相对位置关系为所述目标对象A的进行方向的摄像装置，例如，当前摄像装置为第二摄像装置102，目标对象A的进行方向为上方，在所述切换顺序中布置在第二摄像装置102的上方的摄像装置为第一摄像装置101，此时，处理器20可切换至从第一摄像装置101捕获的图像中识别目标对象。

作为示例，假设处理器20从第一摄像装置101捕获的图像中识别出目标对象B，在此情况下，处理器20可基于以下条件中的至少一个确定目标对象A与目标对象B是否为同一目标对象：两个目标对象的行进方向一致、两个目标对象的颜色一致、两个目标对象的穿戴物一致、两个目标对象的轮廓一致、两个目标对象的高度一致、两个目标对象的宽度一致。

当处理器20确定目标对象A与目标对象B为同一目标对象时，处理器20可将目标对象B作为目标对象A以继续跟踪所述目标对象A的实时位置变化。作为示例，可为目标对象B附上与目标对象A相同的编号，以继续更新所述编号对应的目标对象的实时位置变化。当处理器20确定目标对象A与目标对象B不是同一目标对象时，处理器20可将目标对象B作为新的目标对象来跟踪该新的目标对象的实时位置变化。例如，为目标对象B定义新的编号，以继续更新所述新的编号对应的目标对象的实时位置变化。

应理解，处理器20还可从第一摄像装置101捕获的图像中识别出其他目标对象(如，目标对象C或者目标对象D等)，此时，当处理器20确定目标对象A与目标对象B不是同一目标对象时，处理器20可将目标对象A与目标对象C或者目标对象D进行比对，以确定目标对象C或者目标对象D与目标对象A是否为同一目标对象，当目标对象C或者目标对象D与目标对象A为同一目标对象时，为目标对象C或者目标对象D附上与目标对象A相同的编号，从而继续更新所述编号对应的目标对象的实时位置变化。

应理解，图2所示的至少一个摄像装置10的布置方式仅为示例，本领域技术人员可根据实际需要来改变所述至少一个摄像装置10的设置位置或者增加/减少设置的所述至少一个摄像装置10的数量。

所述至少一个摄像装置10在捕获图像的过程中，由于受到外界干扰，可能会出现捕获的图像存在中断(即，图像不连续存在图像丢失)的情况，下面详细介绍针对存在中断情况时对目标对象的跟踪过程。

一种情况，如果所述至少一个摄像装置捕获的图像存在中断且中断时间不大于预定时间，则处理器20可记录中断前最后一帧图像中所述目标对象的位置，并将中断恢复后捕获的图像中与记录的位置之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，基于中断恢复后捕获的图像继续跟踪所述目标对象的实时位置变化。

作为示例，处理器20可通过光学测量方式以预定大小的图框框住所述目标对象，所述图框的位置跟随所述目标对象的位置变化而变化。

在此情况下，当所述至少一个摄像装置10捕获的图像存在中断且中断时间不大于预定时间时，处理器20可记录中断前最后一帧图像中所述目标对象的位置(即，图框在捕获的图像中所在的位置)，并将中断恢复后捕获的图像中与所述图框所在的位置之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，以使所述图框框住中断恢复后捕获的图像中的目标对象，并使所述图框的位置跟随中断恢复后捕获的图像中的目标对象的位置变化而变化。

优选地，根据本发明示例性实施例的基于视觉跟踪识别的控制系统可还包括显示器，用于在处理器20的控制下显示捕获的图像，并在所述图像上显示所述图框。这里，在图像中断期间，所述图框不消失且所述图框的位置保持在中断前的位置不变，在中断恢复后处理器20控制所述图框自动框住中断恢复后捕获的图像中与所述图框所在的位置之间的距离在预设范围内的目标对象。

优选地，当所述目标对象可包括多个目标对象时，处理器20可以不同颜色的图框区分所述多个目标对象。在此情况下，当中断恢复后，处理器20可将多个图框与从中断恢复后捕获的图像中识别出的多个目标对象进行匹配，一个图框对应一个目标对象，以实现对从中断前捕获的图像中识别出的多个目标对象的实时位置的继续跟踪。

另一种情况，处理器20可获取中断前第一预定数量的连续帧的图像，并从第一预定数量的连续帧的图像中识别目标对象，处理器20可还获取中断恢复后第二预定数量的连续帧的图像，并从第二预定数量的连续帧的图像中识别目标对象，处理器20确定从第二预定数量的连续帧的图像中识别的目标对象是否为从第一预定数量的连续帧的图像中识别的目标对象，如果从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象，则可基于所述第二预定数量的连续帧的图像继续跟踪所述目标对象的实时位置变化。例如，为从第二预定数量的连续帧的图像中识别出的目标对象附上与从第一预定数量的连续帧的图像中识别的目标对象相同的编号，以继续更新所述编号对应的目标对象的实时位置变化，实现对所述目标对象的实时位置变化的继续跟踪。如果从第二预定数量的连续帧的图像中识别的目标对象不是从第一预定数量的连续帧的图像中识别的目标对象，则可将从第二预定数量的连续帧的图像中识别的目标对象作为新识别的目标对象来跟踪其实时位置变化。例如，对从第二预定数量的连续帧的图像中识别的目标对象重新进行编号，以更新该新编号对应的目标对象的实时位置变化。

作为示例，处理器20可基于以下条件中的至少一个确定从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象：两个目标对象的行进方向一致、两个目标对象的颜色一致、两个目标对象的穿戴物一致、两个目标对象的轮廓一致、两个目标对象的高度一致、两个目标对象的宽度一致。例如，处理器20可基于从第一预定数量的连续帧的图像确定该图像中目标对象的行进方向，并基于从第二预定数量的连续帧的图像确定该图像中目标对象的行进方向，当两个目标对象的行进方向一致时，可认为两个目标对象为同一目标对象，此时可为两个目标对象附上相同的编号，以基于中断恢复后的图像继续更新所述编号对应的目标对象的实时位置变化。

优选地，当所述目标对象停止移动时，处理器20可确定与所述目标对象的当前位置满足预定关系的另一位置，并确定处于所述另一位置的物体。作为示例，与所述目标对象的当前位置满足预定关系的另一位置表示所述目标对象正面面对的、距当前位置第一预定距离的位置或者所述目标对象的手臂指向的、距当前位置第二预定距离的位置。当处理器20确定处于所述另一位置的物体为智能货柜或商品陈列堆头时，处理器20确定所述智能货柜或商品陈列堆头中被取走商品，并针对被取走商品从所述目标对象的账户进行扣费。

一种情况，当所述处于所述另一位置的物体为商品陈列堆头时，可通过所述至少一个摄像装置10来捕获商品陈列堆头的图像，处理器20可将所述目标对象停止移动后捕获的商品陈列堆头的图像与所述目标对象停止移动前商品陈列堆头的图像进行对比，以确定商品陈列堆头中被取走商品。然而本发明不限于此，还可设置除所述至少一个摄像装置10之外的其他摄像装置，以用于捕获商品陈列堆头的图像。

另一种情况，当所述处于所述另一位置的物体为智能货柜时，所述智能货柜可为敞开式智能货柜(即，不具有电控门锁的货柜)或封闭式智能货柜(具有电控门锁的货柜)。

在此情况下，所述智能货柜内可包括至少一个感应器和至少一个摄像头，所述至少一个感应器被配置为当感测到用户执行所述预定动作时，发送触发信号到处理器20。这里，所述预定动作可为对象进入然后离开货柜，即，当所述至少一个感应器被遮挡之后又被取消遮挡时，所述至少一个感应器感测到用户执行所述预定动作。

处理器20可被配置为根据接收到的触发信号产生商品图像获取指令，所述至少一个摄像头被配置为根据从处理器20接收到的所述商品图像获取指令来获取货柜内的当前商品的图像。处理器20基于所述当前商品的图像确定被取走商品，以针对被取走商品从所述目标对象的账户进行扣费。

下面详细介绍处理器20基于当前商品的图像确定被取走商品的过程。

具体说来，处理器202在接收到当前商品的图像之后，还获取用于拍摄该图像的至少一个摄像头的标识信息，这里，所述标识信息指示所述至少一个摄像头为获取所述当前商品的图像的摄像装置。

例如，根据本发明示例性实施例的控制系统可还包括存储单元，用于存储摄像头的标识信息和所述摄像头拍摄的商品的图像，以及商品的图像中各坐标位置与各商品的对应关系。例如，存储单元可将具有相同摄像头的标识信息的商品的图像按接收时间先后进行存储。优选地，存储单元还存储了各商品的轮廓与各商品的对应关系。

处理器20基于接收的所述至少一个摄像头的标识信息识别出所述至少一个摄像头，从存储单元中查找与该标识信息对应的所述至少一个摄像头获取的上一张商品的图像。这里，上一张商品的图像可指存储单元中在接收到当前商品的图像之前最近接收到的该所述至少一个摄像头获取的商品的图像。

处理器20将当前商品的图像与上一张商品的图像进行比对，确定两张图像中存在差异的区域的坐标位置，并根据确定的两张图像中存在差异的区域的坐标位置从存储单元中查找与该坐标位置对应的商品。例如，处理器20可根据存储单元中存储的商品的图像中各坐标位置与各商品的对应关系查找与确定的坐标位置对应的商品。

优选地，处理器20可还确定商品的轮廓，并基于商品的轮廓对确定的被取走商品的确定结果进行修正。

作为示例，根据本发明示例性实施例的基于视觉跟踪识别的控制系统可还包括设置在自助售货门店1的入口处2的门锁装置11和布置在自助售货门店1内的至少一个智能货柜22(图2中仅示出一个智能货柜)。

第一种情况，处理器20可在基于生物特征识别方式控制门锁装置11打开或者基于生物特征识别方式控制智能货柜22的电控门锁打开时，获取与输入的生物识别特征相关联的账户的信息，并将从捕获的图像中识别出的目标对象与获取的账户建立关联，以从所述账户进行扣费。

在此情况下，所述制门锁装置11或智能货柜22可包括生物特征接收装置，用于在开锁期间接收用户输入的生物特征。作为示例，生物特征接收装置可为指纹识别器、图像采集器等。所述生物特征可包括用户的面部图像、虹膜图像、血管图像和/或指纹图像。

例如，处理器20可在用户进行注册的注册操作期间预先存储用户的生物特征信息、与存储的生物特征信息对应的账户信息。在控制门锁装置11打开或控制智能货柜22的电控门锁打开期间，处理器20可从生物特征接收装置接收用户输入的生物特征信息，当接收的生物特征信息与预先存储的用户的生物特征信息一致，则处理器确定用户具有开门权限，此时，处理器可产生第一开门指令或第二开门指令，以控制门锁装置11打开或控制智能货柜22的电控门锁打开。与此同时，处理器20可还获取与输入的生物识别特征相关联的账户的信息，一种情况，当门锁装置11被打开之后，用户进入自助收货门店1内，处理器20可通过所述至少一个摄像装置10捕获到用户进入自助收货门店1内的图像，将从捕获的图像中识别出的目标对象(即，用户)与获取的账户建立关联，以使处理器根据被取走商品从所述账户进行扣费。另一种情况，当目标对象停止移动时，如果智能货柜22的电控门锁基于生物特征识别方式被打开，则处理器20可将从捕获的图像中识别出的目标对象(即，用户)与获取的账户建立关联，以使处理器20根据被取走商品从所述账户进行扣费。

第二种情况，处理器20可在通过特定移动终端控制门锁装置11打开或者通过特定移动终端控制智能货柜22的电控门锁打开时，获取特定移动终端的账户信息，并将从捕获的图像中识别出的目标对象与获取的特定移动终端的账户建立关联，以从特定移动终端的账户进行扣费。

下面参照图3来介绍门锁装置11的打开过程以及在门锁装置11被打开时将目标对象与获取的特定移动终端的账户建立关联的过程。

图3示出根据本发明示例性实施例的用于设置在自助售货门店1的入口处2的门锁装置11的结构图。

参照图3，根据本发明示例性实施例的门锁装置11可包括第一无线通信单元110、第一控制器120、第一电控门锁130以及外壳(图中未示出外壳)。

具体说来，门锁装置11的外表面上(即，在门锁装置11的外壳表面上)可设置有用于识别门锁装置11的标识。作为示例，所述标识可包括二维码、条形码、文字、照片、图片等。然而，本发明不限于此，还可在门锁装置11的外壳上设置一磁性标签或射频标签，从而可通过磁性标签或射频标签获取门锁装置11的识别信息。

特定移动终端可包括控制单元、触摸屏、摄像头、通信模块和感应模块，并且可安装有适用于门锁装置11的APP(应用程序)，该APP可以控制特定移动终端的各个部件执行与门锁装置11相关的操作。

具体说来，在特定移动终端的用户进行注册的注册操作期间，特定移动终端可接收用户输入的用于注册的用户的个人信息，并将用于注册的用户的个人信息发送到服务器以进行存储。这里，用于注册的用户的个人信息可包括用户的地址、姓名、电话号码和/或身份证号码，其后，在特定移动终端的用户进行开锁的开门操作期间，可基于注册的用户的个人信息来控制门锁装置11的开启。

例如，特定移动终端可拍摄、扫描或感应门锁装置11的外表面上设置的用于识别门锁装置11的标识。

例如，特定移动终端的摄像头可扫描门锁装置11的二维码、条形码，或者拍摄门锁装置11的文字、照片、图片。在门锁装置11的标识是可感应的标识图案(例如，磁性标识图案、射频标签等)的情况下，特定移动终端的感应模块可感应门锁装置11的标识。

特定移动终端将拍摄、扫描或感应的标识发送到服务器。服务器可以从特定移动终端接收拍摄、扫描或感应的门锁装置11的标识，对接收到的拍摄、扫描或感应的标识进行识别以获得门锁装置11的识别信息。

应理解，在门锁装置11的外表面上设置有可感应的磁性标签或射频标签的情况下，特定移动终端的感应模块可通过感应磁性标签或射频标签来获取门锁装置11的识别信息，并将获取的识别信息发送到服务器。

服务器可根据从特定移动终端接收到的门锁装置11的标识(或门锁装置11的识别信息)产生开门指令(即，用于控制门锁装置11的第一电控门锁130打开的第一开门指令)。

优选地，特定移动终端在向服务器发送门锁装置11的标识或门锁装置11的识别信息时，还将特定移动终端的账户信息发送到服务器。

在此情况下，服务器在从特定移动终端接收到的门锁装置11的标识(或门锁装置11的识别信息)和特定移动终端的账户信息之后，可基于接收到的特定移动终端的账户信息确定特定移动终端的账户是否具有开门权限(即，确定特定移动终端的账户是否具有开启该标识或识别信息所对应的门锁装置11的权限)。

如果特定移动终端具有开门权限，则服务器可产生第一开门指令。否则，服务器可将指示特定移动终端不具有开门权限的信息发送到特定移动终端。

优选地，服务器还可在用户进行注册的注册操作期间从特定移动终端接收并存储拍摄的用户的第一识别信息。在特定移动终端的开门操作期间，服务器可从特定移动终端接收拍摄的用户的第二识别信息，并确定用户的第二识别信息与存储的用户的第一识别信息是否彼此匹配。如果特定移动终端具有开门权限且用户的第二识别信息与存储的用户的第一识别信息彼此匹配，则服务器可产生第一开门指令。作为示例，用户的第一识别信息和第二识别信息均可包括用户的面部图像、虹膜图像、血管图像和/或指纹图像。

服务器可将产生的第一开门指令发送到门锁装置11或特定移动终端。

一种情况，服务器可直接将产生的第一开门指令发送到门锁装置11。

另一种情况，服务器可将产生的第一开门指令发送到特定移动终端，特定移动终端从服务器接收到第一开门指令之后，将接收到的第一开门指令发送到门锁装置11。

门锁装置11响应于从特定移动终端或服务器接收的第一开门指令控制第一电控门锁130打开。

具体说来，门锁装置11的第一无线通信单元110从服务器或特定移动终端接收第一开门指令。

例如，第一无线通信单元110可通过移动数据网络或无线局域网络从服务器或特定移动终端接收第一开门指令，或者可通过近场通信(NFC)或蓝牙通信从特定移动终端接收第一开门指令。然而，以上描述仅是示例，第一无线通信单元110可通过任何通信协议来从服务器或特定移动终端接收第一开门指令。

第一控制器120可根据第一无线通信单元110接收的第一开门指令控制第一电控门锁130打开。

如上所述，第一开门指令可响应于服务器通过特定移动终端获取到门锁装置11的识别信息和特定移动终端的账户的信息确定所述账户具有开门权限而被产生，或者，第一开门指令可响应于服务器通过特定移动终端获取到门锁装置11的识别信息和特定移动终端的账户的信息确定所述账户具有开门权限以及特定移动终端的用户的第二识别信息与预先输入的用户的第一识别信息彼此匹配而被产生。

应理解，上述服务器可为本发明示例性实施例的基于视觉跟踪识别的控制系统中的处理器20。根据本发明示例性实施例的所述控制系统可还包括无线通信模块，在处理器20(即，服务器)经由无线通信模块从特定移动终端接收门锁装置11的标识或门锁装置11的识别信息时，处理器20还从特定移动终端接收特定移动终端的账户信息。这里，上述示例中将服务器作为处理器20仅为示例，还可将处理器20设置在智能售货门店的本地，以通过无线通信模块与特定移动终端、门锁装置11进行数据传输。

优选地，在第一控制器120根据第一开门指令控制第一电控门锁130打开(即，门锁装置11被打开)之后，特定移动终端的用户进入自助收货门店1内，处理器20可通过所述至少一个摄像装置10捕获到用户进入自助收货门店1内的图像，将从捕获的图像中识别出的目标对象(即，用户)与获取的特定移动终端的账户建立关联。

用户进行自助收货门店1内之后，可进行自助购物，此时，处理器20还可在通过特定移动终端控制控制智能货柜22的电控门锁打开时，获取特定移动终端的账户信息，并将从捕获的图像中识别出的目标对象与获取的特定移动终端的账户建立关联。

下面参照图4来介绍智能货柜22的电控门锁被打开的过程以及在智能货柜22的电控门锁被打开时将目标对象与特定移动终端的账户建立关联的过程。

图4示出根据本发明示例性实施例的布置在自助售货门店1内的智能货柜22的结构图。

参照图4，根据本发明示例性实施例的智能货柜22可包括柜门传感器201、多个商品传感器202、第二控制器203和第二无线通信单元204。这里，智能货柜22内陈列多个商品，优选地，一个商品对应于一个商品传感器202，每个商品传感器202分别连接到第二控制器203。

以下将对智能货柜22的具体操作方式进行描述。

具体说来，当门锁装置11解锁之后，消费者可以进入自助售货门店1内，此时，设置在自助售货门店1内的至少一个摄像装置10可捕获自助售货门店1内的图像，并从捕获的图像中识别目标对象(即，消费者)。与此同时，柜门传感器201可持续不断地感测智能货柜22的柜门是否被打开。

可选择地，可通过特定移动终端与智能货柜22以及服务器之间的交互来打开智能货柜22的柜门。

下面来详细介绍智能货柜22的柜门被打开的过程。

具体说来，根据本发明示例性实施例的智能货柜22可还包括第二电控门锁(图中未示出)，通过对第二电控门锁的控制来实现控制智能货柜22的柜门的打开和关闭。

例如，智能货柜22的柜体外表面上可设置有用于识别第二电控门锁的标识。

优选地，特定移动终端可包括控制单元、触摸屏、摄像头、通信模块和感应模块，并且可安装有适用于智能货柜22的APP(应用程序)，该APP可以控制特定移动终端的各个部件执行与智能货柜22相关的操作。

具体说来，在特定移动终端的用户进行注册的注册操作期间，特定移动终端可接收用户输入的用于注册的用户的个人信息，并将用于注册的用户的个人信息发送到服务器以进行存储。这里，用于注册的用户的个人信息可包括用户的地址、姓名、电话号码和/或身份证号码，其后，在特定移动终端的用户进行开启第二电控门锁的开门操作期间，可基于注册的用户的个人信息来控制第二电控门锁的开启。

在特定移动终端的用户进行开启第二电控门锁的开门操作期间，特定移动终端的摄像头可拍摄或扫描第二电控门锁的标识，或者特定移动终端的感应模块感应第二电控门锁的标识，控制单元获取拍摄、扫描或感应的标识，通信模块将控制单元获取的标识发送到服务器。作为示例，第二电控门锁的标识可以是能够被扫描的二维码、条形码，或者是能够被拍摄的文字、照片、图片，或者是能够被感应的磁性标识图案、射频标签。

特定移动终端可将第二电控门锁的标识(或第二电控门锁的识别信息)发送到服务器，然后第二无线通信单元204可从服务器接收第二开门指令，并将接收的第二开门指令发送到第二控制器203，第二控制器203根据接收到的第二开门指令而控制第二电控门锁打开，从而触发柜门传感器201以产生指示柜门被打开的信息。

应理解，在特定移动终端可将第二电控门锁的标识(或第二电控门锁的识别信息)发送到服务器的同时，还将特定移动终端的账户信息也发送到服务器。

这里，服务器可根据从特定移动终端接收到的第二电控门锁的标识(或第二电控门锁的识别信息)产生开门指令(即，用于控制第二电控门锁打开的第二开门指令)。

一种情况，智能货柜22的第二无线通信单元204可从服务器接收服务器通过特定移动终端获取到第二电控门锁的识别信息和特定移动终端的账户的信息确定所述账户具有开门权限而被产生的第二开门指令，从而第二控制器203响应于该第二开门指令来控制第二电控门锁打开。

根据本发明示例性实施例，服务器还可在用户进行注册的注册操作期间从特定移动终端接收并存储拍摄的用户的第一识别信息。在特定移动终端的开门(开启第二电控门锁)操作期间，服务器可从特定移动终端接收拍摄的用户的第二识别信息，并确定用户的第二识别信息与存储的用户的第一识别信息是否彼此匹配。如果特定移动终端具有开门权限且用户的第二识别信息与存储的用户的第一识别信息彼此匹配，则服务器可产生第二开门指令。作为示例，用户的第一识别信息和第二识别信息均可包括用户的面部图像、虹膜图像、血管图像和/或指纹图像。

如果柜门传感器201没有感测到智能货柜20的柜门被打开，则不执行任何动作。

如果柜门传感器201感测到智能货柜20的柜门被打开，则柜门传感器201可将指示柜门被打开的信息发送到第二控制器203。第二控制器203可将指示柜门被打开的信息通过第二无线通信单元204发送至服务器。

商品传感器202可感测智能货柜22内的对应商品的取走和放回。在智能货柜22的柜门被打开之后，商品传感器202可检测智能货柜22内是否有商品被取走。

如果商品传感器202检测到智能货柜22内有商品被取走，则商品传感器202可产生指示智能货柜22内被取走商品的信息，并将产生的指示智能货柜22内被取走商品的信息发送到第二控制器203，第二控制器203可将指示智能货柜22内被取走商品的信息通过第二无线通信单元204发送至服务器。

应理解，上述服务器可为本发明示例性实施例的基于视觉跟踪识别的控制系统中的处理器20。这里，上述示例中将服务器作为处理器20仅为示例，还可将处理器20设置在智能售货门店的本地，以通过无线通信模块与智能货柜22进行数据传输。

例如，当目标对象停止移动时，处理器20确定与目标对象的当前位置满足预定关系的另一位置处的物体为智能货柜22，在处理器20(即，服务器)经由无线通信模块从特定移动终端接收第二电控门锁的标识或第二电控门锁的识别信息时，处理器20还从特定移动终端接收特定移动终端的账户信息。此时，处理器20可将从捕获的图像中识别出的目标对象(即，用户)与获取的特定移动终端的账户建立关联，从而当处理器20经由无线通信模块从该智能货柜22接收到指示智能货柜22内被取走商品的信息时，处理器20从特定移动终端的账户进行扣费。

优选地，根据本发明示例性实施例的所述智能货柜22可还包括语音设备，处理器20可通过无线通信模块控制所述语音设备根据所述目标对象的实时位置变化、指示被取走商品的信息和/或扣费过程(例如，结算扣费金额)播放语音提示。

采用上述本发明示例性实施例的基于视觉跟踪识别的控制系统，能够根据捕获的包含目标对象的图像来确定该目标对象在实际空间中的位置，以有助于简化购物操作过程。

此外，通过应用根据本发明示例性实施例的基于视觉跟踪识别的控制系统，能够根据捕获的图像确定图像中的目标对象在位置空间的经度/纬度坐标值，并实时跟踪目标对象的位置变化，以有助于简化购物操作过程。

此外，通过应用根据本发明示例性实施例的基于视觉跟踪识别的控制系统，能够基于捕获的图像来识别用户以及用户购买商品的智能货柜，从而自动完成扣费操作，用户只需从智能货柜内选择商品即可，无需进行额外的支付过程，有效简化了购物操作步骤，提高了用户的购物体验。

虽然本发明包括具体示例，但是本领域普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。这里描述的示例被认为仅具有描述性意义，而不用于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果以不同的次序执行描述的技术和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其他组件及其等同物替换或补充，则可得到合适的结果。因此，本发明的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且权利要求及其等同物的范围内的所有变化将被解释为包括在本发明中。

Claims (10)

1.一种基于视觉跟踪识别的控制系统，其特征在于，所述控制系统包括：

至少一个摄像装置，被配置为连续捕获图像；

处理器，被配置为在每个摄像装置的拍摄范围内以预定步长为间隔构建矩形网格，确定所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系，

其中，处理器还被配置为，当从所述至少一个摄像装置捕获的图像中识别出目标对象时，利用所述矩形网格的横竖网格线与位置空间的经线、纬线的对应关系确定所述目标对象的位置，并跟踪所述目标对象的实时位置变化，其中，所述目标对象的位置通过经线的经度和纬线的纬度来表示。

2.根据权利要求1所述的基于视觉跟踪识别的控制系统，其特征在于，当所述至少一个摄像装置包括多个摄像装置时，所述多个摄像装置被分别安装在预定位置处，以使各个摄像装置的拍摄范围覆盖预定区域，其中，所述预定区域的范围大于所述多个摄像装置中的任一摄像装置的拍摄范围。

3.根据权利要求1或2所述的基于视觉跟踪识别的控制系统，其特征在于，处理器还被配置为基于所述至少一个摄像装置中的每个摄像装置的拍摄范围之间的相对位置关系定义每个摄像装置之间的切换顺序，

其中，当处理器确定所述目标对象离开当前摄像装置的拍摄范围时，处理器确定所述目标对象的行进方向，根据所述切换顺序确定与所述目标对象的行进方向对应的下一摄像装置，并从所述下一摄像装置捕获的图像中识别所述目标对象，以继续跟踪所述目标对象的实时位置变化。

4.根据权利要求1所述的基于视觉跟踪识别的控制系统，其特征在于，当所述至少一个摄像装置捕获的图像存在中断且中断时间不大于预定时间时，处理器记录中断前最后一帧图像中所述目标对象的位置，并将中断恢复后捕获的图像中与记录的位置之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，基于中断恢复后捕获的图像继续跟踪所述目标对象的实时位置变化。

5.根据权利要求4所述的基于视觉跟踪识别的控制系统，其特征在于，处理器还被配置为，通过光学测量方式以预定大小的图框框住所述目标对象，所述图框的位置跟随所述目标对象的位置变化而变化，

其中，当所述至少一个摄像装置捕获的图像存在中断且中断时间不大于预定时间时，处理器将中断恢复后捕获的图像中与所述图框之间的距离在预设范围内的目标对象确定为中断前捕获的图像中的所述目标对象，以使所述图框框住中断恢复后捕获的图像中的目标对象，并使所述图框的位置跟随中断恢复后捕获的图像中的目标对象的位置变化而变化，

其中，在中断期间，所述图框的位置保持在中断前的位置不变。

6.根据权利要求1所述的基于视觉跟踪识别的控制系统，其特征在于，当所述至少一个摄像装置捕获的图像存在中断时，处理器获取中断前第一预定数量的连续帧的图像和中断恢复后第二预定数量的连续帧的图像，

处理器确定从第二预定数量的连续帧的图像中识别的目标对象是否为从第一预定数量的连续帧的图像中识别的目标对象，如果从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象，则基于所述第二预定数量的连续帧的图像继续跟踪所述目标对象的实时位置变化。

7.根据权利要求6所述的基于视觉跟踪识别的控制系统，其特征在于，处理器基于以下条件中的至少一个确定从第二预定数量的连续帧的图像中识别的目标对象为从第一预定数量的连续帧的图像中识别的目标对象：

两个目标对象的行进方向一致、两个目标对象的颜色一致、两个目标对象的穿戴物一致、两个目标对象的轮廓一致、两个目标对象的高度一致、两个目标对象的宽度一致。

8.根据权利要求1所述的基于视觉跟踪识别的控制系统，其特征在于，当所述目标对象停止移动时，处理器确定与所述目标对象的当前位置满足预定关系的另一位置，确定处于所述另一位置的物体，当所述物体为智能货柜或商品陈列堆头时，处理器确定所述智能货柜或商品陈列堆头中被取走商品，并针对被取走商品从所述目标对象的账户进行扣费。

9.根据权利要求8所述的控制基于视觉跟踪识别的系统，其特征在于，与所述目标对象的当前位置满足预定关系的另一位置表示所述目标对象正面面对的、距当前位置第一预定距离的位置或者所述目标对象的手臂指向的、距当前位置第二预定距离的位置。

10.根据权利要求8所述的基于视觉跟踪识别的控制系统，其特征在于，所述至少一个摄像装置设置在智能售货门店内，所述智能售货门店入口处设置有门锁装置，所述智能售货门店内设置有智能货柜，

其中，在通过特定移动终端或基于生物特征识别方式控制所述门锁装置打开或者通过所述特定移动终端或基于生物特征识别方式控制所述智能货柜的电控门锁打开时，处理器获取所述特定移动终端的账户的信息或与输入的生物特征相关联的账户的信息，

处理器将从捕获的图像中识别出的目标对象与获取的账户建立关联，以使处理器根据被取走的商品从所述账户进行扣费。