CN109145842A - 基于图像识别控制智能储物柜的箱门的方法及装置 - Google Patents
基于图像识别控制智能储物柜的箱门的方法及装置 Download PDFInfo
- Publication number
- CN109145842A CN109145842A CN201810997754.7A CN201810997754A CN109145842A CN 109145842 A CN109145842 A CN 109145842A CN 201810997754 A CN201810997754 A CN 201810997754A CN 109145842 A CN109145842 A CN 109145842A
- Authority
- CN
- China
- Prior art keywords
- user
- vector
- feature vector
- current signature
- storage tank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/10—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property
- G07F17/12—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property comprising lockable containers, e.g. for accepting clothes to be cleaned
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种基于图像识别控制智能储物柜的箱门的方法,包括如下步骤:取得位于设定位置上的使用者的脸部图像数据,并得到当前特征向量;将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,并根据比较结果分别判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,打开该储物箱的箱门;或判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。本发明还涉及一种实现上述方法的装置。实施本发明的基于图像识别控制智能储物柜的箱门的方法及装置,具有以下有益效果:成本低、操作简单、安全性较好。
Description
技术领域
本发明涉及智能储物柜,更具体地说,涉及一种基于图像识别控制智能储物柜的箱门的方法及装置。
背景技术
智能储物柜是一种设置在商场等公众场所、供人们寄存暂时寄存物品的设备。其通过对设置在其上的多个储物箱的箱门的单独控制,实现物品的寄存功能。在现有的智能储物柜方案中,对于上述箱门的控制主要存在以下几种流程:用户选择存物,储物柜打印凭条并分配一个箱格,用户完成存物,取物时用户通过刷凭条上的条码或手动输入凭条上的取件码开箱取物;或用户先在人工服务台注册,工作人员分配手环或卡片给用户,用户通过手环或卡片去对应储物柜上开箱存物或取物,结束使用后用户再把手环或卡片退还到人工服务台;或用户选择存物,然后输入手机号后四位数和设置一个取物密码,完成存物流程,取物时输入手机号后四位数和设置的密码完成开箱取物流程等等。这些方法虽然也能够实现寄存物品的功能,但是,使用凭条进行存取物时,由于凭条打印在纸张上,其成本和费用较高,且不环保;使用手环或卡片进行存取物时,由于需要人工,其成本较高,步骤繁琐;而自设密码的安全性和便利性较差。总体上来看,现有技术中存在成本较高、步骤繁琐、安全性较差的缺陷。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述成本较高、步骤繁琐、安全性较差的缺陷,提供一种成本较低、步骤简单、安全性较好的基于图像识别控制智能储物柜的箱门的方法及装置。
本发明解决其技术问题所采用的技术方案是:构造一种基于图像识别控制智能储物柜的箱门的方法,包括如下步骤:
A)取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;
B)将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,如二者之差大于设定阈值,则判断当前特征向量与参与比较的特征向量不是同一个使用者,并选择下一个已存储的特征向量重复上述比较步骤,如已遍历所有存储的特征向量均不相同,则执行步骤C);如二者之差小于或等于设定阈值,则判断当前特征向量与参与比较的特征向量是同一个使用者,执行步骤D);
C)判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;
D)判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
更进一步地,所述步骤A)中进一步包括:
A1)将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;
A2)分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;
A3)将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量。
更进一步地,所述步骤A2)中,选择的特征点包括人脸图像上的眼、鼻、嘴部和耳所在位置上经过灰度处理后与其他点灰度相差最大的点;所述两个特征点之间的距离包括双眼上特征点之间的距离、一个眼睛上的特征点到鼻上特征点之间的距离、眼上特征点到嘴部特征点之间的距离、鼻上特征点到嘴部特征点之间的距离、两个耳部特征点之间的距离以及任意一个耳部特征点到上述各特征点之间的距离;所述步骤A2)中的特征值还包括两个特征点之间的连线和水平线或垂直线之间的夹角。
更进一步地,所述步骤B)中比较两个特征向量是通过比较二者之间的夹角实现的,二者之间的夹角小于设定阈值,则判断二者相同;二者之间的夹角大于设定阈值则判断二者之间不同。
更进一步地,所述步骤A)中还包括如下步骤:
A0)通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。
更进一步地,所述步骤C)中,在打开所述储物箱门之前,还包括如下步骤:
C1)对已经取得分配储物箱编号或号码的使用者相隔设定的时间间隔,多次重复取得其图像数据,并重复所述形成当前特征值和比较步骤,值得得到多个该使用者的、对应于同一个储物箱编号或号码的特征向量并存储。
更进一步地,所述步骤B)中,当前特征向量和已存储的特征向量比较时,包括对属于同一个用户的所有特征向量和不同用户的特征向量逐个比较;所述设定阈值包括第一设定阈值和第二设定阈值,所述第一设定阈值小于所述第二设定阈值;所述当前特征向量和已存储特征向量比较时,比较结果小于所述第一设定阈值,则判断二者相同;比较结果大于所述第一设定阈值但小于所述第二设定阈值,则判断二者相同;比较结果大于所述第二设定阈值,则判断二者不同;如当前特征向量对于一个用户的所有特征向量均相似时,判断二者为同一用户。
本发明还涉及一种实现上述方法的装置,包括:
当前特征向量取得单元:用于取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;
特征向量比较单元:用于将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,如二者之差大于设定阈值,则判断当前特征向量与参与比较的特征向量不是同一个使用者,并选择下一个已存储的特征向量重复上述比较步骤,如已遍历所有存储的特征向量均不相同,则调用存物单元;如二者之差小于或等于设定阈值,则判断当前特征向量与参与比较的特征向量是同一个使用者,调用取物单元;
存物单元:用于判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;
取物单元:用于判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
更进一步地,所述当前特征向量取得单元中进一步包括:
特征点取得模块:用于将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;
特征值取得模块:用于分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;
特征向量取得模块:用于将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量。
更进一步地,所述当前特征向量取得单元中还包括:
图像判断模块:用于通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。
实施本发明的基于图像识别控制智能储物柜的箱门的方法及装置,具有以下有益效果:由于通过取得设定位置上的使用者的脸部图像,并从其脸部图像数据中提取到表示特征点位置和相互之间的关系的特征值,并将特征值封装为特征向量,最后通过比较当前特征向量和已经存储的特征向量之间的差异来判断该用户是存物或取物,进而进行相应的存取物动作。因此,在保证安全的基础上,该方法不用耗费额外的材料、不需要人工介入,也不需要用户进行操作。故其成本低、操作简单、安全性较好。
附图说明
图1是本发明基于图像识别控制智能储物柜的箱门的方法及装置实施例中的方法流程图;
图2是所述实施例中取得特征值的具体流程图;
图3是所述实施例中装置结构示意图。
具体实施方式
下面将结合附图对本发明实施例作进一步说明。
如图1所示,在本发明的基于图像识别控制智能储物柜的箱门的方法及装置实施例中,该方法包括如下步骤:
步骤S11取得设定位置上用户的脸部图像,对其进行处理,得到该图像的特征向量:在本步骤中,取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;在本实施例中,上述使用者的脸部图像是通过设置在智能储物柜前面板上的指定区域中的一个或多个摄像头取得的。一般来讲,在现有技术中,智能储物柜的前面设置有多个储物箱的箱门以及输入输出设备,例如,输入键盘、打印机、显示屏等等外部设备。在本实施例中,该区域也可以保留这些设备或者不安装这些设备。上述摄像头就是通过图像采集板安装在这个区域中的,具体来讲,是将图像采集板安装在上述智能储物柜前面板的内侧,并使得安装在上述图像采集板上的摄像头通过设置在上述前面板上的图像采集通孔,全部或部分伸出上述前面板,使得其能够拍摄到上述智能储物柜外部的图像。至于将摄像头的图像取得范围限制在设定位置上,则可以通过安装时的安装结构的调整或者对于图像采集板上的摄像头方向的调整实现。这样,在图像采集板上的一个或多个摄像头就能够采集到智能储物柜外部设定位置上的人脸图像。当使用者需要存物或取物时,只要站在上述智能储物柜外标记出来的设定位置,就能够被上述图像采集板取得其脸部图像。
步骤S12将得到的当前特征向量和已经存储的一个特征向量进行比较;在本步骤中,将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较。换句话说,在本步骤中,比较的是两个特征向量,其中一个特征向量是在上述步骤中得到的当前特征向量,而另一个参与比较的特征向量是已经存储在上述智能储物柜中或网络上的存储单元(例如,服务器)中的、表示已经在本智能储物柜中存放物品的用户的特征向量中的一个(即由已经在本智能储物柜中存放物品的一个或多个用户的脸部图像中取得并存储的特征向量中的一个)。值得一提的是,在开始时(即在取得当前特征向量后初次比较时),选择上述参与比较的已存储特征向量可以是任意的,例如,可以从第一个编号的储物柜的第一个特征向量开始选择;而在后面的比较中(即第一个选择参与比较的特征向量与当前特征向量不同并返回本步骤时),将按照上述开始选择的特征向量,依次向一个方向选择参与比较的特征向量。此外,在本实施例中比较两个特征向量是通过比较二者之间的夹角实现的,即对其进行计算,然后得到两个向量之间的夹角,这个夹角就是两个向量之间的差别。在本步骤中,对于上述特征向量的比较可以整体比较,也可以将两个特征向量的相同部分逐个比较。
步骤S13判断差别是否小于设定阈值,如是,跳转到步骤S16;否则,执行下一步骤;在本步骤中,判断上述步骤中得到两个向量之间的差别小于或等于设定阈值,该设置阈值是一个事先设定的角度值。
步骤S14所有存储的特征向量是否均已比较,如是,执行步骤S15;否则。返回步骤S12,选择一个尚未与当前特征向量进行比较的已存储特征向量进行比较。在本步骤中,当前特征向量和已存储的特征向量比较时,包括对属于同一个用户的所有特征向量和不同用户的特征向量逐个比较。即不管一个用户对应一个或多个特征向量,在比较时,是逐个比较的,并不是说同一个用户的特征向量只比较一个。
步骤S15判断为新用户,为其分配空闲储物箱并打开:在本步骤中,由于遍历所有存储的特征向量均未找到与当前特征向量相同的(即差别小于设定阈值的),因此,判断当前用户与已经使用该智能储物柜的所有用户均不相同,于是判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;
步骤S16判断为已存物用户,打开该用户存物的储物箱:在本步骤中,由于找到与当前特征向量相同的(即差别小于设定阈值的)已经存储的特征向量,可以推定当前用户在之前已经使用过该智能储物柜存放物品,于是判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
图2示出了本实施例中由图像中取得特征向量的具体流程,包括如下步骤:
步骤S21通过不同摄像头取得的同一个位置的图像,判断图像是否为立体图像:在本步骤中,为了防止使用者利用照片或屏幕上显示的照片替代人脸,需要对其进行识别,一个典型的方式是如果摄像头取得的图像是立体的,则基本可以排除使用照片或屏幕图像的可能。因此,在本步骤中,通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。更具体而言,在本实施例中,使用在图像采集板的事先设定的不同位置上设置的摄像头,分别采集同一个位置上的图像,并将这两个图像进行叠加,如果叠加后图像是平面图像,则认为取得的图像是照片;如果叠加后的图像是立体的,则认为取得的图像是真实的使用者的图像。值得一提的是,在本实施例中,图像采集板上用于采集图像的摄像头是两个,这两个摄像头在图像采集板上相隔设定的距离水平或垂直排列,并且其中一个摄像头是彩色摄像头,另外一个是带有红外补光的黑白摄像头,在图像判断时上述两个摄像头的取得的图像均参与判断,而在取得特征值或特征向量时,仅仅只是使用黑白摄像头取得图像数据,这样的设置可以最大限度地避免由于彩色图像而带来的图像失真,使得得到的特征向量尽可能准确。而彩色摄像头取得图像的另一个重要用途是将其显示在显示屏上,使得使用者能够判断其所在位置是否正确。例如,如果使用者位于一个错误的位置上,则可能彩色摄像头得到并显示的图像可能是半个脸部图像,这样便于使用者判断其自身所在位置。
步骤S22将其中一个摄像头取得图像进行灰度处理,得到其特征点:在本本步骤中,将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;选择的特征点包括人脸图像上的眼、鼻、嘴部和耳所在位置上经过灰度处理后与其他点灰度相差最大的点。
步骤S23计算特征点之间的参数,得到特征值:在本步骤中,分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;所述两个特征点之间的距离包括双眼上特征点之间的距离、一个眼睛上的特征点到鼻上特征点之间的距离、眼上特征点到嘴部特征点之间的距离、鼻上特征点到嘴部特征点之间的距离、两个耳部特征点之间的距离以及任意一个耳部特征点到上述各特征点之间的距离;在本步骤中,上述特征值还包括两个特征点之间的连线和水平线或垂直线之间的夹角。换句话说,在本实施例中,上述特征值可以只包括两个特征点之间的距离,也可以在包括前述距离的基础上还包括两个特征点之间的位置关系,即两个特征点之间连线和水平线或垂直线之间的夹角。
步骤S24将多个特征值进行封装,得到特征向量:将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量。在本步骤中,就是将由一个脸部图像中得到的多个特征值,按照固定的顺序将其依次放入一个数据容器中,使其形成一个数据体,得到上述特征向量,该特征向量就是当前特征向量。上述数据容器是一个长度固定的存储单元,例如,一个具有1024个字或字节的数据存储单元。而设定的顺序是指在人脸图像上的位置,例如,两眼之间的特征值首先放入,然后放入左眼和鼻之间的特征值,然后放入右眼和鼻之间的特征值等等,每个特征向量在形成时都是按照这个规则放入的,这样便于后续的比较步骤或者为后续的比较步骤打下基础。
在本实施例中,为了进一步提高识别的准确性,进而保证存放物品的安全,可以加大对已经确认人员的信息采集,使其信息较为充分,从而为取物时的准确识别创造条件。为实现这一技术目的,在判断一个用户为新用户,已经将其分配到空闲的储物箱后,在打开该储物箱门之前,还可以包括如下步骤:对已经取得分配储物箱编号或号码的使用者相隔设定的时间间隔,多次重复取得其图像数据,并重复所述形成当前特征值并和该用户之前的特征向量比较,新得到的特征向量应该和该用户之前的特征向量具有一定的差别,但是该差别应该小于上述设定阈值(表明两个特征向量是同一个用户的),如果不满足上述条件,则充分该步骤,直到得到多个该使用者的、满足上述条件(与该用户用于分配储物箱的特征向量有差别,但在设定阈值之内)的、对应于同一个储物箱编号或号码的特征向量并存储。换句话说,所述设定阈值包括第一设定阈值(相同阈值)和第二设定阈值(相似阈值),所述第一设定阈值小于所述第二设定阈值;所述当前特征向量和已存储特征向量比较时,比较结果小于所述第一设定阈值,则判断二者相同;比较结果大于所述第一设定阈值但小于所述第二设定阈值,则判断二者相同;比较结果大于所述第二设定阈值,则判断二者不同;如当前特征向量对于一个用户的所有特征向量均相似时,判断二者为同一用户。
总体上来说,在本实施例中,通过双摄像头采集用户的面部图像并解析成由人脸面部主要部位特点组成的二进制字符特征值和特征向量,如果采集到的面部图像无法解析出特征值,则继续采集,直到采集到有效特征值或操作超时为止;然后把采集到的有效特征值与已保存的人脸特征值进行比较,如果是单机版的智能储物柜,则直接与本智能储物柜已保存的人脸特征值进行比较即可,如果是联网版智能储物柜,则先与本智能储物柜已保存的人脸特征值进行比较,比较不一致后再与智能服务器上已保存的其他人脸特征值进行比较;特征值比较结果会返回一个浮点数值,通过该值再与预先设定的相同人脸阈值比较,比对是否为同一人脸,或与预先设定的不同人脸阈值比较,比对是否为不同人脸,并且把比对结果呈现给用户。此外,对面部图像解析特征值过程中会进行活体检测,如果是纸质图片或手机图片都会判断为无效人脸,对面部图像无法解析到眼睛、鼻子或嘴等主要的人脸特征点,或者获取到的人脸大小不完整或占整个图像比例太小,则会判断为无效人脸。
在本实施例中,得到特征向量的主要过程包括:对人脸图像进行灰度处理;通过灰度处理后的人脸图像获取人脸特征的位置;确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性;计算出它们的几何特征向量值;根据预定义的结构把上述几何特征向量值封装成一个1024字节长度的二进制字符;
为了提高比较效率,已保存的人脸特征向量是用容器保存在缓存中,以每个智能储物柜的唯一编号作为组名对保存的人脸特征值分组保存,每个人保存N个人脸特征向量,在比对时,只要有一张人脸特征向量比对为相同人脸则判断为相同人脸,在智能服务器上比较时优先比较与本智能储物柜同一区域或相邻的其他智能储物柜上的人脸特征向量。
此外,在本实施例中,一些情况下上述步骤也可以根据具体的按情况作出一些细节上的调整,例如,在一个具体的例子中,用户T通过智能储物柜选择存物操作,智能储物柜开始打开双目摄像头采集人脸图像,智能储物柜对采集到的人脸图像进行处理,判断采集到的人脸图像是否为有效人脸图像,如果人脸图像无效则继续采集人脸图像,否则提取人脸特征向量T1;智能储物柜把提取到的人脸特征向量T1与已保存的人脸特征向量列表进行比对,假设已保存的人脸特征向量列表中包含3个不同人(A,B,C)的特征值,每个人保存3个(该值可配置,以下类似)不同的特征向量,分别为(A1,A2,A3),(B1,B2,B3),(C1,C2,C3),T1会与以上9个特征值依次进行比较,得到的比值分别为(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),如果其中任何一个比值小于或等于相同人员的设定阈值M(即第一设定阈值),则提示该用户T已存物,否则把T1保存到缓存中并继续采集人脸图像,按照以上步骤进行比较,如果获取3个特征向量(T1,T2,T3)的比值都没有达到相同人阈值M,并且3个特征向量(T1,T2,T3)与已保存的A、B、C三个人的特征值的比值(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),(PA12,PA22,PA32)(PB12,PB22,PB32)(PC12,PC22,PC32),(PA13,PA23,PA33)(PB13,PB23,PB33)(PC13,PC23,PC33)没有出现三次都小于相似人阈值S,则保存该3个特征向量(T1,T2,T3)到缓存中并分配一个箱门给用户T使用;如果获取3个特征向量(T1,T2,T3)中任何一个比值小于或等于相同人阈值M,则提示该用户T已存物;如果3个特征向量(T1,T2,T3)与已保存的A、B、C三个人的特征向量的比值(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),(PA12,PA22,PA32)(PB12,PB22,PB32)(PC12,PC22,PC32),(PA13,PA23,PA33)(PB13,PB23,PB33)(PC13,PC23,PC33)出现3次都小于相似人阈值S(即第二设定阈值)的情况,如(PA11,PA21,PA31)有一组值PA11小于S大于M,(PA12,PA22,PA32)有一组值PA22小于S大于M,(PA13,PA23,PA33)有一组值PA33小于S大于M,则判断用户T与用户A为相似,则继续采集人脸图像,获得特征向量T4,如果T4与(A1,A2,A3)的比值也小于相似人阈值S大于M,则判断用户T与用户A为同一人,提示该用户T已存物,否则保存后面三个特征向量(T2,T3,T4)到缓存中并分配一个箱门给用户T使用。
而在取物时,用户T通过智能储物柜选择取物操作,智能储物柜开始打开双目摄像头采集人脸图像,智能储物柜对采集到的人脸图像进行处理,判断采集到的人脸图像是否为有效人脸图像,如果人脸图像无效则继续采集人脸图像,否则提取人脸特征向量T1;智能储物柜把提取到的人脸特征向量T1与已保存的人脸特征向量列表进行比对,假设已保存的人脸特征向量列表中包含3个不同人(A,B,C)的特征向量,每个人保存3个不同的特征向量,分别为(A1,A2,A3),(B1,B2,B3),(C1,C2,C3),T1会与以上9个特征向量依次进行比较,得到的比值分别为(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),如果其中任何一个比值小于或等于相同人阈值M,则判断该用户已存物并打开对应箱门,否则继续采集人脸图像,按照以上步骤进行比较;如果在设定时间内获取N个特征向量(T1,T2,T3...Tn)的比值都没有达到相同人阈值M,并且N个特征值(T1,T2,T3...Tn)与已保存的A、B、C三个人的特征值的比值(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),(PA12,PA22,PA32)(PB12,PB22,PB32)(PC12,PC22,PC32),(PA13,PA23,PA33)(PB13,PB23,PB33)(PC13,PC23,PC33)...(PA1n,PA2n,PA3n)(PB1n,PB2n,PB3n)(PC1n,PC2n,PC3n)没有出现连续3次都小于相似人阈值S,则提示该用户T还未存物;如果获取N个特征向量(T1,T2,T3...Tn)中任何一个比值小于或等于相同人阈值M,则判断该用户已存物并打开对应箱门;如果N个特征向量(T1,T2,T3...Tn)与已保存的A、B、C三个人的特征向量的比值(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),(PA12,PA22,PA32)(PB12,PB22,PB32)(PC12,PC22,PC32),(PA13,PA23,PA33)(PB13,PB23,PB33)(PC13,PC23,PC33)...(PA1n,PA2n,PA3n)(PB1n,PB2n,PB3n)(PC1n,PC2n,PC3n)出现连续3次都小于相似人阈值S的情况,假设当前n为5,如(PA13,PA23,PA33)有一组值PA13小于S大于M,(PA14,PA24,PA34)有一组值PA24小于S大于M,(PA15,PA25,PA35)有一组值PA35小于S大于M,则判断用户T与用户A为相似,则继续采集人脸图像,获得特征向量T6,如果T6与(A1,A2,A3)的比值也小于相似人阈值S大于M,则判断用户T与用户A为同一人,打开对应箱门;如果N个特征向量(T1,T2,T3...Tn)与已保存的A、B、C三个人的特征向量的比值(PA11,PA21,PA31)(PB11,PB21,PB31)(PC11,PC21,PC31),(PA12,PA22,PA32)(PB12,PB22,PB32)(PC12,PC22,PC32),(PA13,PA23,PA33)(PB13,PB23,PB33)(PC13,PC23,PC33)...(PA1n,PA2n,PA3n)(PB1n,PB2n,PB3n)(PC1n,PC2n,PC3n)出现连续3次中最大值都大于不同人阈值R的情况,假设当前n为5,如(PA13,PA23,PA33)中最大值PA13大于R,(PA14,PA24,PA34)最大值PA24大于R,(PA15,PA25,PA35)最大值PA35大于R,则判断用户T与用户A为相似,则则提示该用户T还未存物。
如图3所示,本发明还涉及一种实现上述方法的装置,包括当前特征向量取得单元1、特征向量比较单元2、存物单元3和取物单元4;其中,当前特征向量取得单元1用于取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;特征向量比较单元2用于将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,如二者之差大于设定阈值,则判断当前特征向量与参与比较的特征向量不是同一个使用者,并选择下一个已存储的特征向量重复上述比较步骤,如已遍历所有存储的特征向量均不相同,则调用存物单元3;如二者之差小于或等于设定阈值,则判断当前特征向量与参与比较的特征向量是同一个使用者,调用取物单元4;存物单元3用于判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;取物单元4用于判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
此外,所述当前特征向量取得单元1中进一步包括:特征点取得模块11用于将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;特征值取得模块12用于分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;特征向量取得模块13用于将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量;以及图像判断模块14用于通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图像识别控制智能储物柜的箱门的方法,其特征在于,包括如下步骤:
A)取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;
B)将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,如二者之差大于设定阈值,则判断当前特征向量与参与比较的特征向量不是同一个使用者,并选择下一个已存储的特征向量重复上述比较步骤,如已遍历所有存储的特征向量均不相同,则执行步骤C);如二者之差小于或等于设定阈值,则判断当前特征向量与参与比较的特征向量是同一个使用者,执行步骤D);
C)判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;
D)判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
2.根据权利要求1所述的方法,其特征在于,所述步骤A)中进一步包括:
A1)将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;
A2)分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;
A3)将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量。
3.根据权利要求2所述的方法,其特征在于,所述步骤A2)中,选择的特征点包括人脸图像上的眼、鼻、嘴部和耳所在位置上经过灰度处理后与其他点灰度相差最大的点;所述两个特征点之间的距离包括双眼上特征点之间的距离、一个眼睛上的特征点到鼻上特征点之间的距离、眼上特征点到嘴部特征点之间的距离、鼻上特征点到嘴部特征点之间的距离、两个耳部特征点之间的距离以及任意一个耳部特征点到上述各特征点之间的距离;所述步骤A2)中的特征值还包括两个特征点之间的连线和水平线或垂直线之间的夹角。
4.根据权利要求3所述的方法,其特征在于,所述步骤B)中比较两个特征向量是通过比较二者之间的夹角实现的,二者之间的夹角小于设定阈值,则判断二者相同;二者之间的夹角大于设定阈值则判断二者之间不同。
5.根据权利要求4所述的方法,其特征在于,所述步骤A)中还包括如下步骤:
A0)通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。
6.根据权利要求5所述的方法,其特征在于,所述步骤C)中,在打开所述储物箱门之前,还包括如下步骤:
C1)对已经取得分配储物箱编号或号码的使用者相隔设定的时间间隔,多次重复取得其图像数据,并重复所述形成当前特征值和比较步骤,值得得到多个该使用者的、对应于同一个储物箱编号或号码的特征向量并存储。
7.根据权利要求6所述的方法,其特征在于,所述步骤B)中,当前特征向量和已存储的特征向量比较时,包括对属于同一个用户的所有特征向量和不同用户的特征向量逐个比较;所述设定阈值包括第一设定阈值和第二设定阈值,所述第一设定阈值小于所述第二设定阈值;所述当前特征向量和已存储特征向量比较时,比较结果小于所述第一设定阈值,则判断二者相同;比较结果大于所述第一设定阈值但小于所述第二设定阈值,则判断二者相同;比较结果大于所述第二设定阈值,则判断二者不同;如当前特征向量对于一个用户的所有特征向量均相似时,判断二者为同一用户。
8.一种实现如权利要求1所述的基于图像识别控制智能储物柜的箱门方法的装置,其特征在于,包括:
当前特征向量取得单元:用于取得位于设定位置上的使用者的脸部图像数据,并对其进行特征提取,得到表示使用者的面部特征的多个特征值,将得到的多个特征值按照设定顺序封装在一数据容器中,得到当前特征向量;
特征向量比较单元:用于将得到的所述当前特征向量与已经存储在所述智能储物柜或网络存储单元上的特征向量逐个进行比较,如二者之差大于设定阈值,则判断当前特征向量与参与比较的特征向量不是同一个使用者,并选择下一个已存储的特征向量重复上述比较步骤,如已遍历所有存储的特征向量均不相同,则调用存物单元;如二者之差小于或等于设定阈值,则判断当前特征向量与参与比较的特征向量是同一个使用者,调用取物单元;
存物单元:用于判断当前特征向量对应的使用者为新使用者,为其分配空闲的储物箱,使得所述当前特征向量对应于所述分配的储物箱编号或代码,并打开该储物箱的箱门;
取物单元:用于判断当前特征向量对应的使用者为已经使用储物箱存物的使用者,查找参与比较并被判断相同的特征向量所对应的储物箱,并打开该储物箱的箱门。
9.根据权利要求8所述的装置,其特征在于,所述当前特征向量取得单元中进一步包括:
特征点取得模块:用于将取得的图像数据进行灰度处理,在该图像中选择灰度与其他点不同的多个特征点;
特征值取得模块:用于分别计算所述多个特征点中两个特征点之间的距离,得到多个特征值;
特征向量取得模块:用于将得到的特征值按照其特征点之间的位置关系封装在设定长度的字节中,得到当前特征向量。
10.根据权利要求9所述的装置,其特征在于,所述当前特征向量取得单元中还包括:
图像判断模块:用于通过设置在不同位置上的摄像头取得同一个位置上的图像,并将两个图像进行叠加处理,判断其是否为立体图像,如是,执行上述步骤;否则,判断为非法图像,退出图像处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810997754.7A CN109145842A (zh) | 2018-08-29 | 2018-08-29 | 基于图像识别控制智能储物柜的箱门的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810997754.7A CN109145842A (zh) | 2018-08-29 | 2018-08-29 | 基于图像识别控制智能储物柜的箱门的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109145842A true CN109145842A (zh) | 2019-01-04 |
Family
ID=64829273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810997754.7A Pending CN109145842A (zh) | 2018-08-29 | 2018-08-29 | 基于图像识别控制智能储物柜的箱门的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145842A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110371565A (zh) * | 2019-07-17 | 2019-10-25 | 宁波安储智能科技有限公司 | 智能仓储系统 |
CN110796094A (zh) * | 2019-10-30 | 2020-02-14 | 上海商汤智能科技有限公司 | 基于图像识别的控制方法及装置、电子设备和存储介质 |
CN114023010A (zh) * | 2021-11-12 | 2022-02-08 | 珠海大横琴科技发展有限公司 | 一种储物柜的控制方法和装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160012280A1 (en) * | 2013-02-28 | 2016-01-14 | Hitachi Kokusai Electric Inc. | Person search method and device for searching person staying on platform |
CN105743850A (zh) * | 2014-12-10 | 2016-07-06 | 深圳市智莱科技有限公司 | 利用快件箱投递物品时取得用户验证信息的方法及装置 |
CN105931327A (zh) * | 2016-04-15 | 2016-09-07 | 广东京奥信息科技有限公司 | 一种门禁监控方法及系统 |
CN106204948A (zh) * | 2016-07-11 | 2016-12-07 | 商汤集团有限公司 | 储物柜管理方法及储物柜管理装置 |
CN106652235A (zh) * | 2016-09-22 | 2017-05-10 | 郑州云海信息技术有限公司 | 一种基于人脸识别的超市存物柜 |
CN206991459U (zh) * | 2017-06-29 | 2018-02-09 | 深圳云天励飞技术有限公司 | 快递柜 |
CN107862770A (zh) * | 2017-11-08 | 2018-03-30 | 广州甩手电子商务有限公司 | 能够实现快速开门的储物装置空间租用系统及实现快速开门的方法 |
CN108038988A (zh) * | 2017-12-13 | 2018-05-15 | 中科富创(北京)科技有限公司 | 一种快递取件方法及系统 |
CN108108760A (zh) * | 2017-12-19 | 2018-06-01 | 山东大学 | 一种快速人脸识别方法 |
CN108280942A (zh) * | 2017-12-25 | 2018-07-13 | 深圳市丰巢科技有限公司 | 基于生物特征识别的取件方法及快递柜 |
CN108416940A (zh) * | 2018-03-07 | 2018-08-17 | 深圳万发创新进出口贸易有限公司 | 一种储物柜管理装置 |
-
2018
- 2018-08-29 CN CN201810997754.7A patent/CN109145842A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160012280A1 (en) * | 2013-02-28 | 2016-01-14 | Hitachi Kokusai Electric Inc. | Person search method and device for searching person staying on platform |
CN105743850A (zh) * | 2014-12-10 | 2016-07-06 | 深圳市智莱科技有限公司 | 利用快件箱投递物品时取得用户验证信息的方法及装置 |
CN105931327A (zh) * | 2016-04-15 | 2016-09-07 | 广东京奥信息科技有限公司 | 一种门禁监控方法及系统 |
CN106204948A (zh) * | 2016-07-11 | 2016-12-07 | 商汤集团有限公司 | 储物柜管理方法及储物柜管理装置 |
CN106652235A (zh) * | 2016-09-22 | 2017-05-10 | 郑州云海信息技术有限公司 | 一种基于人脸识别的超市存物柜 |
CN206991459U (zh) * | 2017-06-29 | 2018-02-09 | 深圳云天励飞技术有限公司 | 快递柜 |
CN107862770A (zh) * | 2017-11-08 | 2018-03-30 | 广州甩手电子商务有限公司 | 能够实现快速开门的储物装置空间租用系统及实现快速开门的方法 |
CN108038988A (zh) * | 2017-12-13 | 2018-05-15 | 中科富创(北京)科技有限公司 | 一种快递取件方法及系统 |
CN108108760A (zh) * | 2017-12-19 | 2018-06-01 | 山东大学 | 一种快速人脸识别方法 |
CN108280942A (zh) * | 2017-12-25 | 2018-07-13 | 深圳市丰巢科技有限公司 | 基于生物特征识别的取件方法及快递柜 |
CN108416940A (zh) * | 2018-03-07 | 2018-08-17 | 深圳万发创新进出口贸易有限公司 | 一种储物柜管理装置 |
Non-Patent Citations (1)
Title |
---|
(美)DAVIDLOSHIN著: "《数据质量改进实践指南》", 31 August 2016 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110371565A (zh) * | 2019-07-17 | 2019-10-25 | 宁波安储智能科技有限公司 | 智能仓储系统 |
CN110371565B (zh) * | 2019-07-17 | 2021-06-22 | 宁波安储智能科技有限公司 | 智能仓储系统 |
CN110796094A (zh) * | 2019-10-30 | 2020-02-14 | 上海商汤智能科技有限公司 | 基于图像识别的控制方法及装置、电子设备和存储介质 |
CN114023010A (zh) * | 2021-11-12 | 2022-02-08 | 珠海大横琴科技发展有限公司 | 一种储物柜的控制方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596041B (zh) | 一种基于视频的人脸活体检测方法 | |
CN109145842A (zh) | 基于图像识别控制智能储物柜的箱门的方法及装置 | |
CN104766372B (zh) | 一种用人脸识别逃票判定系统及其使用方法 | |
CN108492451A (zh) | 自动售货方法 | |
CN109376596A (zh) | 人脸匹配方法、装置、设备及存储介质 | |
CN110378235A (zh) | 一种模糊人脸图像识别方法、装置及终端设备 | |
CN108960318A (zh) | 一种用于无人售货柜的采用双目视觉技术的商品识别算法 | |
CN108596277A (zh) | 一种车辆身份识别方法、装置和存储介质 | |
CN109871755A (zh) | 一种基于人脸识别的身份验证方法 | |
CN107483416A (zh) | 身份验证的方法及装置 | |
CN110378092A (zh) | 身份识别系统及客户端、服务器和方法 | |
CN106204948A (zh) | 储物柜管理方法及储物柜管理装置 | |
CN110555651A (zh) | 一种智能快递处理方法 | |
CN109903474A (zh) | 一种基于人脸识别的智能开柜方法及装置 | |
CN108109256A (zh) | 一种将云端数据与设备端智能化排队管理的方法与系统 | |
CN108875669A (zh) | 一种基于可见光与红外图像融合的商品识别技术 | |
CN110798709B (zh) | 视频处理方法和装置、存储介质及电子装置 | |
CN108108415A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN110263642A (zh) | 用于替换图像的部分的图像缓存 | |
CN109871845A (zh) | 证件图像提取方法及终端设备 | |
CN109829072A (zh) | 构建图谱方法及相关装置 | |
CN108280919A (zh) | 人证核验快速通关闸机及其控制方法 | |
CN107516386A (zh) | 一种连接互联网的智能寄存柜 | |
CN109887186A (zh) | 一种储物柜的开柜方法、储物柜和储物柜系统 | |
CN110008821A (zh) | 一种预测人像底图更新的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |