CN111540448A - 用户行为的智能检测方法、电子装置及计算机可读存储介质 - Google Patents

用户行为的智能检测方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111540448A
CN111540448A CN202010314253.1A CN202010314253A CN111540448A CN 111540448 A CN111540448 A CN 111540448A CN 202010314253 A CN202010314253 A CN 202010314253A CN 111540448 A CN111540448 A CN 111540448A
Authority
CN
China
Prior art keywords
infrared
user behavior
material box
user
matrix network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010314253.1A
Other languages
English (en)
Inventor
郑龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huazhi Information Technology Co ltd
Original Assignee
Shenzhen Huazhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huazhi Information Technology Co ltd filed Critical Shenzhen Huazhi Information Technology Co ltd
Priority to CN202010314253.1A priority Critical patent/CN111540448A/zh
Publication of CN111540448A publication Critical patent/CN111540448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00Design features of general application
    • G06M1/08Design features of general application for actuating the drive
    • G06M1/10Design features of general application for actuating the drive by electric or magnetic means
    • G06M1/101Design features of general application for actuating the drive by electric or magnetic means by electro-optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用户行为的智能检测方法、电子装置及计算机可读存储介质,涉及通信技术领域。该方法应用于安装有红外检测装置的物联网终端智能发放设备,该红外检测装置的多个红外发射管发射的红外线在发放设备的料盒存放区域形成红外线探测矩阵网。该方法包括:持续获取各红外接收管的红外线接收信息,当在该红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模,根据建模结果确认该用户行为的类型。本申请可提高确认用户对物联网终端智能发放设备进行的用户行为的的准确性和智能性。

Description

用户行为的智能检测方法、电子装置及计算机可读存储介质
技术领域
本申请涉及通信技术领域,尤其涉及一种用户行为的智能检测方法、电子装置及计算机可读存储介质。
背景技术
随着信息和通信技术的发展,人们生活中的智能化产品普及度越来越高,在一些民生相关的重要场所,例如医院,最大的变化首先是医院大型化,医院设备数量扩大化,用户对使用的医疗相关产品要求在提高,医疗设备智能化,医疗系统完善化。
其中,各大医疗室都需要的缝合包使用频率高,但是目前的摆放方式比较随意,拿取时人工计数,而且大多在事后统计数量,计数不够智能。在其他工业场合下,与缝合包类似的橡胶手套包、口罩包等医用工具包,以及纸巾包、针线包等与医用工具包具有相似结构的其他物料包,也存在相同的技术不够智能,计数效率差的问题,而使用智能分发设备时,如何准确判断用户行为,并根据用户行为实现智能计数,是亟待解决的问题。
发明内容
本申请实施例提供一种用户行为的智能检测方法、电子装置及计算机可读存储介质,旨在解决现有的智能发放物料包时,无法准确判断用户行为从而导致计数不够智能的技术问题。
本申请实施例一方面提供了一种用户行为的智能检测方法,应用于物联网终端智能发放设备,所述物联网终端智能发放设备的边框上安装有红外检测装置,所述红外检测装置包括多个分别设置在所述边框的一个横边框和一个竖边框上的红外发射管,以及多个对应设置在另一个横边框和另一个竖边框上的红外接收管,各所述红外发射管用于分别向各自对应的红外接收管发射红外线,各所述红外线构成红外线探测矩阵网,所述方法包括:
持续获取各红外接收管的红外线接收信息;
当在所述红外线探测矩阵网中检测到有用户行为时,根据所述红外线接收信息,获取所述用户行为在所述红外线探测矩阵网中形成的投影区域,并根据所述投影区域进行立体建模;
根据建模结果确认所述用户行为的类型。
本申请实施例一方面还提供了一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例提供的用户行为的智能检测方法。
本申请实施例一方面还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述实施例提供的用户行为的智能检测方法。
上述各实施例,持续获取各红外接收管的红外线接收信息,当在红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模,根据建模结果确认用户行为的类型,由于立体建模与用户行为发生的时间的先后顺序相关,因此该立体建模结果反映用户行为的进行过程,可以准确地确认用户行为的类型,提高了确认用户行为的类型的准确率。
附图说明
图1为本申请实施例提供的物联网终端智能发放设备的结构示意图;
图2为本申请一实施例提供的用户行为的智能检测方法的实现流程示意图;
图3为本申请另一实施例提供的用户行为的智能检测方法的实现流程示意图;
图4为本申请实施例提供的用户行为的智能检测方法中利用红外线探测矩阵网检测用户的行为的一个示例图;
图5为本申请实施例提供的用户行为的智能检测方法中利用红外线探测矩阵网检测用户的行为的另一个示例图;
图6为本申请实施例提供的用户行为的智能检测方法中用户的手拿着物料包的3D建模形态;
图7为本申请实施例提供的用户行为的智能检测方法中用户的手部的3D建模形态;
图8为本申请实施例提供的用户行为的智能检测方法中用户误触瞬时的3D建模形态;
图9为本申请实施例提供的用户行为的智能检测方法中料盒位置映射图产生及发送示意图;
图10为本申请一实施例提供的电子装置的结构示意图;
图11为本申请另一实施例提供的电子装置的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,为本申请实施例提供的物联网终端智能发放设备的结构示意图。如图1所示,该物联网终端智能发放设备主要包括:柜体10、前面板20、控制器(图1中未示出)、安装有红外检测装置30的边框40以及料盒50。
其中,边框40安装在柜体10以及前面板20之间。红外检测装置30电性连接于该控制器且包括多个红外发射管31和多个红外接收管32,红外发射管31和红外接收管32的数量相等且一一对应。多个红外发射管31分别设置在边框40的一个横边框和一个竖边框上,多个红外接收管32对应设置在与红外发射管的设置位置相对的另一个横边框和另一个竖边框上,各红外发射管31用于分别向各自对应的红外接收管32发射红外线,各红外线在该物联网终端智能发放设备的料盒存放区域的前方形成红外线探测矩阵网60。
料盒50用于盛放物料包,可将多个物料包上下叠放入料盒50中,为用户提供使用,其中物料包可以但不限于包括:缝合包、橡胶手套包、口罩包等医用工具包,以及纸巾包、针线包等与医用工具包具有相似结构的其他工具包等。优选的,将相同种类的物料包放入同一个料盒50中。
料盒50的盒体上设置有标签,标签上印刷有信息码,具体如二维码和/或条形码。该信息码中存储有料盒50内盛放的物料包标识信息及已盛放数量信息。
料盒50的盒体上设置有取料口,该取料口开口于该盒体的正面及底面,该取料口在该盒体的正面的开口的下端为取料槽,该取料槽的尺寸与用户一次可拿取的物料包的尺寸相匹配,以使得用户每次可拿取的物料包的数量是确定不变的。例如,通过该取料槽限制用户一次只能取出一片物料包。
进一步的,该物联网终端智能发放设备还包括:电性连接于该控制器的扫码器、提示装置、输入装置、输出装置、无线通信模块以及供电模块。
其中,输入装置例如可以包括:键盘、麦克风等。输出装置例如可以包括:显示屏,扬声器等,或者,也可以将触控屏作为输入和输出装置。无线通信模块可用于该物联网终端智能发放设备与外部设备进行数据交互。扫码器可用于扫描并解析料盒50上的信息码。提示装置例如可以是蜂鸣器、指示灯等。
请参阅图2,为本申请一实施例提供的用户行为的智能检测方法的实现流程示意图。该方法可应用于图1所示的物联网终端智能发放设备(以下简称发放设备)中,具体可以由配置在发放设备内部的控制器,或者,与发放设备的控制器建立数据连接的外部终端设备实现。该外部终端设备可通过数据线或无线网络与该控制器建立数据连接,可以但不限于包括:台式计算机、服务器、平板电脑、手提电脑等可在移动中或非可在移动中进行数据处理的电子装置。如图2所示,该方法主要包括:
S201、持续获取各红外接收管的红外线接收信息;
发放设备内部的控制器,或者,与发放设备的控制器建立数据连接的外部终端设备,持续地获取红外检测装置的红外线检测信息,可包括各红外接收管的红外线接收信息。
具体的,各红外接收管的红外线接收信息可包括:接收到对端的红外发射管发射的红外线的红外接收管的标识信息,接收到的时间信息,以及,未接收到对端的红外发射管发射的红外线的红外接收管的标识信息。其中,红外接收管的标识信息可以是该红外接收管的编号和位置信息等。
S202、当在红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模;
红外检测装置中的各红外发射管在工作状态下,持续向各自对应的红外接收管方向发射红外线,以在发放设备的料盒存放区域的前方形成红外线探测矩阵网。当用户进行取、放料盒或物料包的行为时,由于红外线会被用户的手、料盒或物料包遮挡,因此,在红外线探测矩阵网中若有红外线未被接收到,则可确认检测到了用户行为。
当检测到有用户行为时,根据该红外线接收信息,立即按照该红外线接收信息中接收不到红外线的时间点的先后顺序,为该红外线探测矩阵网中因红外线被用户行为遮挡而形成的投影区域进行立体建模,体建模例如3D建模,该立体建模与用户行为发生的时间的先后顺序相关,反映用户行为的进行过程。
S203、根据建模结果确认该用户行为的类型。
用户的行为的类型包括从该发放设备中取出物料包、取出放置物料包的料盒以及放入料盒的行为中的一种,另外,用户的行为还包括误触行为,即用户无意进行了除去上述取物料包、取料盒和放料盒之外的无效行为。
进过立体建模后,与预设的对象的立体建模进行对比,其中,对象可包括人手、一个和多个手指、人手拿物料包以及人手拿料盒,便可判断步骤S202中立体建模所对应的对象,并且,立体建模与用户行为发生的时间的先后顺序相关,因此该立体建模结果反映用户行为的进行过程,从建模结果可确认该用户行为的类型。例如,通过与预设的对象的立体建模进行对比,确认该立体建模包括人手和人手拿料盒,若该立体建模的结果是先是人手,后是人手拿料盒,则该用户行为为拿取料盒;若该立体建模的结果是先是人手拿料盒,后是人手,则该用户行为为放入料盒。
进一步地,若确认用户拿取物料包,则根据一次能够拿取的数量进行计数,例如用户一次只能从料盒中拿走一个物料包,则计数时对物料包的数量减1。
若确认用户放入一个料盒,则按照一个料盒中放置的物料包数量进行计数,例如一个料盒中放置10个物料包,则计数时可对物料包的数量加10。
本实施例中,持续获取各红外接收管的红外线接收信息,当在红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模,根据建模结果确认用户行为的类型,由于立体建模与用户行为发生的时间的先后顺序相关,因此该立体建模结果反映用户行为的进行过程,可以准确地确认用户行为的类型,提高了确认用户行为的类型的准确率。
请参阅图3,为图3为本申请另一实施例提供的用户行为的智能检测方法的实现流程示意图。该方法可应用于图1所示的物联网终端智能发放设备(以下简称发放设备),具体可以由发放设备的控制器,或者,与发放设备的控制器建立数据连接的外部终端设备实现。该外部终端设备可通过数据线或无线网络与发放设备的控制器建立数据连接,可以但不限于包括:台式计算机、服务器、平板电脑、手提电脑等可在移动中或非可在移动中进行数据处理的电子装置。如图3所示,该方法主要包括:
S301、持续获取各红外接收管的红外线接收信息;
S302、根据该红外线接收信息,检测在该红外线探测矩阵网中是否有用户行为;
具体地,其中一个检测方式是:判断该红外线接收信息中的未接收到的红外线的总数量是否持续增加,若是,则确认在该红外线探测矩阵网中检测到该用户行为。当用户进行取、放料盒或物料包等行为时,由于红外线会被用户的手、料盒或物料包持续遮挡,因此,在红外线探测矩阵网中的未被接收到的红外线数量也是持续增加的。
另一个检测方式是:判断该红外线接收信息中的未接收到的红外线在该红外线探测矩阵网中形成的投影区域,是否持续了预设时长且该投影区域的面积大于或等于预设面积,若是,则确认在该红外线探测矩阵网中检测到该用户行为。
其中,投影区域是红外线探测矩阵中无红外线穿过的区域,是用户行为阻挡了红外线传输形成的。即当用户进行取、放料盒或物料包的行为时,由于红外线会被用户的手、料盒或物料包遮挡,因此,该红外线探测矩阵网的形状会发生变化。也就是说,该红外线探测矩阵网会出现投影区域,为了排除非用户行为造成的红外线被阻挡传输的可能,减少对非用户行为无效建模的次数,提高建模效率,因而要判断该投影区域是否持续了预设时长且该投影区域的面积大于或等于预设面积,若未持续预设时长,或者,投影区域的面积小于预设面积,可以认定是与用户主动行为无关的偶然事件。
通过上述检测在该红外线探测矩阵网中是否有用户行为的方式进行检测,提高判断是否有用户行为的准确率。
S303、当在红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模;
具体地,在所述红外线接收信息中未接收到红外线的时间段中,确认多个采样时间点,获取多个采样时间点分别对应的投影区域的轮廓上各红外线交叉点的坐标,并根据这些坐标以及对应的采样时间点,按照该多个采样时间点的顺序对投影区域的轮廓变化过程进行3D立体建模。在用户行为进行的过程中,该投影区域会发生变化,因此需要按照采样时间点的顺序进行建模,以反映用户行为的顺序,从而可以根据建模结果准确判断该用户行为的具体类型。
该用户行为在该红外线探测矩阵网中形成的投影区域,如图4中S和图5中S所示的区域,用户的手、料盒或物料包等在预设的坐标系的X轴和Y轴方向上的投影形成该投影区域。其中,预设的坐标系,是以红外线探测矩阵网或发放设备的料盒存放区域的任意一个顶角的顶点为坐标原点建立的直角坐标系。投影区域的轮廓上各红外线交叉点的坐标,可根据根据预设的各红外接收管的标识信息与该坐标系上的各坐标之间的对应关系,以及,红外接收管与对应的红外发射管之间的距离确定确定。
S304、根据建模结果确认该用户行为的类型;
立体建模是根据各采样时间点的投影区域的变化过程得到的,因此根据建模结果可确定检测到的用户行为的类型。
进一步的,由于用户的手、物料包和料盒在形状、大小和体积上均有较大差异,根据各红外发射管的位置以及未接收到红外线(或,接收到红外线)的红外接收管的位置,可得到被遮挡的区域的面积和/或形状及该面积和/或形状的变化情况,从而可确定出用户进行的具体是哪一种行为。其中,红外发射管和红外接收管一一对应,因此可根据其中一个的位置,可确定另一个的位置
具体地,确认3D建模绘制的投影区域的轮廓变化对应的对象,根据对象的种类以及多个对象绘制的顺序,确认该用户行为的类型,其中,对象是指用户的手、一个或多个手指、手拿着物料包和手拿着料盒等。如图6~图8所示,图6为用户的手70拿着物料包80的3D建模后的形态,需要说明的是,用户手拿着料盒的3D建模后的形态与图6类似,区别在于料盒的形状与物料包形状的区别;图7为用户的手70,没有取出任何物品的3D建模后的形态,图8为用户误触红外线探测矩阵网时形成的3D建模后的形态,误触而没有取出任何物品,形成的3D形态只是个小的瞬时态。以上的3D建模后的形态都预先存储在发放设备的控制器,或者,与发放设备的控制器建立数据连接的外部终端设备中,当执行本实施例中的该智能检测方法时,根据步骤S303中的立体建模结果与预先存储的3D建模后的形态进行对比,可确认该用户行为的类型。该用户行为的类型可包括取出物料包、取出放置物料包的料盒、放入料盒和误触行为中的任意一种。
具体地,当该对象为用户的手拿着料盒,绘制顺序是先绘制手,后绘制手拿料盒,则可确认用户行为是到该发放设备中拿取料盒;绘制顺序是先绘制手和料盒,后绘制手,则可确认用户行为是将料盒放到该发放设备中;
当该对象为用户的手拿着物料包,绘制顺序是先绘制手,后绘制手拿物料包,则可确认用户行为是到该发放设备中的料盒中拿取物料包;
当该对象为用户的一根或多根手指,则可确认用户行为为误触行为。
S305、当该用户行为的类型为放入料盒时,确认料盒在放入时是否放回正确位置;
具体地,该发放设备还包括扫码器,通过扫码器扫码描料盒,可获取料盒的标识信息,例如编号、类型等,当获取到扫码器通过扫码得到料盒的标识信息,且根据红外线探测矩阵网中形成的投影区域,以及根据投影区域进行立体建模,确认该用户行为的类型为放入料盒时,根据用户放入该料盒的行为在红外线探测矩阵网中形成的投影区域的变化信息,识别该用户本次放入料盒的放入位置,对比该放入位置与之前记录的该料盒的取出位置,若相同,则放入位置正确,若不相同,则放入位置错误。
其中,根据用户放入该料盒的行为在红外线探测矩阵网中形成的投影区域的变化信息,识别该用户本次放入料盒的放入位置,具体包括:首先,根据各红外接收管的红外线接收信息,确定多个采样时间点的目标红外接收管及其对应的目标红外发射管;获取各采样时间点各目标红外接收管的第一坐标以及各目标红外发射管的第二坐标;然后,根据获取的各第一坐标和各第二坐标,得到各采样时间点红外线探测矩阵网中面积最大的投影区域的轮廓对应的红外线交叉点的第三坐标;之后,根据预设的红外线探测矩阵网中各红外线交叉点的坐标与发放设备中各料盒存放位置之间的对应关系,以及,该第三坐标,确定被放入的该料盒在发放设备中的放置位置。
S306、当根据红外线信息确认该料盒放回时放入错误位置,则向云端服务器发送错误反馈信息和该错误位置,获取云端服务器返回的标记有该错误位置的料盒位置映射图,并将标记有该错位位置的该料盒位置映射图展示在该发放设备的显示屏上。
具体地,发放设备内部的控制器,或者,与发放设备的控制器建立数据连接的外部终端设备,可根据各红外接收管的红外线接收信息确定料盒的放置位置,具体是从各红外接收管的红外线接收信息,获取用户行为结束前红外线探测矩阵网的变化信息,根据获取的该变化信息,确定料盒的放置位置。
其中,该红外线探测矩阵网的变化信息,即,红外线探测矩阵网的投影区域的变化信息,包括如:多个采样时间点该投影区域的轮廓对应的各红外线交叉点的坐标。具体的,首先,根据各红外接收管的红外线接收信息,确定多个采样时间点的目标红外接收管及其对应的目标红外发射管;获取各采样时间点各目标红外接收管的第一坐标以及各目标红外发射管的第二坐标;然后,根据获取的各第一坐标和各第二坐标,得到各采样时间点红外线探测矩阵网中面积最大的投影区域的轮廓对应的红外线交叉点的第三坐标;之后,根据预设的红外线探测矩阵网中各红外线交叉点的坐标与发放设备中各料盒存放位置之间的对应关系,以及,该第三坐标,确定被放入的第一料盒在发放设备中的放置位置。
其中,目标红外接收管是未接收到对应红外发射管发射的红外线的红外接收管,或者,目标红外接收管也可以是接收到对应红外发射管发射的红外线的红外接收管。
可以理解的,如图4所示,红外线探测矩阵网中面积最大的投影区域,即,用户在放入第一料盒时,用户的手或第一料盒在预设的坐标系的X轴和Y轴方向上的投影,如图4中S所示的位置。
预设的坐标系,是以红外线探测矩阵网或发放设备的料盒存放区域的任意一个顶角的顶点为坐标原点建立的直角坐标系。上述第一坐标,可根据预设的各红外接收管的标识信息与该坐标系上的各坐标之间的对应关系确定。上述第二坐标,可根据该第一坐标,以及,红外接收管与对应的红外发射管之间的距离确定。或者,各红外接收管的标识信息也可直接包括各红外接收管在坐标系上的坐标信息。
进一步地,当发放设备内部的控制器100,或者,与发放设备的控制器建立数据连接的外部终端设备100根据红外线信息确认该料盒放回时放入错误位置,则向云端服务器200发送错误反馈信息及该错误位置,以使云端服务器200接收该错误反馈信息及该错位位置,将该错误位置标记在料盒位置映射图中,并返回标记有错误位置的该料盒位置映射图给发放设备内部的控制器100,或者,与发放设备的控制器建立数据连接的外部终端设备100,通过该发放设备的显示屏展示该料盒位置映射图。进一步地,还可以向云端服务器200发送错误反馈信息及该错误位置的同时,发送该料盒的正确位置,则云端服务器200将该正确位置也标记在料盒位置映射图中,该正确位置可以与该错误位置使用不同的标记,例如,使用不同的颜色标记,或者不同的符号标记,前者如该正确位置使用绿色标记,该错位位置使用红色标记,后者如该正确位置使用“√”符号标记,该错误位置使用“×”符号标记,并返回包含上述两种位置标记的该料盒位置映射图,在该发放设备的显示屏上展示该料盒位置映射图。
进一步地,当根据红外线信息确认该料盒放回时放入正确位置,也可向云端服务器200发送正确反馈信息及该正确位置,则云端服务器200将该正确位置标记在料盒位置映射图中,并返回标记有正确位置标记的该料盒位置映射图,在该发放设备的显示屏上展示该料盒位置映射图。
参见图9,图9为发放设备内部的控制器或者与发放设备的控制器建立数据连接的外部终端设备,与云端服务器交互,产生和发送料盒位置映射图的示意图,图9中的云端服务器200中的料盒位置映射图是以接收到正确反馈信息后标记正确位置为例,未示出接收到错误反馈信息后标记错误位置的料盒位置映射图。发放设备内部的控制器100,或者,与发放设备的控制器建立数据连接的外部终端设备100则分别接收到云端服务器200标记有正确位置的料盒位置映射图,以及,接收到云端服务器200标记有错误位置的料盒位置映射图。
本实施例中,持续获取各红外接收管的红外线接收信息,根据该红外线接收信息,检测在该红外线探测矩阵网中是否有用户行为,若有,则根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模,根据建模结果确认用户行为的类型,由于立体建模与用户行为发生的时间的先后顺序相关,因此该立体建模结果反映用户行为的进行过程,可以准确地确认用户行为的类型,提高了确认用户行为的类型的准确率。进一步地,当该用户行为的类型为放入料盒时,确认料盒在放入时是否放回正确位置,并在放到错误位置后,向云端服务器报警并获取标记有该错误位置的料盒位置映射图,在显示屏上显示该料盒位置映射图,提醒用户将料盒放错了位置,提高了提醒的智能性和直观性。
S307、根据各该红外接收管的红外线接收信息,实时检测用户的行为;
具体的,本步骤的实现方式包括:根据各红外接收管的红外线接收信息,获取红外线探测矩阵网的第一变化信息;根据获取的第一变化信息,实时检测用户的行为,并确定检测到的用户行为的类型。其中,红外线探测矩阵网的第一变化信息,包括红外线探测矩阵网的投影区域的第一变化信息,如:多个采样时间点该投影区域的轮廓对应的各红外线交叉点的坐标。
请参阅图10,为本申请一实施例提供的电子装置的结构示意图。该电子装置可用于实现上述图2至图3所示实施例提供的用户行为的智能检测方法。该电子装置可以是图1所示的物联网终端智能发放设备的控制器,或者,运行于该控制器的功能模块,如图10所示,该电子装置包括如下模块:
获取模块401,用于持续获取各红外接收管的红外线接收信息;
建模模块402,用于当在所述红外线探测矩阵网中检测到有用户行为时,根据所述红外线接收信息,获取所述用户行为在所述红外线探测矩阵网中形成的投影区域,并根据所述投影区域进行立体建模;
确认模块403,用于根据建模结果确认所述用户行为的类型。
进一步地,该电子装置还包括:
检测模块404,用于根据所述红外线接收信息,检测在所述红外线探测矩阵网中是否有所述用户行为。
检测模块404,具体用于判断所述红外线接收信息中的未接收到的红外线的总数量是否持续增加,若是,则确认在所述红外线探测矩阵网中检测到所述用户行为。
检测模块404,具体还用于判断所述红外线接收信息中的未接收到的红外线在所述红外线探测矩阵网中形成的投影区域,是否持续了预设时长且所述投影区域的面积大于或等于预设面积,若是,则确认在所述红外线探测矩阵网中检测到所述用户行为。
进一步地,建模模块402,具体用于在所述红外线接收信息中未接收到红外线的时间段中,确认多个采样时间点;获取所述多个采样时间点分别对应的所述投影区域的轮廓上各红外线交叉点的坐标;以及,根据所述坐标,按照所述坐标对应的所述多个采样时间点的顺序对所述投影区域的轮廓变化过程进行3D立体建模。
进一步地,确认模块403,具体用于确认3D建模绘制的所述投影区域的轮廓变化对应的对象;根据所述对象的种类以及多个所述对象绘制的顺序,确认所述用户行为的类型,所述用户行为的类型包括取出所述物料包、取出放置所述物料包的料盒、放入所述料盒和误触行为中的任意一种。
进一步地,物联网终端智能发放设备还包括扫码器,对应地,该电子装置还包括:
位置检测模块(图中未示出),用于当获取到所述扫码器通过扫码得到料盒的标识信息,且检测到所述用户行为的类型为放入所述料盒时,根据所述用户放入所述料盒的行为在所述红外线探测矩阵网中形成的投影区域的变化信息,识别所述料盒的放入位置;根据所述标识信息,以及记录的所述料盒的取出位置,判断所述料盒的放入位置与所述取出位置是否相同,若否,则确认所述料盒放回时放入错误位置
反馈模块(图中未示出),用于当根据红外线信息确认所述料盒放回时放入错误位置,则向云端服务器发送错误反馈信息及所述错误位置,以使所述云端服务器接收所述错误反馈信息及所述错位位置,将所述错误位置标记在料盒位置映射图中,并返回标记有错误位置的所述料盒位置映射图;以及,通过所述物联网终端智能发放设备的显示屏展示所述料盒位置映射图。
需要说明的是,以上图10示例的电子装置的实施方式中,各功能模块的划分仅是举例说明,实际应用中可以根据需要,例如相应硬件的配置要求或者软件的实现的便利考虑,而将上述功能分配由不同的功能模块完成,即将电子装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。而且,在实际应用中,本实施例中的相应的功能模块可以是由相应的硬件实现,也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则,以下不再赘述。
本实施例提供的电子装置中各功能模块实现各自功能的具体过程,请参见上述图2至图3所示实施例中描述的具体内容,此处不再赘述。
本实施例提供的电子装置,持续获取各红外接收管的红外线接收信息,当在红外线探测矩阵网中检测到有用户行为时,根据该红外线接收信息,获取该用户行为在该红外线探测矩阵网中形成的投影区域,并根据该投影区域进行立体建模,根据建模结果确认用户行为的类型,由于立体建模与用户行为发生的时间的先后顺序相关,因此该立体建模结果反映用户行为的进行过程,可以准确地确认用户行为的类型,提高了确认用户行为的类型的准确率。
请参阅图11,图11为本申请另一实施例提供的电子装置的结构示意图。该电子装置可以是图1所示物联网终端智能发放设备的一部分,或者,电性耦合于该物联网终端智能发放设备。
本实施例中所描述的电子装置,包括:
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序,处理器802执行该计算机程序时,实现前述图2至图3所示实施例中描述的用户行为的智能检测方法。
进一步的,该电子装置还包括:
至少一个输入设备803、至少一个输出设备804以及通信电路805。
上述存储器801、处理器802、输入设备803、输出设备804以及通信电路805,通过总线806连接。
其中,输入设备803具体可为摄像头、触控面板、物理按键等等。输出设备804具体可为显示屏,如触控显示屏。
存储器801可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器801用于存储一组可执行程序代码,处理器802与存储器801耦合。
通信电路805可以用于为该电子装置提供与外部设备通信的能力。通信电路805可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路805中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路805中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication,NFC)的电路。例如,通信电路805可以包括近场通信天线和近场通信收发器。通信电路805还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是配置于上述各实施例中的电子装置中,该计算机可读存储介质可以是上述各实施例中配置在主控芯片和数据采集芯片中的存储单元。该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述图2至图3所示实施例中描述的用户行为的智能检测方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的用户行为的智能检测方法、电子装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种用户行为的智能检测方法,其特征在于,应用于物联网终端智能发放设备,所述物联网终端智能发放设备的边框上安装有红外检测装置,所述红外检测装置包括多个分别设置在所述边框的一个横边框和一个竖边框上的红外发射管,以及多个对应设置在另一个横边框和另一个竖边框上的红外接收管,各所述红外发射管用于分别向各自对应的红外接收管发射红外线,各所述红外线构成红外线探测矩阵网,所述方法包括:
持续获取各红外接收管的红外线接收信息;
当在所述红外线探测矩阵网中检测到有用户行为时,根据所述红外线接收信息,获取所述用户行为在所述红外线探测矩阵网中形成的投影区域,并根据所述投影区域进行立体建模;
根据建模结果确认所述用户行为的类型。
2.如权利要求1所述的方法,其特征在于,所述当在所述红外线探测矩阵网中检测到有用户行为时,根据所述红外线接收信息,获取所述用户行为在所述红外线探测矩阵网中形成的投影区域,并根据所述投影区域进行立体建模之前包括:
根据所述红外线接收信息,检测在所述红外线探测矩阵网中是否有所述用户行为。
3.如权利要求2所述的方法,其特征在于,所述根据所述红外线接收信息,检测在所述红外线探测矩阵网中是否有所述用户行为包括:
判断所述红外线接收信息中的未接收到的红外线的总数量是否持续增加;
若是,则确认在所述红外线探测矩阵网中检测到所述用户行为。
4.如权利要求2所述的方法,其特征在于,所述根据所述红外线接收信息,检测在所述红外线探测矩阵网中是否有所述用户行为包括:
判断所述红外线接收信息中的未接收到的红外线在所述红外线探测矩阵网中形成的投影区域,是否持续了预设时长且所述投影区域的面积大于或等于预设面积;
若是,则确认在所述红外线探测矩阵网中检测到所述用户行为。
5.如权利要求4所述的方法,其特征在于,所述根据所述红外线接收信息,获取所述用户行为在所述红外线探测矩阵网中形成的投影区域,并根据所述投影区域进行立体建模包括:
在所述红外线接收信息中未接收到红外线的时间段中,确认多个采样时间点;
获取所述多个采样时间点分别对应的所述投影区域的轮廓上各红外线交叉点的坐标;
根据所述坐标,按照所述坐标对应的所述多个采样时间点的顺序对所述投影区域的轮廓变化过程进行3D立体建模。
6.如权利要求5所述的方法,其特征在于,所述根据建模结果确认所述用户行为的类型包括:
确认3D建模绘制的所述投影区域的轮廓变化对应的对象;
根据所述对象的种类以及多个所述对象绘制的顺序,确认所述用户行为的类型,所述用户行为的类型包括取出所述物料包、取出放置所述物料包的料盒、放入所述料盒和误触行为中的任意一种。
7.如权利要求6所述的方法,其特征在于,所述物联网终端智能发放设备还包括扫码器,则所述方法还包括:
当获取到所述扫码器通过扫码得到料盒的标识信息,且检测到所述用户行为的类型为放入所述料盒时,根据所述用户放入所述料盒的行为在所述红外线探测矩阵网中形成的投影区域的变化信息,识别所述料盒的放入位置;
根据所述标识信息,以及记录的所述料盒的取出位置,判断所述料盒的放入位置与所述取出位置是否相同,若否,则确认所述料盒放回时放入错误位置。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
当根据红外线信息确认所述料盒放回时放入错误位置,则向云端服务器发送错误反馈信息及所述错误位置,以使所述云端服务器接收所述错误反馈信息及所述错位位置,将所述错误位置标记在料盒位置映射图中,并返回标记有错误位置的所述料盒位置映射图;
通过所述物联网终端智能发放设备的显示屏展示所述料盒位置映射图。
9.一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至8中的任意一项所述的用户行为的智能检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至8中的任意一项所述的用户行为的智能检测方法。
CN202010314253.1A 2020-04-20 2020-04-20 用户行为的智能检测方法、电子装置及计算机可读存储介质 Pending CN111540448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314253.1A CN111540448A (zh) 2020-04-20 2020-04-20 用户行为的智能检测方法、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314253.1A CN111540448A (zh) 2020-04-20 2020-04-20 用户行为的智能检测方法、电子装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111540448A true CN111540448A (zh) 2020-08-14

Family

ID=71976977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314253.1A Pending CN111540448A (zh) 2020-04-20 2020-04-20 用户行为的智能检测方法、电子装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111540448A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112056937A (zh) * 2020-09-08 2020-12-11 佛山市顺德区美的饮水机制造有限公司 用于饮水设备的方法、处理器、装置及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671362A (en) * 1995-04-04 1997-09-23 Cowe; Alan B. Materials monitoring systems, materials management systems and related methods
FR2960076A1 (fr) * 2010-05-12 2011-11-18 Pi Corporate Procede et systeme d'acquisition sans contact des mouvements d'un objet.
CN103217127A (zh) * 2013-05-03 2013-07-24 郑州恒科实业有限公司 用于轮廓识别的红外光幕机及其物体轮廓识别系统和方法
GB201510613D0 (en) * 2015-06-17 2015-07-29 Patel Himanshu Object counting and locating system
DE102014210399A1 (de) * 2014-06-03 2015-12-03 Robert Bosch Gmbh Modul, System und Verfahren für die Erzeugung einer Bildmatrix zur Gestenerkennung
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN106176241A (zh) * 2016-07-16 2016-12-07 厦门天遂电子技术有限公司 一种带红外装置库存管理的无线智能药箱
CN106766615A (zh) * 2016-11-30 2017-05-31 海尔优家智能科技(北京)有限公司 一种用于智能冰箱的物品管理方法及智能冰箱
CN106919261A (zh) * 2017-03-08 2017-07-04 广州致远电子股份有限公司 一种基于区域顺序重构的红外手势识别方法和装置
US20170193439A1 (en) * 2016-01-05 2017-07-06 Wal-Mart Stores, Inc. Apparatus and method for monitoring merchandise
CN107526991A (zh) * 2016-06-20 2017-12-29 青岛海尔智能技术研发有限公司 一种冷藏装置存储物管理系统和冷藏装置
CN108344442A (zh) * 2017-12-30 2018-07-31 广州本元信息科技有限公司 一种物体状态检测识别方法、存储介质及系统
CN109051494A (zh) * 2018-06-29 2018-12-21 北京旷视科技有限公司 物品监控系统及方法
CN109635735A (zh) * 2018-12-12 2019-04-16 深圳市路畅科技股份有限公司 一种手势识别装置
CN110047583A (zh) * 2019-04-18 2019-07-23 深圳市是源医学科技有限公司 医用耗材管理方法、装置、计算机设备和存储介质
WO2019232703A1 (zh) * 2018-06-06 2019-12-12 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671362A (en) * 1995-04-04 1997-09-23 Cowe; Alan B. Materials monitoring systems, materials management systems and related methods
FR2960076A1 (fr) * 2010-05-12 2011-11-18 Pi Corporate Procede et systeme d'acquisition sans contact des mouvements d'un objet.
CN103217127A (zh) * 2013-05-03 2013-07-24 郑州恒科实业有限公司 用于轮廓识别的红外光幕机及其物体轮廓识别系统和方法
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
DE102014210399A1 (de) * 2014-06-03 2015-12-03 Robert Bosch Gmbh Modul, System und Verfahren für die Erzeugung einer Bildmatrix zur Gestenerkennung
GB201510613D0 (en) * 2015-06-17 2015-07-29 Patel Himanshu Object counting and locating system
US20170193439A1 (en) * 2016-01-05 2017-07-06 Wal-Mart Stores, Inc. Apparatus and method for monitoring merchandise
CN107526991A (zh) * 2016-06-20 2017-12-29 青岛海尔智能技术研发有限公司 一种冷藏装置存储物管理系统和冷藏装置
CN106176241A (zh) * 2016-07-16 2016-12-07 厦门天遂电子技术有限公司 一种带红外装置库存管理的无线智能药箱
CN106766615A (zh) * 2016-11-30 2017-05-31 海尔优家智能科技(北京)有限公司 一种用于智能冰箱的物品管理方法及智能冰箱
CN106919261A (zh) * 2017-03-08 2017-07-04 广州致远电子股份有限公司 一种基于区域顺序重构的红外手势识别方法和装置
CN108344442A (zh) * 2017-12-30 2018-07-31 广州本元信息科技有限公司 一种物体状态检测识别方法、存储介质及系统
WO2019232703A1 (zh) * 2018-06-06 2019-12-12 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN109051494A (zh) * 2018-06-29 2018-12-21 北京旷视科技有限公司 物品监控系统及方法
CN109635735A (zh) * 2018-12-12 2019-04-16 深圳市路畅科技股份有限公司 一种手势识别装置
CN110047583A (zh) * 2019-04-18 2019-07-23 深圳市是源医学科技有限公司 医用耗材管理方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112056937A (zh) * 2020-09-08 2020-12-11 佛山市顺德区美的饮水机制造有限公司 用于饮水设备的方法、处理器、装置及存储介质

Similar Documents

Publication Publication Date Title
WO2019109729A1 (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
CN104541231B (zh) 防误触触摸屏的方法和装置
EP2929415B1 (en) Electronic device including three-dimensional gesture detecting display
US8593398B2 (en) Apparatus and method for proximity based input
CN109583320A (zh) 指纹识别方法及相关装置
CN107944380A (zh) 身份识别方法、装置及存储设备
CN106778440A (zh) 二维码识别方法及装置
CN109343759A (zh) 一种息屏显示的控制方法及终端
CN105184200B (zh) 输入对象识别装置、方法及具有rfid标签的装置
CN111540446A (zh) 智能补货方法、系统及电子装置
CN109426783A (zh) 基于增强现实的手势识别方法及系统
CN106445339A (zh) 一种双屏终端显示立体图像的方法和装置
CN104937524B (zh) 高级的内嵌式触控光学笔
CN109739394A (zh) 一种sar值的处理方法、移动终端
CN106681636A (zh) 一种防误触的方法、装置及移动终端
CN108646970A (zh) 显示控制方法及相关产品
CN107193473A (zh) 解锁控制方法及相关产品
CN104915625B (zh) 一种人脸识别的方法及装置
CN109743449A (zh) 一种虚拟按键显示方法及终端
CN107193474A (zh) 解锁控制方法及相关产品
CN111443831A (zh) 一种手势识别方法及装置
CN111540448A (zh) 用户行为的智能检测方法、电子装置及计算机可读存储介质
CN107194227A (zh) 解锁控制方法及相关产品
CN110413639A (zh) 数据核查方法及装置、电子设备和计算机可读存储介质
CN107193475A (zh) 解锁控制方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination