发明内容
本申请实施例提供了入离场状态检测方法和装置,以及相应的应用系统,能够自动检测预设对象入离场状态。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供了一种入离场状态检测方法,由监听检测系统执行,所述方法包括:
监听距离检测范围内的对象与目标对象之间的距离;
当所述对象与目标对象之间的距离满足第一预设条件时,向与所述距离检测范围相对应的图像采集系统发送第一指令,以便激活所述图像采集系统获取其图像采集区域内的图像;
根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,所述第一预设条件包括以下至少一项:
所述对象与目标对象之间的距离小于第一预设阈值;
所述对象与目标对象之间的距离在第一预设时间段内的统计值小于第二预设阈值;
所述对象与目标对象之间的距离在第一预设时间间隔的差值大于第三预设阈值;
所述对象与目标对象之间的距离大于第四预设阈值;
所述对象与目标对象之间的距离在第二预设时间段内的统计值大于第五预设阈值。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,在根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态之前,所述方法还包括:
将所述图像采集区域内的图像发送至对象识别系统,供所述对象识别系统对所述图像采集区域内的图像进行对象识别,得到所述识别结果;
接收所述对象识别系统返回的所述识别结果。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,所述对象识别系统为云端对象识别系统。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,所述识别结果包括以下至少一项:
所述图像采集区域内的图像中是否包含预设对象的判断结论;
所述图像采集区域内的图像中包含的预设对象的数量。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,包括以下至少一项:
当所述图像采集区域内的图像中包含所述预设对象时,确定所述目标对象的状态为入场状态;
当所述图像采集区域内的图像中不包含所述预设对象时,确定所述目标对象的状态为离场状态;
当所述图像采集区域内的图像中包含的所述预设对象的数量大于零时,确定所述目标对象的状态为入场状态;
当所述图像采集区域内的图像中包含的所述预设对象的数量为零时,确定所述目标对象的状态为离场状态。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,在确定所述目标对象的状态之后,所述方法还包括:
将所述目标对象的状态发送至业务系统,供所述业务系统确定与所述目标对象的状态相对应的业务流程。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,在确定所述目标对象的状态之后,所述方法还包括:
向与所述距离检测范围相对应的图像采集系统发送第二指令,以便关闭所述图像采集系统或者将所述图像采集系统切换为待机模式。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,向与所述距离检测范围相对应的图像采集系统发送第二指令,包括:
当所述对象与目标对象之间的距离满足第二预设条件时,向与所述距离检测范围相对应的图像采集系统发送所述第二指令;
其中,所述第二预设条件包括:所述对象与目标对象之间的距离在第二预设时间间隔的差值小于第六预设阈值。
可选的,本申请实施例提供的第一方面入离场状态检测方法中,在确定所述目标对象的状态之后,所述方法还包括:
记录所述目标对象的状态;
根据所述目标对象的状态,确定所述第一预设条件。
第二方面,本申请实施例提供一种入离场状态检测方法,由图像采集系统执行,所述方法包括:
接收第一指令,所述第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,所述对象位于所述监听检测系统的距离检测范围内,所述距离检测范围与所述图像采集系统相对应;
获取所述图像采集系统的图像采集区域内的图像,以便所述监听检测系统根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
可选的,本申请实施例提供的第二方面入离场状态检测方法中,在获取所述图像采集系统的图像采集区域内的图像之后,所述方法还包括:
接收第二指令,所述第二指令由所述监听检测系统在确定所述目标对象的状态之后发送;
根据所述第二指令,所述图像采集系统关闭或者切换为待机模式。
第三方面,本申请实施例提供一种入离场状态检测装置,应用于监听检测系统,所述装置包括:
距离监听模块,监听距离检测范围内的对象与目标对象之间的距离;
第一指令发送模块,当所述对象与目标对象之间的距离满足第一预设条件时,向与所述距离检测范围相对应的图像采集系统发送第一指令,以便激活所述图像采集系统获取其图像采集区域内的图像;
状态确定模块,根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第四方面,本申请实施例提供一种入离场状态检测装置,应用于图像采集系统,所述装置包括:
第一指令接收模块,接收监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送的第一指令;所述对象位于所述监听检测系统的距离检测范围内,所述距离检测范围与所述图像采集系统相对应;
图像获取模块,获取所述图像采集系统的图像采集区域内的图像,以便所述监听检测系统根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第五方面,本申请实施例提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
监听距离检测范围内的对象与目标对象之间的距离;
当所述对象与目标对象之间的距离满足第一预设条件时,向与所述距离检测范围相对应的图像采集系统发送第一指令,以便激活所述图像采集系统获取其图像采集区域内的图像;
根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
监听距离检测范围内的对象与目标对象之间的距离;
当所述对象与目标对象之间的距离满足第一预设条件时,向与所述距离检测范围相对应的图像采集系统发送第一指令,以便激活所述图像采集系统获取其图像采集区域内的图像;
根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第七方面,本申请实施例提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
接收第一指令,所述第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,所述对象位于所述监听检测系统的距离检测范围内,所述距离检测范围与所述图像采集系统相对应;
获取所述图像采集系统的图像采集区域内的图像,以便所述监听检测系统根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第八方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
接收第一指令,所述第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,所述对象位于所述监听检测系统的距离检测范围内,所述距离检测范围与所述图像采集系统相对应;
获取所述图像采集系统的图像采集区域内的图像,以便所述监听检测系统根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态。
第九方面,本申请实施例提供一种应用系统,包括监听检测系统、图像采集系统、对象识别系统、业务系统,其中:
所述监听检测系统,监听距离检测范围内的对象与目标对象之间的距离;还当所述对象与目标对象之间的距离满足第一预设条件时,向与所述距离检测范围相对应的图像采集系统发送第一指令,以便激活所述图像采集系统获取其图像采集区域内的图像;还根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态;
所述图像采集系统,接收第一指令,所述第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,所述对象位于所述监听检测系统的距离检测范围内,所述距离检测范围与所述图像采集系统相对应;还获取所述图像采集系统的图像采集区域内的图像,以便所述监听检测系统根据对所述图像采集区域内的图像进行对象识别得到的识别结果,确定所述目标对象的状态,所述目标对象的状态包括入场状态和/或离场状态;
所述对象识别系统,接收所述图像采集区域内的图像,并对所述图像采集区域内的图像进行对象识别,得到所述识别结果;还返回所述识别结果;
所述业务系统,接收所述目标对象的状态,并确定与所述目标对象的状态相对应的业务流程。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
本申请实施例中,可以利用图像采集系统获取图像采集区域内的图像,进而对采集到的图像进行对象识别,从而根据识别结果确定目标对象的状态。因此,能够较为准确的判断预设对象是否入场和/或离场。与此同时,通过监听距离检测范围内的对象与目标对象之间的距离,且仅当监听到的距离满足第一预设条件时,才激活图像采集系统以获取其图像采集区域内的图像,因此,可以有效降低系统功耗,满足应用需求。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1给出了一种能够自动检测预设对象入离场状态的应用系统的架构示意图。能够理解,该应用系统可以应用于多种应用场景。例如,自助化餐厅、自动售货柜、或者自动门禁,等等。
具体地,该应用系统可以包括监听检测系统100、图像采集系统200、和业务系统300。其中,监听检测系统100可以监听进入距离检测范围的对象与目标对象500之间的距离,以便在距离满足一定条件时激活图像采集系统进行图像采集。图像采集系统200可以在被激活后采集图像采集区域内的图像,以便根据对这些图像进行对象识别的识别结果,确定图像采集区域内是否包含预设对象。监听检测系统100和/或图像采集系统200可以将图像采集区域内的图像发送到识别系统400进行对象识别。若图像采集区域内的图像中包含预设对象,则可判定目标对象处于入场状态;若图像采集区域内的图像中未包含预设对象,则可判定目标对象处于离场状态。在此基础上,目标对象所处的状态信息还可以进一步发送到业务系统300,以便业务系统300根据目标对象的状态确定相对应的业务流程。
需要说明的是,用于对图像进行对象识别的识别系统400,既可以是设置在目标对象本地的识别系统,也可以是设置在远程的云端识别系统。
参见图2所示,由监听检测系统执行的入离场状态检测方法,可以具体包括以下步骤:
S101:监听距离检测范围内的对象与目标对象之间的距离。
在步骤S101中,监听检测系统可以采用距离传感模块,实时检测出现在该距离传感模块的距离检测范围内的对象与目标对象之间的距离。具体地,可以将距离传感模块布设在目标对象处,通过检测上述对象与距离传感模块之间的距离,获得该对象与目标对象之间的距离。
可选的,距离传感模块可以采用超声波测距传感器、激光测距传感器、红外测距传感器等中的一种或者多种,只要能够满足距离监听的精度和应用场景的具体要求即可。
超声波测距传感器,包含用于发射超声波的发射单元和用于接收超声波回波的接收单元,可以利用超声波回波测距原理进行两个对象之间的距离检测。发射出的超声波在遇到遮挡对象(可以是物体或者人体)后会回弹返回,因此,超声波测距传感器可以利用发射超声波和接收超声波回波的时间差来计算超声波所经过的距离,进而得到遮挡对象距离超声波测距传感器的距离。超声波测距传感器具有盲区小,测量准,无需接触,以及低成本等优点。
在具体实施时,可以将超声波测距传感器布设在目标对象上,以便监听处于距离检测范围内的对象与目标对象之间的距离。调整超声波测距传感器的具体布设位置和方向,使得发射单元向某一方向发射超声波,并在发射时刻开始计时。由于超声波在空气中传播时碰到障碍就会立刻返回,因此,接收单元收到反射波(相当于超声波回波)后即停止计时。假设超声波传播速度为v,发射单元发出超声和接收单元收到超声的时间差为t,则发射点(相当于目标对象所在位置)距离障碍物(相当于监听到的对象)的距离可以表示为:S=v*t/2。虽然超声波的传播速度和温度有关,温度变化5摄氏度时,速度变化不到1%,因而在温度变化不大的情况下,可以认为声速固定。这一精度通常足以满足室内自助化餐厅、自动售货柜等应用场景的需求。
除了超声波测距传感器,也可以采用激光测距传感器和/或红外测距传感器等进行距离的测量和监听。光测距的原理与声波测距的原理相似,区别主要在于依赖的是发射光与接收光的时间差。由于激光测距传感器所依赖的光波受太阳光等光线影响较大,在白天可能更容易受到干扰,因此,激光测距传感器更适合在夜晚使用,例如,夜间自助门禁等场景中。在光照不充足时,也可以选择红外测距传感器,以达到较好测距精度。
能够理解到,多种测距传感器可以组合使用,以便满足不同测量精度和应用场景的需求,本申请实施例对此不做限定。
以将上述监听检测系统应用于自助化餐厅这一应用场景为例,目标对象可以是餐厅内的餐桌501(也可以是餐厅内的自助餐柜),参见图3所示。通过检测人体(可以理解为,预设对象为人体)是否靠近或者远离餐桌,确定是否启动相对应的业务流程。
执行步骤S101之前,可以将超声波测距传感器502(也可以是其他类型的测距传感器)布设在目标对象(即餐桌501)上,发射单元发射超声波的方向调整为人体最有可能靠近或者远离餐桌的方向,例如,可以布设在餐桌的四周。可选的,可将超声波测距传感器502安装在餐桌的侧面,水平方向发射超声波,则当人体靠近或者远离餐桌时,都将进入超声波测距传感器502的距离检测范围506。能够理解,为了确保人体从各个方向靠近或者远离餐桌时都能被监听到,可以在餐桌的四周均布设测距传感器。
在某些情况下,多个测距传感器发射的信号(声波或者光波)可能会存在干扰,例如,位于过道两侧的餐桌上所布设的测距传感器,其距离检测范围很可能会有交叉,一个测距传感器发射的超声波可能被另一个测距传感器接收,从而影响到对距离测量的准确性。为避免这种干扰,可以采用多种方式,例如,可以控制多个测距传感器轮流发射信号;又例如,也可以在进行距离判断的时候,自动放弃距离超过一定阈值的检测值;再例如,还可以根据用户(此处可具体为就餐者)的预约情况确定当前时刻发射信号的测距传感器,例如,用户在进入自助化餐厅时进行扫码预约,确定准备就餐的餐桌编号(可具体化为目标对象的ID),则仅激活与餐桌编号相对应的餐桌发射信号即可。
S103:当对象与目标对象之间的距离满足第一预设条件时,向与距离检测范围相对应的图像采集系统发送第一指令,以便激活图像采集系统获取其图像采集区域内的图像。
通过执行步骤S101能够监听到对象与目标对象之间的距离。在执行步骤S103之前,可以预先确定激活图像采集系统的条件,也就是第一预设条件,并进而执行步骤S107,判断对象与目标对象之间的距离是否满足第一预设条件。若满足第一预设条件,则进一步执行步骤S103;若不满足第一预设条件,则返回步骤S101继续监听。
在不同的应用场景下,第一预设条件的内涵可以不同。例如,第一预设条件可以包括以下至少一项:
(1)对象与目标对象之间的距离小于第一预设阈值。
这一预设条件可以理解为,距离小于第一预设阈值,表示对象与目标对象之间的距离已足够接近,监听到的对象有可能需要使用目标对象所对应的业务了。例如,在自助化餐厅这一场景下,当有对象(可能是人体,例如就餐者;也可能是物体,例如整理餐桌残渣的推车)接近目标对象(此处具体化为餐桌)时,表示可能有就餐者需要在此餐桌用餐。在这种情况下,监听检测系统就可以激活图像采集系统进行图像采集,进而利用识别系统对采集到的图像进行对象识别等方式,即可判断接近餐桌的对象是否为预设对象(此处具体化为人体):若接近餐桌的对象是人体,则表示可能有就餐者使用该餐桌,可理解为该目标对象进入入场状态,则可进一步进入业务系统进行点餐等业务流程;反之,若接近餐桌的对象不是人体,则表示并未有就餐者要使用该餐桌,可理解为该目标对象处于离场状态,无需进入业务系统。
(2)对象与目标对象之间的距离在第一预设时间段内的统计值小于第二预设阈值。
由于环境信号干扰或者测距传感器本身的误差,监听到的对象与目标对象之间的距离的数值可能会出现一些毛刺信号,影响判断结果。因此,可以计算对象与目标对象之间的距离在某一时间段(例如,第一预设时间段)内的统计值,用统计值来反映距离在这一时间窗口(即第一预设时间段)内的距离测量的整体情况,从而可以消除毛刺信号对判断结果的影响。可选的,统计值可以取为第一预设时间段内距离测量值的平均值或者中位数(又称为中值)。
距离在第一预设时间段内的统计值小于第二预设阈值,可以理解为,在某一时间窗口内,对象与目标对象之间的距离已足够接近,监听到的对象有可能需要使用目标对象所对应的业务了。以自助货柜这一应用场景为例,当有对象(可以设为人体,例如货柜管理人员;也可能是物体,例如集装箱等)接近目标对象(此处具体化为货柜)时,表示可能需要在此货柜加载集装箱。在这种情况下,监听检测系统就可以激活图像采集系统进行图像采集,进而利用识别系统对采集到的图像进行对象识别等方式,即可判断接近货柜的对象是否为预设对象(此处具体化为集装箱):若接近货柜的对象是集装箱,则表示需要加载集装箱,可理解为该目标对象处于入场状态,则可进一步进入业务系统进行入库、装卸集装箱等业务流程;反之,若接近货柜的对象不是集装箱,则表示并不需要加载集装箱,可理解为该目标对象处于离场状态,无需进入业务系统。
(3)对象与目标对象之间的距离在第一预设时间间隔的差值大于第三预设阈值。
这一预设条件可以理解为,如果被监听到的对象(可以理解为,位于距离检测范围内的对象)与目标对象之间的距离保持稳定,在某一时间间隔(例如,第一预设时间间隔)内的变化值足够小(例如,不大于第三预设阈值),表示对象很可能并没有移动,或者说,移动幅度没有达到预设的程度。在这种情况下,可以认为目标对象的入离场状态并未改变。例如,在自助化餐厅这一场景中,就餐者走近餐桌,坐在餐桌前用餐的过程中,就餐者与餐桌之间的距离通常较小,且基本保持稳定。可以理解到,在就餐者结束就餐、离开餐桌前,餐桌将始终处于入场状态。因此,就餐者与餐桌之间的距离变化足够小时,监听检测系统并不需要激活图像采集系统进行图像采集,进而判断餐桌的入离场状态。
因此,即使被监听到的对象与目标对象之间的距离足够近或者足够远,只要上述距离的变化值足够小,也可能不需要激活图像采集系统,也就不需要进行对象识别,不需要改变业务系统的业务流程。
可以理解到,本项条件往往可以与其他条件组合使用,从而避免在目标对象的入离场状态不会改变的情况下,对图像采集系统的频繁激活,有利于进一步降低系统功耗。
(4)对象与目标对象之间的距离大于第四预设阈值。
这一预设条件可以理解为,距离大于第四预设阈值,表示对象与目标对象之间的距离已足够远,监听到的对象有可能已经不需要使用目标对象所对应的业务了。例如,在自助化餐厅这一场景下,当有对象(可能是人体,例如就餐者;也可能是物体,例如整理餐桌残渣的推车)远离目标对象(此处具体化为餐桌)时,表示可能有就餐者用餐完毕,离开餐桌。在这种情况下,监听检测系统就可以激活图像采集系统进行图像采集,进而利用识别系统对采集到的图像进行对象识别等方式,即可判断远离餐桌的对象是否为预设对象(此处具体化为人体):若远离餐桌的对象是人体,则表示用餐者已无需使用该餐桌,可理解为该目标对象进入离场状态,则可进一步按照与离场状态对应的业务流程进行扣款;反之,若远离餐桌的对象不是人体,则表示就餐者并不离开该餐桌,可理解为无需进入业务系统调整业务流程。
(5)对象与目标对象之间的距离在第二预设时间段内的统计值大于第五预设阈值。
通过对预设的时间窗口(相当于第二预设时间段)内距离的统计值进行考察,能够避免测距传感器自身原因导致的信号毛刺对判断结果的影响。
距离在第二预设时间段内的统计值大于第五预设阈值,可以理解为,在某一时间窗口内,对象与目标对象之间的距离已足够远,监听到的对象有可能不再需要使用目标对象所对应的业务了。因此,可以激活图像采集系统进行图像采集,并进而根据采集到的图像进行对象识别,确定图像采集区域内是否包含预设对象:若图像采集区域内仍然包含预设对象,可以理解为预设对象比较接近目标对象,可认为目标对象仍处于入场状态;若图像采集区域内已不包含预设对象,可以理解为预设对象已远离目标对象,可认为目标对象处于离场状态。
以上举例介绍了第一预设条件的几种情况。需要说明的是,监听检测系统在判断是否激活图像采集系统时所采用的第一预设条件,可以是上述多项条件的组合。无论是距离变化较大(距离差值大于某一阈值)、距离较远(距离数值大于某一阈值,或者时间窗口内的均值或中值大于某一阈值)、或者距离较近(距离数值小于某一阈值,或者时间窗口内的均值或中值小于某一阈值),都可能需要激活图像采集系统进行图像采集。
可选的,可以采用摄像头、高清摄像头、红外摄像头等图像采集装置实现图像采集系统。具体种类、规格、型号的选取,可以根据实际应用场景确定,本申请实施例对此不做限定。
可选的,图像采集系统中图像采集装置的布设,与测距传感器的布设方式是有关联的,图像采集系统与测距传感器的距离检测范围具有对应关系。具体地,可以理解为,图像采集系统的图像采集范围与测距传感器的距离检测范围应该有较多的交集,达到的效果在于:当在距离监测范围内监听到对象与目标对象的距离满足第一预设条件时,激活与该距离检测范围相对应的图像采集系统,使得该图像采集系统能够采集其图像采集区域内的图像,显然,采集到的图像采集区域内的图像中,往往会包含被监听到的对象(除非采集图像时被监听到的对象已离开该图像采集区域)。
以图3所示自助化餐厅这一场景为例,超声波测距传感器502的距离检测范围506,与图像采集系统503(可以是摄像头)的图像采集区域505有较多交集。在这一场景下的一种优选方式在于,摄像头的布设位置和角度,应使得就餐者在坐下后,头顶仍然处于图像采集区域内。
可选的,图像采集系统与测距传感器的距离检测范围的对应关系,既可以是一一对应的,也可以是一对多或者多对一的。图像采集系统中所采用的摄像头,既可以是固定角度的,也可以是能够在监听检测系统的控制下调整角度的。例如,测距传感器在其距离检测范围内监听到距离满足预设要求的对象时,激活摄像头,并控制摄像头调整角度,直至图像采集区域与该测距传感器的距离检测范围的重合度满足要求。
可选的,在根据对象与目标对象之间的距离,经过判断需要激活图像采集系统时,可以直接启动摄像头,并控制摄像头采集图像;也可以在满足一定条件时先启动摄像头,启动后摄像头处于待机模式,而在满足又一条件时再控制摄像头切换至工作模式,采集图像采集区域内的图像。
监听检测系统向图像采集系统发送的第一指令,用于激活图像采集系统。图像采集系统接收到第一指令后,可以直接、也可以在满足一定条件下获取图像采集系统的图像采集区域内的图像。可选的,图像采集系统可以直接将采集到的图像发送至识别系统,也可以将图像返回至监听检测系统后,由监听检测系统将图像采集区域内的图像发送至识别系统进行对象识别。具体地,监听检测系统可以将图像采集区域内的图像发送至对象识别系统,供对象识别系统对图像采集区域内的图像进行对象识别,得到识别结果;然后,监听检测系统接收对象识别系统返回的识别结果,进而执行步骤S105。
可选的,用于进行对象识别的识别系统,既可以布设在目标对象本地,也可以布设为远程的云端识别系统。采用远程的云端识别系统,多个目标对象可以采用共同的云端识别系统进行对象识别,有利于降低整个应用系统的布设成本。
能够理解到,识别系统进行对象识别的算法,采用通用的YOLO(You Only LookOnce)、快速RCNN、SSD等目标检测算法均可。根据应用场景的不同,可以采用不同的训练图像训练出针对不同目标对象的识别模型,模型的构建与训练采用通用方法即可,本申请实施例在此不再赘述。
S105:根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
可选的,识别结果可以包括以下至少一项:
图像采集区域内的图像中是否包含预设对象的判断结论;
图像采集区域内的图像中包含的预设对象的数量。
具体执行步骤S105根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态时,根据识别结果的不同内容,可以包括以下至少一项:
当图像采集区域内的图像中包含预设对象时,确定目标对象的状态为入场状态;
当图像采集区域内的图像中不包含预设对象时,确定目标对象的状态为离场状态;
当图像采集区域内的图像中包含的预设对象的数量大于零时,确定目标对象的状态为入场状态;
当图像采集区域内的图像中包含的预设对象的数量为零时,确定目标对象的状态为离场状态。
能够理解,监听检测系统在进行距离监听时,并不分辨对象的具体类型,而仅仅根据对象与目标对象之间的距离判断是否激活图像采集系统。在图像采集系统采集到图像采集区域内的图像后,根据图像内是否包含预设对象,和/或图像内包含的预设对象的数量,可以进一步判断目标对象的状态为入场状态还是离场状态。在此基础上,即可将目标对象的状态发送至业务系统,供业务系统确定与目标对象的状态相对应的业务流程。
为了进一步降低图像采集系统所带来的功耗,可以在采集完图像,且确定目标对象的状态之后,由监听检测系统向与距离检测范围相对应的图像采集系统发送第二指令,以便关闭图像采集系统或者将图像采集系统切换为待机模式。
除此之外,也可以在监听到的对象与目标对象的距离趋于稳定时发送上述第二指令。具体地,可以在对象与目标对象之间的距离满足第二预设条件时,向与距离检测范围相对应的图像采集系统发送第二指令;其中,第二预设条件包括:对象与目标对象之间的距离在第二预设时间间隔的差值小于第六预设阈值。
可选的,在确定目标对象的状态之后,还可以记录目标对象的状态,并可进一步根据目标对象的当前状态,确定判断是否激活图像采集系统时的第一预设条件。可以理解为,监听检测系统只需考察是否出现了可能使得目标对象的状态发生改变的对象即可,从而,判断是否激活图像采集系统时的第一预设条件,也只需选取可能改变目标对象的状态的条件即可。
例如,当记录的目标对象的当前状态为入场状态时,则仅需考察是否出现了可能导致目标对象的状态变为离场状态的情况即可,则第一预设条件可以取为以下至少一项:
对象与目标对象之间的距离在第一预设时间间隔的差值大于第三预设阈值;
对象与目标对象之间的距离大于第四预设阈值;
对象与目标对象之间的距离在第二预设时间段内的统计值大于第五预设阈值。
又例如,当记录的目标对象的当前状态为离场状态时,则仅需考察是否出现了可能导致目标对象的状态变为入场状态的情况即可,则第一预设条件可以取为以下至少一项:
对象与目标对象之间的距离小于第一预设阈值;
对象与目标对象之间的距离在第一预设时间段内的统计值小于第二预设阈值;
对象与目标对象之间的距离在第一预设时间间隔的差值大于第三预设阈值。
本申请实施例中,可以利用图像采集系统获取图像采集区域内的图像,进而对采集到的图像进行对象识别,从而根据识别结果确定目标对象的状态。因此,能够较为准确的判断预设对象是否入场和/或离场。与此同时,通过监听距离检测范围内的对象与目标对象之间的距离,且仅当监听到的距离满足第一预设条件时,才激活图像采集系统以获取其图像采集区域内的图像,因此,可以有效降低系统功耗,满足应用需求。
参见图4所示,本申请实施例还提供了一种入离场状态检测方法,由图像采集系统执行,该方法可以包括:
S201:接收第一指令,第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,对象位于监听检测系统的距离检测范围内,距离检测范围与图像采集系统相对应;
S203:获取图像采集系统的图像采集区域内的图像,以便监听检测系统根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
可选的,图像采集系统在获取图像采集系统的图像采集区域内的图像之后,还可以执行以下步骤:
接收第二指令,第二指令由监听检测系统在确定目标对象的状态之后发送;
根据第二指令,图像采集系统关闭或者切换为待机模式。
能够理解,图像采集系统所执行的步骤,与前述应用系统或者监听检测系统所执行的步骤相对应,前述实施例中与图像采集系统相关的内容均适用于本实施例。此处不再赘述。
本申请实施例中,可以利用图像采集系统获取图像采集区域内的图像,进而对采集到的图像进行对象识别,从而根据识别结果确定目标对象的状态。因此,能够较为准确的判断预设对象是否入场和/或离场。与此同时,通过监听距离检测范围内的对象与目标对象之间的距离,且仅当监听到的距离满足第一预设条件时,才激活图像采集系统以获取其图像采集区域内的图像,因此,可以有效降低系统功耗,满足应用需求。
以将本申请实施例提供的入离场状态检测方法应用于自助化餐厅这一应用场景为例,目标对象取为餐桌,业务系统可以具体体现为一种多媒体互动系统。该互动系统可以主要由动作采集器、数据处理器和显示屏幕三部分组成。可选的,该互动系统的硬件载体可以布设在餐桌周边便于就餐者操作、观看的部位,也可以直接以普通餐桌为显示屏幕载体,通过在普通餐桌上部署触控屏幕、手势识别装置等能够检测用户(即就餐者)操作的动作采集器,并以餐桌桌面作为屏幕显示反馈互动系统的数据处理结果,实现餐桌的智能化,借助智能化餐桌完成就餐者与业务系统的互动交互。
当目标对象(此处具体化为智能化餐桌)处于入场状态时,业务系统可以进入点菜流程。具体的,可以将菜单展示在嵌入桌面的触摸屏幕上,就餐者通过点击触摸屏幕选中对应菜品,完成自主下单、加菜等系列操作,甚至能通过屏幕查看菜品的实时进度,查看菜品烹饪流程,等等。智能化餐桌还可以相对应的记录就餐者的标识信息与常点的菜品,进而可以在后续为就餐者提供个性化的推荐信息。
当目标对象(此处具体化为智能化餐桌)处于离场状态时,业务系统可以进入扣款流程。具体的,可以关闭触摸屏幕,可以根据就餐者之前提供的身份标识信息(例如账号信息、身份ID等),按照就餐者的账单金额实现自动扣款。除此之外,业务系统还可以进入提醒流程,例如,提醒服务人员进行餐桌清理等等。
本申请实施例还提供了一种入离场状态检测装置,应用于监听检测系统100,参见图5所示,该装置包括:
距离监听模块101,监听距离检测范围内的对象与目标对象之间的距离;
第一指令发送模块103,当对象与目标对象之间的距离满足第一预设条件时,向与距离检测范围相对应的图像采集系统发送第一指令,以便激活图像采集系统获取其图像采集区域内的图像;
状态确定模块105,根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
本实施例中的入离场状态检测装置与前述实施例中监听检测系统执行的入离场状态检测方法相对应,前述实施例中相关内容均适用于本实施例,此处不再赘述。
本申请实施例还提供了一种入离场状态检测装置,应用于图像采集系统200,参见图6所示,该装置包括:
第一指令接收模块201,接收监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送的第一指令;对象位于监听检测系统的距离检测范围内,距离检测范围与图像采集系统相对应;
图像获取模块203,获取图像采集系统的图像采集区域内的图像,以便监听检测系统根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
本实施例中的入离场状态检测装置与前述实施例中图像采集系统执行的入离场状态检测方法相对应,前述实施例中相关内容均适用于本实施例,此处不再赘述。
图7是本申请的一个实施例电子设备的结构示意图。请参考图7,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成入离场状态检测装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
监听距离检测范围内的对象与目标对象之间的距离;
当对象与目标对象之间的距离满足第一预设条件时,向与距离检测范围相对应的图像采集系统发送第一指令,以便激活图像采集系统获取其图像采集区域内的图像;
根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
上述如本申请图2所示实施例揭示的入离场状态检测装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中入离场状态检测装置执行的方法,并实现入离场状态检测装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中入离场状态检测装置执行的方法,并具体用于执行:
监听距离检测范围内的对象与目标对象之间的距离;
当对象与目标对象之间的距离满足第一预设条件时,向与距离检测范围相对应的图像采集系统发送第一指令,以便激活图像采集系统获取其图像采集区域内的图像;
根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
本申请实施例中,可以利用图像采集系统获取图像采集区域内的图像,进而对采集到的图像进行对象识别,从而根据识别结果确定目标对象的状态。因此,能够较为准确的判断预设对象是否入场和/或离场。与此同时,通过监听距离检测范围内的对象与目标对象之间的距离,且仅当监听到的距离满足第一预设条件时,才激活图像采集系统以获取其图像采集区域内的图像,因此,可以有效降低系统功耗,满足应用需求。
图8是本申请的一个实施例电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成入离场状态监测装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
接收第一指令,第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,对象位于监听检测系统的距离检测范围内,距离检测范围与图像采集系统相对应;
获取图像采集系统的图像采集区域内的图像,以便监听检测系统根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
上述如本申请图4所示实施例揭示的入离场状态监测装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图4中入离场状态监测装置执行的方法,并实现入离场状态监测装置在图4所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图4所示实施例中入离场状态监测装置执行的方法,并具体用于执行:
接收第一指令,第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,对象位于监听检测系统的距离检测范围内,距离检测范围与图像采集系统相对应;
获取图像采集系统的图像采集区域内的图像,以便监听检测系统根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态。
本申请实施例中,可以利用图像采集系统获取图像采集区域内的图像,进而对采集到的图像进行对象识别,从而根据识别结果确定目标对象的状态。因此,能够较为准确的判断预设对象是否入场和/或离场。与此同时,通过监听距离检测范围内的对象与目标对象之间的距离,且仅当监听到的距离满足第一预设条件时,才激活图像采集系统以获取其图像采集区域内的图像,因此,可以有效降低系统功耗,满足应用需求。
本申请实施例还提供了一种应用系统,包括监听检测系统、图像采集系统、对象识别系统、业务系统,其中:
监听检测系统,监听距离检测范围内的对象与目标对象之间的距离;还当对象与目标对象之间的距离满足第一预设条件时,向与距离检测范围相对应的图像采集系统发送第一指令,以便激活图像采集系统获取其图像采集区域内的图像;还根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态;
图像采集系统,接收第一指令,第一指令由监听检测系统在对象与目标对象之间的距离满足第一预设条件时发送,对象位于监听检测系统的距离检测范围内,距离检测范围与图像采集系统相对应;还获取图像采集系统的图像采集区域内的图像,以便监听检测系统根据对图像采集区域内的图像进行对象识别得到的识别结果,确定目标对象的状态,目标对象的状态包括入场状态和/或离场状态;
对象识别系统,接收图像采集区域内的图像,并对图像采集区域内的图像进行对象识别,得到识别结果;还返回识别结果;
业务系统,接收目标对象的状态,并确定与目标对象的状态相对应的业务流程。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。