CN104065904B

CN104065904B - 一种液面检测方法及装置

Info

Publication number: CN104065904B
Application number: CN201410310027.0A
Authority: CN
Inventors: 王震; 张培龙; 李磊
Original assignee: Hisense Group Co Ltd
Current assignee: Hisense Group Co Ltd
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2017-10-03
Anticipated expiration: 2034-06-30
Also published as: CN104065904A

Abstract

本发明涉及图像检测技术领域，特别涉及一种液面检测方法及装置，以解决现有技术中顾客在要求续杯等服务时需要主动向服务员提出的问题。本发明实施例中，首先获取待检测的物体的特征信息，并根据物体的特征信息确定物体为液体容器，然后检测液体容器内液体的液面高度，判断液面高度是否低于高度阈值，若液面高度低于高度阈值，则发送通知消息。通过该通知消息，服务员能够获知液面已经低于设定的高度阈值，顾客可能会要求续杯，因此无需再由顾客主动提出，从而能够降低顾客等待的时间。

Description

一种液面检测方法及装置

技术领域

本发明涉及图像检测技术领域，特别涉及一种液面检测方法及装置。

背景技术

目前的餐饮行业中，顾客在喝茶或者咖啡等饮料时，若喝完后需要续杯，则需要找到服务员提出续杯的要求。由于餐厅内的服务员数量有限，当店内的顾客较多时，可能不容易在座位附近找到空闲的服务员。

目前的解决方案中，一般会在餐桌上安装一个呼叫器，每个呼叫器都会与服务台连接。当顾客按下餐桌上的呼叫器时，服务台能够接收到对应的通知消息，通过该通知消息，服务员能够知道哪个餐桌的顾客需要服务。上述方案能够较快的找到空闲的服务员提供相应的服务，但是由于要求服务的通知消息还是由顾客主动发出，且服务员无法得知顾客是要提供何种服务，因此从顾客发出通知消息至服务员提供服务还是会需要在一定的时间。

综上所述，现有技术中没有一种能够自动发出续杯通知消息的方案，使得顾客在要求续杯等服务时，需要主动向服务员提出。

发明内容

本发明实施例提供一种液面检测方法及装置，能够根据液面的高度自动发出通知消息，以解决现有技术中顾客在要求续杯等服务时需要主动向服务员提出的问题。

本发明实施例提供的一种液面检测方法，该方法包括：

获取待检测的物体的特征信息，根据所述特征信息确定所述物体是否为液体容器；

若所述物体为液体容器，则检测所述液体容器内液体的液面高度；

判断所述液面高度是否低于高度阈值，若所述液面高度低于高度阈值，则发送通知消息。

较佳地，在获取待检测的物体的特征信息之前，还包括：

对桌面进行检测，判断所述桌面上是否有待检测的物体。

较佳地，所述对桌面进行检测，判断所述桌面上是否有待检测的物体，包括：

获取所述桌面的位置信息，根据桌面的位置信息获取所述桌面与位于该桌面上方的检测点之间的第一距离；

获取所有物体的位置信息，根据物体的位置信息获取所述物体与所述检测点之间的第二距离；

若所述第二距离小于所述第一距离，则将所述物体确定为待检测的物体。

较佳地，所述对桌面进行检测，判断是否有待检测的物体，包括：

获取物体的位置信息，根据所述物体的位置信息确定所述物体在所述桌面所在的平面内的投影轮廓；

判断所述投影轮廓是否处于所述桌面的水平边界内，若是处于所述桌面的水平边界内，则将所述物体确定为待检测的物体。

在所述桌面所在的平面上方确定一个平行于所述平面的检测平面；

获取物体的位置信息，根据所述物体的位置信息判断所述物体与所述检测平面在所述桌面的水平边界内是否相交，若相交，则将所述物体确定为待检测的物体。

较佳地，所述物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

较佳地，所述物体的特征信息为物体轮廓；根据所述特征信息确定所述物体是否为液体容器，包括：

将所述物体的轮廓与液体容器的预设轮廓进行匹配，若所述物体的轮廓与液体容器的预设轮廓之间的误差小于阈值，则确定所述物体为液体容器。

较佳地，所述高度阈值根据所述液体容器的高度设定。

本发明实施例提供的一种液面检测装置，该装置包括：

物体检测模块，用于获取待检测的物体的特征信息，并根据所述特征信息确定所述物体是否为液体容器；

液面检测模块，用于若所述物体为液体容器，则检测所述液体容器内液体的液面高度；

处理通知模块，用于判断所述液面高度是否低于高度阈值，若所述液面高度低于高度阈值，则发送通知消息。

较佳地，所述物体检测模块，还用于：

在获取待检测的物体的特征信息之前，对桌面进行检测，判断所述桌面上是否有待检测的物体。

较佳地，所述物体检测模块，具体用于：

较佳地，所述物体检测模块获取的所述物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

较佳地，所述物体检测模块获取的所述物体的特征信息为物体轮廓；

所述物体检测模块，具体用于：

较佳地，所述液面检测模块，还用于：

根据所述液体容器的高度设定所述高度阈值。

本发明实施例中，首先获取待检测的物体的特征信息，并根据物体的特征信息确定物体为液体容器，然后检测液体容器内液体的液面高度，判断液面高度是否低于高度阈值，若液面高度低于高度阈值，则发送通知消息。通过该通知消息，服务员能够获知液面已经低于设定的高度阈值，顾客可能会要求续杯，因此无需再由顾客主动提出，从而能够降低顾客等待的时间。

附图说明

图1为本发明实施例提供的一种液面检测方法的流程图；

图2(a)为本发明实施例中圆筒状水杯进行液面检测的示意图；

图2(b)为本发明实施例中检测液面高度的场景图；

图3为本发明实施例提供的另一种液面检测方法的流程图；

图4为本发明实施例提供的第一种对桌面进行检测的方法流程图；

图5为采用图4中的方法确定圆筒状水杯位置的示意图；

图6为本发明实施例提供的第二种对桌面进行检测的方法流程图；

图7为本发明实施例提供的第三种对桌面进行检测的方法流程图；

图8为本发明实施例提供的一种液面检测装置的结构示意图；

图9为本发明实施例提供的另一种液面检测装置的结构示意图；

图10为本发明实施例中液面检测方法应用于投影点餐系统的场景示意图；

图11为本发明实施例中液面检测方法应用于投影点餐系统时的处理流程图。

具体实施方式

在实际应用中，物体特征信息的获取可以由摄像机完成，摄像机可以采用深度摄像机、RGB摄像机中的一种或多种，以完成物体特征信息或者位置信息的采集。而根据物体的特征信息或者位置信息进行的相关处理过程可以由具有相关功能计算机完成。本发明实施例中，摄像机和计算机可以采用两个独立的实体设备，配置成一个具有上述功能的系统；也可以在摄像机内配置具有上述处理功能的处理器，由一台摄像机完成上述信息采集及处理过程。

如图1所示，本发明实施例提供的一种液面检测方法，该方法包括：

步骤101，获取待检测的物体的特征信息，并根据物体的特征信息确定物体是否为液体容器。

本发明实施例中，特征信息为物体轮廓、物体携带的识别图像和识别文字中的一种或多种，物体携带的识别图像可以是二维码、条形码等，而识别文字可以是任意文字、数字的序列等。

物体携带的识别图像和识别文字可以预先标记在物体的表面，摄像机在获取这些识别图像或识别文字后，与预先配置的识别图像或识别文字进行匹配，若匹配到相同的识别图像或识别文字，则说明携带该识别图像或识别文字的物体为液体容器。

若用于判断的特征信息为物体的轮廓，那么首先通过摄像机获取物体的轮廓。由于物体的位置信息可以由摄像机获取，通过位置信息即可以得到物体的轮廓。其中，位置信息可以采用坐标的形式表示，即物体上每个点的空间坐标集合。

然后，将物体的轮廓与液体容器的预设轮廓进行匹配，若物体的轮廓与液体容器的预设轮廓之间的误差小于阈值，则确定物体为液体容器。其中，液体容器的预设轮廓可以由摄像机预先拍摄液体容器的方式获得，也可以直接输入一些可能的轮廓，例如圆筒状、圆锥状、半球状等。

上述预设轮廓以图像的形式进行保存，例如保存为图像1；当摄像机检测到物体的轮廓后，将获取的轮廓保存为图像2，通过对两个图像进行匹配，若误差小于阈值，则确定物体为液体容器；若误差大于或等于阈值，则确定该物体不是液体容器，无需进行后续检测过程。

步骤102，若物体为液体容器，则检测液体容器内液体的液面高度。

在实际应用中，高度阈值可以设定为一个固定值，例如5cm；也可以根据液体容器的高度设定，以一个如图2(a)所示的圆筒状的水杯为例，根据物体的位置信息能够得到液体容器的高度为H，若以液体容器的高度的1/3作为高度阈值H₀，那么此时H₀＝H/3。通过摄像机检测到液体的液面高度为h后，判断h与H₀之间的关系。

以如图2(b)所示的场景为例，通过摄像机获取桌面的任意三个特征点坐标，可以求取桌面的空间方程，根据该空间方程则可以确定桌面与桌面上方某一设定的检测点之间的距离l₁，本实施例中以摄像机上与桌面最接近的点作为检测点。

采用相同的方式确定液面与该检测点之间的距离l₂，由此可以得到液面高度h＝l₁-l₂。

步骤103，判断液面高度是否低于高度阈值，若液面高度低于高度阈值，则发送通知消息。

判断h<H₀是否成立，当h<H₀时，液面高度低于高度阈值，表明水杯内的水已经过少，则会发送预先设置的通知消息给服务台，以通知服务员可以进行加水。

进一步地，在步骤101之前，还可以包括步骤100，对桌面进行检测，判断桌面上是否有待检测的物体，如图3所示。由于在实际应用中，需要加水的液体容器只会存在于桌面上，因此仅需要对桌面上的液体容器进行检测即可，而无需对不在桌面上的物体进行后续的检测处理，从而减少了不必要的计算量，提高了处理效率。

本发明实施例提供了三种实现步骤100的方式，具体如下：

第一种方式的处理流程如图4所示，包括：

步骤401，获取物体的位置信息，根据物体的位置信息确定物体在桌面所在的平面内的投影轮廓。

步骤402，判断投影轮廓是否处于桌面的水平边界内，若是处于桌面的水平边界内，则将该物体确定为待检测的物体。

如图5所示，仍以圆筒状的水杯为例，该水杯在桌面所在的平面内的投影轮廓为所覆盖的区域为5A，桌面的水平边界所覆盖的区域为5B，区域5A处于5B的范围内，则将该物体确定为待检测的物体。

第二种方式的处理流程如图6所示，包括：

步骤601，在桌面所在的平面上方确定一个平行于平面的检测平面。对于桌面来说，可以通过标定桌面上的三个特征点来确定，通过确定这三个特征点的空间坐标(x_N,y_N,z_N)，N＝1,2,3就可以求解桌面所在平面α的方程。在具体实施时，由于桌面所在平面α在笛卡尔坐标系下一般为一个水平的平面，即Z轴的值为固定值，而检测平面δ与桌面所在平面α平行，因此改变Z轴的值即可获得检测平面δ。

由于桌面上物体的高度一般会在几厘米至十几厘米之间，检测平面δ相对于桌面所在的平面α的距离可以取1～2厘米。

步骤602，获取物体的位置信息，根据物体的位置信息判断物体与检测平面在桌面的水平边界内是否相交，若相交，则将该物体确定为待检测的物体。

在实际应用中，由于检测平面δ的空间方程已经确定，根据物体的位置信息可以确定物体上各个点的空间坐标，若上述任意一个点可以满足检测平面δ的空间方程，则可以确定物体与检测平面相交。此时再去确定该交点是否在桌面的水平边界内，即该点的X轴和Y轴坐标是否在预设的范围内，若是，则可以将该物体确定为待检测的物体。

第三种方式的处理流程如图7所示，包括：

步骤701，获取桌面的位置信息，根据位置信息获取桌面与位于该桌面上方的检测点之间的第一距离。在本发明实施例中，可以通过摄像机获取桌面的任意三个特征点坐标，可以求取桌面的空间方程，根据该空间方程则可以确定桌面与桌面上方某一设定的检测点之间的第一距离。本实施例中以摄像机上与桌面最接近的点作为检测点。

步骤702，获取所有物体的位置信息，根据位置信息获取物体与检测点之间的第二距离。在获取第二距离时，可以根据物体的位置信息确定物体上与检测点最接近的点，将该点与检测点的距离作为第二距离。

步骤703，若第二距离小于第一距离，则将物体确定为待检测的物体。

基于同一发明构思，本申请实施例还提供了液面检测装置，由于所述装置对应的方法是本申请实施例中的液面检测方法，并且该装置解决问题的原理与方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图8所示，本发明实施例提供的一种液面检测装置，该装置包括：

物体检测模块810，用于获取待检测的物体的特征信息，并根据物体的特征信息确定物体是否为液体容器；

液面检测模块820，用于若所述物体为液体容器，则检测液体容器内液体的液面高度；

处理通知模块830，用于判断液面高度是否低于高度阈值，若液面高度低于高度阈值，则发送通知消息。

较佳地，物体检测模块810，还用于：

较佳地，物体检测模块810，具体用于：

获取物体的位置信息，根据物体的位置信息确定物体在桌面所在的平面内的投影轮廓；

判断投影轮廓是否处于桌面的水平边界内，若是处于桌面的水平边界内，则将该物体确定为待检测的物体；

较佳地，物体检测模块810，具体用于：

在桌面所在的平面上方确定一个平行于平面的检测平面；

获取物体的位置信息，根据物体的位置信息判断物体与检测平面在桌面的水平边界内是否相交，若相交，则将该物体确定为待检测的物体。

较佳地，物体检测模块810获取的物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

较佳地，当物体检测模块获取的物体的特征信息为物体轮廓时，物体检测模块810，具体用于：

将物体的轮廓与液体容器的预设轮廓进行比较，若物体的轮廓与液体容器的预设轮廓之间的误差小于阈值，则确定物体为液体容器。

较佳地，液面检测模块820，还用于：

根据液体容器的高度设定高度阈值。

如图9所示，本发明实施例提供的一种液面检测装置，该装置包括处理器910、存储器920、用户接口930和总线接口940。其中，处理器910、存储器920与用户接口930之间通过总线接口940连接。

处理器910，用于获取待检测的物体的特征信息，并根据物体的特征信息确定物体是否为液体容器；若物体为液体容器，则检测液体容器内液体的液面高度；判断液面高度是否低于高度阈值，若液面高度低于高度阈值，则发送通知消息。

较佳地，处理器910，还用于：

较佳地，处理器910，具体用于：

若所述第二距离小于所述第一距离，则将所述物体确定为待检测的物体；

较佳地，处理器910，具体用于：

在获取待检测的物体的特征信息之前，获取物体的位置信息，根据物体的位置信息确定物体在桌面所在的平面内的投影轮廓；

较佳地，处理器910，具体用于：

在桌面所在的平面上方确定一个平行于平面的检测平面；

较佳地，处理器910获取的物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

较佳地，当处理器910获取的物体的特征信息为物体轮廓时，处理器910具体用于：

较佳地，处理器910，还用于：

根据液体容器的高度设定高度阈值。

在本发明实施例图9中，总线构架可以包括任意数量的互联的总线和桥，具体由处理器910代表的一个或多个处理器和存储器920代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口940提供接口。处理器910负责管理总线架构和通常的处理。存储器920可以存储处理器910在执行操作时所使用的数据。针对不同的用户设备，用户接口930还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

本发明实施例还提供了液面检测方法在投影点餐系统中的应用，该应用场景的结构如图10所示，投影点餐系统包括架设在桌面上方的投影机、摄像机以及计算机，其中，投影机用于向桌面投射相关的图像，例如菜单、食品信息等，摄像机包含深度传感器，能够获取桌面上物体的位置信息，由计算机进一步地根据物体的位置信息计算得到桌面上的空白区域，再对投影机的输入图像进行处理，使得菜单、食品信息等图像能够投射至空白区域内，以避免投射至物体的表面。

在该应用场景下，液面检测的过程如图11所示，包括：

步骤1101，通过投影机向桌面投射特征图像。该图像上由至少三个以上可以被摄像机识别的特征点，从而能够获取这三个特征点的空间坐标。

步骤1102，通过获取的三个特征点的空间坐标求取桌面所在的平面的空间方程。

步骤1103，通过摄像机获取桌面到摄像机之间的距离l₁。

步骤1104，将距离l₁设定为深度阈值，过滤掉与投影机之间距离大于l₁的物体，保留与投影机之间距离小于等于l₁的物体。由此可以排除掉不可能需要加水的液体容器，以降低后续处理的计算量。

步骤1105，获取用餐场所内所有液体容器的轮廓，作为预设轮廓保存为输入图像1。

步骤1106，获取在步骤1104中保留的物体的轮廓，并保存为输入图像2。

步骤1107，比较输入图像1和输入图像2，根据两者之间的误差，判断两者是否匹配。若误差小于设定的阈值，则可以确定两者匹配，说明输入图像2对应的物体是液体容器，否则，两者不匹配，说明不是液体容器，返回步骤1106，获取另一个物体的轮廓继续处理。

步骤1108，通过摄像机获取液面到摄像机之间的距离l₂。

步骤1109，根据已经获取的桌面到摄像机之间的距离l₁以及液面到摄像级之间的距离l₂，计算液面高度h＝l₁-l₂。

步骤1110，设定液面的高度阈值H₀。该高度阈值的具体设定方式已在前文详细说明，此处不再赘述。

步骤1111，判断液面高度h是否小于高度阈值H₀，若小于高度阈值，则执行步骤1112，否则，返回步骤1108。其中，

步骤1112，如果h<H₀时，液面高度低于高度阈值，表明水杯内的水已经过少，则会发送预先设置的通知消息给服务台，以通知服务员可以进行加水。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种液面检测方法，其特征在于，该方法包括：

通过摄像机获取的物体特征信息，对桌面进行检测，判断所述桌面上是否有待检测的物体；

若所述桌面上有待检测的物体，则根据所述待检测的物体的特征信息，确定所述物体是否为液体容器；

若所述液面高度低于高度阈值，则发送通知消息。

2.如权利要求1所述的方法，其特征在于，所述对桌面进行检测，判断所述桌面上是否有待检测的物体，包括：

3.如权利要求1所述的方法，其特征在于，所述对桌面进行检测，判断是否有待检测的物体，包括：

4.如权利要求1所述的方法，其特征在于，所述对桌面进行检测，判断是否有待检测的物体，包括：

5.如权利要求1所述的方法，其特征在于，所述物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

6.如权利要求5所述的方法，其特征在于，所述物体的特征信息为物体轮廓；根据所述特征信息确定所述物体是否为液体容器，包括：

7.如权利要求1所述的方法，其特征在于，所述高度阈值根据所述液体容器的高度设定。

8.一种液面检测装置，其特征在于，该装置包括：

物体检测模块，用于通过摄像机获取的物体特征信息，对桌面进行检测，判断所述桌面上是否有待检测的物体；若有待检测的物体，则根据所述待检测的物体的特征信息确定所述物体是否为液体容器；

处理通知模块，用于若所述液面高度低于高度阈值，则发送通知消息。

9.如权利要求8所述的装置，其特征在于，所述物体检测模块，具体用于：

10.如权利要求8所述的装置，其特征在于，所述物体检测模块，具体用于：

11.如权利要求8所述的装置，其特征在于，所述物体检测模块，具体用于：

12.如权利要求8所述的装置，其特征在于，所述物体检测模块获取的所述物体的特征信息包括物体轮廓、物体携带的识别图像和识别文字中的一种或多种。

13.如权利要求12所述的装置，其特征在于，所述物体检测模块获取的所述物体的特征信息为物体轮廓；

所述物体检测模块，具体用于：

14.如权利要求8所述的装置，其特征在于，所述液面检测模块，还用于：

根据所述液体容器的高度设定所述高度阈值。