CN108921883A - 基于两位置深度图像识别的饮水机控制装置及其控制方法 - Google Patents

基于两位置深度图像识别的饮水机控制装置及其控制方法 Download PDF

Info

Publication number
CN108921883A
CN108921883A CN201810389809.6A CN201810389809A CN108921883A CN 108921883 A CN108921883 A CN 108921883A CN 201810389809 A CN201810389809 A CN 201810389809A CN 108921883 A CN108921883 A CN 108921883A
Authority
CN
China
Prior art keywords
cup
image
water
depth
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810389809.6A
Other languages
English (en)
Other versions
CN108921883B (zh
Inventor
徐育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xu Yu
Original Assignee
Zhejiang An Jing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang An Jing Intelligent Technology Co Ltd filed Critical Zhejiang An Jing Intelligent Technology Co Ltd
Priority to CN201810389809.6A priority Critical patent/CN108921883B/zh
Publication of CN108921883A publication Critical patent/CN108921883A/zh
Application granted granted Critical
Publication of CN108921883B publication Critical patent/CN108921883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00—Apparatus for making beverages
    • A47J31/44—Parts or details or accessories of beverage-making apparatus
    • A47J31/4403—Constructional details
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00—Apparatus for making beverages
    • A47J31/44—Parts or details or accessories of beverage-making apparatus
    • A47J31/46—Dispensing spouts, pumps, drain valves or like liquid transporting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于两位置深度图像识别的饮水机控制装置及其控制方法，包括：第一图像获取单元、第二图像获取单元、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元、第一图像获取单元和第二图像获取单元提供工作电源；控制及信息储存/处理单元与二个图像获取单元电连接。本发明通过图像获取单元获得取水容器（杯子）的深度图像，提取饮水机取水容器（杯子）的口沿位置、杯子高度以及杯子中实时水位高度等特征信息，实现了智能控制饮水机的启动和关闭出水功能。

Description

基于两位置深度图像识别的饮水机控制装置及其控制方法
技术领域
本发明属于饮水机技术领域，具体涉及一种饮水机的出水智能控制装置及其控制方法。
背景技术
随着饮水机的不断普及，广大消费者对饮水机的功能要求也越来越高。目前的饮水机必须通过按键操作完成定量取水，不能实现智能控制取水过程，给使用者带来了一定的不便。
发明内容
本发明解决的技术问题是提供一种饮水机出水智能控制装置及其控制方法，以彩色相机和深度相机技术手段判断饮水机出水口下方是否有杯子存在，以及杯子口沿是否对准出水口，通过上述判断来控制打开或关闭饮水机的出水口水流，以及智能控制出水量。
为实现上述控制装置及其控制方法，本发明所采取的技术方案如下：
基于两位置深度图像识别的饮水机控制装置，包括第一图像获取单元、第二图像获取单元、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元、第一图像获取单元和第二图像获取单元提供工作电源；控制及信息储存/处理单元分别与第一图像获取单元和第二图像获取单元电连接。
进一步地，饮水机出水口下方出现杯子的空间为图像获取装置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
进一步地，第一图像获取单元安装在饮水机机体的目标区域上部、近出水口位置，第一图像获取单元向下方向垂直拍摄杯子；第二图像获取单元安装在饮水机机体的目标区域侧部，从侧面位置水平方向拍摄杯子侧面。
进一步地，第一图像获取单元和第二图像获取单元中包括以下两种相机之一：1）深度相机，2）深度相机结合彩色相机，深度相机结合彩色相机为RGB-D相机；深度相机拍摄获得深度图像，RGB-D相机拍摄获得深度图像和彩色图像；第一图像获取单元中深度相机拍摄的为第一深度图像，彩色相机拍摄的为第一彩色图像，第二图像获取单元中深度相机拍摄的为第二深度图像，彩色相机拍摄的为第二彩色图像。
进一步地，第一图像获取单元和第二图像获取单元中深度相机的工作原理是以下四种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）结构光+双目视差测量原理、IV）TOF飞行时间测量原理。
本发明基于两位置深度图像识别的饮水机控制装置的控制方法包括如下两种技术方案：
技术方案一：
基于两位置深度图像识别的饮水机控制方法，使用深度相机获得第一深度图像和第二深度图像的步骤包括：
S1.建立目标区域的背景模型：目标区域没有杯子或其他外来物体,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元分别获得目标区域的多帧背景深度图像并加以处理，将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息以及二图像获取单元的参数，建立目标区域的背景模型，控制及信息储存/处理单元存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置杯子，饮水机出水口没有出水的情况下，控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元分别获得多帧目标区域的实时第一深度图像和第二深度图像，对第一深度图像和第二深度图像进行噪声阈值处理、平滑处理等，进行前景和背景分割，选择有效算法提取前景轮廓，即杯子的轮廓，并且提取杯子的特征点，通过第一深度图像获得杯子在xy平面上投影诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标等杯子在xy平面上的位置信息；通过第二深度图像获得杯子的最高像素点的三维坐标信息，即获得了杯子的高度信息；
S3. 判断杯子是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，以及杯子第一深度图像在xy平面上投影前后、左右对称具有明显的几何中心的特性，控制及信息储存/处理单元判断饮水机出水口在xy平面上投影是否落在杯子在xy平面上投影内部，并且计算出水口在xy平面上投影和杯子在xy平面上投影几何中心之间的位置关系和距离，即和该几何中心的对准程度，据此对准程度，设定在不同的特定杯中水位高度关闭饮水机出水，给杯子注入特定量的水；
S4.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元确定出水口在xy平面上投影落在杯子口沿内部，即饮水机出水口对准了杯子的口沿，控制及信息储存/处理单元发出指令：开启饮水机出水口水流，向杯子里注水；
S5.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元控制第一图像获取单元中深度相机和第二图像获取单元中深度相机以每秒一定帧数的速度实时分别获得第一深度图像和第二深度图像，提取其中杯子中水面的实时高度信息，其中：对于不透明的杯子，杯子中水面的实时高度信息从第一深度图像中提取，对于透明的杯子，杯子中水面的实时高度信息从第二深度图像中提取，或者从第一深度图像和第二深度图像中同时分别提取，取高度大的值为水面高度值；控制及信息储存/处理单元处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S6.完成用杯子取水过程：当控制及信息储存/处理单元通过对实时第一深度图像和第二深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S7.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元启动第一图像获取单元和第二图像获取单元中深度相机获得多帧目标区域的第一深度图像和第二深度图像，对目标区域再次建立更新的背景模型，并用该新建立的更新背景模型替代控制及信息储存/处理单元中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
技术方案二：
基于两位置深度图像识别的饮水机控制方法，使用RGB-D相加获得配准后的第一深度图像和配准后的第二深度图像的步骤包括：
S1.建立目标区域的背景模型：使用RGB-D相机建立的背景模型为深度图像和彩色图像配准后的背景模型，目标区域没有杯子或其他外来物体,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元中RGB-D相机同步获得目标区域的背景彩色图像和深度图像并加以处理，将图像转换为背景点云图像，对彩色图像和深度图像进行配准，建立彩色图像像素点和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；控制及信息储存/处理单元根据配准得出的像素位置和深度变换模型，配准方法包括：采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这两帧图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像；
根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机的参数，建立目标区域的配准后背景模型，控制及信息储存/处理单元存储该配准后背景模型；
S2.提取目标区域前景深度图像：使用RGB-D相机建立的背景模型为深度图像和彩色图像配准后的背景模型，目标区域放置杯子，饮水机出水口没有出水的情况下，控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元中RGB-D相机同步实时获得目标区域的彩色图像和深度图像，对彩色图像和深度图像做噪声阈值处理、平滑处理等，进行S1步骤所述的配准，实现前景和背景分割，选择有效算法提取前景轮廓，杯子的轮廓，并提取杯子的特征点，通过配准后的第一深度图像获得杯子在xy平面上诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息，通过配准后的第二深度图像获得杯子的最高像素点的三维坐标信息，即获得了杯子的高度信息；
S3.判断杯子是否对准饮水机出水口：根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数，以及杯子配准后的第一深度图像在xy平面上投影前后、左右对称，具有一个明显的几何中心的特性，控制及信息储存/处理单元判断出水口在xy平面上投影是否落在杯子的像素点在xy平面上投影的内部和距离该投影的几何中心的位置；
进一步，控制及信息储存/处理单元根据已知的坐标信息，通过分析运算，获得出水口在xy平面上投影和杯子在xy平面上投影的几何中心的对准程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S4.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元确定出水口在xy平面上投影的确落在杯子口沿内部，即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元发出指令：开启饮水机出水口水流，向杯子里注水；
S5.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元控制第一图像获取单元和第二图像获取单元中RGB-D相机以每秒一定帧数的速度同步实时获得杯子的第一彩色图像、第一深度图像和第二彩色图像、第二深度图像，并实时对杯子相应的彩色和深度图像加以处理、配准，分析、计算出杯子中水面的实时高度信息，其中：对于不透明的杯子，杯子中水面的实时高度信息从配准后的第一深度图像中提取，对于透明的杯子，杯子中水面的实时高度信息通过配准后的第一深度和第二深度图像中同时分别提取，当二个值相差在一定的范围dH以内，任取其中的一个值为水面高度，如果相差大于dH，取高度大的值为水面高度值，控制及信息储存/处理单元处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S6.完成用杯子取水过程：当控制及信息储存/处理单元通过对第一图像获取单元和第二图像获取单元中RGB-D相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准，分析、计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄彩色图像和深度图像；
S7.更新目标区域的配准后背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元启动第一图像获取单元和第二图像获取单元中RGB-D相机同步获得多帧目标区域的彩色图像和深度图像，根据S1步骤，对目标区域再次建立更新的配准后背景模型，并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的配准后背景模型。
本发明的有益效果：
本发明实现饮水机取水过程智能化，根据使用者的不同的取水量需求，自动出水，防止溢水；同时有效地避免了操作不当导致的误出水。
通过两位置深度图像识别技术，大大增加了本发明装置的适用范围，提高了对透明杯子、薄壁杯子探测能力。
附图说明
图1为本发明基于深度相机的饮水机出水智能控制装置功能单元示意图。
图2为本发明基于深度相机的饮水机出水智能控制装置的饮水机结构示意图。
图3为本发明基于深度相机的饮水机出水智能控制方法的步骤图。
具体实施方式
下面结合附图，对本发明的实施例作进一步详细的描述。
实施例一
一种基于两位置深度图像识别的饮水机控制装置，包括第一图像获取单元1、第二图像获取单元2、控制及信息储存/处理单元3和电源4；电源4的输出端连接控制及信息储存/处理单元3的电源4输入端，用于直接或间接为控制及信息储存/处理单元3、第一图像获取单元1和第二图像获取单元2提供工作电源；控制及信息储存/处理单元3与两个图像获取单元电连接。
进一步地，基于两位置深度图像识别的饮水机控制装置，饮水机出水口下方可能出现杯子的空间为图像获取装置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
进一步地，基于两位置深度图像识别的饮水机控制装置，第一图像获取单元1从临近饮水机出水口附近位置向下方向垂直拍摄杯子深度图像，第二图像获取单元2从侧面位置水平方向拍摄杯子侧面深度图像。
进一步地，基于两位置深度图像识别的饮水机控制装置，第一图像获取单元1和第二图像获取单元2中包括深度相机,用来拍摄深度图像，其工作原理是以下四种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）结构光+双目视差测量原理、IV）TOF飞行时间测量原理。
基于两位置深度图像识别的饮水机控制装置的控制方法，第一图像获取单元1中深度相机从临近饮水机出水口附近位置向下方垂直拍摄获得杯子的第一深度图像，第二图像获取单元2中深度相机从侧面位置水平方向拍摄获得杯子侧面的第二深度图像。
基于两位置深度图像识别的饮水机控制方法，包括以下获得第一深度图像和第二深度图像的步骤：
S1.建立目标区域的背景模型：目标区域没有杯子或其他外来物体,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2分别获得目标区域的多帧背景深度图像并加以处理，将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息以及两图像获取单元的参数，建立目标区域的背景模型，控制及信息储存/处理单元3存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置杯子，饮水机出水口没有出水的情况下，控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2分别获得多帧目标区域的实时第一深度图像和第二深度图像，对第一深度图像和第二深度图像进行噪声阈值处理、平滑处理等，进行前景和背景分割，选择有效算法提取前景轮廓，即杯子的轮廓，并且提取杯子的特征点，通过第一深度图像获得杯子在xy平面上投影诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标等杯子在xy平面上的位置信息；通过第二深度图像获得杯子的最高像素点的三维坐标信息，即获得了杯子的高度信息；
S3. 判断杯子是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，以及杯子第一深度图像在xy平面上投影前后、左右对称具有明显的几何中心的特性，控制及信息储存/处理单元3判断饮水机出水口在xy平面上投影是否落在杯子在xy平面上投影内部，并且计算出水口在xy平面上投影和杯子在xy平面上投影几何中心之间的位置关系和距离，即和该几何中心的对准程度，据此对准程度，设定在不同的特定杯中水位高度关闭饮水机出水，给杯子注入特定量的水；
S4.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元3确定出水口在xy平面上投影落在杯子口沿内部，即饮水机出水口对准了杯子的口沿，控制及信息储存/处理单元3发出指令：开启饮水机出水口水流，向杯子里注水；
S5.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元3控制第一图像获取单元1中深度相机和第二图像获取单元2中深度相机以每秒一定帧数的速度实时分别获得第一深度图像和第二深度图像，提取其中杯子中水面的实时高度信息，其中：对于不透明的杯子，杯子中水面的实时高度信息从第一深度图像中提取，对于透明的杯子，杯子中水面的实时高度信息从第二深度图像中提取，或者从第一深度图像和第二深度图像中同时分别提取，取高度大的值为水面高度值；控制及信息储存/处理单元3处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S6.完成用杯子取水过程：当控制及信息储存/处理单元3通过对实时第一深度图像和第二深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元3发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S7.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元3启动第一图像获取单元1和第二图像获取单元2中深度相机获得多帧目标区域的第一深度图像和第二深度图像，对目标区域再次建立更新的背景模型，并用该新建立的更新背景模型替代控制及信息储存/处理单元3中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
实施例二
一种基于两位置深度图像识别的饮水机控制装置，包括第一图像获取单元1、第二图像获取单元2、控制及信息储存/处理单元3和电源4；电源4的输出端连接控制及信息储存/处理单元3的电源4输入端，用于直接或间接为控制及信息储存/处理单元3、第一图像获取单元1和第二图像获取单元2提供工作电源；控制及信息储存/处理单元3与两个图像获取单元电连接。
进一步地，基于两位置深度图像识别的饮水机控制装置，饮水机出水口下方可能出现杯子的空间为图像获取装置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
进一步地，基于两位置深度图像识别的饮水机控制装置，第一图像获取单元1和第二图像获取单元2中包括彩色相机和深度相机（统称为RGB-D相机）；彩色相机用来拍摄RGB彩色图像，深度相机用来拍摄深度图像，深度相机工作原理是以下四种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）结构光+双目视差测量原理、IV）TOF飞行时间测量原理。
进一步地，基于两位置深度图像识别的饮水机控制方法，第一图像获取单元1从临近饮水机出水口附近位置向下方向垂直拍摄获得杯子的第一深度图像和第一RGB彩色图像，第二图像获取单元2从侧面位置水平方向拍摄获得杯子侧面的第二深度图像和第二RGB彩色图像；
基于两位置深度图像识别的饮水机控制方法，包括以下获得第一深度图像和第二深度图像的步骤：
S1.建立目标区域的背景模型：目标区域没有杯子或其他外来物体,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2中RGB-D相机同步获得目标区域的背景彩色图像和深度图像并加以处理，将图像转换为背景点云图像，对彩色图像和深度图像进行配准，建立彩色图像像素点和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；控制及信息储存/处理单元3根据配准得出的像素位置和深度变换模型，配准方法包括：采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这两帧图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像；
根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机的参数，建立目标区域的配准后背景模型，控制及信息储存/处理单元3存储该配准后背景模型；
S2.提取目标区域前景深度图像：目标区域放置杯子，饮水机出水口没有出水的情况下，控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2中RGB-D相机同步实时获得目标区域的彩色图像和深度图像，对彩色图像和深度图像做噪声阈值处理、平滑处理等，进行S1步骤所述的配准，实现前景和背景分割，选择有效算法提取前景轮廓，杯子的轮廓，并提取杯子的特征点，通过配准后的第一深度图像获得杯子在xy平面上诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息，通过配准后的第二深度图像获得杯子的最高像素点的三维坐标信息，即获得了杯子的高度信息；
S3.判断杯子是否对准饮水机出水口：根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数，以及杯子配准后的第一深度图像在xy平面上投影前后、左右对称，具有一个明显的几何中心的特性，控制及信息储存/处理单元3判断出水口在xy平面上投影是否落在杯子的像素点在xy平面上投影的内部和距离该投影的几何中心的位置；
进一步，控制及信息储存/处理单元3根据已知的坐标信息，通过分析运算，获得出水口在xy平面上投影和杯子在xy平面上投影的几何中心的对准程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S4.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元3确定出水口在xy平面上投影的确落在杯子口沿内部，即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元3发出指令：开启饮水机出水口水流，向杯子里注水；
S5.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元3控制第一图像获取单元1和第二图像获取单元2中RGB-D相机以每秒一定帧数的速度同步实时获得杯子的第一彩色图像、第一深度图像和第二彩色图像、第二深度图像，并实时对杯子相应的彩色和深度图像加以处理、配准，分析、计算出杯子中水面的实时高度信息，其中：对于不透明的杯子，杯子中水面的实时高度信息从配准后的第一深度图像中提取，对于透明的杯子，杯子中水面的实时高度信息通过配准后的第一深度图像和第二深度图像中同时分别提取，当两个值相差在一定的范围dH以内，任取其中的一个值为水面高度，如果相差大于dH，取高度大的值为水面高度值，控制及信息储存/处理单元3处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S6.完成用杯子取水过程：当控制及信息储存/处理单元3通过对第一图像获取单元1和第二图像获取单元2中RGB-D相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准，分析、计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元3发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄彩色图像和深度图像；
S7.更新目标区域的配准后背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元3启动第一图像获取单元1和第二图像获取单元2中RGB-D相机同步获得多帧目标区域的彩色图像和深度图像，根据S1步骤，对目标区域再次建立更新的配准后背景模型，并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元3中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的配准后背景模型。
以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (7)

1.基于两位置深度图像识别的饮水机控制装置，其特征在于：包括第一图像获取单元（1）、第二图像获取单元（2）、控制及信息储存/处理单元（3）和电源（4）；电源（4）的输出端连接控制及信息储存/处理单元（3）的电源输入端，用于直接或间接为控制及信息储存/处理单元（3）、第一图像获取单元（1）和第二图像获取单元（2）提供工作电源；控制及信息储存/处理单元（3）分别与第一图像获取单元（1）和第二图像获取单元（2）电连接。
2.根据权利要求1所述的基于两位置深度图像识别的饮水机控制装置，其特征在于：饮水机出水口下方出现杯子的空间为图像获取装置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
3.根据权利要求2所述的基于两位置深度图像识别的饮水机控制装置，其特征在于：第一图像获取单元（1）安装在饮水机机体的目标区域上部、近出水口位置，第一图像获取单元（1）向下方向垂直拍摄杯子；第二图像获取单元（2）安装在饮水机机体的目标区域侧部，从侧面位置水平方向拍摄杯子侧面。
4.根据权利要求3所述的基于两位置深度图像识别的饮水机控制装置，其特征在于：第一图像获取单元（1）和第二图像获取单元（2）中包括以下两种相机之一：1）深度相机，深度相机拍摄获得深度图像；2）深度相机结合彩色相机，深度相机结合彩色相机为RGB-D相机，RGB-D相机拍摄获得彩色图像和深度图像。
5.根据权利要求4所述的基于两位置深度图像识别的饮水机控制装置，其特征在于：第一图像获取单元（1）和第二图像获取单元（2）中深度相机的工作原理是以下四种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）结构光+双目视差测量原理、IV）TOF飞行时间测量原理。
6.基于两位置深度图像识别的饮水机控制方法，特征在于包括如下步骤：
S1.建立目标区域的背景模型：目标区域没有杯子或其他外来物体,控制及信息储存/处理单元（3）通过第一图像获取单元（1）和第二图像获取单元（2）分别获得目标区域的多帧背景深度图像并加以处理，将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息以及二图像获取单元的参数，建立目标区域的背景模型，控制及信息储存/处理单元（3）存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置杯子，饮水机出水口没有出水的情况下，控制及信息储存/处理单元（3）通过第一图像获取单元（1）和第二图像获取单元（2）分别获得多帧目标区域的实时第一深度图像和第二深度图像，对第一深度图像和第二深度图像进行噪声阈值处理、平滑处理等，进行前景和背景分割，选择有效算法提取前景轮廓，即杯子的轮廓，并且提取杯子的特征点，通过第一深度图像获得杯子在xy平面上投影诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标等杯子在xy平面上的位置信息；通过第二深度图像获得杯子的最高像素点的三维坐标信息，即获得了杯子的高度信息；
S3. 判断杯子是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，以及杯子第一深度图像在xy平面上投影前后、左右对称具有明显的几何中心的特性，控制及信息储存/处理单元（3）判断饮水机出水口在xy平面上投影是否落在杯子在xy平面上投影内部，并且计算出水口在xy平面上投影和杯子在xy平面上投影几何中心之间的位置关系和距离，即和该几何中心的对准程度，据此对准程度，设定在不同的特定杯中水位高度关闭饮水机出水，给杯子注入特定量的水；
S4.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元（3）确定出水口在xy平面上投影落在杯子口沿内部，即饮水机出水口对准了杯子的口沿，控制及信息储存/处理单元（3）发出指令：开启饮水机出水口水流，向杯子里注水；
S5.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元（3）控制第一图像获取单元（1）中深度相机和第二图像获取单元（2）中深度相机以每秒一定帧数的速度实时分别获得第一深度图像和第二深度图像，提取其中杯子中水面的实时高度信息，其中：对于不透明的杯子，杯子中水面的实时高度信息从第一深度图像中提取，对于透明的杯子，杯子中水面的实时高度信息从第二深度图像中提取，或者从第一深度图像和第二深度图像中同时分别提取，取高度大的值为水面高度值；控制及信息储存/处理单元（3）处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S6.完成用杯子取水过程：当控制及信息储存/处理单元（3）通过对实时第一深度图像和第二深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元（3）发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S7.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元（3）启动第一图像获取单元（1）和第二图像获取单元（2）中深度相机获得多帧目标区域的第一深度图像和第二深度图像，对目标区域再次建立更新的背景模型，并用该新建立的更新背景模型替代控制及信息储存/处理单元（3）中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
7.根据权利要求6所述的基于两位置深度图像识别的饮水机控制方法，其特征在于：第一图像获取单元（1）和第二图像获取单元（2）采用RGB-D相机同时获得深度图像和彩色图像，对彩色图像和深度图像进行配准，建立彩色图像像素点和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；
彩色图像和深度图像的配准方法包括采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这两帧图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像。
CN201810389809.6A 2018-04-27 2018-04-27 基于两位置深度图像识别的饮水机控制装置及其控制方法 Active CN108921883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810389809.6A CN108921883B (zh) 2018-04-27 2018-04-27 基于两位置深度图像识别的饮水机控制装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810389809.6A CN108921883B (zh) 2018-04-27 2018-04-27 基于两位置深度图像识别的饮水机控制装置及其控制方法

Publications (2)

Publication Number Publication Date
CN108921883A true CN108921883A (zh) 2018-11-30
CN108921883B CN108921883B (zh) 2022-05-06

Family

ID=64403870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810389809.6A Active CN108921883B (zh) 2018-04-27 2018-04-27 基于两位置深度图像识别的饮水机控制装置及其控制方法

Country Status (1)

Country Link
CN (1) CN108921883B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109553140A (zh) * 2018-12-05 2019-04-02 江西书源科技有限公司 家用净水机的远程控制方法
CN109998377A (zh) * 2019-05-15 2019-07-12 深圳市沃特沃德股份有限公司 控制流体流量的方法、装置、计算机设备及存储介质
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111027363A (zh) * 2019-04-28 2020-04-17 刘晓英 辅助式信号参数解析系统
CN111462083A (zh) * 2020-03-31 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质
CN111568225A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568240A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机出水控制方法、饮水机及计算机可读存储介质
CN111568229A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 出水设备控制方法、出水设备及计算机可读存储介质
CN111568217A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568239A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568237A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568211A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568232A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机出水控制方法、饮水机及计算机可读存储介质
CN111642975A (zh) * 2020-02-29 2020-09-11 佛山市云米电器科技有限公司 出水控制方法、饮水机及计算机可读存储介质
CN111898426A (zh) * 2020-06-21 2020-11-06 厦门华联电子股份有限公司 一种饮水机自动控制系统、方法及装置
CN114873551A (zh) * 2022-05-07 2022-08-09 深圳安吉尔饮水产业集团有限公司 用于控制液体流出的方法及装置
WO2023020181A1 (zh) * 2021-08-20 2023-02-23 青岛海尔洗涤电器有限公司 一种洗衣机液位检测方法及洗衣机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102613897A (zh) * 2012-01-11 2012-08-01 浙江大学 一种具有信息交互功能的智能饮水机及其信息交互方法
CN104000496A (zh) * 2014-06-17 2014-08-27 上海理工大学 一种能定位水杯的饮水机及水杯定位系统和定位方法
US20160134858A1 (en) * 2014-10-28 2016-05-12 SZ DJI Technology Co., Ltd. Rgb-d imaging system and method using ultrasonic depth sensing
CN106667268A (zh) * 2017-01-22 2017-05-17 广西喜爱家饮水设备有限公司 一种具有图像识别的饮水机
CN107450450A (zh) * 2017-09-20 2017-12-08 京东方科技集团股份有限公司 一种智能饮水机及其控制方法
CN107456086A (zh) * 2017-08-25 2017-12-12 深圳市浮思特科技有限公司 基于视觉检测的出水智能检测模组和出水控制方法
CN107610127A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102613897A (zh) * 2012-01-11 2012-08-01 浙江大学 一种具有信息交互功能的智能饮水机及其信息交互方法
CN104000496A (zh) * 2014-06-17 2014-08-27 上海理工大学 一种能定位水杯的饮水机及水杯定位系统和定位方法
US20160134858A1 (en) * 2014-10-28 2016-05-12 SZ DJI Technology Co., Ltd. Rgb-d imaging system and method using ultrasonic depth sensing
CN106667268A (zh) * 2017-01-22 2017-05-17 广西喜爱家饮水设备有限公司 一种具有图像识别的饮水机
CN107456086A (zh) * 2017-08-25 2017-12-12 深圳市浮思特科技有限公司 基于视觉检测的出水智能检测模组和出水控制方法
CN107610127A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
CN107450450A (zh) * 2017-09-20 2017-12-08 京东方科技集团股份有限公司 一种智能饮水机及其控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIN J. H.等: "Research and development of a Practical Water Dispenser", 《2017 INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INNOVATION (ICASI)》 *
方明 等: "基于最优信噪比的饮水机动态水位识别方法", 《长春理工大学学报（自然科学版）》 *
艾苏高 等: "基于Android_Studio的智能饮水机客户端", 《电脑编程技巧与维护》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109553140A (zh) * 2018-12-05 2019-04-02 江西书源科技有限公司 家用净水机的远程控制方法
CN111027363A (zh) * 2019-04-28 2020-04-17 刘晓英 辅助式信号参数解析系统
CN111027363B8 (zh) * 2019-04-28 2021-03-19 丽水新贝蕾科技有限公司 辅助式信号参数解析系统
CN111027363B (zh) * 2019-04-28 2021-02-26 刘晓英 辅助式信号参数解析系统
CN109998377A (zh) * 2019-05-15 2019-07-12 深圳市沃特沃德股份有限公司 控制流体流量的方法、装置、计算机设备及存储介质
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111568217A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568211A (zh) * 2020-02-28 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568225A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568240A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机出水控制方法、饮水机及计算机可读存储介质
CN111568237A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111568229A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 出水设备控制方法、出水设备及计算机可读存储介质
CN111568232A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机出水控制方法、饮水机及计算机可读存储介质
CN111642975A (zh) * 2020-02-29 2020-09-11 佛山市云米电器科技有限公司 出水控制方法、饮水机及计算机可读存储介质
CN111568239A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN111462083A (zh) * 2020-03-31 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质
CN111462083B (zh) * 2020-03-31 2023-05-02 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质
CN111898426A (zh) * 2020-06-21 2020-11-06 厦门华联电子股份有限公司 一种饮水机自动控制系统、方法及装置
CN111898426B (zh) * 2020-06-21 2023-08-04 厦门华联电子股份有限公司 一种饮水机自动控制系统、方法及装置
WO2023020181A1 (zh) * 2021-08-20 2023-02-23 青岛海尔洗涤电器有限公司 一种洗衣机液位检测方法及洗衣机
CN114873551A (zh) * 2022-05-07 2022-08-09 深圳安吉尔饮水产业集团有限公司 用于控制液体流出的方法及装置
CN114873551B (zh) * 2022-05-07 2024-05-10 深圳安吉尔饮水产业集团有限公司 用于控制液体流出的方法及装置

Also Published As

Publication number Publication date
CN108921883B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN108921883A (zh) 基于两位置深度图像识别的饮水机控制装置及其控制方法
CN108742159A (zh) 基于rgb-d相机的饮水机智能控制装置及其控制方法
CN108427940B (zh) 基于深度相机的饮水机出水智能控制装置及其控制方法
CN105956539B (zh) 一种应用背景建模和双目视觉原理的人体身高测量方法
EP2426642B1 (en) Method, device and system for motion detection
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
CN107832677A (zh) 基于活体检测的人脸识别方法及系统
CN103473542B (zh) 多线索融合的目标跟踪方法
CN110163810A (zh) 一种图像处理方法、装置以及终端
CN106454287A (zh) 组合摄像系统、移动终端及图像处理方法
CN109118581A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106981081A (zh) 一种基于深度信息提取的墙面平整度检测方法
CN107529096A (zh) 图像处理方法及装置
CN108596923A (zh) 三维数据的获取方法、装置以及电子设备
US8588480B2 (en) Method for generating a density image of an observation zone
CN105828067A (zh) 双摄像头被遮挡的确定方法、确定装置和终端
CN106657937A (zh) 一种虚拟变换衣服颜色的装置及其实现方法
CN109190533A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109270853A (zh) 一种智能生态水资源管理系统的工作方法
CN110210292A (zh) 一种基于深度学习的目标识别方法
CN110090425A (zh) 一种中长跑运动的计时方法
CN106534633A (zh) 一种组合摄像系统、移动终端及图像处理方法
CN108805144A (zh) 基于形态学矫正的弹孔识别方法及系统、报靶设备
CN104978734B (zh) 前景图像的提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191219

Address after: 214000 No.32, North Wuai Road, Liangxi District, Wuxi City, Jiangsu Province

Applicant after: Xu Yu

Address before: 311800 Jiefang Road 698, Dian Kou Town, Zhuji City, Shaoxing, Zhejiang

Applicant before: Zhejiang an Jing Intelligent Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant