CN111898426B - 一种饮水机自动控制系统、方法及装置 - Google Patents

一种饮水机自动控制系统、方法及装置 Download PDF

Info

Publication number
CN111898426B
CN111898426B CN202010569987.4A CN202010569987A CN111898426B CN 111898426 B CN111898426 B CN 111898426B CN 202010569987 A CN202010569987 A CN 202010569987A CN 111898426 B CN111898426 B CN 111898426B
Authority
CN
China
Prior art keywords
water
cup
information
target
human hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010569987.4A
Other languages
English (en)
Other versions
CN111898426A (zh
Inventor
钟华堡
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Hualian Electronics Co Ltd
Original Assignee
Xiamen Hualian Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Hualian Electronics Co Ltd filed Critical Xiamen Hualian Electronics Co Ltd
Priority to CN202010569987.4A priority Critical patent/CN111898426B/zh
Publication of CN111898426A publication Critical patent/CN111898426A/zh
Application granted granted Critical
Publication of CN111898426B publication Critical patent/CN111898426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00—Apparatus for making beverages
    • A47J31/44—Parts or details or accessories of beverage-making apparatus
    • A47J31/46—Dispensing spouts, pumps, drain valves or like liquid transporting devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00—Apparatus for making beverages
    • A47J31/44—Parts or details or accessories of beverage-making apparatus
    • A47J31/52—Alarm-clock-controlled mechanisms for coffee- or tea-making apparatus ; Timers for coffee- or tea-making apparatus; Electronic control devices for coffee- or tea-making apparatus
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00—Apparatus for making beverages
    • A47J31/44—Parts or details or accessories of beverage-making apparatus
    • A47J31/58—Safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Food Science & Technology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种饮水机自动控制系统、方法及装置，其中，该系统包括饮水机执行及结构部件和饮水机自动控制装置，饮水机自动控制装置包括处理单元、图像采集单元；处理单元包括图像检测识别单元、饮水机控制单元；图像采集单元采集落水点及周围区域内图像，并将图像发送至图像检测识别单元；图像检测识别单元使用深度学习水杯检测模型、深度学习人手检测模型检测图像得到目标水杯信息和目标人手信息，根据目标水杯信息使用深度学习水位识别模型得到水位分类信息；饮水机控制单元根据目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制。通过本发明，能够确保饮水机的使用安全，并且实现饮水机的智能出水及停水，提升用户使用体验。

Description

一种饮水机自动控制系统、方法及装置
技术领域
本发明实施方式涉及图像处理技术领域，尤其是涉及一种饮水机自动控制系统、方法及装置。
背景技术
目前市场上的饮水机的出水控制方式主要分为两类，第一类是用户参与出水控制，其中，按键、传感器感应、语音控制、手势控制等出水控制方式或其组合使用较多；上述第一类的出水控制方式，需要用户参与较多，用户体验有待提高。
第二类是通过不同技术实现出水或停水自动控制，例如：通过定时定量预设，控制停止出水；或者通过采集接水区域内的物体图像，识别物体图像以判断是否有接水容器，若有接水容器，则识别出接水容器的杯口位置，若杯口位置对准热放水管路的出水口，则控制器控制电磁阀打开放水管路进行出水；或者，根据压力传感器的压力变化来识别出水口下方是否放置有水杯；或利用摄像头对出水口下方进行拍照而生成图像信息以进行特征提取和匹配来识别出水口下方是否放置有水杯；或者在出水口处设置激光测距装置，或在水杯上方设置水位监测传感和无线通讯装置，以对水杯的水位信息进行检测，从而进行饮水机的出水控制。
上述第二类的出水控制方式，存在以下技术缺陷：一方面，预设参数控制的方式不能适应用户使用各类水杯的情形；另一方面，部分技术没有准确判断饮水机落水点是否在水杯杯口内，存在水异常溢出的风险；再有，有些技术需要额外配置水位监测或测距装置，使得整体结构复杂；另外，现有技术没有对出水过程中有人伸手对水杯操作的异常情况进行评定，从而无法通过控制停水以确保人手安全、防止烫伤。
发明内容
本发明实施方式主要解决的技术问题是提供一种饮水机自动控制系统、方法及装置，通过深度学习检测人手、水杯和水位，并综合检测结果实现饮水机自动出水及自动停水控制的方法，解决现有技术下的饮水机智能出水及停水功能不足、用户使用体验不佳的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种饮水机自动控制系统，包括饮水机执行及结构部件和饮水机自动控制装置，所述饮水机自动控制装置包括处理单元、图像采集单元；所述处理单元包括图像检测识别单元、饮水机控制单元；所述图像采集单元用于采集落水点及落水点周围区域内的图像，并将所述图像发送至所述图像检测识别单元；所述图像检测识别单元用于使用深度学习水杯检测模型、深度学习人手检测模型检测图像得到目标水杯信息和目标人手信息；以及根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；所述饮水机控制单元用于根据所述目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制。
其中，所述图像检测识别单元包括：水杯检测模块，用于：根据所述深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以所述图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；判断全部pi是否均小于阈值T：若是，则判定没有检测到水杯；若否，则判定检测到水杯；以及当判定检测到水杯时，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)；
disi 2＝[(xi+wi/2)-xo)]2+[(yi+hi/2)-yo)]2 公式(1)
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1 公式(2)
所述饮水机控制单元包括：杯口就位判断模块，用于判断所述落水点O(xo,yo)是否满足所述公式(2)：若是，则判定杯口就位；若否，则判定杯口没有就位，并生成杯口未就位信息；所述图像检测识别单元还包括：水位分类模块，用于当所述杯口就位判断模块判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出所述目标水杯区域的图像特征以得到水位分类信息；所述饮水机控制单元还包括：指令生成模块，用于当所述水位分类模块识别出的所述目标水杯的水位为中杯或空杯时生成出水指令，以及当所述水位分类模块识别出的所述目标水杯的水位为满杯时生成停水指令；自动出水控制模块，用于当接收到所述出水指令时控制所述饮水机出水；以及当接收到所述停水指令时，或正在控制饮水机出水时接收到所述杯口未就位信息时控制所述饮水机停止出水。
其中，所述图像检测识别单元还包括：人手检测模块，用于：根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；以及利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2＝[(x1+w1/2)-(xj+wj/2)]2+[(y1+h1/2)-(yj+hj/2)]2公式(3)
所述饮水机控制单元还包括人手安全判断模块，用于当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M：若是，判定人手安全；若否，判定人手不安全，并发送不安全信息至所述自动出水控制模块；其中，所述安全阈值M是人手和水杯的安全距离；所述自动出水控制模块还用于当正在控制饮水机出水时接收到所述不安全信息时控制饮水机停止出水。
其中，所述处理单元还用于根据传感器的检测结果判断是否有水杯进入图像采集区域，若是，则启动所述图像采集单元；其中，所述传感器可以是压力传感器、红外传感器中的至少一种。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种饮水机自动控制方法，应用于如上任意一项所述的饮水机自动控制系统，所述方法包括：饮水机控制装置采集落水点及落水点周围区域内的图像；使用深度学习水杯检测模型检测所述图像得到目标水杯信息；使用深度学习人手检测模型检测图像得到目标人手信息；根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；以及根据所述目标水杯信息、目标人手信息、水位分类信息控制所述饮水机出水或停止出水。
其中，所述使用深度学习水杯检测模型检测所述图像得到目标水杯信息，具体包括：根据深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；判断全部pi是否均小于阈值T；当全部pi并未均小于阈值T时，判定检测到水杯，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)；判断落水点O(xo,yo)是否满足所述公式(2)；若是，则判定杯口就位；若否，则判定杯口没有就位，生成杯口未就位信息；
disi 2＝[(xi+wi/2)-xo)]2+[(yi+hi/2)-yo)]2 公式(1)
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1 公式(2)
所述根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息，具体包括：当判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}使用深度学习水位识别模型，识别出目标水杯区域的图像特征得到水位分类信息；所述根据所述目标水杯信息、水位分类信息进行饮水机的出水控制，具体包括：当判定所述目标水杯的水位为中杯或空杯时，生成出水指令以控制所述饮水机出水；当判定所述目标水杯的水位为满杯时，或接收到所述杯口未就位信息时，生成停水指令以控制所述饮水机停止出水。
其中，所述饮水机自动控制装置采集落水点及落水点周围区域内的图像之后，所述方法还包括：根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2＝[(x1+w1/2)-(xj+wj/2)]2+[(y1+h1/2)-(yj+hj/2)]2 公式(3)
当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M；若是，判定人手安全；若否，判定人手不安全，并生成不安全信息；所述根据所述目标水杯信息、水位分类信息进行饮水机的出水控制，还包括：生成所述不安全信息以控制所述饮水机停止出水。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种饮水机自动控制装置，包括处理单元、图像采集单元；所述处理单元包括图像检测识别单元、饮水机控制单元；所述图像采集单元用于采集落水点及落水点周围区域内的图像，并将所述图像发送至所述图像检测识别单元；所述图像检测识别单元用于使用深度学习水杯检测模型、深度学习人手检测模型检测图像得到目标水杯信息和目标人手信息；以及根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；所述饮水机控制单元用于根据所述目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制。
其中，所述图像检测识别单元包括：水杯检测模块，用于：根据所述深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以所述图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；判断全部pi是否均小于阈值T：若是，则判定没有检测到水杯；若否，则判定检测到水杯；以及当判定检测到水杯时，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)；
disi 2＝[(xi+wi/2)-xo)]2+[(yi+hi/2)-yo)]2 公式(1)
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1 公式(2)
所述饮水机控制单元包括：杯口就位判断模块，用于判断所述落水点O(xo,yo)所述是否满足所述公式(2)：若是，则判定杯口就位；若否，则判定杯口没有就位，并生成杯口未就位信息；所述图像检测识别单元还包括：水位分类模块，用于当所述杯口就位判断模块判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出所述目标水杯区域的图像特征以得到水位分类信息；所述饮水机控制单元还包括：指令生成模块，用于当所述水位分类模块识别出的所述目标水杯的水位为中杯或空杯时生成出水指令，以及当所述水位分类模块识别出的所述目标水杯的水位为满杯时生成停水指令；自动出水控制模块，用于当接收到所述出水指令时控制所述饮水机出水；以及当接收到所述停水指令时，或正在控制饮水机出水时接收到所述杯口未就位信息时控制所述饮水机停止出水。
其中，所述图像检测识别单元还包括：人手检测模块，用于：根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；以及利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2＝[(x1+w1/2)-(xj+wj/2)]2+[(y1+h1/2)-(yj+hj/2)]2 公式(3)
所述饮水机控制单元还包括人手安全判断模块，用于当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M：若是，判定人手安全；若否，判定人手不安全，并发送不安全信息至所述自动出水控制模块；其中，所述安全阈值M是人手和水杯的安全距离；所述自动出水控制模块还用于当正在控制饮水机出水时接收到所述不安全信息时控制饮水机停止出水。
本发明实施方式的有益效果是，通过深度学习水杯检测模型检测目标图像以得到目标水杯信息，并使用深度学习水位识别模型对目标水杯信息进行处理以得到水位分类信息，使用深度学习人手检测模型检测图像以得到人手信息，然后综合人手信息与目标水杯信息的位置关系、落水点与目标水杯信息的位置关系、以及水位分类信息，控制饮水机的出水或停水，防止杯口偏移且仍能检测到水杯时，继续出水导致的异常溢出，或者人手与杯口距离过近使得出水溅出而烫伤，从而确保饮水机的使用安全，并且实现饮水机的智能出水及停水，提升用户使用体验。
附图说明
图1是本发明实施方式中的一种饮水机自动控制系统的结构示意图；
图2是图1中的图像检测识别单元的功能模块示意图；
图3是落水点及水杯杯口坐标示意图；
图4是目标水杯杯口中心与人手中心的距离示意图；
图5是图1中的饮水机控制单元的功能模块示意图；
图6是本发明第一实施方式中的一种饮水机自动控制方法的流程示意图；
图7是本发明第二实施方式中的一种饮水机自动控制方法的流程示意图；
图8是本发明第三实施方式中的一种饮水机自动控制方法的流程示意图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施方式，对本发明进行更详细的说明。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
请参阅图1，是本发明一实施方式中的饮水机自动控制系统的结构示意图。该系统10包括饮水机自动控制装置20、饮水机执行及结构部件30；其中，所述饮水机执行及结构部件30包含饮水机的各个功能部件，用于响应所述饮水机自动控制装置20的控制实现饮水机的出水、停水等功能。
所述饮水机自动控制装置20包括处理单元21、存储单元22、图像采集单元23、以及通信单元24。
所述处理单元21包括图像检测识别单元211、饮水机控制单元212。
所述通信单元24用于通过互联网从云端服务器或通过蓝牙、USB等通信方式更新深度学习水杯检测模型、深度学习水位识别模型、深度学习人手检测模型及程序。
所述存储单元22用于存储图像数据、图像检测识别单元211运行的程序及模型、各个单元生成的数据。其中，“检测”是指机器框选出目标并分类，“识别”只是分类，不做目标的定位。
所述图像采集单元23用于采集落水点及落水点周围区域的图像，并将所述图像发送至所述图像检测识别单元211；其中，设落水点为O(xo,yo)。
请同时参阅图2～4，所述图像检测识别单元211包括水杯检测模块2110、水位分类模块2111、以及人手检测模块2112。
所述水杯检测模块2110用于：
根据深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口外接矩形的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；
判断全部pi是否均小于阈值T：若是，则判定没有检测到水杯；若否，则判定检测到水杯；
当判定检测到水杯时，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)。
在本实施方式中，T＝0.5。
disi 2＝[(xi+wi/2)-xo)]2+[(yi+hi/2)-yo)]2 公式(1)
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1 公式(2)
所述水位分类模块2111用于根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出目标水杯区域的图像特征，以得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种。
在本实施方式中，所述处理单元21还用于根据传感器的检测结果判断是否有水杯进入图像采集区域，若是，则启动所述图像采集单元23，如此可减少饮水机待机时的功耗。其中，所述传感器可以是压力传感器、红外传感器中的至少一种。
进一步地，所述人手检测模块2112用于根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高。
所述人手检测模块2112还用于利用公式(3)计算人手中心Qj与目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}。
dj 2＝[(x1+w1/2)-(xj+wj/2)]2+[(y1+h1/2)-(yj+hj/2)]2 公式(3)
请参阅图5，所述饮水机控制单元212包括杯口就位判断模块2120、指令生成模块2121、人手安全判断模块2122、以及自动出水控制模块2123。
所述杯口就位判断模块2120用于当水杯检测模块2110生成目标水杯信息时，判断落水点O(xo,yo)是否满足所述公式(2)；若是，则判定杯口就位，若否，则判定杯口没有就位，并生成杯口未就位信息。
公式(2)为所述杯口的椭圆方程表达式，如下：
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1公式(2)
进一步地，所述水位分类模块2111用于当所述杯口就位判断模块2120判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出目标水杯区域的图像特征，以得到水位分类信息。
所述指令生成模块2121用于当所述水位分类模块2111识别出的所述目标水杯的水位为中杯或空杯时发送出水指令，以及当所述水位分类模块2111识别出的所述目标水杯的水位为满杯时生成停水指令。
所述人手安全判断模块2122用于当人手检测模块2112生成目标人手信息时，判断目标人手对应的第二距离d是否大于安全阈值M，若是，判定人手安全，若否，判定人手不安全并发送不安全信息至所述自动出水控制模块2123。其中，所述安全阈值M是人手和水杯的安全距离。M的具体数值可根据d的数值分布按经验设定，在一实施方式中，M>nw1，其中，n∈N+且n>1，即，安全阈值M根据水杯的宽度而自设定。如此确保安全距离内有人手时停水，防止人手被溅出的开水烫伤。
所述自动出水控制模块2123用于当接收到所述出水指令时，控制饮水机出水；还用于当接收到所述停水指令时，或正在控制饮水机出水时接收到杯口未就位信息或不安全信息时，控制饮水机停止出水。
可选地，所述饮水机自动控制装置20还可包括蜂鸣器，所述自动出水控制模块2123还用于当接收到不安全信息或杯口未就位信息时控制所述蜂鸣器蜂鸣报警。
进一步地，所述人手检测模块2112根据深度学习人手检测模型未从所述图像中检测出人手信息时，所述人手安全判断模块2122还用于根据所述人手检测模块2112未检测人手信息的检测结果，判定人手安全。
具体地，在本实施方式中，所述深度学习目标检测算法和深度学习分类算法均采用现有技术的YOLOv3算法。所述深度学习水杯检测模型、深度学习水位识别模型、深度学习人手检测模型的生成过程如下：
(1)采集大量不同桌面背景及环境光照下的水杯和人手图像，包括具有不同水位的水杯、有人手握持的水杯、进入及离开图像采集单元成像区域的人手；
(2)标注图像形成数据集，使用目标检测标注工具(例如Yolo_mark)对所有在步骤(1)收集的图像做框选标注，标注对象包括水杯的杯口、人手，标注类别分别为{空杯，中杯，满杯，手}，由所有图像(**.jpg)和标注形成的文件(**.txt)形成数据集；
(3)将YOLOv3模型的预测类别设为步骤(2)所述的4类；
(4)使用步骤(2)形成的数据集训练YOLOv3模型，得到所述深度学习水杯检测模型，深度学习水位识别模型、深度学习人手检测模型。
请参阅图6，是本发明一实施方式中的饮水机自动控制方法的流程示意图。该饮水机自动控制方法运行于上述饮水机自动控制装置20中。所述饮水机自动控制方法包括如下步骤：
步骤S40，所述饮水机自动控制装置采集落水点及落水点周围区域内的图像。
可选地，该步骤S40前还包括步骤：所述饮水机自动控制装置根据压力或红外传感器判断是否有水杯进入图像采集区域，若是，则启动图像采集单元。如此可减少饮水机待机时的功耗。
步骤S41，使用深度学习水杯检测模型检测所述图像得到目标水杯信息。
步骤S42，使用深度学习人手检测模型检测图像得到目标人手信息。
步骤S43，根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息。其中，所述水位分类信息为空杯、中杯、或满杯中的一种。
步骤S44，根据所述目标水杯信息、目标人手信息、水位分类信息控制所述饮水机出水或停止出水。
请同时参阅图7，步骤S41，使用深度学习水杯检测模型检测所述图像得到目标水杯信息，具体通过如下步骤实现。
步骤S410，根据深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度。
步骤S411，判断全部pi是否均小于阈值T。若是，则进入步骤S412；若否，则进入步骤S413。
步骤S412，判定没有检测到水杯，然后返回步骤S40；
步骤S413，判定检测到水杯，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)。
disi 2＝[(xi+wi/2)-xo)]2+[(yi+hi/2)-yo)]2 公式(1)
[x-(x1+w1/2)]2/(w1/2)2+[y-(y1+h1/2)]2/(h1/2)2<1 公式(2)
步骤S414，判断落水点O(xo,yo)是否满足所述公式(2)；若是，则判定杯口就位，然后进入步骤S431；若否，则进入步骤S415。
步骤S415，判定杯口没有就位，生成杯口未就位信息。然后，进入步骤S441。
进一步地，步骤S43，根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息，具体通过如下步骤实现。
步骤S431，当判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}使用深度学习水位识别模型，识别出目标水杯区域的图像特征得到水位分类信息。当判定水位为中杯或空杯时，进入步骤S440；当判定水位为满杯时，进入步骤S441。
进一步地，步骤S44，根据所述目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制，具体通过如下步骤实现。
步骤S440，生成出水指令以控制所述饮水机出水。然后，返回步骤S431。
步骤S441，生成停水指令以控制所述饮水机停止出水。然后，流程结束。
请参阅图8，步骤S42，使用深度学习人手检测模型检测图像得到目标人手信息，具体通过如下步骤实现：
步骤S421，根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}。其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高。
步骤S422，利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}。
dj 2＝[(x1+w1/2)-(xj+wj/2)]2+[(y1+h1/2)-(yj+hj/2)]2 公式(3)
步骤S423，当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M：若是，判定人手安全，然后，返回步骤S421；若否，则进入步骤S424。其中，所述安全阈值M是人手和水杯的安全距离。
步骤S424，判定人手不安全，并生成不安全信息；然后，进入步骤S442。
进一步地，步骤S44，根据所述目标水杯信息、水位分类信息进行饮水机的出水控制，还包括如下步骤。
步骤S442，生成所述不安全信息控制所述饮水机停止出水。然后，流程结束。
本发明的一种饮水机自动控制系统、方法及装置，通过深度学习水杯检测模型检测目标图像以得到目标水杯信息，并使用深度学习水位识别模型对目标水杯信息进行处理以得到水位分类信息，使用深度学习人手检测模型检测图像以得到人手信息，然后综合人手信息与目标水杯信息的位置关系、落水点与目标水杯信息的位置关系、以及水位分类信息，控制饮水机的出水或停水，防止杯口偏移且仍能检测到水杯时，继续出水导致的异常溢出，或者人手与杯口距离过近使得出水溅出而烫伤，从而确保饮水机的使用安全，并且实现饮水机的智能出水及停水，提升用户使用体验。
在本发明所提供的实施方式中，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例是示意性的，所述单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施方式，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施方式，这些实施方式不作为对本发明内容的额外限制，提供这些实施方式的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施方式，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种饮水机自动控制系统，包括饮水机执行及结构部件和饮水机自动控制装置，所述饮水机自动控制装置包括处理单元、图像采集单元；其特征在于，所述处理单元包括图像检测识别单元、饮水机控制单元；
所述图像采集单元用于采集落水点及落水点周围区域内的图像，并将所述图像发送至所述图像检测识别单元；
所述图像检测识别单元用于使用深度学习水杯检测模型、深度学习人手检测模型检测图像得到目标水杯信息和目标人手信息；以及根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；所述图像检测识别单元包括：
水杯检测模块，用于：
根据所述深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以所述图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；
判断全部pi是否均小于阈值T：若是，则判定没有检测到水杯；若否，则判定检测到水杯；以及
当判定检测到水杯时，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，目标水杯的杯口中心为P1，以根据所述目标水杯的信息生成用于表达所述目标水杯的杯口的公式(2)；
disi 2 ＝ [(xi + wi / 2) - xo)]2 + [(yi + hi / 2) - yo)]2 公式(1)
[x - (x1 + w1 / 2)]2 / (w1 / 2)2 + [y - (y1 + h1 / 2)]2 / (h1 / 2)2 < 1 公式(2)
所述饮水机控制单元用于根据所述目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制；所述饮水机控制单元包括：
杯口就位判断模块，用于判断所述落水点O(xo,yo)是否满足所述公式(2)：若是，则判定杯口就位；若否，则判定杯口没有就位，并生成杯口未就位信息；
所述图像检测识别单元还包括：
水位分类模块，用于当所述杯口就位判断模块判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出所述目标水杯区域的图像特征以得到水位分类信息；
所述饮水机控制单元还包括：
指令生成模块，用于当所述水位分类模块识别出的所述目标水杯的水位为中杯或空杯时生成出水指令，以及当所述水位分类模块识别出的所述目标水杯的水位为满杯时生成停水指令；
自动出水控制模块，用于当接收到所述出水指令时控制所述饮水机出水；以及当接收到所述停水指令时，或正在控制饮水机出水时接收到所述杯口未就位信息时控制所述饮水机停止出水。
2.根据权利要求1所述的饮水机自动控制系统，其特征在于，所述图像检测识别单元还包括：
人手检测模块，用于：
根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；以及
利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2 ＝ [(x1 + w1 / 2) - (xj + wj / 2)]2 + [(y1 + h1 / 2) - (yj + hj / 2)]2公式 (3)
所述饮水机控制单元还包括人手安全判断模块，用于当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M：若是，判定人手安全；若否，判定人手不安全，并发送不安全信息至所述自动出水控制模块；其中，所述安全阈值M是人手和水杯的安全距离；
所述自动出水控制模块还用于当正在控制饮水机出水时接收到所述不安全信息时控制饮水机停止出水。
3.根据权利要求1所述的饮水机自动控制系统，其特征在于，所述处理单元还用于根据传感器的检测结果判断是否有水杯进入图像采集区域，若是，则启动所述图像采集单元；其中，所述传感器可以是压力传感器、红外传感器中的至少一种。
4.一种饮水机自动控制方法，应用于如权利要求1～3任意一项所述的饮水机自动控制系统，其特征在于，所述方法包括：
饮水机控制装置采集落水点及落水点周围区域内的图像；
使用深度学习水杯检测模型检测所述图像得到目标水杯信息；具体包括：
根据深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；
判断全部pi是否均小于阈值T；
当全部pi并未均小于阈值T时，判定检测到水杯，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)；
判断落水点O(xo,yo)是否满足公式(2)；若是，则判定杯口就位；若否，则判定杯口没有就位，生成杯口未就位信息；
disi 2 ＝ [(xi + wi / 2) - xo)]2 + [(yi + hi / 2) - yo)]2 公式(1)
[x - (x1 + w1 / 2)]2 / (w1 / 2)2 + [y - (y1 + h1 / 2)]2 / (h1 / 2)2 < 1 公式(2)使用深度学习人手检测模型检测所述图像得到目标人手信息；
根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；具体包括：
当判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}使用深度学习水位识别模型，识别出目标水杯区域的图像特征得到水位分类信息；
根据所述目标水杯信息、目标人手信息、水位分类信息控制所述饮水机出水或停止出水；具体包括：
当判定所述目标水杯的水位为中杯或空杯时，生成出水指令以控制所述饮水机出水；
当判定所述目标水杯的水位为满杯时，或接收到所述杯口未就位信息时，生成停水指令以控制所述饮水机停止出水。
5.根据权利要求4所述的饮水机自动控制方法，其特征在于，所述使用深度学习人手检测模型检测图像得到目标人手信息，具体包括：
根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；
利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2 ＝ [(x1 + w1 / 2) - (xj + wj / 2)]2 + [(y1 + h1 / 2) - (yj + hj / 2)]2公式(3)
当人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M；若是，判定人手安全；若否，判定人手不安全，并生成不安全信息；
所述根据所述目标水杯信息、水位分类信息进行饮水机的出水控制，还包括：
生成所述不安全信息以控制所述饮水机停止出水。
6.一种饮水机自动控制装置，包括处理单元、图像采集单元；其特征在于，所述处理单元包括图像检测识别单元、饮水机控制单元；
所述图像采集单元用于采集落水点及落水点周围区域内的图像，并将所述图像发送至所述图像检测识别单元；
所述图像检测识别单元用于使用深度学习水杯检测模型、深度学习人手检测模型检测图像得到目标水杯信息和目标人手信息；以及根据所述目标水杯信息使用深度学习水位识别模型得到水位分类信息；其中，所述水位分类信息为空杯、中杯、或满杯中的一种；所述图像检测识别单元包括：
水杯检测模块，用于：
根据所述深度学习水杯检测模型，从所述图像中检测出水杯信息{xi,yi,wi,hi,pi}；其中，i∈N+，以所述图像左上角为原点，xi、yi、wi、hi分别为第i个水杯杯口的左上角顶点横坐标、左上角顶点纵坐标、杯口宽度、杯口长度，pi为第i个水杯置信度；
判断全部pi是否均小于阈值T：若是，则判定没有检测到水杯；若否，则判定检测到水杯；以及
当判定检测到水杯时，利用公式(1)计算pi大于阈值T的水杯杯口中心Pi与落水点O(xo,yo)之间的第一距离disi，并将第一距离disi最小的水杯信息设为目标水杯信息{x1,y1,w1,h1,p1}，所述目标水杯杯口中心为P1，以根据所述目标水杯信息生成用于表达所述目标水杯杯口的公式(2)；
disi 2 ＝ [(xi + wi / 2) - xo)]2 + [(yi + hi / 2) - yo)]2 公式(1)
[x - (x1 + w1 / 2)]2 / (w1 / 2)2 + [y - (y1 + h1 / 2)]2 / (h1 / 2)2 < 1 公式(2)
所述饮水机控制单元用于根据所述目标水杯信息、目标人手信息、水位分类信息进行饮水机的出水控制；所述饮水机控制单元包括：
杯口就位判断模块，用于判断所述落水点O(xo,yo)所述是否满足所述公式(2)：若是，则判定杯口就位；若否，则判定杯口没有就位，并生成杯口未就位信息；
所述图像检测识别单元还包括：
水位分类模块，用于当所述杯口就位判断模块判定杯口就位时，根据所述目标水杯信息{x1,y1,w1,h1,p1}，使用深度学习水位识别模型，识别出所述目标水杯区域的图像特征以得到水位分类信息；
所述饮水机控制单元还包括：
指令生成模块，用于当所述水位分类模块识别出的所述目标水杯的水位为中杯或空杯时生成出水指令，以及当所述水位分类模块识别出的所述目标水杯的水位为满杯时生成停水指令；
自动出水控制模块，用于当接收到所述出水指令时控制所述饮水机出水；以及当接收到所述停水指令时，或正在控制饮水机出水时接收到所述杯口未就位信息时控制所述饮水机停止出水。
7.根据权利要求6所述的饮水机自动控制装置，其特征在于，所述图像检测识别单元还包括：
人手检测模块，用于：
根据深度学习人手检测模型从所述图像中检测出人手信息{xj,yj,wj,hj}；其中，j∈N+，以所述图像左上角为原点，xj、yj、wj、hj分别为人手外接矩形的左上角顶点横坐标、左上角顶点纵坐标、人手宽、人手高；以及
利用公式(3)计算人手中心Qj与所述目标水杯杯口中心P1的第二距离dj，以选定第二距离dj最小的人手信息设为目标人手信息{x2,y2,w2,h2}；
dj 2 ＝ [(x1 + w1 / 2) - (xj + wj / 2)]2 + [(y1 + h1 / 2) - (yj + hj / 2)]2公式(3)
所述饮水机控制单元还包括人手安全判断模块，用于当所述人手检测模块生成所述目标人手信息{x2,y2,w2,h2}时，判断所述目标人手对应的第二距离d是否大于安全阈值M：若是，判定人手安全；若否，判定人手不安全，并发送不安全信息至所述自动出水控制模块；其中，所述安全阈值M是人手和水杯的安全距离；
所述自动出水控制模块还用于当正在控制饮水机出水时接收到所述不安全信息时控制饮水机停止出水。
CN202010569987.4A 2020-06-21 2020-06-21 一种饮水机自动控制系统、方法及装置 Active CN111898426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010569987.4A CN111898426B (zh) 2020-06-21 2020-06-21 一种饮水机自动控制系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010569987.4A CN111898426B (zh) 2020-06-21 2020-06-21 一种饮水机自动控制系统、方法及装置

Publications (2)

Publication Number Publication Date
CN111898426A CN111898426A (zh) 2020-11-06
CN111898426B true CN111898426B (zh) 2023-08-04

Family

ID=73206368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010569987.4A Active CN111898426B (zh) 2020-06-21 2020-06-21 一种饮水机自动控制系统、方法及装置

Country Status (1)

Country Link
CN (1) CN111898426B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569640B (zh) * 2021-06-25 2023-12-22 青岛海尔科技有限公司 投放设备、投放方法、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231716A (ja) * 2004-02-23 2005-09-02 Sanyo Electric Co Ltd 飲料ディスペンサ
CN205625618U (zh) * 2016-04-05 2016-10-12 厦门大学嘉庚学院 智能控制饮水机
CN107450450A (zh) * 2017-09-20 2017-12-08 京东方科技集团股份有限公司 一种智能饮水机及其控制方法
CN107736803A (zh) * 2017-10-31 2018-02-27 珠海格力电器股份有限公司 饮水机的控制方法及饮水机
CN108921883A (zh) * 2018-04-27 2018-11-30 浙江安精智能科技有限公司 基于两位置深度图像识别的饮水机控制装置及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231716A (ja) * 2004-02-23 2005-09-02 Sanyo Electric Co Ltd 飲料ディスペンサ
CN205625618U (zh) * 2016-04-05 2016-10-12 厦门大学嘉庚学院 智能控制饮水机
CN107450450A (zh) * 2017-09-20 2017-12-08 京东方科技集团股份有限公司 一种智能饮水机及其控制方法
CN107736803A (zh) * 2017-10-31 2018-02-27 珠海格力电器股份有限公司 饮水机的控制方法及饮水机
CN108921883A (zh) * 2018-04-27 2018-11-30 浙江安精智能科技有限公司 基于两位置深度图像识别的饮水机控制装置及其控制方法

Also Published As

Publication number Publication date
CN111898426A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US10650259B2 (en) Human face recognition method and recognition system based on lip movement information and voice information
CN108733420B (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
KR101803081B1 (ko) 매장 관리 로봇
KR102284461B1 (ko) 정수기 및 이의 제어방법
US20210272073A1 (en) Garbage sorting and recycliing method, system, and computer readable storage medium
CN105700363A (zh) 一种智能家居设备语音控制装置的唤醒方法及系统
SG11202000063SA (en) Access control method, access control apparatus, system, and storage medium
JP2005237561A5 (zh)
CN105279492B (zh) 虹膜识别的方法和装置
EP3579086A1 (en) Screen light method, device, mobile terminal, and storage medium
CN111898426B (zh) 一种饮水机自动控制系统、方法及装置
TWI621999B (zh) 一種人臉檢測方法
KR20190050779A (ko) 생체 인식 센서를 이용하여 디스플레이 방향을 제어하는 방법, 장치 및 제품
CN106325514A (zh) 一种手持智能终端的防掉落方法、装置及其电子设备
CN112183356A (zh) 驾驶行为检测方法、设备及可读存储介质
CN110226892B (zh) 一种基于图像识别技术的洗手液用量的智能控制方法
CN109398370A (zh) 异物提醒方法、装置、设备、存储介质及系统
KR20160062521A (ko) 목디스크 예방시스템 및 방법
CN111568185A (zh) 饮水机的控制方法、饮水机及计算机可读存储介质
CN111568193A (zh) 出水设备控制方法、出水设备及计算机可读存储介质
CN113475939A (zh) 基于用户习惯的饮水机取水方法、装置、设备及存储介质
CN110781778A (zh) 一种门禁控制方法、装置、存储介质及家居系统
CN109583296A (zh) 一种防止误检测方法、装置、系统及计算机存储介质
JP5694471B2 (ja) 眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置
KR20190056520A (ko) 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant