CN108108690A - 一种监控饮食的方法、装置、设备和存储介质 - Google Patents

一种监控饮食的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN108108690A
CN108108690A CN201711371940.1A CN201711371940A CN108108690A CN 108108690 A CN108108690 A CN 108108690A CN 201711371940 A CN201711371940 A CN 201711371940A CN 108108690 A CN108108690 A CN 108108690A
Authority
CN
China
Prior art keywords
food body
monitored object
food
treat
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711371940.1A
Other languages
English (en)
Other versions
CN108108690B (zh
Inventor
柳泽世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth Digital Technology Co Ltd
Original Assignee
Shenzhen Skyworth Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth Digital Technology Co Ltd filed Critical Shenzhen Skyworth Digital Technology Co Ltd
Priority to CN201711371940.1A priority Critical patent/CN108108690B/zh
Publication of CN108108690A publication Critical patent/CN108108690A/zh
Application granted granted Critical
Publication of CN108108690B publication Critical patent/CN108108690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明实施例公开了一种监控饮食的方法、装置、设备和存储介质。该方法包括:获取监控对象图像,监控对象图像包括深度信息和RGB信息;若根据监控对象图像确定监控对象有饮食动作,则提取监控对象图像中待食物体图像;根据待食物体图像的深度信息和RGB信息确定待食物体的属性;根据待食物体的属性和监控对象的状态信息,确定待食物体的食用属性;若待食物体的食用属性为危险,则对监控对象进行提醒,并向监控对象的关联用户发送警告信息。以实时监控饮食情况,避免食用危险物体,从而保证饮食安全。

Description

一种监控饮食的方法、装置、设备和存储介质
技术领域
本发明实施例涉及信息处理技术领域,尤其涉及一种监控饮食的方法、装置、设备和存储介质。
背景技术
随着生活水平的提高,人们越来越重视饮食安全和健康,尤其对于儿童的饮食安全和健康更为重视。
由于儿童没有辨识食物的能力,并且习惯性的把各种物体放在嘴里吃,所以他们经常会将不可食用的物品吃到肚子里,甚至出现物品卡在喉咙的情况,从而对儿童的身体造成伤害。为了保证营养均衡,儿童通常食用的食物种类繁多,所以也会出现将相克的食物混吃的情况,从而导致出现腹泻等不良反应,严重危害了儿童的身体健康。
现有技术中,通常是通过人工看护儿童的方式来防止儿童乱吃。然而这种人工方式费时费力,并且也会出现发现或阻止不及时的情况,易导致儿童出现饮食危险的情况。
发明内容
本发明实施例提供一种监控饮食的方法、装置、设备和存储介质,以实时监控饮食情况,避免食用危险物体,从而保证饮食安全。
第一方面,本发明实施例提供了一种监控饮食的方法,包括:
获取监控对象图像,所述监控对象图像包括深度信息和RGB信息;
若根据所述监控对象图像确定所述监控对象有饮食动作,则提取所述监控对象图像中待食物体图像;
根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性;
根据所述待食物体的属性和所述监控对象的状态信息,确定所述待食物体的食用属性;
若所述待食物体的食用属性为危险,则对所述监控对象进行提醒,并向所述监控对象的关联用户发送警告信息。
第二方面,本发明实施例还提供了一种监控饮食的装置,包括:
监控对象图像获取模块,用于获取监控对象图像,所述监控对象图像包括深度信息和RGB信息;
待食物体图像提取模块,用于若根据所述监控对象图像确定所述监控对象有饮食动作,则提取所述监控对象图像中待食物体图像;
待食物体属性确定模块,用于根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性;
待食物体食用属性确定模块,用于根据所述待食物体的属性和所述监控对象的状态信息,确定所述待食物体的食用属性;
提醒警告模块,用于若所述待食物体的食用属性为危险,则对所述监控对象进行提醒,并向所述监控对象的关联用户发送警告信息。
第三方面,本发明实施例还提供了一种设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
输入装置,用于采集图像;
输出装置,用于播放提醒语音;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的监控饮食的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的监控饮食的方法。
本发明实施例通过根据监控对象图像确定监控对象是否有饮食动作,若有则提取监控对象图像中待食物体图像,并确定待食物体的属性,以及根据待食物体的属性和监控对象的状态信息确定待食物体的食用属性,当待食物体的食用属性为危险时,对监控对象进行提醒,并向监控对象的关联用户发送警告信息。从而对饮食情况进行实时监控,避免食用危险物体,保证了饮食安全。
附图说明
图1是本发明实施例一提供的一种监控饮食的方法的流程图;
图2是本发明实施例二提供的一种监控饮食的方法的流程图;
图3是本发明实施例三提供的一种监控饮食的装置的结构示意图;
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种监控饮食的方法的流程图,本实施例可适用于监控儿童饮食以确保饮食安全的情况,该方法可以由一种监控饮食的装置来执行,具体包括如下步骤:
步骤110、获取监控对象图像,监控对象图像包括深度信息和RGB信息。
其中,本实施例中的监控对象可以为1岁到10岁的儿童,尤其是指没有辨识食物能力的儿童。可选的,将发射器发出的结构光的特定光信息投射到监控对象,利用可以测量深度信息的摄像头接收经监控对象反射的结构光来获取监控对象图像。根据监控对象导致的特定光信息的变化来计算监控对象的位置信息、深度信息和RGB(Red,Green,Blue)信息,从而得到包括深度信息和RGB信息的监控对象图像。需要注意的是,根据监控对象图像中的深度信息准确的计算出监控对象各部分的三维坐标数据,即三维空间数据,避免了仅根据监控对象图像中的位置信息计算得到的监控对象的坐标数据,导致的坐标精度低的问题,以根据监控对象的三维空间数据的变化实时对监控对象的动作进行监控。
步骤120、若根据监控对象图像确定监控对象有饮食动作,则提取监控对象图像中待食物体图像。
其中,通过监控对象图像中监控对象的预设关节点的位置变化来确定监控对象是否有饮食动作。其中,饮食动作指的是监测对象有将手中物体放入口中的动作。若有饮食动作,则在监控对象图像中提取出待食物体图像。待食物体可以为监控对象手中拿到的物体。本实施例中可以直接提取监控对象图像中监控对象手中的物体图像,并确定为待食物体图像。利用待食物体图像对待食物体的属性进行进一步的判断,以确定待食物体是否可以食用。
可选的,步骤120中的根据监控对象图像确定监控对象有饮食动作,包括:
根据监控对象图像的深度信息确定监控对象的预设关节点的三维空间数据,预设关节点至少包括手和口腔;根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系;若手和口腔的距离和位置关系满足进食条件,则确定监控对象有饮食动作。
其中,根据监控对象图像的深度信息提取监控对象的目标骨架数据,将目标骨架数据和骨架数据库中的骨架数据进行对比,从而确定监控对象的手和口腔在监控对象图像中的形态和位置,并进行一步获取手和口腔的三维空间数据。根据每帧监控对象图像实时检测手和口腔的三维空间数据的变化,并计算手和口腔的距离和位置关系。可选的,手和口腔的距离和位置关系可以具体为手指和口腔之间的距离和位置关系。可选的,进食条件为手和口腔的最小距离小于预设距离且手在口腔的前面或侧面。当计算得到的手和口腔最小距离小于预设距离且手在口腔的前面或侧面时,确定监控对象有饮食动作。示例性的,若手和口腔的最小距离小于预设距离但手在口腔的下方或者上方,则表示没有饮食动作。在本实施例中,也可以在根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系之前,检测监控对象的手中是否有待食物体,若没有,则直接确定监控对象没有饮食动作;若有,则再根据手和口腔的距离和位置关系确定是否有饮食动作,避免饮食动作的误判,提高判断精度。
步骤130、根据待食物体图像的深度信息和RGB信息确定待食物体的属性。
其中,待食物体的属性包括但不限于物体名称、种类、形状和颜色。其中种类可以为水果类、蔬菜类或主食类。待食物体图像的深度信息可以用于确定待食物体的三维空间数据,进而确定待食物体的形状特征。待食物体图像的RGB信息可以用于确定待食物体的颜色特征。
可选的,步骤130具体包括:
根据待食物体图像的深度信息确定待食物体的三维空间数据,并根据待食物体的三维空间数据确定待食物体的形状特征;将待食物体图像的RGB信息转换为色调HSI数据;根据待食物体的形状特征、HSI数据以及物体数据库确定待食物体的属性。
其中,本实施例中待食物体图像的RGB信息需转换为色调HIS(Hue,Saturation,Intensity)数据,根据待食物体的HSI数据确定待食物体的颜色特征。物体数据库中预先存储了所有物体的属性。将待食物体的形状特征和颜色特征与物体数据库中每一物体的形状特征和颜色特征进行匹配,若匹配成功,则对应的物体的属性即为待食物体的属性,从而可以确定待食物体的物体名称。
步骤140、根据待食物体的属性和监控对象的状态信息,确定待食物体的食用属性。
其中,监控对象的状态信息指的是监控对象当前的身体状态和当前已食用的食物信息,示例性的,当前的身体状态可以是但不限于为监控对象的食道尺寸,当前已食用的食物信息可以是监控对象在第一预设时间内已食物体信息。可选的,第一预设时间可以为距当前时刻的4小时内。食用属性包括安全和危险,根据待食物体的属性可以确定待食物体是否为安全的食物。利用监控对象的状态信息可以确定待食物体的食用是否会出现饮食危险的情况。可选的,当待食物体为安全食物且不会出现卡喉和食物相克的情况时,该待食物体的属性为安全,否则,该待食物体的属性为危险。
可选的,步骤140包括:
根据待食物体的物体名称、物品数据库以及安全食品数据库确定待食物体是否为安全食物;若待食物体是安全食物,则根据待食物体三维尺寸和监控对象的食道三维尺寸,确定待食物体是否可安全食用,其中,待食物体三维尺寸根据待食物体的三维空间数据确定;若待食物体为非安全食物或待食物体不可安全食用,则确实待食物体的食用属性为危险。
其中,物品数据库包括了所有不为食物的物品的名称,比如玩具车、遥控器等。安全食品数据库包括了对监控对象来说安全食物的名称,比如苹果、香蕉、西红柿、大米和玉米等。而对监控对象来说不安全的食物有但不限于红枣和核桃等这些容易卡喉的食物。可选的,先将待食物体的物体名称与物品数据库进行匹配,确定待食物体是否为食物,若待食物体不是食物,则可以直接确定待食物体的食用属性为危险;若待食物体是食物,则再将待食物体的物体名称与安全食品数据库进行匹配,确定待食物体是否为安全食物。若不是安全食物,即不可安全食用,则确定待食物体的属性为危险;若为安全食物,则根据待食物体三维尺寸和监控对象的食道三维尺寸确定待食物体是否可安全食用。本实施例中待食物体先与物品数据库进行匹配,然后再与安全食品数据库进行匹配,降低了匹配工作量,从而可以快速的确定待食物体是否为安全食物。
可选的,若待食物体可安全食用,且监控对象在第一预设时间内已食物体与待食物体相克,则确定待食物体的食用属性为危险。
其中,若待食物体可安全食用,则获取监控对象在第一预设时间内已食物体。判断第一预设时间内已食物体是否与待食物体相克,若相克,则确定待食物体的食用属性为危险,以避免食用相克食物对身体造成伤害;若不相克,则确定待食物体的食用属性为安全。其中,可以根据食物的名称和预先存储的食物相克对照表来判断食物是否相克,示例性的,将待食物体与已食物体的随机组合在食物相克对照表中进行匹配,若任意食物组合匹配成功,则确定已食物体中存在与待食物体相克的食物,即确定待食物体的食用属性为危险;若不存在匹配成功的食物组合,则确定待食物体的食用属性为安全。
通过记录监控对象在第一预设时间内已食物体以及食用时间,精确的检测是否存在食物相克的问题,避免了人工监护时,饮食知识欠缺或者对已食物体遗忘导致的饮食危险。
可选的,根据待食物体三维尺寸和监控对象的食道三维尺寸,确定待食物体是否可安全食用,包括:
根据监控对象的食道三维尺寸确定安全食物尺寸范围;若待食物体三维尺寸在安全食物尺寸范围内,则确定待食物体可安全食用;若待食物体三维尺寸在安全食物尺寸范围外,则确定待食物体不可安全食用。
其中,待食物体三维尺寸可以根据待食物体的三维空间数据确定。监控对象的食道三维尺寸是根据预先拍摄的监控对象的初始图像确定的。食道三维尺寸的确定方法为:根据监控对象的初始图像的深度信息,获取监控对象的目标骨架数据;将目标骨架数据和骨架数据库中的骨架数据进行对比,确定监控对象的喉咙骨架信息;根据喉咙骨架信息和喉咙的三维空间数据确定食道的三维坐标数据;根据食道的三维坐标数据确定食道三维尺寸。可选的,定期的更新监控对象的初始图像,以获取准确的食道三维尺寸,避免了由于食道的三维尺寸随着监控对象的成长而改变,导致的数据不精确的问题。可选的,安全食物尺寸范围比食道三维尺寸略小几个毫米,使得吞咽待食物体时,不会出现卡喉的情况。
步骤150、若待食物体的食用属性为危险,则对监控对象进行提醒,并向监控对象的关联用户发送警告信息。
其中,当待食物体的食用属性为危险时,需要提醒监控对象不能食用待食物体,并且也需要向监控对象的关联用户发送警告信息,以提醒关联用户进行人为干预。关联用户可以为监控对象的父母或其他的看管人。警告信息可以为语音警告和/或视频警告。本实施例中可以通过播放预先存储的警告语音和父母的劝导语音,对监控对象进行提醒和引导。同时也通过无线连接的方式将警告信息发送到关联用户的智能终端,以告知关联用户需要进行人为干预来阻止监控对象食用危险的物体。
本发明实施例通过根据监控对象图像确定监控对象是否有饮食动作,若有则提取监控对象图像中待食物体图像,并确定待食物体的属性,以及根据待食物体的属性和监控对象的状态信息确定待食物体的食用属性,当待食物体的食用属性为危险时,对监控对象进行提醒,并向监控对象的关联用户发送警告信息。从而对饮食情况进行实时监控,避免食用危险物体,保证了饮食安全和健康。
实施例二
图2为本发明实施例二提供的一种监控饮食的方法的流程图,本实施例在上述实施例的基础上进行优化,在确定待食物体的食用属性为安全时,根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作。
优化后,一种监控饮食的方法具体包括如下步骤:
步骤210、获取监控对象图像,监控对象图像包括深度信息和RGB信息。
步骤220、若根据监控对象图像确定监控对象有饮食动作,则提取监控对象图像中待食物体图像。
步骤230、根据待食物体图像的深度信息和RGB信息确定待食物体的属性。
步骤240、根据待食物体的属性和监控对象的状态信息,确定待食物体的食用属性。
步骤250、若待食物体的食用属性为安全,则根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作。
其中,根据步骤240确定待食物体的食用属性为安全时,则表示待食物体可以放心食用,不会对身体造成伤害。预设关节点除了包括手和口腔外,还包括牙齿、喉咙和食道。待食物体的状态可以是待食物体放入口腔后,待食物体变化后的形状和大小。当监控对象将待食物体放入口腔后,通过监测牙齿、喉咙和食道的三维空间数据的变化和待食物体的状态,来确定监控对象是否有咀嚼和吞咽动作,若有咀嚼和吞咽动作,则可以确定监控对象存在进食动作。若监控对象将待食物体放到口腔后,又吐了出来,即不会产生咀嚼和吞咽动作,则表示没有进食动作。
步骤260、若存在进食动作,则记录并存储所述监控对象的当前饮食信息,其中所述当前饮食信息包括当前饮食的食物名称、进食量、进食速度和进食时间。
其中,当监控对象有进食动作时,则根据牙齿、喉咙和食道的三维数据的变化计算监控对象的进食量和进食速度,以检测饮食过程是否规范,同时也需要记录和存储监控对象当前食用的食物名称和进食时间,以作为下次判断食物是否相克的依据。在记录并存储当前饮食信息后,可以确定监控对象在第二预设时间内的统计饮食信息,并根据统计饮食信息、监控对象的年龄和体重信息以及饮食标准,生成推荐信息,以推荐健康的饮食使得营养均衡。第二预设时间可以为24小时、一个星期或者一个月。通过监控第二预设时间内的饮食信息,便于对监控对象的饮食进行管理,使得在保证饮食安全的情况下,也保证了饮食健康和营养均衡。
本发明实施例通过根据待食物体的属性和监控对象的状态信息,确定待食物体的食用属性为安全后,根据监控对象的预设关节点的三维空间数据的变化确定监控对象是否存在进食动作。若有,则记录并存储所述监控对象的当前饮食信息,以根据饮食信息对监控对象的饮食进行合理管理,保证了饮食安全和营养均衡。
实施例三
图3所示为本发明实施例三提供的一种监控饮食的装置的结构示意图,本实施例可适用于监控儿童饮食以确保饮食安全的情况,该装置包括:监控对象图像获取模块310、待食物体图像提取模块320、待食物体属性确定模块330、待食物体食用属性确定模块340和提醒警告模块350。
监控对象图像获取模块310,用于获取监控对象图像,监控对象图像包括深度信息和RGB信息;待食物体图像提取模块320,用于若根据监控对象图像确定监控对象有饮食动作,则提取监控对象图像中待食物体图像;待食物体属性确定模块330,用于根据待食物体图像的深度信息和RGB信息确定待食物体的属性;待食物体食用属性确定模块340,用于根据待食物体的属性和监控对象的状态信息,确定待食物体的食用属性;提醒警告模块350,用于若待食物体的食用属性为危险,则对监控对象进行提醒,并向监控对象的关联用户发送警告信息。
可选的,该装置还包括饮食动作确认模块,具体用于:
根据监控对象图像的深度信息确定监控对象的预设关节点的三维空间数据,预设关节点至少包括手和口腔;根据预设关节点的三维空间数据的变化确定手和口腔的距离和位置关系;若手和口腔的距离和位置关系满足进食条件,则确定监控对象有饮食动作。
可选的,待食物体属性确定模块330,具体用于:
根据待食物体图像的深度信息确定待食物体的三维空间数据,并根据待食物体的三维空间数据确定待食物体的形状特征;将待食物体图像的RGB信息转换为色调HSI数据;根据待食物体的形状特征、HSI数据以及物体数据库确定待食物体的属性。
可选的,待食物体食用属性确定模块340,具体用于:
根据待食物体的物体名称、物品数据库以及安全食品数据库确定待食物体是否为安全食物;若待食物体是安全食物,则根据待食物体三维尺寸和监控对象的食道三维尺寸,确定待食物体是否可安全食用,其中,待食物体三维尺寸根据待食物体的三维空间数据确定;若待食物体为非安全食物或待食物体不可安全食用,则确实待食物体的食用属性为危险。
可选的,待食物体食用属性确定模块340,还用于若待食物体可安全食用,且监控对象在第一预设时间内已食物体与待食物体相克,则确定待食物体的食用属性为危险。
可选的,该装置还包括可安全食用确定模块,具体用于:
根据监控对象的食道三维尺寸确定安全食物尺寸范围;若待食物体三维尺寸在安全食物尺寸范围内,则确定待食物体可安全食用;若待食物体三维尺寸在安全食物尺寸范围外,则确定待食物体不可安全食用。
可选的,该装置还包括:
进食动作确定模块,用于若待食物体的食用属性为安全,则根据监控对象的预设关节点的三维空间数据的变化和待食物体的状态确定监控对象是否存在进食动作;
饮食信息存储模块,用于若存在进食动作,则记录并存储监控对象的当前饮食信息,其中当前饮食信息包括当前饮食的食物名称、进食量、进食速度和进食时间。
上述产品可执行本发明任意实施例所提供的监控饮食的方法,具备执行监控饮食的方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图,如图4所示,该设备包括处理器410、存储器420、输入装置430和输出装置440;设备中处理器410的数量可以是一个或多个,图4中以一个处理器410为例;设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的监控饮食的方法对应的程序指令/模块(例如,监控对象图像获取模块310、待食物体图像提取模块320、待食物体属性确定模块330、待食物体食用属性确定模块340和提醒警告模块350)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行设备/终端/服务器的各种功能应用以及数据处理,即实现上述的监控饮食的方法。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可包括摄像头等采集设备,用于将采集的监控对象图像输入到处理器410进行数据处理。
输出装置440可包括扬声器等发声设备,用于播放提醒语音。
实施例五
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的监控饮食的方法。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种监控饮食的方法,其特征在于,包括:
获取监控对象图像,所述监控对象图像包括深度信息和RGB信息;
若根据所述监控对象图像确定所述监控对象有饮食动作,则提取所述监控对象图像中待食物体图像;
根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性;
根据所述待食物体的属性和所述监控对象的状态信息,确定所述待食物体的食用属性;
若所述待食物体的食用属性为危险,则对所述监控对象进行提醒,并向所述监控对象的关联用户发送警告信息。
2.根据权利要求1所述的方法,其特征在于,根据所述监控对象图像确定所述监控对象有饮食动作,包括:
根据所述监控对象图像的深度信息确定所述监控对象的预设关节点的三维空间数据,所述预设关节点至少包括手和口腔;
根据所述预设关节点的三维空间数据的变化确定所述手和口腔的距离和位置关系;
若所述手和口腔的距离和位置关系满足进食条件,则确定所述监控对象有饮食动作。
3.根据权利要求1所述的方法,其特征在于,根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性,包括:
根据所述待食物体图像的深度信息确定所述待食物体的三维空间数据,并根据所述待食物体的三维空间数据确定所述待食物体的形状特征;
将所述待食物体图像的RGB信息转换为色调HSI数据;
根据所述待食物体的形状特征、HSI数据以及物体数据库确定所述待食物体的属性。
4.根据权利要求1所述的方法,其特征在于,根据所述待食物体的属性和监控对象的状态信息,确定所述待食物体的食用属性,包括:
根据所述待食物体的物体名称、物品数据库以及安全食品数据库确定所述待食物体是否为安全食物;
若所述待食物体是安全食物,则根据所述待食物体三维尺寸和所述监控对象的食道三维尺寸,确定所述待食物体是否可安全食用,其中,所述待食物体三维尺寸根据所述待食物体的三维空间数据确定;
若所述待食物体为非安全食物或所述待食物体不可安全食用,则确实所述待食物体的食用属性为危险。
5.根据权利要求4所述的方法,其特征在于,若所述待食物体可安全食用,且所述监控对象在第一预设时间内已食物体与所述待食物体相克,则确定所述待食物体的食用属性为危险。
6.根据权利要求4所述的方法,其特征在于,根据所述待食物体三维尺寸和所述监控对象的食道三维尺寸,确定所述待食物体是否可安全食用,包括:
根据所述监控对象的食道三维尺寸确定安全食物尺寸范围;
若所述待食物体三维尺寸在所述安全食物尺寸范围内,则确定所述待食物体可安全食用;
若所述待食物体三维尺寸在所述安全食物尺寸范围外,则确定所述待食物体不可安全食用。
7.根据权利要求1-6任一所述的方法,其特征在于,若所述待食物体的食用属性为安全,则根据所述监控对象的预设关节点的三维空间数据的变化和所述待食物体的状态确定所述监控对象是否存在进食动作;
若存在进食动作,则记录并存储所述监控对象的当前饮食信息,其中所述当前饮食信息包括当前饮食的食物名称、进食量、进食速度和进食时间。
8.一种监控饮食的装置,其特征在于,包括:
监控对象图像获取模块,用于获取监控对象图像,所述监控对象图像包括深度信息和RGB信息;
待食物体图像提取模块,用于若根据所述监控对象图像确定所述监控对象有饮食动作,则提取所述监控对象图像中待食物体图像;
待食物体属性确定模块,用于根据所述待食物体图像的深度信息和RGB信息确定所述待食物体的属性;
待食物体食用属性确定模块,用于根据所述待食物体的属性和所述监控对象的状态信息,确定所述待食物体的食用属性;
提醒警告模块,用于若所述待食物体的食用属性为危险,则对所述监控对象进行提醒,并向所述监控对象的关联用户发送警告信息。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
输入装置,用于采集图像;
输出装置,用于播放提醒语音;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的监控饮食的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的监控饮食的方法。
CN201711371940.1A 2017-12-19 2017-12-19 一种监控饮食的方法、装置、设备和存储介质 Active CN108108690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711371940.1A CN108108690B (zh) 2017-12-19 2017-12-19 一种监控饮食的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711371940.1A CN108108690B (zh) 2017-12-19 2017-12-19 一种监控饮食的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN108108690A true CN108108690A (zh) 2018-06-01
CN108108690B CN108108690B (zh) 2022-02-11

Family

ID=62210113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711371940.1A Active CN108108690B (zh) 2017-12-19 2017-12-19 一种监控饮食的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN108108690B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826506A (zh) * 2019-11-11 2020-02-21 上海秒针网络科技有限公司 目标行为的识别方法及装置
CN111508583A (zh) * 2020-04-07 2020-08-07 珠海格力电器股份有限公司 饮食管理方法、装置、电子设备及存储介质
CN112133066A (zh) * 2019-06-25 2020-12-25 珠海格力电器股份有限公司 一种饭前吃药事件的提醒方法、提醒系统和存储介质
CN113034312A (zh) * 2019-12-24 2021-06-25 中国移动通信集团天津有限公司 餐饮信息推送方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787469A (zh) * 2016-03-25 2016-07-20 广州市浩云安防科技股份有限公司 行人监控和行为识别的方法和系统
CN106055873A (zh) * 2016-05-20 2016-10-26 北京旷视科技有限公司 基于图像识别的健身辅助方法及装置
US9536310B1 (en) * 2011-07-12 2017-01-03 Cerner Innovation, Inc. System for determining whether an individual suffers a fall requiring assistance
CN106372401A (zh) * 2016-08-29 2017-02-01 京东方科技集团股份有限公司 一种健康饮食管理方法及管理系统
CN106570327A (zh) * 2016-11-04 2017-04-19 奚红娟 一种湿疹宝宝病情管理系统
CN106709401A (zh) * 2015-11-13 2017-05-24 中国移动通信集团公司 饮食信息监控方法及装置
CN107463894A (zh) * 2017-07-28 2017-12-12 珠海格力电器股份有限公司 一种人体营养摄入量的提醒方法及其装置、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536310B1 (en) * 2011-07-12 2017-01-03 Cerner Innovation, Inc. System for determining whether an individual suffers a fall requiring assistance
CN106709401A (zh) * 2015-11-13 2017-05-24 中国移动通信集团公司 饮食信息监控方法及装置
CN105787469A (zh) * 2016-03-25 2016-07-20 广州市浩云安防科技股份有限公司 行人监控和行为识别的方法和系统
CN106055873A (zh) * 2016-05-20 2016-10-26 北京旷视科技有限公司 基于图像识别的健身辅助方法及装置
CN106372401A (zh) * 2016-08-29 2017-02-01 京东方科技集团股份有限公司 一种健康饮食管理方法及管理系统
CN106570327A (zh) * 2016-11-04 2017-04-19 奚红娟 一种湿疹宝宝病情管理系统
CN107463894A (zh) * 2017-07-28 2017-12-12 珠海格力电器股份有限公司 一种人体营养摄入量的提醒方法及其装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIK KALANTARIAN 等: "A Survey of Diet Monitoring Technology", 《IEEE PERVASIVE COMPUTING》 *
聂婕: "人体生理活动监控视频中的关键事件检测", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133066A (zh) * 2019-06-25 2020-12-25 珠海格力电器股份有限公司 一种饭前吃药事件的提醒方法、提醒系统和存储介质
CN112133066B (zh) * 2019-06-25 2021-11-23 珠海格力电器股份有限公司 一种饭前吃药事件的提醒方法、提醒系统和存储介质
CN110826506A (zh) * 2019-11-11 2020-02-21 上海秒针网络科技有限公司 目标行为的识别方法及装置
CN113034312A (zh) * 2019-12-24 2021-06-25 中国移动通信集团天津有限公司 餐饮信息推送方法、装置、设备及存储介质
CN111508583A (zh) * 2020-04-07 2020-08-07 珠海格力电器股份有限公司 饮食管理方法、装置、电子设备及存储介质
CN111508583B (zh) * 2020-04-07 2023-08-11 珠海格力电器股份有限公司 饮食管理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108108690B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN108108690A (zh) 一种监控饮食的方法、装置、设备和存储介质
US11791045B1 (en) Apparatus for informed personal well-being decision making and associated method
US20170340418A1 (en) System and method for dental implant recognition
US9265235B2 (en) Accidental ingestion detection apparatus, accidental ingestion detection system, and accidental ingestion detection method
JP2008204105A (ja) 自動食事摂取量計測システム及び自動食事摂取量計測方法
TW201901598A (zh) 飲食資訊建議系統及其飲食資訊建議方法
US20160236096A1 (en) Wellness System For Interacting With A User
KR102389285B1 (ko) 기계학습을 기초로 낙상 사고를 감지하는 방법 및 그를 이용한 시스템
JP2017516510A5 (zh)
US20140240339A1 (en) Personal visualization of health conditions
US10509025B2 (en) Poor physical condition determination device, method, and recording medium stored with program
CN114258870B (zh) 无人照管宠物的看管方法、看管系统、存储介质及终端
CN112188296A (zh) 交互方法、装置、终端和电视机
US20180342173A1 (en) Method of Monitoring Glucose Levels for Weight Loss
WO2023093617A1 (zh) 一种儿童肝病延续性护理方法、系统及存储介质
CN108195114A (zh) 辅助儿童摄入辅食的智能食材管理系统及食材管理方法
JP2018033624A (ja) 情報処理装置、情報処理方法、及びプログラム
CN115777767A (zh) 一种食用菌的保存方法和系统
JP6403825B1 (ja) 情報提供装置及びプログラム
WO2021230295A1 (ja) 発達段階判定装置、発達段階判定方法、プログラム及び端末装置
KR102355681B1 (ko) 가축사양표준에 기초한 가축사양관리 가이드 제공 방법
CN113782146A (zh) 基于人工智能的全科用药推荐方法、装置、设备及介质
KR20230036908A (ko) 딥러닝을 활용한 사료의 중량측정과 반려동물에게 지능형으로 사료를 공급하여 반려동물의 영양밸런스를 맞추는 장치 및 이를 포함하는 시스템
US20220262497A1 (en) Nursing assistance device
WO2024116537A1 (ja) 分類装置及び貯蔵庫

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant