CN117315787B - 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 - Google Patents
基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 Download PDFInfo
- Publication number
- CN117315787B CN117315787B CN202311398283.5A CN202311398283A CN117315787B CN 117315787 B CN117315787 B CN 117315787B CN 202311398283 A CN202311398283 A CN 202311398283A CN 117315787 B CN117315787 B CN 117315787B
- Authority
- CN
- China
- Prior art keywords
- image
- infant
- milk
- outputting
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 235000013336 milk Nutrition 0.000 claims abstract description 115
- 239000008267 milk Substances 0.000 claims abstract description 115
- 210000004080 milk Anatomy 0.000 claims abstract description 115
- 235000013350 formula milk Nutrition 0.000 claims abstract description 27
- 230000000474 nursing effect Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims description 87
- 238000004458 analytical method Methods 0.000 claims description 55
- 230000019989 milk ejection Effects 0.000 claims description 35
- 206010067171 Regurgitation Diseases 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 19
- 230000001575 pathological effect Effects 0.000 claims description 18
- 230000004634 feeding behavior Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 14
- 230000036541 health Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 235000013305 food Nutrition 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 208000021302 gastroesophageal reflux disease Diseases 0.000 description 3
- 230000005802 health problem Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 208000004262 Food Hypersensitivity Diseases 0.000 description 1
- 206010061958 Food Intolerance Diseases 0.000 description 1
- 206010016946 Food allergy Diseases 0.000 description 1
- 206010017964 Gastrointestinal infection Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940124599 anti-inflammatory drug Drugs 0.000 description 1
- 230000000151 anti-reflux effect Effects 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 208000019836 digestive system infectious disease Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000020932 food allergy Nutrition 0.000 description 1
- 235000002864 food coloring agent Nutrition 0.000 description 1
- 210000004211 gastric acid Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 229940126409 proton pump inhibitor Drugs 0.000 description 1
- 239000000612 proton pump inhibitor Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及婴幼儿看护技术领域，解决了现有技术中无法在多种光照条件下，对婴幼儿吐奶行为进行实时识别的问题，提供了一种基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备。该方法包括：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。本发明在不同光照条件下，对婴幼儿吐奶实时识别，有助于家长或看护人员及时察觉婴幼儿的吐奶行为，并采取相应的照顾措施，确保婴幼儿的安全和健康。
Description
技术领域
本发明涉及婴幼儿看护技术领域，尤其涉及一种基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备。
背景技术
在婴幼儿的成长过程中，吐奶是常见的现象，但过度吐奶可能暗示着某种健康问题。因此，婴幼儿吐奶识别成为了保障其健康和幸福的重要环节。通过对婴幼儿吐奶的识别，我们能够及早发现和解决潜在的健康问题，确保他们得到适当的看护和关怀。
目前，婴幼儿吐奶识别主要依赖于看护人员(主要是婴幼儿父母，其中很多属于新手妈妈、新手爸爸)的观察和经验，一方面，由于缺乏统一的标准化评估工具，使得各个看护人员在吐奶识别时使用不同的标准和方法，影响了识别结果的一致性和可靠性；另一方面，由于婴幼儿的生活方式以及吐奶现象的随机性，监测过程需要长时间持续观察，而且有时会错过关键时刻，这使得对吐奶频率和模式的准确评估成为一项挑战；另一方面，在开发吐奶识别技术时，需要平衡敏感性和特异性，过于敏感的技术可能会导致误报，而过于特异的技术可能会漏报吐奶情况。
现有中国专利CN110427923A公开了一种婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质，所述方法包括：采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。然而，婴幼儿吐奶在白天和夜晚均有可能发生，日夜或其他因素导致的光照变化会导致图像中的亮度和对比度发生变化。深度学习模型可能在训练时对某些光照条件下的吐奶行为进行了学习，但在其他光照条件下的识别性能可能会下降。例如，在低光照条件下，图像可能会出现噪点、模糊和细节丢失，这可能会导致模型难以准确地识别吐奶行为，由于日夜光照的变化，训练样本中的光照条件可能不够多样化和全面，导致模型难以泛化到新的光照条件下。模型在训练时过于依赖特定光照条件下的样本，可能无法适应其他光照条件下的吐奶行为识别。
现有中国专利CN110580741A_公开了一种婴幼儿吐奶行为检测方法、装置、计算机设备及存储介质，所述方法包括：获取婴幼儿睡眠时的若干图像，以形成待检测图像序列；对待检测图像序列进行人脸定位，以得到初始图像序列；对初始图像序列进行分析处理，以得到帧差序列；根据所述帧差序列建立三维模型图，以得到多个连通域；计算多个连通域内的面积并筛选得到最大连通域面积量，以得到目标连通域面积量；计算目标连通域面积量所对应的变化率；判断所述目标连通域面积量以及变化率是否满足设定的条件；若是，则发送警告通知至终端，以提示终端持有人。上述方案的主要目标是监测婴幼儿的吐奶行为，通过分析图像中连通域的面积变化来检测吐奶情况，尽管这个方案在一定条件下可能有效，但存在一些局限性，使其无法在多种光照条件下进行准确的吐奶行为识别：多种光照条件下，图像的亮度、对比度、阴影等因素会发生变化，这会导致在不同光照条件下嘴部区域的外观发生显著变化，这样的变化可能会影响到连通域的检测和面积计算，使得识别吐奶行为的准确性受到影响；婴幼儿在睡眠中可能会不断变换姿势，包括头部的位置，这些变化可能会导致在图像中嘴部区域的位置和形状发生变化，从而影响连通域的面积和形状，使得识别过程变得复杂；通过计算连通域的面积变化率并设置阈值来判断吐奶行为存在的条件可能需要经过大量的参数调整和优化，不同光照条件和婴幼儿的个体差异可能需要不同的阈值，因此设置合适的阈值会很具挑战性。
为此，如何在多种光照条件下，对婴幼儿吐奶行为进行实时识别是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备，用以解决现有技术中无法在多种光照条件下，对婴幼儿吐奶行为进行实时识别的问题。
本发明采用的技术方案是：
第一方面，本发明提供了一种基于机器视觉的婴幼儿吐奶实时识别方法，所述方法包括：
S1：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
S2：对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
S3：对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
S4：当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。
优选地，所述S2包括：
S21：对各所述图像进行色彩分析，输出彩色图像和灰度图像；
S22：分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像。
优选地，所述S21包括：
S211：对各所述图像的各色彩通道值进行分析，输出分析结果；
S212：若分析结果为各色彩通道值相同，则输出为灰度图像；
S213：若分析结果为各色彩通道值不相同，则输出为彩色图像。
优选地，所述S22包括：
S221：对所述彩色图像和灰度图像进行婴幼儿脸部识别，输出婴幼儿脸部图像；
S222：对所述婴幼儿脸部图像进行拉普拉斯变换，输出各婴幼儿脸部图像对应的拉普拉斯值；
S223：对各所述拉普拉斯值进行比较，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像。
优选地，所述S3包括：
S31：对所述兴趣图像进行分类，将所述兴趣图像分为彩色兴趣图像和灰度兴趣图像；
S32：对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别；
S33：对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别。
优选地，所述S32包括：
S321：对所述彩色兴趣图像进行婴幼儿嘴部识别，输出第一婴幼儿嘴部图像；
S322：对所述第一婴幼儿嘴部图像进行颜色空间转换，输出颜色空间转换后的目标图像；
S323：对相邻两帧所述目标图像的色调通道均值进行计算，输出色调通道差值；
S324：当所述色调通道差值大于预设色调通道阈值时，识别为所述婴幼儿吐奶行为。
优选地，所述S33包括：
S331：对所述灰度兴趣图像进行婴幼儿嘴部识别，输出第二婴幼儿嘴部图像；
S332：对所述第二婴幼儿嘴部图像进行特征提取，输出所述灰度共生矩阵特征；
S333：将所述灰度共生矩阵输入预训练的分类模型中，输出婴幼儿吐奶行为识别结果。
优选地，所述S4包括：
S41:当所述识别结果为婴幼儿在吐奶时，获取婴幼儿吐奶行为图像和吐奶之前的喂奶行为图像；
S42：依据所述婴幼儿吐奶行为图像和所述喂奶行为图像，对婴幼儿吐奶行为进行分类，识别病理性吐奶或生理性吐奶；
S43：若识别为病理性吐奶，则提醒用户采取对应的治疗措施；
S44：若识别为生理性吐奶，则提醒用户调整喂奶方式。
第二方面，本发明提供了一种基于机器视觉的婴幼儿吐奶实时识别装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
预处理模块，用于对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
吐奶识别模块，用于对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
看护提醒模块，用于当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。
第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明提供的基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备，所述方法包括：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。本发明使用实时视频流进行分析，可以实时监测婴幼儿的吐奶行为；在吐奶行为识别之前，对图像进行预处理以提取婴幼儿嘴部纹理符合要求的兴趣图像，这样做能够在不同光照条件下，将注意力集中在婴幼儿嘴部区域，提高吐奶行为识别的准确性和鲁棒性；当识别结果确认婴幼儿在吐奶时，系统会向用户发出看护提醒，这有助于家长或看护人员及时察觉婴幼儿的吐奶行为，并采取相应的照顾措施，确保婴幼儿的安全和健康。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中基于机器视觉的婴幼儿吐奶实时识别方法的整体工作的流程示意图；
图2为本发明实施例1中对实时图像进行预处理的流程示意图；
图3为本发明实施例1中对实时图像进行预处理的流程示意图；
图4为本发明实施例1中提取兴趣图像的流程示意图；
图5为本发明实施例1中识别婴幼儿吐奶行为的流程示意图；
图6为本发明实施例1中对彩色兴趣图像进行吐奶识别的流程示意图；
图7为本发明实施例1中对灰度图像进行吐奶识别的流程示意图；
图8为本发明实施例2中对婴幼儿吐奶行为进行分类的流程示意图；
图9为本发明实施例2中基于机器视觉的婴幼儿吐奶实时识别装置的结构框图；
图10为本发明实施例3中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，本发明实施例1公开了一种基于机器视觉的婴幼儿吐奶实时识别方法，所述方法包括：
S1：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
具体地，使用适当的设备(如摄像头、带有摄像头的电子设备)获取婴幼儿看护场景下的实时视频流，将获取到的实时视频流分解为多个连续的图像帧，视频是由一系列连续的图像帧组成的，每个图像帧代表视频中的一个时间点，通过将视频流分解为单独的图像帧，我们可以处理每个图像帧以进行进一步的分析和处理，对于分解得到的连续图像帧，可以根据需要进行帧采样，帧采样是从连续图像帧序列中选择一部分帧，以降低计算和处理的复杂性，同时仍能保持足够的信息覆盖，可以根据应用需求和计算资源的限制，选择适当的帧采样策略。通过获取婴幼儿看护场景下的实时视频流，并将其分解为多帧图像，为后续的吐奶行为识别或其他图像分析任务提供数据基础。
S2：对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
具体地，使用人脸识别算法(如基于深度学习的人脸识别模型)在每个图像中识别婴幼儿的人脸，帮助定位婴幼儿的脸部区域，根据人脸识别的结果，确定婴幼儿的嘴部区域，使用事先定义的嘴部位置和尺寸，或者根据关键点识别算法(如基于深度学习的关键点识别模型)定位嘴部区域，再对各所述图像进行色彩分析，输出彩色图像和灰度图像；分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像。通过获得纹理符合要求的兴趣图像，提高后续吐奶行为识别的准确性和可靠性，并使系统更专注于关注嘴部区域，从而更有效地分析吐奶行为。
在一实施例中，请参见图2，所述S2包括：
S21：对各所述图像进行色彩分析，输出彩色图像和灰度图像；
具体地，对输入的图像进行色彩分析，判断图像是彩色图像还是灰度图像，根据图像的色彩信息，将图像分类为彩色图像或灰度图像，通过色彩分析，将图像分类为彩色图像和灰度图像，有助于后续的处理和分析任务，不同类型的图像可能需要不同的处理方法和算法，因此将图像进行分类可以为后续的任务提供基础；彩色图像和灰度图像的处理方式和特征提取方法不同。将图像分类为彩色图像和灰度图像，可以针对不同类型的图像应用定制化的处理方法，以提高处理效果；同时，某些应用可能只关注彩色图像，而其他应用可能更关注灰度图像，因此，将图像分类为彩色图像和灰度图像可以根据实际应用需求进行不同的处理和分析，这有助于提高应用的精确性和效果。
S211：对各所述图像的各色彩通道值进行分析，输出分析结果；
具体地，对每个图像的各色彩通道值进行分析，以获得关于图像色彩的更详细信息，分析每个像素点在红色通道(R)、绿色通道(G)、蓝色通道(B)上的数值；假设图像B，通过分析图像B的像素信息，可以得到每个像素点在R、G、B通道上的数值，例如，假设某个像素的R通道值为150、G通道值为100、B通道值为80，表示该像素点的颜色是一种红色偏向的橙色，通过分析各色彩通道的数值，可以提取图像的颜色特征。这些特征可以用于图像分类、目标识别和图像识别等应用中，帮助更好地理解和描述图像。
S212：若分析结果为各色彩通道值相同，则输出为灰度图像；
具体地，根据色彩通道分析的结果，如果各色彩通道的数值相同，将图像判定为灰度图像；假设经过分析，我们得到一张彩色图像C，其中每个像素的R、G、B通道的数值都相同，比如都为128。根据这个分析结果，我们可以判断图像C是灰度图像。通过将各色彩通道值相同的图像划分为灰度图像，可以更准确地区分彩色图像和灰度图像，确保后续处理针对性；灰度图像具有单通道的特性，某些图像处理算法在灰度图像上的应用更高效，因此，将图像划分为灰度图像有助于选择合适的算法进行处理。
S213：若分析结果为各色彩通道值不相同，则输出为彩色图像。
具体地，根据色彩通道分析的结果，如果各色彩通道的数值相同，将图像判定为灰度图像；假设经过分析，我们得到一张彩色图像D，其中每个像素的R、G、B通道的数值不相同，比如为128，110和105。根据这个分析结果，我们可以判断图像C是彩色图像。通过将各色彩通道值不同的图像划分为彩色图像，可以更准确地区分彩色图像和灰度图像，确保后续处理针对性；某些图像处理算法在彩色图像上的应用更高效，因此，将图像划分为灰度图像有助于选择合适的算法进行处理。
在一实施例中，请参见图3，所述S21包括：
S22：分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像。
具体地，获取彩色图像和灰度图像，这些图像包含感兴趣的内容，包括婴幼儿、吐奶行为或其他对象，对于彩色图像，将其转换为灰度图像，通过灰度化处理来实现，以便对灰度图像进行后续的拉普拉斯变换；对彩色图像和灰度图像分别应用拉普拉斯变换，拉普拉斯变换有助于突出图像中的细节和纹理，基于拉普拉斯变换的结果，提取图像中的特征，包括边缘、纹理、轮廓等特征，根据特征提取的结果，输出所述兴趣图像，这些兴趣图像包括了更丰富的图像细节和特征，有助于进一步的分析或可视化。在这个过程中，拉普拉斯变换可用于提取图像中的高频信息，有助于增强图像的细节和纹理，这对于兴趣图像的进一步分析和可视化非常有帮助。
在一实施例中，请参见图4，所述S22包括：
S221：对所述彩色图像和灰度图像进行婴幼儿脸部识别，输出婴幼儿脸部图像；
使用Yolov8s模型作为人脸识别器，对送来的图像进行人脸识别。该模型可以识别图像中的人脸位置和边界框，通过识别婴幼儿的人脸，我们可以确定哪些图像中包含婴幼儿，并且剔除那些没有人脸的图像，只有具有婴幼儿人脸的图像会被保存到集合P中，以便后续处理和分析。使用Yolov8s模型进行人脸识别可以有效地识别出图像中的人脸，通过保存有婴幼儿人脸的图像，我们可以聚焦于婴幼儿相关的行为分析和识别，提高系统的效率和准确性；通过将具有婴幼儿人脸的图像保存到集合P中，建立了一个包含婴幼儿图像样本的数据集用于训练和优化后续的吐奶行为识别模型。
S222：对所述婴幼儿脸部图像进行拉普拉斯变换，输出各婴幼儿脸部图像对应的拉普拉斯值；
具体地，对所述婴幼儿脸部图像应用拉普拉斯算子进行卷积运算，拉普拉斯算子是一个二阶微分算子，可以提取图像中的边缘和纹理等细节信息，卷积操作将每个像素点与周围像素进行加权求和，得到新的像素值，计算得到的图像的拉普拉斯值，通过求解每个像素点的差值、方差、均值等统计量来表示图像的拉普拉斯值用于衡量图像的纹理复杂度和细节丰富程度，输出各个婴幼儿脸部图像对应的拉普拉斯值，各帧婴幼儿脸部图像都有一个相应的拉普拉斯值，表示该图像的纹理特征和细节丰富程度。
S223：对各所述拉普拉斯值进行比较，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像。
具体地，通过计算婴幼儿脸部图像的拉普拉斯值，可以定量分析图像的纹理特征。拉普拉斯值越大，表示图像的纹理越多，纹理细节丰富程度较高，拉普拉斯值可以用于评估图像的质量和细节丰富程度。较高的拉普拉斯值可能表示图像质量较好，细节清晰可见。各婴幼儿脸部图像的拉普拉斯值可以用于进行数据的统计和比较，可以通过比较拉普拉斯值的大小，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像，为后续的吐奶行为分析和识别提供更多信息和指导。
S3：对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
在一实施例中，请参见图5，所述S3包括：
S31：对所述兴趣图像进行分类，将所述兴趣图像分为彩色兴趣图像和灰度兴趣图像；
具体地，首先，加载兴趣图像以便进行进一步的分析，将兴趣图像分解为其三个颜色通道，即R、G、B通道，将图像的彩色信息分离成三个独立的通道，对于每个像素，分析R、G、B通道的数值，若三个通道的数值相同，即R＝G＝B，那么该像素被认为是灰度的，基于通道数值的比较，将像素分为两大类，即灰度图像和彩色图像，若在整个图像中大多数像素是R＝G＝B，那么该图像被分类为灰度图像，若多数像素的R、G、B通道的数值不相同，那么该图像被分类为彩色图像，对分类结果进行统计和验证，以确保正确性，包括计算彩色和灰度像素的比例，以及评估分类系统的准确性。
S32：对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别；
具体地，从彩色兴趣图像中提取颜色特征，这涉及到分析图像中的颜色分布、亮度、对比度和颜色通道值(如RGB或HSV通道)等，为不同婴幼儿吐奶的颜色变化，根据实际情况定义颜色阈值，颜色阈值是一种用于区分吐奶行为的颜色变化的参考值，例如，吐奶可能导致食物颜色在图像中明显变化，根据这种变化设置颜色阈值，利用颜色阈值，对图像进行颜色变化识别，帮助识别婴幼儿吐奶时食物的颜色变化，如果颜色变化在颜色阈值内，那么可以认定为婴幼儿吐奶行为，通过颜色变化的识别结果，对吐奶行为进行识别。
在一实施例中，请参见图6，所述S32包括：
S321：对所述彩色兴趣图像进行婴幼儿嘴部识别，输出第一婴幼儿嘴部图像；
具体地，选择适当的YOLOv8s模型，这是一种基于深度学习的物体识别模型，加载已经训练好的模型权重，以便用于婴幼儿嘴部位置的识别，获取彩色兴趣图像，这些图像包含婴幼儿的面部，使用YOLOv8s模型对图像进行物体识别，定位婴幼儿的嘴部，模型将在图像中标识嘴部位置，并输出识别结果，包括嘴部的坐标和边界框，基于识别结果，提取包含嘴部的区域或边界框。这是第一婴幼儿嘴部图像的起点，输出第一婴幼儿嘴部图像，这是已从原始图像中提取的嘴部区域，这个图像可以用于进一步的分析或展示，如果有多个婴幼儿在同一图像中，可以重复以上步骤，以识别和提取每个婴幼儿的嘴部图像，针对识别到的嘴部图像，可以进行进一步的后处理，例如调整嘴部区域的大小、旋转或增加标记，以更好地突出嘴部。
S322：对所述第一婴幼儿嘴部图像进行颜色空间转换，输出颜色空间转换后的目标图像；
具体地，将嘴部位置图像从RGB颜色空间转换到HSV颜色空间是为了分析图像的色调、饱和度和亮度等特征，HSV颜色空间将颜色的表示分为色调(Hue)、饱和度(Saturation)和亮度(Value)三个通道。HSV颜色空间的色调通道提供了对颜色色调变化的敏感度，通过转换到HSV空间，更准确地分析嘴部区域图像的色调特征。
S323：对相邻两帧所述目标图像的色调通道均值进行计算，输出色调通道差值；
S324：当所述色调通道差值大于预设色调通道阈值时，识别为所述婴幼儿吐奶行为。
具体地，计算前一帧和当前帧图像嘴部区域的H通道数值，并计算它们的差值，如果差值超过或等于15，认为嘴部区域的色调通道发生了明显的变化，表明发生了吐奶行为。通过对前后两帧图像之间的H通道数值差值进行比较，可以识别出嘴部区域图像的色调变化作为吐奶行为的指标，提高吐奶行为识别的准确性。
S33：对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别。
在一实施例中，请参见图7，所述S33包括：
S331：对所述灰度兴趣图像进行婴幼儿嘴部识别，输出第二婴幼儿嘴部图像；
S332：对所述第二婴幼儿嘴部图像进行特征提取，输出所述灰度共生矩阵特征；
具体地，灰度共生矩阵是一种用于描述图像纹理特征的统计方法。在这一步骤中，将婴幼儿嘴部区域图像转换为灰度图像，并计算其灰度共生矩阵，灰度共生矩阵记录了不同像素值对在图像中出现的频率和位置关系。通过计算灰度共生矩阵，可以从婴幼儿嘴部区域图像中提取纹理特征。这些特征用于区分吐奶和非吐奶行为，因为吐奶行为会导致图像纹理的变化。
S333：将所述灰度共生矩阵输入预训练的分类模型中，输出婴幼儿吐奶行为识别结果。
具体地，使用训练好的SVM(支持向量机)分类器，将计算得到的灰度共生矩阵特征输入模型进行分类，SVM是一种监督学习算法，可以用于二分类问题，其中一个类别是吐奶，另一个类别是非吐奶。通过使用SVM分类器，根据灰度共生矩阵特征将婴幼儿嘴部区域的图像分类为吐奶和非吐奶，训练过程中，SVM模型学习了灰度共生矩阵特征与吐奶行为之间的关系，从而能够根据提取的特征对新的图像进行分类。
S4：当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。
具体地，当识别结果表明婴幼儿正在吐奶时，向用户发出看护提醒可以采取以下方式：通过发出特定的提示音或警报声，引起用户的注意，这种方式可以在用户周围产生明显的声音，提醒用户检查婴幼儿的情况；通过移动应用程序发送即时通知给用户的手机或其他移动设备。用户可以在收到通知时查看详细信息，了解婴幼儿的状态，并及时采取相应的行动；通过短信或电话直接联系用户，向其提供关于婴幼儿吐奶的提醒和建议。这种方式可以更直接地与用户进行沟通，确保用户及时知晓并采取必要的措施；如果用户有配备LED灯或显示屏的设备，可以在识别到吐奶行为时，通过闪烁、变色或显示相关提示信息的方式向用户提醒。通过以上提醒方式，用户能够及时获知婴幼儿的吐奶行为，以便采取相应的照顾和处理措施，提醒的方式应根据用户的需求和设备的功能进行选择，并确保提醒方式能够有效地吸引用户的注意力，同时，提醒内容应简明扼要地传达婴幼儿的状态，以便用户能够迅速作出反应。
实施例2
吐奶是婴幼儿阶段常见的生理现象，一些婴幼儿可能因为消化系统问题而吐奶，如食道返流或胃酸问题，表明存在病理性吐奶的问题，需要医生的干预和治疗，例如某些感染或疾病导致婴幼儿吐奶，如感冒、肠胃感染，同时，部分婴幼儿对母乳或配方奶粉中的某些成分过敏，导致吐奶，这也属于病理性吐奶，需要饮食管理和医疗建议；另外，也会发生生理性吐奶行为，婴幼儿因吃得太多而吐奶是相对常见的生理现象，吐奶在这种情况下通常是帮助婴幼儿排出多余的食物，并且，婴幼儿在吃奶时的不良体位或不良姿势也会导致吐奶。例如，如果一个婴幼儿在吃奶时头部太低或过高，会更容易吐奶，婴幼儿的食管和气管在早期可能未完全成熟，这也会导致生理性吐奶。区分病理性吐奶和生理性吐奶有助于早期发现潜在的健康问题，病理性吐奶可能是某些疾病或消化问题的症状，因此及早分类识别可以促使医生采取必要的治疗措施；而生理性吐奶通常是正常的反应，但需要调整喂奶方式，例如改变婴幼儿的体位，通过对吐奶行为进行进一步分类识别可以为家长和护理者提供指导，确保喂奶行为是适当的。
请参见图8，所述S4包括:
S41:当所述识别结果为婴幼儿在吐奶时，获取婴幼儿吐奶行为图像和吐奶之前的喂奶行为图像；
具体地，当所述识别结果为婴幼儿在吐奶时，获取婴幼儿吐奶行为图像和吐奶之前的喂奶行为图像；获取这些图像需要相应的设备，通常是摄像机或智能手机，确保设备的镜头清洁，以获得清晰的图像，为了获取清晰的图像，选择一个适当的角度和距离，通常，摄像机应该放置在婴幼儿吐奶的位置附近，以便拍摄吐奶行为，在婴幼儿进食之前，启动录像设备，确保能够捕捉到喂奶的全过程，包括婴幼儿吃奶的方式、婴幼儿的体位等，当婴幼儿开始吐奶时，继续录制图像，以便记录吐奶行为，观察吐奶的性质，如是否频繁、数量有多少，当吐奶行为结束后，停止录制图像，确保图像被妥善保存，以供后续分析或医生查看，获取的图像供医生或护理者分析，这些图像有助于确定吐奶是否病理性或生理性，并提供合适的建议，完成分析后，家长可以选择删除图像或保留以供记录，如果保存，确保图像存储在安全的地方，以防止未经授权的访问。
S42：依据所述婴幼儿吐奶行为图像和所述喂奶行为图像，对婴幼儿吐奶行为进行分类，识别病理性吐奶或生理性吐奶；
具体地，首先，对所述婴幼儿吐奶行为图像和所述喂奶行为图像进行预处理以确保其质量和一致性，包括调整图像的亮度、对比度和分辨率，以便更好地观察细节，从图像中提取与吐奶行为和喂奶行为相关的特征，所述特征至少包括婴幼儿的体位、吃奶的方式、吐奶的性质(如频率和量)，对提取的特征进行标记，以区分吐奶行为是病理性还是生理性的，建立一个机器学习或深度学习模型，用于根据提取的特征对吐奶行为进行分类，这个模型使用监督学习方法，其中已经标记了一组数据，模型通过学习这些数据来进行分类，对模型进行验证和评估，以确保其准确性和可靠性。这通常涉及将一部分数据用于训练，另一部分数据用于测试，以评估模型的性能，当模型训练并验证成功后，将其应用于实际情况，即实时监测婴幼儿的吐奶行为，识别病理性吐奶或生理性吐奶。
S43：若识别为病理性吐奶，则提醒用户采取对应的治疗措施；
具体地，若识别为病理性吐奶，则提醒用户采取对应的治疗措施；例如若婴幼儿的吐奶是由胃食道反流引起的，则使用药物，如质子泵抑制剂或抗反流药物，以减轻胃酸反流症状，同时改变婴幼儿的喂奶方式，例如更频繁地喂奶，使食物在胃内更少时间；若吐奶与食物过敏或不耐受有关，则建议母亲调整自己的饮食(如果母乳喂养)，或更换特殊配方奶，以避免引起过敏反应的食物；若吐奶是由于细菌感染引起的，使用抗生素进行治疗；对于炎症性肠病等情况，使用抗炎药物来减轻炎症。
S44：若识别为生理性吐奶，则提醒用户调整喂奶方式。
具体地，若识别为生理性吐奶，则提醒用户调整喂奶方式，婴幼儿的体位对吃奶和消化过程非常重要，用户可以尝试不同的体位，如将婴幼儿稍微高抬头部，以帮助食物更顺畅地进入胃部，减少吐奶的风险；也可以延长喂奶间隔，使婴幼儿吃得更加缓慢，以确保食物逐渐进入胃，而不会因吃得太快而吐奶；若婴幼儿常常吃得过多，可以尝试减少每次喂奶的量，以降低胃部的负担，从而减少吐奶的发生；喂奶后，用户可以轻轻拍婴幼儿的背部，以帮助排除食物中可能吞入的空气，减少吞咽气体的可能性。同时，温柔的抚触和亲近可以帮助婴幼儿更好地消化食物。
实施例3
请参见图9，本发明实施例3还提供了一种基于机器视觉的婴幼儿吐奶实时识别装置，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
预处理模块，用于对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
在一实施例中，所述预处理模块包括：
色彩分析子模块，用于对各所述图像进行色彩分析，输出彩色图像和灰度图像；
在一实施例中，所述色彩分析子模块包括：
色彩通道值分析单元，用于对各所述图像的各色彩通道值进行分析，输出分析结果；
灰度图像输出单元，用于若分析结果为各色彩通道值相同，则输出为灰度图像；
彩色图像输出单元，用于若分析结果为各色彩通道值不相同，则输出为彩色图像。
拉普拉斯变换子模块，用于分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像。
在一实施例中，所述拉普拉斯变换子模块包括：
婴幼儿脸部识别单元，用于对所述彩色图像和灰度图像进行婴幼儿脸部识别，输出婴幼儿脸部图像；
拉普拉斯变换单元，用于对所述婴幼儿脸部图像进行拉普拉斯变换，输出各婴幼儿脸部图像对应的拉普拉斯值；
兴趣图像输出单元，用于对各所述拉普拉斯值进行比较，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像。
吐奶识别模块，用于对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
在一实施例中，所述吐奶识别模块包括：
兴趣图像分类子模块，用于对所述兴趣图像进行分类，将所述兴趣图像分为彩色兴趣图像和灰度兴趣图像；
颜色阈值分析子模块，用于对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别；
在一实施例中，所述颜色阈值分析子模块包括：
第一婴幼儿嘴部图像输出单元，用于对所述彩色兴趣图像进行婴幼儿嘴部识别，输出第一婴幼儿嘴部图像；
颜色空间转换单元，用于对所述第一婴幼儿嘴部图像进行颜色空间转换，输出颜色空间转换后的目标图像；
色调通道均值计算单元，用于对相邻两帧所述目标图像的色调通道均值进行计算，输出色调通道差值；
婴幼儿吐奶行为识别单元，用于当所述色调通道差值大于预设色调通道阈值时，识别为所述婴幼儿吐奶行为。
特征提取子模块，用于对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别。
在一实施例中，所述特征提取子模块包括：
第二婴幼儿嘴部图像输出单元，用于对所述灰度兴趣图像进行婴幼儿嘴部识别，输出第二婴幼儿嘴部图像；
特征提取单元，用于对所述第二婴幼儿嘴部图像进行特征提取，输出所述灰度共生矩阵特征；
婴幼儿吐奶行为识别单元，用于将所述灰度共生矩阵输入预训练的分类模型中，输出婴幼儿吐奶行为识别结果。
看护提醒模块，用于当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。
具体地，采用本发明实施例提供的婴幼儿吐奶实时识别装置，所述装置包括：图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；预处理模块，用于对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；吐奶识别模块，用于对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；看护提醒模块，用于当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒。本装置使用实时视频流进行分析，可以实时监测婴幼儿的吐奶行为；在吐奶行为识别之前，对图像进行预处理以提取婴幼儿嘴部纹理符合要求的兴趣图像，这样做能够在不同光照条件下，将注意力集中在婴幼儿嘴部区域，提高吐奶行为识别的准确性和鲁棒性；当识别结果确认婴幼儿在吐奶时，系统会向用户发出看护提醒，这有助于家长或看护人员及时察觉婴幼儿的吐奶行为，并采取相应的照顾措施，确保婴幼儿的安全和健康。
在一实施例中，所述看护提醒模块包括：
吐奶行为图像和喂奶行为图像获取子模块，用于当所述识别结果为婴幼儿在吐奶时，获取婴幼儿吐奶行为图像和吐奶之前的喂奶行为图像；
吐奶行为分类子模块，用于依据所述婴幼儿吐奶行为图像和所述喂奶行为图像，对婴幼儿吐奶行为进行分类，识别病理性吐奶或生理性吐奶；
病理性吐奶提醒子模块，用于若识别为病理性吐奶，则提醒用户采取对应的治疗措施；
生理性吐奶提醒子模块，用于若识别为生理性吐奶，则提醒用户调整喂奶方式。
实施例4
另外，结合图1描述的本发明实施例1的基于机器视觉的婴幼儿吐奶实时识别方法可以由电子设备来实现。图10示出了本发明实施例4提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于机器视觉的婴幼儿吐奶实时识别方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图10所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于机器视觉的婴幼儿吐奶实时识别方法，其特征在于，所述方法包括：
S1：获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
S2：对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
S3：对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
S4：当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒；
所述S2包括：
S21：对各所述图像进行色彩分析，输出彩色图像和灰度图像；
S22：分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像；
所述S21包括：
S211：对各所述图像的各色彩通道值进行分析，输出分析结果；
S212：若分析结果为各色彩通道值相同，则输出为灰度图像；
S213：若分析结果为各色彩通道值不相同，则输出为彩色图像；
所述S22包括：
S221：对所述彩色图像和灰度图像进行婴幼儿脸部识别，输出婴幼儿脸部图像；
S222：对所述婴幼儿脸部图像进行拉普拉斯变换，输出各婴幼儿脸部图像对应的拉普拉斯值；
S223：对各所述拉普拉斯值进行比较，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像；
所述S3包括：
S31：对所述兴趣图像进行分类，将所述兴趣图像分为彩色兴趣图像和灰度兴趣图像；
S32：对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别；
S33：对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别；
所述S32包括：
S321：对所述彩色兴趣图像进行婴幼儿嘴部识别，输出第一婴幼儿嘴部图像；
S322：对所述第一婴幼儿嘴部图像进行颜色空间转换，输出颜色空间转换后的目标图像；
S323：对相邻两帧所述目标图像的色调通道均值进行计算，输出色调通道差值；
S324：当所述色调通道差值大于预设色调通道阈值时，识别为所述婴幼儿吐奶行为；
所述S33包括：
S331：对所述灰度兴趣图像进行婴幼儿嘴部识别，输出第二婴幼儿嘴部图像；
S332：对所述第二婴幼儿嘴部图像进行特征提取，输出所述灰度共生矩阵特征；
S333：将所述灰度共生矩阵输入预训练的分类模型中，输出婴幼儿吐奶行为识别结果。
2.根据权利要求1所述的基于机器视觉的婴幼儿吐奶实时识别方法，其特征在于，所述S4包括：
S41: 当所述识别结果为婴幼儿在吐奶时，获取婴幼儿吐奶行为图像和吐奶之前的喂奶行为图像；
S42：依据所述婴幼儿吐奶行为图像和所述喂奶行为图像，对婴幼儿吐奶行为进行分类，识别病理性吐奶或生理性吐奶；
S43：若识别为病理性吐奶，则提醒用户采取对应的治疗措施；
S44：若识别为生理性吐奶，则提醒用户调整喂奶方式。
3.一种基于机器视觉的婴幼儿吐奶实时识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取婴幼儿看护场景下的实时视频流，将所述实时视频流分解为多帧图像；
预处理模块，用于对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像；
吐奶识别模块，用于对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果；
看护提醒模块，用于当所述识别结果为婴幼儿在吐奶时，向用户发出看护提醒；
所述对各所述图像中进行预处理，输出婴幼儿嘴部纹理符合要求的兴趣图像包括：
对各所述图像进行色彩分析，输出彩色图像和灰度图像；
分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像；
所述对各所述图像进行色彩分析，输出彩色图像和灰度图像包括：
对各所述图像的各色彩通道值进行分析，输出分析结果；
若分析结果为各色彩通道值相同，则输出为灰度图像；
若分析结果为各色彩通道值不相同，则输出为彩色图像；
所述分别对所述彩色图像和灰度图像进行拉普拉斯变换，依据拉普拉斯变换结果，输出所述兴趣图像包括：
对所述彩色图像和灰度图像进行婴幼儿脸部识别，输出婴幼儿脸部图像；
对所述婴幼儿脸部图像进行拉普拉斯变换，输出各婴幼儿脸部图像对应的拉普拉斯值；
对各所述拉普拉斯值进行比较，输出各拉普拉斯值中的最大值对应的图像作为所述兴趣图像；
所述对所述兴趣图像进行婴幼儿吐奶识别，输出识别结果包括：
对所述兴趣图像进行分类，将所述兴趣图像分为彩色兴趣图像和灰度兴趣图像；
对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别；
对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别；
所述对所述彩色兴趣图像进行颜色阈值分析，依据婴幼儿吐奶的颜色变化，对婴幼儿吐奶行为进行识别包括：
对所述彩色兴趣图像进行婴幼儿嘴部识别，输出第一婴幼儿嘴部图像；
对所述第一婴幼儿嘴部图像进行颜色空间转换，输出颜色空间转换后的目标图像；
对相邻两帧所述目标图像的色调通道均值进行计算，输出色调通道差值；
当所述色调通道差值大于预设色调通道阈值时，识别为所述婴幼儿吐奶行为；
所述对所述灰度兴趣图像进行特征提取，依据提取出的灰度共生矩阵特征，对婴幼儿吐奶行为进行识别包括：
对所述灰度兴趣图像进行婴幼儿嘴部识别，输出第二婴幼儿嘴部图像；
对所述第二婴幼儿嘴部图像进行特征提取，输出所述灰度共生矩阵特征；
将所述灰度共生矩阵输入预训练的分类模型中，输出婴幼儿吐奶行为识别结果。
4.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-2中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398283.5A CN117315787B (zh) | 2023-10-25 | 2023-10-25 | 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398283.5A CN117315787B (zh) | 2023-10-25 | 2023-10-25 | 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315787A CN117315787A (zh) | 2023-12-29 |
| CN117315787B true CN117315787B (zh) | 2024-06-11 |
Family
ID=89242632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311398283.5A Active CN117315787B (zh) | 2023-10-25 | 2023-10-25 | 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315787B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118447580A (zh) * | 2024-07-08 | 2024-08-06 | 宁波星巡智能科技有限公司 | 基于机器视觉的吞咽障碍风险识别方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104093010A (zh) * | 2013-11-15 | 2014-10-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置 |
| CN110427923A (zh) * | 2019-09-05 | 2019-11-08 | 深圳市赛为智能股份有限公司 | 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 |
| CN110580741A (zh) * | 2019-09-05 | 2019-12-17 | 深圳市赛为智能股份有限公司 | 婴幼儿吐奶行为检测方法、装置、计算机设备及存储介质 |
| CN111524080A (zh) * | 2020-04-22 | 2020-08-11 | 杭州夭灵夭智能科技有限公司 | 脸部皮肤特征的识别方法、终端及计算机设备 |
| CN112766185A (zh) * | 2021-01-22 | 2021-05-07 | 燕山大学 | 基于深度学习的头部姿态监控方法、装置及系统 |
| CN215424553U (zh) * | 2021-01-13 | 2022-01-07 | 西南交通大学 | 一种婴儿睡眠安全辅助设备 |
| US11446466B1 (en) * | 2021-04-20 | 2022-09-20 | Nutrits Ltd. | Computer-based system for soothing a baby and methods of use thereof |
| CN115311714A (zh) * | 2022-08-05 | 2022-11-08 | 西安商汤智能科技有限公司 | 生理状态的检测方法、装置、设备、系统及存储介质 |
| CN116386106A (zh) * | 2023-03-16 | 2023-07-04 | 宁波星巡智能科技有限公司 | 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 |
| CN116682176A (zh) * | 2023-06-01 | 2023-09-01 | 武汉星巡智能科技有限公司 | 智能生成婴幼儿视频标签的方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621733B2 (en) * | 2017-12-31 | 2020-04-14 | Google Llc | Enhanced visualization of breathing or heartbeat of an infant or other monitored subject |
-
2023
- 2023-10-25 CN CN202311398283.5A patent/CN117315787B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104093010A (zh) * | 2013-11-15 | 2014-10-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置 |
| CN110427923A (zh) * | 2019-09-05 | 2019-11-08 | 深圳市赛为智能股份有限公司 | 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 |
| CN110580741A (zh) * | 2019-09-05 | 2019-12-17 | 深圳市赛为智能股份有限公司 | 婴幼儿吐奶行为检测方法、装置、计算机设备及存储介质 |
| CN111524080A (zh) * | 2020-04-22 | 2020-08-11 | 杭州夭灵夭智能科技有限公司 | 脸部皮肤特征的识别方法、终端及计算机设备 |
| CN215424553U (zh) * | 2021-01-13 | 2022-01-07 | 西南交通大学 | 一种婴儿睡眠安全辅助设备 |
| CN112766185A (zh) * | 2021-01-22 | 2021-05-07 | 燕山大学 | 基于深度学习的头部姿态监控方法、装置及系统 |
| US11446466B1 (en) * | 2021-04-20 | 2022-09-20 | Nutrits Ltd. | Computer-based system for soothing a baby and methods of use thereof |
| CN115311714A (zh) * | 2022-08-05 | 2022-11-08 | 西安商汤智能科技有限公司 | 生理状态的检测方法、装置、设备、系统及存储介质 |
| CN116386106A (zh) * | 2023-03-16 | 2023-07-04 | 宁波星巡智能科技有限公司 | 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 |
| CN116682176A (zh) * | 2023-06-01 | 2023-09-01 | 武汉星巡智能科技有限公司 | 智能生成婴幼儿视频标签的方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| A SPATIAL AND FREQUENCY BASED METHOD FOR MICRO FACIAL EXPRESSIONS RECOGNITION USING COLOR AND DEPTH IMAGES;SEYED MUHAMMAD HOSSEIN MOUSAVI;《JOURNAL OF SOFTWARE ENGINEERING & INTELLIGENT SYSTEMS》;20210430;11-27 * |
| Gray and color image contrast enhancement by the curvelet transform;J.-L. Starck等;《IEEE Transactions on Image Processing》;20030630;第12卷(第6期);706-717 * |
| 基于多尺度的多源图像融合技术;曹禹;《中国优秀硕士学位论文全文数据库_信息科技辑》;20180215;I138-1889 * |
| 基于视频的婴儿睡眠评估算法研究;蒲勇全;《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》;20191215;C030-20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117315787A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10504624B2 (en) | System and method for segmentation and automated measurement of chronic wound images | |
| CN108615051B (zh) | 基于深度学习的糖尿病视网膜图像分类方法及系统 | |
| US7319781B2 (en) | Method and system for multiple passes diagnostic alignment for in vivo images | |
| US20050075537A1 (en) | Method and system for real-time automatic abnormality detection for in vivo images | |
| EP1997076B1 (en) | Cascade analysis for intestinal contraction detection | |
| CN117315787B (zh) | 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备 | |
| US20220172828A1 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
| US10572997B2 (en) | System and method for detecting anomalies in an image captured in-vivo using color histogram association | |
| US8768024B1 (en) | System and method for real time detection of villi texture in an image stream of the gastrointestinal tract | |
| US20190122392A1 (en) | Image analyzing apparatus, image analyzing system, and method of operating image analyzing apparatus | |
| CN111242920A (zh) | 一种生物组织图像检测方法、装置、设备及介质 | |
| Ghosh et al. | Automatic bleeding detection in wireless capsule endoscopy based on RGB pixel intensity ratio | |
| Dmitry et al. | Review of features and metafeatures allowing recognition of abnormalities in the images of GIT | |
| Mathew et al. | Transform based bleeding detection technique for endoscopic images | |
| CN111798408B (zh) | 一种内窥镜干扰图像检测与分级系统及方法 | |
| CN110858396A (zh) | 生成子宫颈学习数据的系统和对子宫颈学习数据进行分类的方法 | |
| Ghosh et al. | Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy | |
| CN113768452B (zh) | 一种电子内窥镜智能计时方法及装置 | |
| WO2024093800A1 (zh) | 影像标定方法及装置、影像处理方法及装置、电子设备及存储介质 | |
| CN110110750B (zh) | 一种原始图片的分类方法及装置 | |
| KR102595429B1 (ko) | 장 정결도의 자동화 계산 장치 및 방법 | |
| Zhou et al. | Wireless capsule endoscopy video automatic segmentation | |
| Pan et al. | Bleeding detection from wireless capsule endoscopy images using improved euler distance in CIELab | |
| US9854958B1 (en) | System and method for automatic processing of images from an autonomous endoscopic capsule | |
| CN110084277B (zh) | 一种训练集的拆分方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |