CN111598865A - 基于热红外和rgb双摄的手足口病检测方法、装置及系统 - Google Patents

基于热红外和rgb双摄的手足口病检测方法、装置及系统 Download PDF

Info

Publication number
CN111598865A
CN111598865A CN202010407964.3A CN202010407964A CN111598865A CN 111598865 A CN111598865 A CN 111598865A CN 202010407964 A CN202010407964 A CN 202010407964A CN 111598865 A CN111598865 A CN 111598865A
Authority
CN
China
Prior art keywords
hand
detection
face
foot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010407964.3A
Other languages
English (en)
Other versions
CN111598865B (zh
Inventor
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaike Intelligent Technology Co ltd
Original Assignee
Shanghai Kaike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaike Intelligent Technology Co ltd filed Critical Shanghai Kaike Intelligent Technology Co ltd
Priority to CN202010407964.3A priority Critical patent/CN111598865B/zh
Publication of CN111598865A publication Critical patent/CN111598865A/zh
Application granted granted Critical
Publication of CN111598865B publication Critical patent/CN111598865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例公开了一种基于热红外和RGB双摄的手足口病检测方法、装置及系统。方法包括：通过热红外摄像头获取温度；通过RGB摄像头获取脸部和手部图像；将温度和人脸进行空间关联，以得到关联结果；采用改进的YOLO‑V3病灶检测网络对脸部和手部图像进行检测；结合温度、关联结果、脸部检测结果和手部检测结果进行联合判决，得到判决结果；根据判决结果触发是否告警。本发明可以同时完成体温测量和手足口检测，所有检测和计算在具有神经网络加速器的本地端1s内出检测结果，将体温和皮肤是否有丘疹，斑丘疹或疱疹病灶联合判决，提高了手足口病检测准确率，还设置了异常报警，可以提示工作人员对被检测者进行及时处理。

Description

基于热红外和RGB双摄的手足口病检测方法、装置及系统
技术领域
本发明涉及计算机视觉和疾病预防技术领域，具体涉及一种基于热红外和RGB双摄的手足口病检测方法、装置及系统。
背景技术
手足口病是5周岁左右小儿时期常见的一种传染疾病。目前在幼儿园大多采用保健医生测量体温，然后查看手掌手背、舌头、脸上嘴部是否有丘疹，斑丘疹或疱疹等病灶从而判决是否有手足口病，但这样容易导致医师疲劳疑似情况无法及时记录，且每个入园儿童通过时间在5-10秒比较缓慢。且医师和每个小朋友都接触检测，有充当中间宿主传播病毒的风险。
对于手足口病的检测，目前有以下两种方法：
第一种：采用图像采集前端和服务器后端分离方式，通过前端采集待测人的手部图片、脸部图片和舌头图片，然后上传到服务器使用SSD检测算法进行检测识别病灶，根据返回的结果判定是否患有手足口病，每个待检人耗时4-5秒。但该方法仍然无法自动测量待检人体温，且采用前后端方法耗时多，所采用的检测网络受上传图片待检区域尺寸、病灶目标大小及清晰度等因素影响，稳定性不佳。识别出疑似病症的图片无法和待测人身份匹配，不利于做回溯分析。
第二种：对于医疗诊断的场景，使用YOLO-V2对医生采集并剪切好的图片，对病灶上的丘疹、疱疹等逐一做目标标注，然后训练检测网络。该方法需要医生手动将待检目标图进行裁剪修正，不利于安装在入园处做自动化识别。且YOLO-V2对小目标检测效果不佳，需要输入网络识别前将皮肤图片进行分辨率调整。
现有的检测方法主要存在以下问题：
(1)目前技术无法同时自动化检测手足口症状和测量体温。
(2)采用前端采集和服务器识别方法待检通过速度慢，受网络带宽和服务器性能影响大。
(3)疑似病症图片和待测人身份无法匹配，不利于做回溯分析和病例跟踪。
(4)神经网络设计不合适，导致对输入图片限制过多且小目标漏检较多。
(5)缺少本地化一体检测排查和记录上报方案，不利于防控联动和及时上报。
发明内容
针对上述技术缺陷，本发明实施例提供了一种基于热红外和RGB双摄的手足口病检测方法、装置及系统。
为实现上述目的，第一方面，本发明实施例提供了一种基于热红外和RGB双摄的手足口病检测方法，包括：
通过热红外摄像头获取待检测者的当前温度信息；
通过RGB摄像头获取待检测者的脸部图像和手部图像，并根据所述脸部图像获取待检测者的人脸信息；
通过双摄像头空间校准将所述当前温度信息和人脸信息进行空间关联，以得到关联结果；
采用改进的YOLO-V3病灶检测网络对所述脸部图像和手部图像进行检测，以得到脸部检测结果和手部检测结果；
结合所述当前温度信息、关联结果、脸部检测结果和手部检测结果进行联合判决，得到判决结果；
根据所述判决结果触发是否告警。
作为本申请的一种具体实施方式，采用改进的YOLO-V3病灶检测网络对所述脸部图像进行检测，具体包括：
采用人脸检测器网络对所述脸部图像进行人脸检测，以检测出人脸框；
采用landmark检测网络对所述人脸框进行检测，以得到人脸的多个特征点；
从多个所述特征点中选择出嘴部特征点和鼻子特征点，根据选择出的嘴部特征点和鼻子特征点得到嘴部图片；
对所述嘴部图片进行校准和裁剪处理；
将校准和裁剪后的所述嘴部图片输入改进的YOLO-V3病灶检测网络进行检测。
作为本申请的一种具体实施方式，所述手部图像包括手掌图像和手背图像，采用改进的YOLO-V3病灶检测网络对所述手部图像进行检测，具体包括：
对所述手掌图像和手部图像进行等比缩放处理后，输入改进的YOLO-V3病灶检测网络进行检测。
进一步地，获取所述手部图像之后，所述方法还包括：
采用拉普拉斯算子评估所述手部图像是否满足清晰度要求，若不满足，则发出语音提示待测人再次伸出手掌和手背，若满足，则采用改进的YOLO-V3病灶检测网络对所述手部图像进行检测。
进一步地，所述方法还包括：
通过行为检测网络的行人检测框进行约束，以实现所述人脸图像、手掌图片和手背图像的关联；其中，在一个行人检测框里的手部和脸部为同一人。
作为本申请的一种具体实施方式，根据所述判决结果触发是否告警，具体包括：
面部嘴附近病灶检出数量大于高门限，或者手掌病灶检出数量大于高门限，或者手背病灶检出数量大于高门限，均作为告警输出；
嘴附近、手掌、手背如果病灶检出大于低数值门限且体温高于37.5度，也作为告警输出；
体温高于37.5度或者嘴附近、手掌、手背有至少一处病灶检出大于低门限，作为疑似输出。
进一步地，所述方法还包括：
按照人脸身份对嘴部图片及检测结果、手掌图片及检测结果、手背图片及检测结果、当前温度信息进行结构化存储，以得到结构化数据；
根据配置将所述结构化数据推送到云端。
第二方面，本发明实施例提供了一种基于热红外和RGB双摄的手足口病检测装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第四方面，本发明实施例还提供了一种基于热红外和RGB双摄的手足口病检测系统，包括热红外摄像头、RGB摄像头和检测装置。其中，该检测装置胡上述第二方面所述。
实施本发明实施例，可以同时完成体温测量和手足口检测，所有检测和计算在具有神经网络加速器的本地端1s内出检测结果，将体温和皮肤是否有丘疹，斑丘疹或疱疹病灶联合判决，提高了手足口病检测准确率，还设置了异常报警，可以提示工作人员对被检测者进行及时处理。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的基于热红外和RGB双摄的手足口病检测方法的流程示意图；
图2是本发明的系统流程框图；
图3是用于手足口病病灶检测的改进YOLO-V3网络的示意图；
图4是本发明实施例提供的基于热红外和RGB双摄的手足口病检测系统的结构框图；
图5是图4所示检测装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的发明构思为：由热红外摄像头和RGB摄像头组成双目摄像头采集模块，在具有神经网络加速单元的摄像机端进行信息检测和融合。其中的RGB摄像头采集图用于人脸抓拍身份识别、脸上嘴部手足口病病灶检测、手部检测和手部手足口病病灶检测。通过双摄像头空间校准可以将体温和人脸信息关联起来，同时结合脸部和手部的手足口病病灶检测结果，进行联合判决得到手足口病的判决结果，根据结果触发是否告警。判决结果按照人脸身份进行结构化存储，包括存储人脸身份信息、人脸嘴部特写图和手部照片特写图。结构化信息和告警信息都可以根据需求推送到云端。
需要说明的是，所提及的双目摄像头采集模块中，热红外摄像头和RGB摄像头针对工作距离选择合适的焦距，使得其在工作范围内可以标定位置关系，由热红外探测到的温度图和RGB抓取到的图可以进行空间关联。
请参考图1及图2，本发明实施例提供的基于热红外和RGB双摄的手足口病检测方法，可以包括：
S101，通过热红外摄像头获取待检测者的当前温度信息。
S102，通过RGB摄像头获取待检测者的脸部图像和手部图像，并根据所述脸部图像获取待检测者的人脸信息。
S103，通过双摄像头空间校准将所述当前温度信息和人脸信息进行空间关联，以得到关联结果。
S104，采用改进的YOLO-V3病灶检测网络对所述脸部图像和手部图像进行检测，以得到脸部检测结果和手部检测结果。
其中，改进的YOLO-V3病灶检测网络如图3所示。
具体地，采用改进的YOLO-V3病灶检测网络对所述脸部图像进行检测，具体包括：
采用人脸检测器网络Center-face对所述脸部图像进行人脸检测，以检测出人脸框；
采用landmark检测网络对所述人脸框进行检测，以得到人脸的68个特征点；
从多个所述特征点中选择出嘴部特征点和鼻子特征点，根据选择出的嘴部特征点和鼻子特征点得到嘴部图片；并将嘴部区域按照嘴角与鼻尖对准；
对所述嘴部图片进行校准和裁剪处理；例如，将嘴部图片裁剪并缩放到416×416的尺寸；
将校准和裁剪后的所述嘴部图片输入改进的YOLO-V3病灶检测网络进行检测。
需要说明的是，该网络加大了浅层宽度和深度，增大了表达能力，且将中间层特征反向融合到浅层，提高了小目标的检测性能。
具体地，手部图像包括手掌图像和手背图像，采用改进的YOLO-V3病灶检测网络对所述手部图像进行检测，具体包括：
对所述手掌图像和手部图像进行等比缩放处理后，输入改进的YOLO-V3病灶检测网络进行检测。
其中，输入改进的YOLO-V3病灶检测网络的手部图像应该是清晰的。
在被检测人伸出手掌和手背时，RGB摄像头采集到图像，本方法中采用手部检测网络对所采集到的图像进行手部检测，以得到手掌图像和手背图像。该手部检测网络是基于标注后的人手部图、采用YOLO-V3Tiny检测器训练得到的。得到上述手掌图像和手背图像后，会对其进行手部模糊度评估。本实施例中，采用拉普拉斯算子评估所检测出的手部图像是否过于模糊。例如待测人由于运动过快导致抓到的手部图很模糊，系统会发出语音提示待测人再次伸出手掌和手背。只有当手部图像的清晰度满足要求时，采用将手掌图像和手背图像等比缩放到416×416的大小，再送入前述的改进的YOLO-V3病灶检测网络对所述手部图像进行检测。
进一步地，本实施例中的方法还对人脸图像和手部图像进行关联，例如手掌和手背和人脸的关联通过行人检测网络的行人检测框进行约束，在一个行人检测框里面的手和脸部为同一个人。行人检测网络为使用coco数据集训练的YOLO-V3的行人检测网络。
S105，结合所述当前温度信息、关联结果、脸部检测结果和手部检测结果进行联合判决，得到判决结果。
S106，根据所述判决结果触发是否告警。
对于前述检测结果，采用加权信息融合的方式进行病理判决：面部嘴附近病灶检出数量大于高门限，或者手掌病灶检出数量大于高门限，或者手背病灶检出数量大于高门限，均作为告警输出。嘴附近、手掌、手背如果病灶检出大于低数值门限且体温高于37.5度，也作为告警输出。体温高于37.5度或者嘴附近、手掌、手背有至少一处病灶检出大于低门限，作为疑似输出。
进一步地，本发明实施例的方法还按照人脸身份对人脸嘴部图片及检出结果、手掌图片及检出结果、手背图片及检出结果、体温等信息进行结构化存储，并根据配置将结构化数据推送到云端，便于复查或疫情追溯。
从以上描述可以看出，本发明实施例可以同步检测待测人体温和面部、手部是否有手足口病的病灶，并提取待测人人脸特征用于身份识别。所有检测和计算在具有神经网络加速器的本地端1s内出检测结果，将体温和皮肤是否有丘疹，斑丘疹或疱疹病灶联合判决，提高了手足口病检测准确率。且本地端还可以设置异常报警，检测结果结构化信息还可以上传云端用于复查或疫情回溯，全程不需要医护人员交互参与，检测通行速度块，有利于防控联动和及时上报。
基于相同的发明构思，本发明实施例提供了一种基于热红外和RGB双摄的手足口病检测系统。如图4所示，该系统包括热红外摄像头和RGB摄像头组成的双摄数据采集端及检测装置。该双摄数据采集端用于采集人脸图像及手部图像等，检测装置用于对人脸图像及手部图像等进行处理。
具体地，如图5所示，该检测装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于热红外和RGB双摄的手足口病检测方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于热红外和RGB双摄的手足口病检测方法的实施例中所描述的实现方式，在此不再赘述。
进一步地，对应于基于热红外和RGB双摄的手足口病检测方法和活体判别装置，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于热红外和RGB双摄的手足口病检测方法。
所述计算机可读存储介质可以是前述实施例所述的检测装置的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于热红外和RGB双摄的手足口病检测方法，其特征在于，包括：
通过热红外摄像头获取待检测者的当前温度信息；
通过RGB摄像头获取待检测者的脸部图像和手部图像，并根据所述脸部图像获取待检测者的人脸信息；
通过双摄像头空间校准将所述当前温度信息和人脸信息进行空间关联，以得到关联结果；
采用改进的YOLO-V3病灶检测网络对所述脸部图像和手部图像进行检测，以得到脸部检测结果和手部检测结果；
结合所述当前温度信息、关联结果、脸部检测结果和手部检测结果进行联合判决，得到判决结果；
根据所述判决结果触发是否告警。
2.如权利要求1所述的手足口病检测方法，其特征在于，采用改进的YOLO-V3病灶检测网络对所述脸部图像进行检测，具体包括：
采用人脸检测器网络对所述脸部图像进行人脸检测，以检测出人脸框；
采用landmark检测网络对所述人脸框进行检测，以得到人脸的多个特征点；
从多个所述特征点中选择出嘴部特征点和鼻子特征点，根据选择出的嘴部特征点和鼻子特征点得到嘴部图片；
对所述嘴部图片进行校准和裁剪处理；
将校准和裁剪后的所述嘴部图片输入改进的YOLO-V3病灶检测网络进行检测。
3.如权利要求1所述的手足口病检测方法，其特征在于，所述手部图像包括手掌图像和手背图像，采用改进的YOLO-V3病灶检测网络对所述手部图像进行检测，具体包括：
对所述手掌图像和手部图像进行等比缩放处理后，输入改进的YOLO-V3病灶检测网络进行检测。
4.如权利要求3所述的手足口病检测方法，其特征在于，获取所述手部图像之后，所述方法还包括：
采用拉普拉斯算子评估所述手部图像是否满足清晰度要求，若不满足，则发出语音提示待测人再次伸出手掌和手背，若满足，则采用改进的YOLO-V3病灶检测网络对所述手部图像进行检测。
5.如权利要求3所述的手足口病检测方法，其特征在于，所述方法还包括：
通过行为检测网络的行人检测框进行约束，以实现所述人脸图像、手掌图片和手背图像的关联；其中，在一个行人检测框里的手部和脸部为同一人。
6.如权利要求1-5任一项所述的手足口病检测方法，其特征在于，根据所述判决结果触发是否告警，具体包括：
面部嘴附近病灶检出数量大于高门限，或者手掌病灶检出数量大于高门限，或者手背病灶检出数量大于高门限，均作为告警输出；
嘴附近、手掌、手背如果病灶检出大于低数值门限且体温高于37.5度，也作为告警输出；
体温高于37.5度或者嘴附近、手掌、手背有至少一处病灶检出大于低门限，作为疑似输出。
7.如权利要求3所述的手足口病检测方法，其特征在于，所述方法还包括：
按照人脸身份对嘴部图片及检测结果、手掌图片及检测结果、手背图片及检测结果、当前温度信息进行结构化存储，以得到结构化数据；
根据配置将所述结构化数据推送到云端。
8.一种基于热红外和RGB双摄的手足口病检测装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求6所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求6所述的方法。
10.一种基于热红外和RGB双摄的手足口病检测系统，包括热红外摄像头、RGB摄像头和检测装置，其特征在于，所述检测装置如权利要求8所述。
CN202010407964.3A 2020-05-14 2020-05-14 基于热红外和rgb双摄的手足口病检测方法、装置及系统 Active CN111598865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010407964.3A CN111598865B (zh) 2020-05-14 2020-05-14 基于热红外和rgb双摄的手足口病检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010407964.3A CN111598865B (zh) 2020-05-14 2020-05-14 基于热红外和rgb双摄的手足口病检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111598865A true CN111598865A (zh) 2020-08-28
CN111598865B CN111598865B (zh) 2023-05-16

Family

ID=72187072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010407964.3A Active CN111598865B (zh) 2020-05-14 2020-05-14 基于热红外和rgb双摄的手足口病检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111598865B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN112890767A (zh) * 2020-12-30 2021-06-04 浙江大学 一种口手足健康状态自动检测装置及方法
CN112971718A (zh) * 2021-02-05 2021-06-18 北京鹰之眼智能健康科技有限公司 证候识别方法、装置、电子设备及存储介质
CN113338396A (zh) * 2021-06-08 2021-09-03 合肥德铭电子有限公司 一种具有体温监测、手足口病监测和跟踪定位功能的一体化洗手装置
CN113487610A (zh) * 2021-09-07 2021-10-08 湖南超能机器人技术有限公司 疱疹图像识别方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1614617A (zh) * 2003-11-06 2005-05-11 张宏 实时检测及辅助诊断与治疗皮肤病性病的仪器系统
WO2015175681A1 (en) * 2014-05-15 2015-11-19 Fenwal, Inc. Head-mounted display device for use in a medical facility
US20170076444A1 (en) * 2013-12-23 2017-03-16 Galderma Research & Development Method of analyzing facial images for detecting a flush effect
CN107862694A (zh) * 2017-12-19 2018-03-30 济南大象信息技术有限公司 一种基于深度学习的手足口病检测系统
CN109102505A (zh) * 2018-08-17 2018-12-28 湖南超能机器人技术有限公司 基于图像的非接触式手掌疱疹检测系统及其检测方法
CN109464132A (zh) * 2019-01-11 2019-03-15 肖湘江 幼儿园机器人晨检系统
WO2019061293A1 (zh) * 2017-09-29 2019-04-04 深圳市大疆创新科技有限公司 对象检测方法、对象检测终端及计算机可读介质
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN209074574U (zh) * 2018-03-05 2019-07-09 Ykc Tech株式会社 手背、手指甲、脚皮肤诊断及健康检测装置
CN110008865A (zh) * 2019-03-25 2019-07-12 南京蒙特梭利健康科技有限公司 一种幼儿园晨检方法及其装置
CN110904208A (zh) * 2019-10-31 2020-03-24 华中科技大学 与cv-a6型手足口病重症易感性相关的snp位点及其应用

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1614617A (zh) * 2003-11-06 2005-05-11 张宏 实时检测及辅助诊断与治疗皮肤病性病的仪器系统
US20170076444A1 (en) * 2013-12-23 2017-03-16 Galderma Research & Development Method of analyzing facial images for detecting a flush effect
WO2015175681A1 (en) * 2014-05-15 2015-11-19 Fenwal, Inc. Head-mounted display device for use in a medical facility
WO2019061293A1 (zh) * 2017-09-29 2019-04-04 深圳市大疆创新科技有限公司 对象检测方法、对象检测终端及计算机可读介质
CN107862694A (zh) * 2017-12-19 2018-03-30 济南大象信息技术有限公司 一种基于深度学习的手足口病检测系统
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN209074574U (zh) * 2018-03-05 2019-07-09 Ykc Tech株式会社 手背、手指甲、脚皮肤诊断及健康检测装置
CN109102505A (zh) * 2018-08-17 2018-12-28 湖南超能机器人技术有限公司 基于图像的非接触式手掌疱疹检测系统及其检测方法
CN109464132A (zh) * 2019-01-11 2019-03-15 肖湘江 幼儿园机器人晨检系统
CN110008865A (zh) * 2019-03-25 2019-07-12 南京蒙特梭利健康科技有限公司 一种幼儿园晨检方法及其装置
CN110904208A (zh) * 2019-10-31 2020-03-24 华中科技大学 与cv-a6型手足口病重症易感性相关的snp位点及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
程丹婷;梁冀;潘小芳;卢英梅;黄世海;谭丽美;: "基于Tensorflow的人脸识别系统设计与实现" *
苏育挺;陈耀;吕卫;: "基于近红外图像的嵌入式人员在岗检测系统" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112890767A (zh) * 2020-12-30 2021-06-04 浙江大学 一种口手足健康状态自动检测装置及方法
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN112971718A (zh) * 2021-02-05 2021-06-18 北京鹰之眼智能健康科技有限公司 证候识别方法、装置、电子设备及存储介质
CN113338396A (zh) * 2021-06-08 2021-09-03 合肥德铭电子有限公司 一种具有体温监测、手足口病监测和跟踪定位功能的一体化洗手装置
CN113487610A (zh) * 2021-09-07 2021-10-08 湖南超能机器人技术有限公司 疱疹图像识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111598865B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN111598865A (zh) 基于热红外和rgb双摄的手足口病检测方法、装置及系统
JP3954484B2 (ja) 画像処理装置およびプログラム
KR102294193B1 (ko) 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
US9405364B2 (en) Method of determining reflections of light
JP2019118814A (ja) 機械学習ガイド付き撮影システム
JP2019509545A (ja) 生きた人の顔検証方法およびデバイス
CN106651827A (zh) 一种基于sift特征的眼底图像配准方法
WO2016161115A1 (en) System and methods for automatic polyp detection using convolutional neural networks
TWI617281B (zh) 傷口狀態分析方法與系統
US20140003738A1 (en) Method and apparatus for gaze point mapping
CN104966062B (zh) 视频监视方法和装置
JP2014192700A (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
CN111488775B (zh) 注视度判断装置及方法
Hsu et al. Hierarchical Network for Facial Palsy Detection.
CN101131727A (zh) 一种图像采集的方法及其应用
JP2021144752A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
WO2022227342A1 (zh) 眼底图像黄斑区域的识别检测方法和装置及设备
JP6266948B2 (ja) 黄疸測定システム
CN111814659B (zh) 一种活体检测方法、和系统
KR100874186B1 (ko) 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치
CN112525355A (zh) 图像处理方法、装置及设备
JP2020173781A (ja) 番号認識装置、方法及び電子機器
CN108510497B (zh) 视网膜图像病灶信息的显示方法及显示装置
WO2021093744A1 (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质
KR102247712B1 (ko) 빅데이터를 이용한 피부 진단 방법 및 피부 진단 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant