CN111446003A - 基于视觉识别的传染疾病检测机器人及其检测方法 - Google Patents
基于视觉识别的传染疾病检测机器人及其检测方法 Download PDFInfo
- Publication number
- CN111446003A CN111446003A CN202010182827.4A CN202010182827A CN111446003A CN 111446003 A CN111446003 A CN 111446003A CN 202010182827 A CN202010182827 A CN 202010182827A CN 111446003 A CN111446003 A CN 111446003A
- Authority
- CN
- China
- Prior art keywords
- image
- secretion
- collector
- detection
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 208000015181 infectious disease Diseases 0.000 title claims abstract description 20
- 208000035473 Communicable disease Diseases 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 230000028327 secretion Effects 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000007635 classification algorithm Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 230000002265 prevention Effects 0.000 abstract description 2
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 238000010606 normalization Methods 0.000 description 5
- 241000711573 Coronaviridae Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明公开了基于视觉识别的传染疾病检测机器人及其检测方法，相比于传统技术，通过协作机器人、视觉子系统和计算机的配合功能，能够准确获取采集者的咽部分泌物图像，进而可将所获取的图像与分泌物模板图像进行一系列对比处理，从而可区分采集者的咽部分泌物图像与分泌物模板图像之间的差别，最终能够准确找到采集者咽部分泌物提取的位置，以驱动协作机器人进行采集，可见，本发明实施例的检测结构配合检测方法，智能化程度较高，能够智能简便地识别患者特征部位并对其进行机器化检测，有效提高了疾病检测率，大大减小了医务人员的工作负担，能够为疫情防控出一份力。
Description
技术领域
本发明涉及医疗疾病检测领域，尤其是基于视觉识别的传染疾病检测机器人及其检测方法。
背景技术
目前，新型冠状病毒疫情正在肆虐全球，给世界人民带来了极大的灾难，其传染性十分强，其实不仅是新冠状病毒，许多人类肺部疾病都具有极强的传染性，而传染性病毒的检测对于医生而言具有较高的危险，虽然医院的医生有较强的防护措施，但仍存在着感染的可能性。现今，大多通过咽拭子检测法来检测这类疾病，其是由人工检测的，需要医护人员及医生引导患者进行检测，相对费时费力且具有感染风险，并且不能保证检测准确率，因此，随着疫情不断发展，新型的检测方式越来越被广大人民所重视。
发明内容
为了解决上述问题，本发明的目的是提供基于视觉识别的传染疾病检测机器人及其检测方法，能够智能简便地识别患者特征部位并对其进行机器化检测，有效提高了疾病检测率，大大减小了医务人员的工作负担，能够为疫情防控出一份力。
为了弥补现有技术的不足，本发明实施例采用的技术方案是：
基于视觉识别的传染疾病检测机器人，包括：
协作机器人，作为检测终端；
视觉子系统，用于获取采集者的口腔位置图像并将所述图像实现上传，设置于所述协作机器人上；
计算机，用于根据所述图像控制所述协作机器人获取采集者的口腔分泌物，与所述协作机器人相连接。
进一步地，本技术方案还包括用于供采集者输入身份信息的人机交互模块，所述计算机内设置有用于存储采集者身份信息的数据库，所述人机交互模块与所述数据库相连通。
进一步地，所述视觉子系统采用至少一个摄像头。
机器人的传染疾病检测方法，包括以下步骤：
通过所述计算机和所述视觉子系统获取分泌物模板图像和采集者咽部分泌物图像，并分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集；
根据所述匹配集对所述分泌物模板图像进行仿射变换，得到待测区域图像；
获取采集者咽部分泌物图像位于所述分泌物模板图像内的位置信息，根据所述位置信息确定所述采集者咽部分泌物图像的检测区域图像；
比较所述待测区域图像是否与所述检测区域图像一致，若一致，则控制所述协作机器人根据所述检测区域图像获取采集者的口腔分泌物，否则，控制所述协作机器人根据所述待测区域图像获取采集者的口腔分泌物。
进一步地，采用ORB特征提取算法执行分泌物模板图像和采集者咽部分泌物图像的描述子提取。
进一步地，基于KNN分类算法对分泌物模板图像和采集者咽部分泌物图像的描述子进行特征匹配。
进一步地，所述的分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集，还包括：对所述匹配集中的各描述子匹配对进行过滤，得到优化后的匹配集。
进一步地，所述的比较所述待测区域图像是否与所述检测区域图像一致，包括以下步骤：
对所述待测区域图像与所述检测区域图像分别进行灰度化处理和高通滤波处理，并经坐标转换得到两者在极坐标下的梯度幅度；
对两者的所述梯度幅度进行归一化并统计，得到模板直方图比较因子和待测直方图比较因子；
通过比较模板直方图比较因子和待测直方图比较因子是否一致则可对应表征所述待测区域图像与所述检测区域图像是否一致。
进一步地，当控制所述协作机器人获取采集者的口腔分泌物时，基于视觉子系统对采集者脸部表情进行识别，包括以下步骤：
获取采集者脸部图像样本并初始化；
基于留一法将所述样本分为若干组，且每次仅测试一组中的一个样本，使余下样本进行训练，得到平均训练样本；
以人眼位置为基准获取人脸范围，对人脸图像进行分割；
对所述平均训练样本依次进行数据降维、特征提取以及特征分类，实现采集者脸部表情识别。
本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：通过协作机器人、视觉子系统和计算机的配合功能，能够准确获取采集者的咽部分泌物图像，进而可将所获取的图像与分泌物模板图像进行一系列对比处理，从而可区分采集者的咽部分泌物图像与分泌物模板图像之间的差别，最终能够准确找到采集者咽部分泌物提取的位置，以驱动协作机器人进行采集，可见，本发明实施例的检测结构配合检测方法，智能化程度较高，能够智能简便地识别患者特征部位并对其进行机器化检测，有效提高了疾病检测率，大大减小了医务人员的工作负担，能够为疫情防控出一份力。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图给出本发明较佳实施例，以详细说明本发明的实施方案。
图1是本发明实施例的基于视觉识别的传染疾病检测机器人的结构示意框图；
图2是本发明实施例的机器人的传染疾病检测方法的步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
下面结合附图，对本发明实施例作进一步阐述。
参照图1，本发明实施例的基于视觉识别的传染疾病检测机器人，包括：
协作机器人200，作为检测终端；
视觉子系统100，用于获取采集者的口腔位置图像并将所述图像实现上传，设置于所述协作机器人200上；
计算机300，用于根据所述图像控制所述协作机器人200获取采集者的口腔分泌物，与所述协作机器人200相连接。
参照图2，本发明实施例的机器人的传染疾病检测方法，包括以下步骤：
S100、通过所述计算机300和所述视觉子系统100获取分泌物模板图像和采集者咽部分泌物图像，并分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集；
S200、根据所述匹配集对所述分泌物模板图像进行仿射变换，得到待测区域图像；
S300、获取采集者咽部分泌物图像位于所述分泌物模板图像内的位置信息，根据所述位置信息确定所述采集者咽部分泌物图像的检测区域图像；
S400、比较所述待测区域图像是否与所述检测区域图像一致，若一致，则控制所述协作机器人200根据所述检测区域图像获取采集者的口腔分泌物，否则，控制所述协作机器人200根据所述待测区域图像获取采集者的口腔分泌物。
在本实施例中，通过协作机器人200、视觉子系统100和计算机300的配合功能，能够准确获取采集者的咽部分泌物图像，进而可将所获取的图像与分泌物模板图像进行一系列对比处理，从而可区分采集者的咽部分泌物图像与分泌物模板图像之间的差别，最终能够准确找到采集者咽部分泌物提取的位置，以驱动协作机器人200进行采集，可见，本发明实施例的检测结构配合检测方法，智能化程度较高，能够智能简便地识别患者特征部位并对其进行机器化检测，有效提高了疾病检测率，大大减小了医务人员的工作负担，能够为疫情防控出一份力。
优选地,视觉子系统100采用至少一个摄像头。具体地，摄像头或者其组合便于获取，拍摄效果好，易于广泛使用。
其中，参照图1，发明人还设计了用于供采集者输入身份信息的人机交互模块400，所述计算机300内设置有用于存储采集者身份信息的数据库500，所述人机交互模块400与所述数据库500相连通。具体地，通过人机交互模块400能够准确获取并记录采集者信息，以便计算机300能够对相关采集者的信息进行筛选，从而实现精准控制协作机器人200，尤其是，该数据库500可以与电子标签实现互通，即在采集者相对应的器皿上标注电子标签，使得采集者的信息管理更加有效。
同时，发明人还设计了语音模块集成于协作机器人200上，能够向采集者描述采集过程中应注意的特定事项，并在需要采集者进行配合时进行提醒，更具人性化。
更进一步地，在机器人的传染疾病检测方法中，采用ORB特征提取算法执行分泌物模板图像和采集者咽部分泌物图像的描述子提取。
具体地，ORB特征提取算法是一种基于视觉信息的特征点检测与描述算法，特征点检测部分利用运算速度特别快的FAST角点检测子，并针对FAST特征不具备方向的问题，加入了FAST特征的方向信息，而特征点描述部分则是利用基于像素点二进制位比较的BRIEF特征描述子，并改进了BRIEF描述子对图像噪声敏感和不具备旋转不变形的缺点，ORB特征提取算法结合角点检测算法与特征描述算法，具有计算速度快、适合实时监测等特点，适用于本实施例中的分泌物模板图像和采集者咽部分泌物图像的描述子提取。
更进一步地，基于KNN分类算法对分泌物模板图像和采集者咽部分泌物图像的描述子进行特征匹配。
具体地，K最近邻(K Nearest Neighbors,KNN)分类算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有该类别上样本的特性，该算法在确定分类决策上只依据最近邻的一个或者几个样本的类别来决定待分样本所属的类别，只与极少量的相邻样本有关，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN分类算法更具有优势，同时KNN分类算法具有简单、易于实现、无需估计参数和训练的特点，因此本实施方式利用KNN分类算法对分泌物模板图像描述子和采集者咽部分泌物图像描述子进行特征匹配，有利于提高特征匹配速度，提高物体视觉检测的效率。
更进一步地，所述的分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集，还包括：对所述匹配集中的各描述子匹配对进行过滤，得到优化后的匹配集。
具体地，一种手段是：判断描述子匹配对的间距离的比值是否小于阈值，例如，设置阈值为0.5，如果描述子匹配对的间距离的比值小于0.5，表明描述子匹配对较优，因此将其归入匹配集，按照上述方法对描述子匹配对进行过滤后，满足间距离的比值小于阈值的描述子匹配对组成了匹配集，因此该匹配集实质上是一个更加优质的匹配集，通过描述子匹配对进行过滤，得到优质的匹配集，从而可进一步实现对分泌物图像的更优的仿射变换，得到更可靠的待测图像。
更进一步地，所述的比较所述待测区域图像是否与所述检测区域图像一致，包括以下步骤：
对所述待测区域图像与所述检测区域图像分别进行灰度化处理和高通滤波处理，并经坐标转换得到两者在极坐标下的梯度幅度；
对两者的所述梯度幅度进行归一化并统计，得到模板直方图比较因子和待测直方图比较因子；
通过比较模板直方图比较因子和待测直方图比较因子是否一致则可对应表征所述待测区域图像与所述检测区域图像是否一致。
具体地，对检测区域图像和待测区域图像分别进行灰度化处理后，利用OpenCV提供的Sobel算子对经灰度化处理后的检测区域图像和待测区域图像分别取X方向、Y方向进行高通滤波；然后，利用OpenCV提供的CartToPolar函数将高通滤波后的图像从笛卡尔坐标系转换至极坐标系，得到极坐标系下的检测区域图像和待测区域图像各自分别对应的梯度幅度；对检测区域图像和待测区域图像各自分别对应的梯度幅度进行归一化处理，其中归一化处理过程中所采用的区间可以根据检测区域图像或者待测区域图像的尺寸确定，从而兼顾梯度运算的计算效率，合理分配系统资源，优选地归一化处理的区间为0～63，即将梯度幅度归一化到0～63的整数；对归一化处理后的梯度幅度分别进行统计，统计检测区域图像和待测区域图像所有像素分布在归一化处理的区间内数目，统计结果即为直方图比较因子，因此分别统计检测区域图像和待测区域图像所有像素分布在0～63内对应的数目，最终可得到模板直方图比较因子和待测直方图比较因子。
并且，基于对于采集者的人性化考虑，发明人还设计了步骤，当控制所述协作机器人200获取采集者的口腔分泌物时，基于视觉子系统100对采集者脸部表情进行识别，包括以下步骤：
获取采集者脸部图像样本并初始化；
基于留一法将所述样本分为若干组，且每次仅测试一组中的一个样本，使余下样本进行训练，得到平均训练样本；
以人眼位置为基准获取人脸范围，对人脸图像进行分割；
对所述平均训练样本依次进行数据降维、特征提取以及特征分类，实现采集者脸部表情识别。
具体地，在对对人脸图像进行分割后，可采用直方图均衡降低光照因素对图像造成的影响，且优选采用PCA算法对训练样本进行数据降维，采用欧氏距离最近邻法实现特征分类；通过采用上述方法得到采集者的人脸表情后，可以基于PID算法控制协作机器人200采集力度，若采集人出现难受的表情，则可对应减小采集的力度，从而更具有人性化。
以上内容对本发明的较佳实施例和基本原理作了详细论述，但本发明并不局限于上述实施方式，熟悉本领域的技术人员应该了解在不违背本发明精神的前提下还会有各种等同变形和替换，这些等同变形和替换都落入要求保护的本发明范围内。
Claims (9)
1.基于视觉识别的传染疾病检测机器人，其特征在于，包括：
协作机器人，作为检测终端；
视觉子系统，用于获取采集者的口腔位置图像并将所述图像实现上传，设置于所述协作机器人上；
计算机，用于根据所述图像控制所述协作机器人获取采集者的口腔分泌物，与所述协作机器人相连接。
2.根据权利要求1所述的基于视觉识别的传染疾病检测机器人，其特征在于：还包括用于供采集者输入身份信息的人机交互模块，所述计算机内设置有用于存储采集者身份信息的数据库，所述人机交互模块与所述数据库相连通。
3.根据权利要求1所述的基于视觉识别的传染疾病检测机器人，其特征在于：所述视觉子系统采用至少一个摄像头。
4.如权利要求1至3任一所述的机器人的传染疾病检测方法，其特征在于，包括以下步骤：
通过所述计算机和所述视觉子系统获取分泌物模板图像和采集者咽部分泌物图像，并分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集；
根据所述匹配集对所述分泌物模板图像进行仿射变换，得到待测区域图像；
获取采集者咽部分泌物图像位于所述分泌物模板图像内的位置信息，根据所述位置信息确定所述采集者咽部分泌物图像的检测区域图像；
比较所述待测区域图像是否与所述检测区域图像一致，若一致，则控制所述协作机器人根据所述检测区域图像获取采集者的口腔分泌物，否则，控制所述协作机器人根据所述待测区域图像获取采集者的口腔分泌物。
5.根据权利要求4所述的机器人传染疾病检测方法，其特征在于，采用ORB特征提取算法执行分泌物模板图像和采集者咽部分泌物图像的描述子提取。
6.根据权利要求4所述的机器人传染疾病检测方法，其特征在于：基于KNN分类算法对分泌物模板图像和采集者咽部分泌物图像的描述子进行特征匹配。
7.根据权利要求4至6任一所述的机器人传染疾病检测方法，其特征在于，所述的分别提取分泌物模板图像和采集者咽部分泌物图像的描述子，且对二者的描述子进行特征匹配，得到匹配集，还包括：对所述匹配集中的各描述子匹配对进行过滤，得到优化后的匹配集。
8.根据权利要求4所述的机器人传染疾病检测方法，其特征在于，所述的比较所述待测区域图像是否与所述检测区域图像一致，包括以下步骤：
对所述待测区域图像与所述检测区域图像分别进行灰度化处理和高通滤波处理，并经坐标转换得到两者在极坐标下的梯度幅度；
对两者的所述梯度幅度进行归一化并统计，得到模板直方图比较因子和待测直方图比较因子；
通过比较模板直方图比较因子和待测直方图比较因子是否一致则可对应表征所述待测区域图像与所述检测区域图像是否一致。
9.根据权利要求4所述的机器人传染疾病检测方法，其特征在于，当控制所述协作机器人获取采集者的口腔分泌物时，基于视觉子系统对采集者脸部表情进行识别，包括以下步骤：
获取采集者脸部图像样本并初始化；
基于留一法将所述样本分为若干组，且每次仅测试一组中的一个样本，使余下样本进行训练，得到平均训练样本；
以人眼位置为基准获取人脸范围，对人脸图像进行分割；
对所述平均训练样本依次进行数据降维、特征提取以及特征分类，实现采集者脸部表情识别。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182827.4A CN111446003A (zh) | 2020-03-16 | 2020-03-16 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
| PCT/CN2020/112541 WO2021184690A1 (zh) | 2020-03-16 | 2020-08-31 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010182827.4A CN111446003A (zh) | 2020-03-16 | 2020-03-16 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111446003A true CN111446003A (zh) | 2020-07-24 |
Family
ID=71648893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010182827.4A Pending CN111446003A (zh) | 2020-03-16 | 2020-03-16 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111446003A (zh) |
| WO (1) | WO2021184690A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184690A1 (zh) * | 2020-03-16 | 2021-09-23 | 五邑大学 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831389A (zh) * | 2012-06-28 | 2012-12-19 | 北京工业大学 | 基于判别分量分析的人脸表情识别算法 |
| CN106056597A (zh) * | 2016-05-26 | 2016-10-26 | 广州视源电子科技股份有限公司 | 物体视觉检测方法及装置 |
| CN107563280A (zh) * | 2017-07-24 | 2018-01-09 | 南京道熵信息技术有限公司 | 基于多模型的人脸识别方法和装置 |
| CN108705536A (zh) * | 2018-06-05 | 2018-10-26 | 雅客智慧（北京）科技有限公司 | 一种基于视觉导航的牙科机器人路径规划系统及方法 |
| CN110063869A (zh) * | 2019-01-25 | 2019-07-30 | 鲁班嫡系机器人（深圳）有限公司 | 一种具有保护功能的按摩执行器系统及保护方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2901129A4 (en) * | 2012-09-26 | 2016-11-02 | Ibis Biosciences Inc | DUTCH INTERFACE FOR A MICROFLUIDIC DEVICE |
| CN105388288B (zh) * | 2015-10-21 | 2016-08-24 | 广东和信健康科技有限公司 | 人呼吸道病原体的流式细胞检测试剂盒、方法和细胞固定液 |
| CN107584488A (zh) * | 2016-07-08 | 2018-01-16 | 浙江星星冷链集成股份有限公司 | 一种机器人的视觉引导方法 |
| CN107887024A (zh) * | 2017-12-14 | 2018-04-06 | 华子昂 | 基于中医机器人的智能诊断系统及中医机器人 |
| CN111446003A (zh) * | 2020-03-16 | 2020-07-24 | 五邑大学 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
-
2020
- 2020-03-16 CN CN202010182827.4A patent/CN111446003A/zh active Pending
- 2020-08-31 WO PCT/CN2020/112541 patent/WO2021184690A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831389A (zh) * | 2012-06-28 | 2012-12-19 | 北京工业大学 | 基于判别分量分析的人脸表情识别算法 |
| CN106056597A (zh) * | 2016-05-26 | 2016-10-26 | 广州视源电子科技股份有限公司 | 物体视觉检测方法及装置 |
| CN107563280A (zh) * | 2017-07-24 | 2018-01-09 | 南京道熵信息技术有限公司 | 基于多模型的人脸识别方法和装置 |
| CN108705536A (zh) * | 2018-06-05 | 2018-10-26 | 雅客智慧（北京）科技有限公司 | 一种基于视觉导航的牙科机器人路径规划系统及方法 |
| CN110063869A (zh) * | 2019-01-25 | 2019-07-30 | 鲁班嫡系机器人（深圳）有限公司 | 一种具有保护功能的按摩执行器系统及保护方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵睿;张钊;刘立;甘中学;贾婷婷;冯杭;朱亮;乔波;邢乐君;张海钟;吴子忠;: "一种自助式口腔疾病早期诊断及口腔洁治机器人系统设计", no. 23, pages 3348 - 3350 * |
| 郑广新闻星云工作室: "最新！钟南山团队等研发咽拭子采样机器人：有望减少医护人员感染", pages 1, Retrieved from the Internet <URL:https://view.inews.qq.com/k/20200310A0W02Y00?web_channel=wap&openApp=false> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184690A1 (zh) * | 2020-03-16 | 2021-09-23 | 五邑大学 | 基于视觉识别的传染疾病检测机器人及其检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021184690A1 (zh) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190540B (zh) | 活检区域预测方法、图像识别方法、装置和存储介质 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN106997629A (zh) | 门禁控制方法、装置及系统 | |
| CN109145742A (zh) | 一种行人识别方法及系统 | |
| CN1885314A (zh) | 一种虹膜图像预处理方法 | |
| CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
| CN110188715A (zh) | 一种多帧检测投票的视频人脸活体检测方法 | |
| CN108710822A (zh) | 一种基于红外阵列传感器的人员跌倒检测系统 | |
| Wang et al. | Automated classification model with OTSU and CNN method for premature ventricular contraction detection | |
| Yan et al. | A novel deep learning method for red lesions detection using hybrid feature | |
| Aleem et al. | Fast and accurate retinal identification system: Using retinal blood vasculature landmarks | |
| CN112434638A (zh) | 一种人脸面部表情识别分类与分析系统 | |
| CN111860453A (zh) | 一种戴口罩的人脸识别方法 | |
| CN111446003A (zh) | 基于视觉识别的传染疾病检测机器人及其检测方法 | |
| CN110782441A (zh) | 一种基于深度学习的dr影像肺结核智能分割与检测方法 | |
| CN108596057B (zh) | 一种基于人脸识别的信息安全管理系统 | |
| CN116884082A (zh) | 一种放疗室用患者安全监控系统及方法 | |
| CN116109871A (zh) | 一种血清状态识别方法、装置、设备及存储介质 | |
| CN106845361B (zh) | 一种行人头部识别方法及系统 | |
| Bhardwaj et al. | Two-tier grading system for npdr severities of diabetic retinopathy in retinal fundus images | |
| CN113920071A (zh) | 一种基于卷积神经网络算法的新冠病毒图像识别方法 | |
| Joykutty et al. | Automatic tuberculosis detection using adaptive thresholding in chest radiographs | |
| CN113222984A (zh) | 基于细粒度图像识别及目标检测算法的x光片新冠肺炎识别检测方法 | |
| Li et al. | Detection and recognition of lung nodules in medical images using chaotic ant colony algorithm | |
| CN112149559A (zh) | 人脸识别方法、装置、可读存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |