CN115137405A - 自动化核酸检测车及核酸检测的采集方法 - Google Patents

自动化核酸检测车及核酸检测的采集方法 Download PDF

Info

Publication number
CN115137405A
CN115137405A CN202210737861.2A CN202210737861A CN115137405A CN 115137405 A CN115137405 A CN 115137405A CN 202210737861 A CN202210737861 A CN 202210737861A CN 115137405 A CN115137405 A CN 115137405A
Authority
CN
China
Prior art keywords
nucleic acid
swab
collected user
detection
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210737861.2A
Other languages
English (en)
Inventor
任卓卓
李楚
刘会龙
郭爱群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cancer Hospital
Original Assignee
Zhejiang Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cancer Hospital filed Critical Zhejiang Cancer Hospital
Priority to CN202210737861.2A priority Critical patent/CN115137405A/zh
Publication of CN115137405A publication Critical patent/CN115137405A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045Devices for taking samples of body liquids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045Devices for taking samples of body liquids
    • A61B10/0051Devices for taking samples of body liquids for taking saliva or sputum samples
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60PVEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00Vehicles adapted to transport, to carry or to comprise special loads or objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9554Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本发明公开了一种自动化核酸检测车及核酸检测方法,自动化核酸检测车包括自动采集区与检测区,所述自动采集区设有机械手、二维码扫描设备、消毒设备、语音交互设备、摄像头以及控制器,识别模块用于接收摄像头的图像数据,利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;提醒模块用于根据所述行为姿态是否符合采样规范的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作;第一控制模块用于当所述识别模块识别到被采集用户完成自测后控制所述机械手夹持拭子试管进行收纳处理,并控制消毒设备对所述自动采集区的部分区域进行消毒。

Description

自动化核酸检测车及核酸检测的采集方法
技术领域
本发明涉及控制领域,尤其涉及一种自动化核酸检测车及核酸检测的采集方法。
背景技术
新冠肺炎可通过检测识别,其中最常用的就是核酸检测,而咽拭子、鼻拭子取样是核酸检测中最主要的采样方法。常规检测过程中咽拭子取样大部分是通过人工操作实现,医护人员需要与患者近距离接触,受检者咳嗽、用力呼吸所产生的大量飞沫和气溶胶,会增大交叉感染的风险。因此,对相关工作人员的感染防护要求极高,工作人员穿着密不透风的防护服为受检者采集咽拭子样本,工作时间长、强度大,当环境温湿度不佳时,易造成工作人员不适、缺氧、晕厥甚至感染等严重事件。因此亟需改善核酸采样工作的条件、采样方式以降低风险、控制成本、提升医疗资源效率。如何实现自动化核酸采集是亟需解决的问题。
发明内容
针对上述技术问题,本发明提供了一种自动化核酸检测车及核酸检测的采集方法,可实现核酸自动化采集。
本发明的第一方面,提供一种自动化核酸检测车,包括:自动采集区与检测区,所述自动采集区设有机械手、二维码扫描设备、消毒设备、语音交互设备、摄像头以及控制器,所述二维码扫描设备扫描二维码后传输至所述控制器验证,所述控制器控制所述摄像头采集图像数据;所述控制器包括识别模块、提醒模块、第一控制模块;
所述识别模块用于接收摄像头的图像数据,利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;
所述提醒模块用于根据所述行为姿态是否符合采样规范的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作;
所述第一控制模块用于当所述识别模块识别到被采集用户完成自测后控制所述机械手夹持拭子试管进行收纳处理,并控制消毒设备对所述自动采集区的部分区域进行消毒。
在一可选实施方式中,所述识别模块还用于根据摄像头采集的图像数据定位被采集用户的口部、鼻部及其位置,所述控制器还包括第二控制模块,所述第二控制模块用于根据确定的所述被采集用户的口部或鼻子及位置控制所述机械手夹持拭子对被采集用户进行核酸采集;其中所述机械手面向被采集用户的端部设有雷达用以检测机械手与被采集用户的距离;所述第二控制模块还包括第一控制子单元,所述第一控制子单元用于根据雷达检测的机械手与被采集用户的距离调整机械手核酸采集过程中的移动幅度,所述机械手可夹持拭子至少进行转动与前后移动。
在一可选实施方式中,所述第二控制模块还包括第一控制子单元,所述第一控制子单元用于根据雷达检测的机械手与被采集用户的距离调整机械手核酸采集过程中的移动幅度,所述机械手可夹持拭子至少进行转动与前后移动。
在一可选实施方式中,所述识别模块包括第二识别单元,所述第二识别单元用于根据手臂姿态识别模型识别被采集用户的手臂关键点,并基于所述被采集用户的手臂关键点的移动状态判断被采集用户的行为姿态是否符合采样规范;其中所述手臂关键点包括手部、拭子,所述移动状态包括手部及拭子的前后移动状态,手部的转动状态。
在一可选实施方式中,所述机械手的前端设有硅胶夹持部用以夹持拭子,所述硅胶夹持部至少包括环形放置的三个硅胶垫,所述三个硅胶垫合围成一用于放置拭子的空间;所述硅胶夹持部设于可转动的底座上,所述底座转动时所述放置拭子的空间缩小或恢复;所述底座连接在一液动控制或气动控制的推动机构上,所述推动机构可使得所述底座前后移动。
在一可选实施方式中,所述检测区设有核酸提取装置、核酸扩增装置,以及核酸检测装置,所述检测区与所述自动采集区相互隔离,且所述自动采集区的拭子试管通过传送带传输至检测区,所述传送带经过一消毒区,该消毒区位于所述检测区与所述自动采集区之间,所述消毒区内置有消毒装置。
在一可选实施方式中,所述核酸提取装置、所述核酸扩增装置及所述核酸检测装置之间至少设有一个样品承载平台,所述样品承载平台设置于轨道上,所述样品承载平台可沿所述轨道移动至所述核酸提取装置、所述核酸扩增装置、所述核酸检测装置中任一装置的附近;所述样品承载平台上设有可拆卸的样品支架;所述样品支架上设有RFID标签,用以记录被采集用户信息、检测批次或检测结果,该RFID标签与设置在检测区的标签读写器配合使用。
在一可选实施方式中,所述样品承载平台面向工作人员的一侧设有雷达或超声波定位模块,所述雷达或超声波定位模块与样品承载平台的移动控制器连接,所述雷达或超声波定位模块检测工作人员的位置,所述移动控制器根据所述工作人员的位置控制所述样品承载平台、使样品承载平台跟随所述工作人员。
在一可选实施方式中,所述检测区还设有检测报告上传系统,所述检测报告上传系统连接有标签读写器,所述标签读写器读取所述RFID标签内容,所述检测报告上传系统根据所述标签内容批量上传核酸检测结果,或显示被采集用户的信息以供工作人员选取。
本发明的第二方面,提供一种核酸检测的采集方法,应用于本发明第一方面提供的所述自动化核酸检测车,其特征在于,包括:
响应于二维码扫描设备扫描二维码的数据验证,摄像头采集被采集用户的图像数据,根据被采集用户选择的采集模式启动相应于采集模式的神经网络模型;
利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;
根据所述行为姿态的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作;
当所述识别模块识别到被采集用户完成自测后控制机械手夹持拭子试管进行收纳处理,并控制消毒设备进行消毒。
本发明实施例的第四方面,提供一种核酸检测的采集方法,应用于自动化核酸检测车,包括:
响应于二维码扫描设备扫描二维码的数据验证,根据被采集用户选择的采集模式启动相应于采集模式的神经网络模型,控制摄像头采集被采集用户的图像数据;
根据摄像头采集的图像数据定位被采集用户的口部、鼻部及其位置,根据所述被采集用户的口型及位置控制机械手夹持拭子对被采集用户进行核酸采集;其中所述机械手面向被采集用户的端部设有雷达用以检测机械手与被采集用户的距离;
当所述识别模块识别到被采集用户完成自测后控制机械手夹持拭子试管进行收纳处理,并控制消毒设备进行消毒。
本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被计算机运行时,执行如本发明实施例的第二方面或第三方面所述的方法。
本发明旨在利用图像识别技术与智能控制技术实现对核酸采集的自动化处理,可辅助地提醒被采集用户自主进行核酸检测,也可以通过机械手夹持拭子对被采集用户进行自动化核酸采集;实现了核酸的自动化采集,解放了医护人员;采集中可进行消毒,能有效防止接触感染和交叉感染,提高了防疫控制效率。
附图说明
图1为本发明实施例中自动化核酸检测车的俯视示意图。
图2为本发明实施例中自动化核酸检测车的左侧透视示意图。
图3为本发明实施例中自动化核酸检测车的右侧透视示意图。
图4为本发明实施例中自动化核酸检测车自动采集区设置的模块示意图。
图5为本发明实施例中控制器的模块示意图。
图6为本发明实施例中机械手的示意图。
图7为本发明实施例中机械手前端的底座、硅胶夹持部、壳体的示意图。
图8为本发明实施例中样品承载平台的示意图。
图9为本发明实施例中自助核酸检测方法的流程示意图。
图10为本发明实施例中机械手自动化核酸检测方法的流程示意图。
自动采集区1;检测区2;二维码扫描设备3;消毒设备4;固定位置5;传送带6;消毒区7;机械手8;样品承载平台9;语音交互设备10;摄像头 11;控制器12;拭子13;底座14;硅胶垫15;壳体16;扰动部17;轨道18;样品支架19;传感器20;RFID标签21;检测设备22。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中存在多种核酸检测的设备,比如核酸提取、核酸扩增等,但自动化程度很低,且是独立配置的,操作依赖大量的人力劳动。尤其是医护人员,在防疫过程中不仅要进行防疫管理还需要快速输出核酸检测结果。医护人员是防护工作中重要的一环,若有人存在风险将会带来很大影响。因此有必要减少医护人员与其他人员接触的情况,实现核酸的自主检测与自动化检测非常有必要。若存在一种自动化程度高的核酸检测设备,则可以为核酸检测带来极大的便利。因此,本发明提供一种自动化核酸检测车及其检测方法,具体如下:
如图1、图2、图3、图4、图5所示,本发明提供的核酸检测车,车体被隔离为自动采集区1与检测区2,所述自动采集区1设有消毒区7、机械手8、二维码扫描设备3、消毒设备4、语音交互设备10、摄像头11以及控制器 12。所述二维码扫描设备3扫描二维码后传输至所述控制器12验证,验证通过后,所述控制器12控制所述摄像头11采集图像数据,并接收回传的图像数据。
其中,二维码扫描设备3用于扫描健康码,车载控制系统可以识别被采集用户的身份信息,经后台处理可实现将核酸检测结果绑定。所述机械手8 可以夹持鼻拭子或咽拭子,还可以夹持核酸采集试管等。语音交互设备10包括麦克风和扩音器、可以实现采集语音信息及播放语音提醒信息,便于在自动化过程中快速交互完成采集。消毒设备4可用于对机械手8及自动采集区1 内空间进行消毒,以及对于可发生传播感染的区域进行消毒,消毒设备4可设置多个。所述控制器12可包括多个控制芯片分别实现不同的控制功能,用以控制自动采集区1域内的各种设备。
所述控制器12包括识别模块、提醒模块和第一控制模块;基于该三种模块可利用人体姿态识别技术判断被采集用户的姿态是否满足自测条件,根据识别结果提醒被采集用户调整姿态等,利用姿态识别结果实现自助核酸采集,具体如下:
所述识别模块接收摄像头11采集的图像数据,利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范。
行为姿态的合规判断基础以核酸采集规范为准,例如核酸采集有一定的要求,咽拭子核酸检测是通过采集咽后壁处分泌物作为样本来检测,需持采样拭子越过舌根,在两侧咽扁桃体稍微用力上下擦拭至少各三次,然后在咽后壁(避开悬雍垂)擦拭至少三次。鼻拭子是在鼻腔采样,在鼻子内将拭子推进1.5厘米左右,转动至少四圈(转速不宜超过2πrad/s)。
一般被采集用户不一定懂得如何检测,或检测过程中不符合规范导致测试不准。因此可以利用神经网络模型来识别被采集用户的动作姿态是否满足操作规范来进行提醒辅助被采集用户。所述的操作规范的判断可以通过神经网络模型训练得出,通过计算被采集用户的行为图像中的特征值是否符合约束条件,实现对行为姿态的识别。
一种示例性实施方式中,在识别被测试用户的行为姿态时,主要识别被测试用户的手臂、手腕、手部、面部、头部的姿态。在实现过程中可利用收集多个用户核酸采集的行为姿态图像数据样本训练神经网络模型,达到识别行为姿态样本中的姿态关键部位的目的,训练过程中使用训练样本的置信度进行训练实现训练约束,直至所述神经网络模型的最小损失函数满足需求值。在训练过程中可主要标记训练样本的手臂、手部、头部、面部的数据,进一步地还可以标记采集用的拭子,以便于识别拭子,将拭子作为一项关键部位识别。在图像识别过程中,可以对关键部位的关键点坐标、向量计算,通过得到的欧式距离等信息进行进一步地识别判断。
进一步地,所述识别模块包括第二识别单元,所述第二识别单元根据用户的手臂姿态识别模型识别被采集用户的手臂关键点,并基于所述被采集用户的手臂关键点的移动状态判断被采集用户的行为姿态是否符合采样规范;其中所述手臂关键点包括手部、拭子,所述移动状态包括手部及拭子的前后移动状态,手部的转动状态。针对口腔,可以设置必要的摄像头识别口腔内的悬雍垂,采集中避开悬雍垂,例如可以利用机械手前端设置摄像头专采集口腔内部;可基于图像识别专门训练对于悬雍垂的识别,然后基于悬雍垂的位置划分采集区域;另外能否识别到悬雍垂还可以用于判断备采集人员口部张开是否规范。当然还可以设置更多地识别内容,以更好地辅助被采集用户规范采集行为姿态。
作为一种实施例,在判断所述行为姿态是否符合采样规范时,可通过设定神经网络模型识别被采集用户的手臂、手部的移动、头部的仰起动作、面部的口部张开等进行判断,通过识别手臂、手部的移动次数判断是否可以结束采集行为,或者已满足采集行为及规范需求结束采集行为。神经网络模型训练可以采用卷积神经网络(CNN)、全连接神经网络(FCN)、生成对抗网络 (GAN)等。
所述提醒模块用于根据所述行为姿态是否符合采样规范的判断结果利用语音交互设备10进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作。
在一种应用场景中,假设被采集用户在做咽拭子,需要判断被采集用户是否进行前后移动的动作、手腕是否转动的动作,以及前后移动作的次数。在一种采集场景中,被采集用户处于张嘴进行咽拭子状态,当检测到张嘴的幅度较小,则利用语音交互设备10提醒被测试用户将嘴型张大。可以采用 ResNet网络模型基于人脸关键点信息提取嘴巴区域,以椭圆拟合口型,将椭圆长短轴分别对应的上下嘴唇间与左右嘴角间的距离,获得口型张开程度,进而做出提醒。其中拭子的移动距离是一个重要参考,需要保证拭子触及必要的采集位置。
还可以基于YOLO-V3模型对被采集用户的手臂、手部、拭子的移动状态进行特征提取,检测图像中的手部(手与手腕)、手臂,将图片分成S*S个格子,使用手臂的Ground truth(正确的t标注)中心位置坐标落入的格子负责检测该手臂与手部,每个格子预测B个bounding box(包围盒)、置信度以及移动状态(包括前移、后移、转动)的类别概率。可先确定被采集用户满足至少三次的前后移动后再确定被采集用户的手腕至少转动三次,若被采集用户前后移动次数未达到三次则可以提醒被采集用户继续采集或重新开始采集;同样再识别手腕转动也是如此。过程中还可以在图像中识别咽拭子本体,检测咽拭子在图像中呈现的区域范围是否发生变化以及发生变化的多少(可转化为尺寸计算),从而判断被采集用户的操作是否标准。比如,采集到的咽拭子的显示的区域范围大于阈值则判断被测试用户操作不规范,所述咽拭子的显示区域范围至少三次小于或达到最小的显示区域范围,可以确定为规范行为,防止被采集用户行为幅度过小而导致不规范。以上行为判断及约束可以设置神经网络模型识别各参数进行实现。
作为另一种实施方式,假设被采集用户在做鼻拭子,需要判断被采集用户的手腕是否转动的动作,以及移动动作的次数。可同样采用神经网络识别实现方式来完成,利用上述咽拭子所述神经网络模型重新训练咽拭子用户行为姿态识别,主要识别被采集用户的头部是否仰起、手臂、手部的移动等。识别过程可参考咽拭子中的描述,不再赘述。
通常被采集用户有选择采集模式的需求,因此在采集前需要确定被采集用户需要的采集模式。例如,可以通过语音交互设备10接收被采集用户的语音信息,确定采集模式;当被采集用户说:“我要做咽拭子”,则采用咽拭子的采集模式,利用咽拭子神经网络识别模型对被采集用户进行行为姿态识别。当被采集用户说:“我要做鼻拭子”,则采用鼻拭子的采集模式,利用鼻拭子神经网络识别模型对被采集用户进行行为姿态识别。
在其他的实施方式中,比如护士的自测,通过健康码识别身份,判定被采集用户具有专业采集能力,仅识别被采集用户的口型或手臂、手部即可,无需进行语音提醒或指导。例如,被采集用户的口型张开若干时间后闭合,即判断完成采集。
为方便核酸采集拭子的收纳,自动化核酸检测车的自动采集区1可以固定设置一位置,专门用于放置用于收纳拭子的采集试管,当被采集用户完成采集后将拭子放置在采集试管内,控制器12可控制机械手8在相应的程序设定的坐标位置夹持采集试管,机械手8的坐标定位移动依据其运动坐标实现,属于已知技术,不再赘述。
当所述识别模块识别到被采集用户完成自测后,所述第一控制模块控制所述机械手8夹持拭子试管进行收纳处理,并控制消毒设备4对所述自动采集区1的部分区域进行消毒。第一控制模块可以在识别到手部脱离固定姿态时认为被采集用户完成了自测,当然过程中被采集用户未完成采集时手部脱离固定姿态时提醒被采集用户进行重新自测采集。其中手部脱离固定姿态是指手部脱离原有行为姿态的运动范围。在被采集用户完成自测后,所述第一控制模块向机械手8发送执行命令,机械手8执行拭子试管的转移工作。
其中在自动采集区1与检测区2之间通过传送带6连接,传送带6上设有多个装载拭子试管的孔位,机械手8可以将在固定位置5的拭子试管进行位置标定,夹取采集试管,然后夹持拭子试管至所述传送带6上。之后第一控制模块可以控制消毒设备4进行消毒,所述消毒设备4可至少设置两个(图中因为空间限制并未完全示出),一个位于自动采集区1的上部,一个位于下部,两个消毒设备4相向设置、可完成对自动采集区1及其内的设备进行消毒。所述消毒设备4可以采用现有市场上的喷淋设备连接消毒产品,当然消毒设备4可以固定于滑轨上,以方便移动地对自动采集区1进行全方位消毒,以降低病毒传播几率。
进一步地,所述检测区2设有核酸提取装置与核酸扩增装置等检测设备 22,医护人员可以在该检测区2对采集的试子进行检测。所述检测区2与所述自动采集区1相互隔离,避免两个区域感染。所述自动采集区1的拭子试管通过传送带6传输至检测区2,所述传送带6经过一消毒区7,该消毒区7 位于所述检测区2与所述自动采集区1之间,所述消毒区7内置有消毒装置。即拭子试管在传送带6上转移时需要经过该消毒区7进行二次消毒,避免传送带6和拭子试管造成检测区2的污染。
上述被采集用户自测的行为姿态识别提供了用户的自测功能,本发明还可以利用机械手8完成对被采集用户的完全自动化采集。具体的,所述控制器12还包括第二控制模块,所述识别模块可有多个处理芯片组成,该识别模块可以实现根据摄像头11采集的图像数据定位被采集用户的口部、鼻部及其位置,定位口腔、鼻孔等,进而通过控制器12控制机械手8自动化进行核酸采集。
在一种实施方式中,所述识别模块包括第一识别单元,所述第一识别单元利用ResNet网络模型检测被采集用户的脸部位置信息,并基于所述脸部位置信息确定被采集用户的口部或鼻子的位置。例如采用深度学习算法、k-临近算法、SVM算法等分类算法实现脸部信息识别及定位。在识别定位后需要判断被采集用户是否准备好被采集,进行咽拭子采集需要被采集用户口部张开,当进行鼻拭子时需要被采集用户头部仰起;利用摄像头识别口腔内的悬雍垂,采集中避开悬雍垂,可以利用机械手前端设置摄像头专采集口腔内部,定位悬雍垂,从而更好地定位口腔采集区域。可以采用本发明上述关于行为姿态识别的神经网络模型实现判断;可以实现地,当确定被采集用户的口部位置时判断口型是否张开,当确定鼻子的位置时需要确定鼻型是否仰起,神经网络模型可通过训练样本训练完成,具体不再赘述。
其中所述摄像头11摄于机械手8上,这样保持摄像头11可以与机械手8 共享坐标体系,二者之间的距离是固定的,便于计算;同时也便于摄像头11 采集被采集用户的面部图像,识别被采集用户的状态。
所述第二控制模块根据确定的所述被采集用户的口部或鼻子及位置控制所述机械手8夹持拭子对被采集用户进行核酸采集。机械手8可以在固定位置55获取试子,然后夹持试子按照设定的运动程序完成对被采集用户的采集。例如设定咽拭子来回擦拭至少三次,然后在咽后壁擦拭至少三次。鼻拭子是在鼻腔采样,在鼻子内将拭子推进1.5厘米左右,转动至少四圈。
自动化采集需要对采集区域准确的定位及有效的控制,因此需要更多地数据支持,比如在距离控制上,机械手8的移动范围应严格控制,避免造成事故。在一种实施方式中,所述机械手8面向被采集用户的端部设有雷达用以检测机械手8与被采集用户的距离,雷达与控制器12连接,雷达可配合机械手8上的摄像头11可以更好地确定采集区域。利用雷达传感器可以进行测距,在鼻拭子、咽拭子采集时机械手8的前后移动距离可以得到有效控制,控制器12可以依据雷达的检测数据控制所述机械手8前后移动;比如设定机械手8前移距离为1.5厘米,则该距离应是与被采集用户相对的固定距离,若被采集用户移动后则机械手8需要进行有效的距离补偿。
进一步地,所述第二控制模块还包括第一控制子单元,所述第一控制子单元根据雷达检测的机械手8与被采集用户的距离调整机械手8核酸采集过程中的移动幅度,所述机械手8可夹持拭子至少进行转动与前后移动。在做采集的过程中会引起被采集用户的身体不适反应,被采集用户的身体会进行应急性的后撤移动或小幅度位移。因此可以利用雷达测距检测与被采集用户的距离,若与初始检测距离增加20厘米,则被采集用户进行了后撤行为,可提醒被采集用户保持不动之后将机械手8前移20厘米,重新定位口部或鼻部进行核酸检测。当然若机械手8与被采集用户距离缩小一定距离时,为防止造成损伤,则控制机械手8相应地后移或直接撤出采集范围,远离被采集用户。采集过程中还可以利用其他摄像头11采集被采集用户的情绪,以进行安抚或进行语音沟通,举例可以利用情绪识别模型来实现。
更进一步地,见图4,所述机械手8臂的前端设有硅胶夹持部15用以夹持拭子13,该硅胶夹持部15被壳体16遮蔽密封。所述硅胶夹持部15至少包括环形放置的三个硅胶垫,所述三个硅胶垫合围成一用于放置拭子的空间;所述硅胶夹持部15设于可转动的底座14上,所述底座14与硅胶夹持部15 具有一定的摩擦阻力,底座14转动时可使得所述硅胶夹持部15的三个硅胶垫变形,变形后的三个硅胶垫围成的放置试子的空间变小,从而可以夹持试子。所述底座上设有扰动部17,可以进一步地使得所述硅胶垫扭转变形,扰动点可以设置为凸起形态,其可以与硅胶夹持部15的底部柔性板配合使用,底部的柔性板延伸了硅胶夹持部15的末端,以便更好的使硅胶夹持部15变形。
所述底座14可以连接于一电步进电机上,通过控制电机转动来完成夹持试子及松开试子进入采集试管,所述底座转动时所述放置拭子的空间缩小或恢复。机械手8臂的前后移动可以驱动机械手8臂的本体进行移动,较佳地,例如机械手8由多个机械手8臂组成,可以进行多个维度的移动。当然,所述底座也可以单独驱动,其连接在一液动控制或气动控制的推动机构上,所述推动机构可使得所述底座前后移动,所述推动机构可以利用液压组件杆、气动组件杆实现。
通过以上实施例可知,本申请将核酸采集及核酸检测集成于车体上,采集区域可以实现用户的自助采集以及全自动化的机械手8臂采集,过程中通过图像处理技术实现对采集的提醒或者机械手8采集的控制,结合语音提醒功能完善采集需求、保持与用户的主动沟通,同时利用消毒设备4进行消毒杀菌,放置病毒交叉传染。本发明可以有效解放医护人员的劳动力,实现自动化采集。
本发明提供的自动化核酸检测车还具有定位功能,该定位功能通过检测报告上传系统上传至云端,用户可以通过APP查询自动化核酸检测车的位置,就近完成核酸采集。当然,因为是车辆,可以由专业管理人员驾驶后前往目的区域,完成批量的核酸采集。
如图1及图2所示,可以在图1中的虚线位置再次将自动采集区1隔开,左边为用户自助采集区,右侧为机械手8自动化采集。其中自助采集区也可以作为应急处理区,及可以另防疫人员进入,人工在该区域内对用户进行采集。当然,图2中的虚线位置可以用于密封隔离,也可以是适当的物理隔离,在不影响采集的情况下可以不用隔开自动采集区。
更进一步地,如图6、图7、图8所示,所述核酸提取装置(例如试剂平台的摆放平台)、所述核酸扩增装置(例如扩增试剂的摆放平台)及所述核酸检测装置(例如PCR仪器)分布在检测区2的不同位置(均未具体图示),工作人员在不同的位置做不同的处理工作,但每次完成一次工作之后需要进行位置移动,过程中需要人工搬运,费时费力,放置位置不固定。因此可以上述三者设置之间设置至少一个样品承载平台9,所述样品承载平台9设置于轨道18上,所述样品承载平台9可沿所述轨道18移动至所述核酸提取装置、所述核酸扩增装置、所述核酸检测装置中任一装置的附近。这样工作人员将无需对批量的采集试管搬运、放置。
为方便控制与移动,在所述样品承载平台9面向工作人员的一侧设置传感器20用于定位工作人员的位置,比如设有雷达或超声波定位模块。所述雷达或超声波定位模块与上述样品承载平台9的移动控制器连接,所述雷达或超声波定位模块实时检测工作人员的位置,所述移动控制器根据所述工作人员的位置控制所述样品承载平台9、使样品承载平台9跟随所述工作人员。跟随的过程是相对位置移动,沿着所述轨道移动,比如选择最靠近工作人员的位置,或者与工作人员水平位置相对。其中移动控制器的控制可以控制样品承载平台9的驱动电机实现,样品承载平台9的移动可以根据雷达或超声波测距的数值来控制,比如工作人员向左移动,则控制样品承载平台向左移动;工作人员垂直远离样品承载平台9则保持位置不变。采用这种方式更智能化检测区,减少工作人员的劳动,使工作人员更专注于检测。
核酸检测的录入也是比较复杂的工作,可以利用数据的自动录入方式实现核酸检测报告的自动录入工作。所述样品承载平台9上设有可拆卸的样品支架19;所述样品支架19上设有RFID标签21,用以记录被采集用户信息、检测批次或检测结果,该RFID标签21与设置在检测区的标签读写器配合使用。举例而言,所述检测区还设有检测报告上传系统,所述检测报告上传系统连接有标签读写器,在所述样品承载平台9上设有可拆卸的样品支架;所述样品支架上设有RFID标签21,用以记录被采集用户信息、检测批次或检测结果。
在一种使用场景中,被采集用户扫描安康码后检测报告上传系统(检测报告上传系统可以由笔记本电脑实现,)将被采集用户的身份信息、检测批次; RFID标签21与设置在检测区的标签读写器配合使用,标签读写器将被采集用户的身份信息、检测批次读入RFID标签21。在检测出核酸结果时,需要将检测结果上传时,所述标签读写器读取带有信息数据的所述RFID标签21 的内容,所述检测报告上传系统根据所述标签内容可以批量显示本批次检测的被检测人员的信息,若检测全部为阴性,则可以一键上传检测结果,实现批量上传核酸检测结果,无需采用现有技术中多次扫描采集试管的二维码信息,相对更为快捷。当检测有阳性结果时,可以在检测报告上传系统显示被采集用户的信息以供工作人员选取,工作人员单独选取标记为阳性上传,其他自动上传结果为阴性。RFID标签21的读取与录入可基于现有系统进行实现,读取根据内容实现显示。
如图9所示,本发明还提供一种核酸检测的采集方法,应用于自动化核酸检测车,进行辅助核酸采集,包括以下步骤:
步骤610:响应于二维码扫描设备扫描二维码的数据验证,根据被采集用户选择的采集模式启动相应于采集模式的神经网络模型,控制摄像头采集被采集用户的图像数据。二维码扫描设备扫描健康码识别被采集用户的身份后即可控制自动化核酸检测车启动,摄像头开始采集图像数据。
被采集用户可以通过语音的方式说出需要进行的核酸采集模式,例如进行咽拭子自测、鼻拭子自测、机械手采集三种采集模式,根据被采集用户选择的采集模式启动相应的车体控制模式。
步骤620:利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范。
步骤630:根据所述行为姿态的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作。
例如,利用人体姿态识别技术判断被采集用户的姿态是否满足自测条件,根据识别结果提醒被采集用户调整姿态等;在实现过程中可利用收集多个用户核酸采集的行为姿态图像数据样本训练神经网络模型,达到识别行为姿态样本中的姿态关键部位的目的,训练过程中使用训练样本的置信度进行训练实现训练约束,直至所述神经网络模型的最小损失函数满足需求值。在训练过程中可主要标记训练样本的手臂、手部、头部、面部的数据,进一步地还可以标记采集用的拭子,以便于识别拭子,将拭子作为一项关键部位识别。在图像识别过程中,可以对关键部位的关键点坐标、向量计算,通过得到的欧式距离等信息进行进一步地识别判断。还可以基于YOLO-V3模型对被采集用户的手臂、手部、拭子的移动状态进行特征提取,来实现识别与提醒功能。
步骤640:所述识别模块识别到被采集用户完成自测后控制机械手夹持拭子试管进行收纳处理,并控制消毒设备进行消毒。
自动化核酸检测车的自动采集区可以固定设置一位置,专门用于放置用于收纳拭子的采集试管,当被采集用户完成采集后将拭子放置在采集试管内,控制器可控制机械手在相应的程序设定的坐标位置夹持采集试管,机械手的坐标定位移动依据其运动坐标实现。
更进一步地,如图10所示,当被采集用户选择机械手采集模式时,执行以下步骤:
步骤710:响应于二维码扫描设备扫描二维码的数据验证,根据被采集用户选择的采集模式启动相应于采集模式的神经网络模型,控制摄像头采集被采集用户的图像数据;
步骤720:利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;根据所述被采集用户的口型及位置控制机械手夹持拭子对被采集用户进行核酸采集;其中所述机械手面向被采集用户的端部设有雷达用以检测机械手与被采集用户的距离。
例如,利用ResNet网络模型检测被采集用户的脸部位置信息,并基于所述脸部位置信息确定被采集用户的口部或鼻子的位置。例如采用深度学习算法、k-临近算法、SVM算法等分类算法实现脸部信息识别及定位。在识别定位后需要判断被采集用户是否准备好被采集,进行咽拭子采集需要被采集用户口部张开,当进行鼻拭子时需要被采集用户头部仰起。可以采用本发明上述关于行为姿态识别的神经网络模型实现判断;可以实现地,当确定被采集用户的口部位置时判断口型是否张开,当确定鼻子的位置时需要确定鼻型是否仰起,神经网络模型可通过训练样本训练完成。
步骤730:当所述识别模块识别到被采集用户完成自测后控制机械手夹持拭子试管进行收纳处理,并控制消毒设备进行消毒。
上述两种核酸检测方法内容可参考本发明提供的自动化核酸检测车的相关内容理解,不再赘述。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述核酸采集方法的步骤。
可以理解,计算机可读存储介质可以包括:能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM, RandomAccessMemory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM, RandomAccessMemory)、以及软件分发介质等。
在本发明的某些实施方式中,装置可以包括控制器,控制器是一个单片机芯片,集成了处理器、存储器,通讯模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列 (Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自动化核酸检测车,其特征在于,包括:自动采集区与检测区,所述自动采集区设有机械手、二维码扫描设备、消毒设备、语音交互设备、摄像头以及控制器,所述二维码扫描设备扫描二维码后传输至所述控制器验证,所述控制器控制所述摄像头采集图像数据;所述控制器包括识别模块、提醒模块、第一控制模块;
所述识别模块用于接收摄像头的图像数据,利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;
所述提醒模块用于根据所述行为姿态是否符合采样规范的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作;
所述第一控制模块用于当所述识别模块识别到被采集用户完成自测后控制所述机械手夹持拭子试管进行收纳处理,并控制消毒设备对所述自动采集区的部分区域进行消毒。
2.根据权利要求1所述的核酸检测车,其特征在于,所述识别模块还用于根据摄像头采集的图像数据定位被采集用户的口部、鼻部及其位置,所述控制器还包括第二控制模块,所述第二控制模块用于根据确定的所述被采集用户的口部或鼻子及位置控制所述机械手夹持拭子对被采集用户进行核酸采集;其中所述机械手面向被采集用户的端部设有雷达用以检测机械手与被采集用户的距离;所述第二控制模块还包括第一控制子单元,所述第一控制子单元用于根据雷达检测的机械手与被采集用户的距离调整机械手核酸采集过程中的移动幅度,所述机械手可夹持拭子至少进行转动与前后移动。
3.根据权利要求1所述的核酸检测车,其特征在于,所述识别模块包括第二识别单元,所述第二识别单元用于根据手臂姿态识别模型识别被采集用户的手臂关键点,并基于所述被采集用户的手臂关键点的移动状态判断被采集用户的行为姿态是否符合采样规范;其中所述手臂关键点包括手部、拭子,所述移动状态包括手部及拭子的前后移动状态,手部的转动状态。
4.根据权利要求1所述的核酸检测车,其特征在于,所述机械手的前端设有硅胶夹持部用以夹持拭子,所述硅胶夹持部至少包括环形放置的三个硅胶垫,所述三个硅胶垫合围成一用于放置拭子的空间;所述硅胶夹持部设于可转动的底座上,所述底座转动时所述放置拭子的空间缩小或恢复;所述底座连接在一液动控制或气动控制的推动机构上,所述推动机构可使得所述底座前后移动。
5.根据权利要求1所述的核酸检测车,其特征在于,所述检测区设有核酸提取装置、核酸扩增装置,以及核酸检测装置,所述检测区与所述自动采集区相互隔离,且所述自动采集区的拭子试管通过传送带传输至检测区,所述传送带经过一消毒区,该消毒区位于所述检测区与所述自动采集区之间,所述消毒区内置有消毒装置。
6.根据权利要求5所述的核酸检测车,其特征在于,所述核酸提取装置、所述核酸扩增装置及所述核酸检测装置之间至少设有一个样品承载平台,所述样品承载平台设置于轨道上,所述样品承载平台可沿所述轨道移动至所述核酸提取装置、所述核酸扩增装置、所述核酸检测装置中任一装置的附近;所述样品承载平台上设有可拆卸的样品支架;所述样品支架上设有RFID标签,用以记录被采集用户信息、检测批次或检测结果,该RFID标签与设置在检测区的标签读写器配合使用。
7.根据权利要求6所述的核酸检测车,其特征在于,所述样品承载平台面向工作人员的一侧设有雷达或超声波定位模块,所述雷达或超声波定位模块与样品承载平台的移动控制器连接,所述雷达或超声波定位模块检测工作人员的位置,所述移动控制器根据所述工作人员的位置控制所述样品承载平台、使样品承载平台跟随所述工作人员。
8.根据权利要求6所述的核酸检测车,其特征在于,所述检测区还设有检测报告上传系统,所述检测报告上传系统连接有标签读写器,所述标签读写器读取所述RFID标签内容,所述检测报告上传系统根据所述标签内容批量上传核酸检测结果,或显示被采集用户的信息以供工作人员选取。
9.一种核酸检测的采集方法,应用于权利要求1所述的自动化核酸检测车,其特征在于,包括:
响应于二维码扫描设备扫描二维码的数据验证,根据被采集用户选择的采集模式启动相应于采集模式的神经网络模型,控制摄像头采集被采集用户的图像数据;
利用神经网络模型根据所述图像数据识别被采集用户进行自测的行为姿态,并判断所述行为姿态是否符合采样规范;
根据所述行为姿态的判断结果利用语音交互设备进行提醒,以矫正被采集用户自测的行为姿态,其中所述行为姿态包括手部动作和/或口型动作;
当所述识别模块识别到被采集用户完成自测后控制机械手夹持拭子试管进行收纳处理,并控制消毒设备进行消毒。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机运行时,执行如权利要求8或9中任一项所述的方法。
CN202210737861.2A 2022-06-27 2022-06-27 自动化核酸检测车及核酸检测的采集方法 Withdrawn CN115137405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210737861.2A CN115137405A (zh) 2022-06-27 2022-06-27 自动化核酸检测车及核酸检测的采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210737861.2A CN115137405A (zh) 2022-06-27 2022-06-27 自动化核酸检测车及核酸检测的采集方法

Publications (1)

Publication Number Publication Date
CN115137405A true CN115137405A (zh) 2022-10-04

Family

ID=83408879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210737861.2A Withdrawn CN115137405A (zh) 2022-06-27 2022-06-27 自动化核酸检测车及核酸检测的采集方法

Country Status (1)

Country Link
CN (1) CN115137405A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115759985A (zh) * 2022-11-21 2023-03-07 沈阳林旭网络科技有限公司 一种基于人工智能与数字化管理的核酸检测方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115759985A (zh) * 2022-11-21 2023-03-07 沈阳林旭网络科技有限公司 一种基于人工智能与数字化管理的核酸检测方法及设备

Similar Documents

Publication Publication Date Title
EP1940218B1 (en) Arrangement and method for visual detection in a milking system
CN110497443B (zh) 把持装置、带标签的容器、计算机可读存储介质及对象物把持方法
CN107874739A (zh) 眼底图像捕获系统
CN113100835B (zh) 人体生理样本采集系统
CN111839600A (zh) 一种全自动鼻咽拭子采集方法及装置
CN112472148A (zh) 一种核酸检测装置
CN115137405A (zh) 自动化核酸检测车及核酸检测的采集方法
CN113842172B (zh) 基于模板匹配与算数平均的咽后壁视触识别装置
CN114403936A (zh) 一种自动咽拭子采集系统以及自动咽拭子采集方法
EP4042371A1 (en) Method, system and computer readable storage media for registering intraoral measurements
CN113100834B (zh) 人体生理样本采集方法、装置、电子设备和存储介质
TWI773202B (zh) 用以基於影像匹配進行鼻咽採檢之方法與系統
JP2006102881A (ja) 把持ロボット装置
CN114129196A (zh) 一种咽拭子采样装置及方法
CN113130058A (zh) 手部卫生管理系统、方法、计算机设备及可读存储介质
CN111494687A (zh) 一种智能消杀系统
CN113257415A (zh) 健康数据收集装置和系统
US20230315099A1 (en) Program, cleaning device, and information processing method
CN115300155A (zh) 牙刷的工作区域识别方法、装置、电动牙刷和存储介质
CN116525133A (zh) 核酸的自动采集方法、系统、电子设备及介质
CN116725487A (zh) 激光美容诊疗区域识别系统
CN215306138U (zh) 核酸采集和疫苗接种一体化装置
US20230329565A1 (en) Device and method for detecting the medical status of a person
CN215810959U (zh) 非接触式设备运行状态监测装置
CN111967550B (zh) 一种基于人工智能的非接触式温度检测仪及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221004