CN116091963B - 临床试验机构质量评估方法、装置、电子设备及存储介质 - Google Patents
临床试验机构质量评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116091963B CN116091963B CN202211653871.4A CN202211653871A CN116091963B CN 116091963 B CN116091963 B CN 116091963B CN 202211653871 A CN202211653871 A CN 202211653871A CN 116091963 B CN116091963 B CN 116091963B
- Authority
- CN
- China
- Prior art keywords
- behavior
- image frame
- target behavior
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012360 testing method Methods 0.000 title claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 title abstract description 12
- 230000006399 behavior Effects 0.000 claims abstract description 283
- 238000004458 analytical method Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000001303 quality assessment method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 10
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 206010039722 scoliosis Diseases 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 235000020847 Body for Life Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Game Theory and Decision Science (AREA)
- Psychiatry (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种临床试验机构质量评估方法、装置、电子设备及存储介质，该方法包括：通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对操作行为进行分析，得到行为分析结果；基于行为分析结果确定行为分类和持续时间；从行为分类中选取视频关键帧，与对应的图像模板进行匹配度计算，得到匹配度；当匹配度达到预设阈值，且持续时间处于预设范围时，判断临床试验机构对目标医疗器械的操作达到要求。本发明实施例采用视频监控的方式，通过对操作行为的匹配度和持续时间进行分析，对临床试验机构操作目标医疗器械的行为进行质量评估，规范临床试验机构的操作行为的同时，也为目标医疗器械后续的使用效果评估提供依据。
Description
技术领域
本发明实施例涉及CRO技术领域，具体涉及一种临床试验机构质量评估方法、装置、电子设备及存储介质。
背景技术
医疗器械是现代临床诊断、治疗、疾病防控、公共卫生和健康保障体系中最为重要的基础装备，上市前需要确保其有效性和安全性，临床试验是验证医疗器械上市前安全性和有效性的核心方法之一。医疗器械临床试验是指在经资质认定的医疗器械临床试验机构中，对拟申请注册的医疗器械在正常使用条件下的安全性和有效性进行确认或者验证的过程。
除对临床试验机构在资质材料例如GMP证书、营业执照以及CRA、CRC简历、知情同意书等进行审核外，虽然也对医疗器械的检验报告进行审核，并未对医疗器械的操作规范进行评估，从而在一些场景，特别是康复治疗等作用于人体的三类医疗器械，则可能会导致临床试验的风险不可控。
因此，在临床试验机构质量评估时，目标医疗器械即临床试验机构要进行临床试验的医疗器械的操作规范监控和审核，也是对临床试验机构质量评估的关键一环。
发明内容
为了克服现有技术的不足，本发明实施例的目的在于提供一种临床试验机构质量评估方法、装置、电子设备及存储介质，其可以对临床试验机构在操作目标医疗器械时的行为进行监控，从而达到对临床试验机构质量评估的目的。
为解决上述问题，本发明实施例第一方面公开一种临床试验机构质量评估方法，其包括以下步骤：
通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果；
基于所述行为分析结果确定行为分类和持续时间；
从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度；
当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求。
作为可选的方案，在本发明实施例的第一方面中，对所述操作行为进行分析，得到行为分析结果，包括：
使用Openpose模型对视频采集的方式得到的视频数据中的人体姿态进行检测，获取每一帧图像的人体关键点特征集合；
基于所述行为分析结果确定行为分类和持续时间，包括：
将所述人体关键点特征集合输入分类器，得到每一帧图像的行为分类；
确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间。
作为可选的方案，在本发明实施例的第一方面中，确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间，包括：
确定目标行为分类对应的图像帧序号，构成目标行为图像帧集合；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像；
获取所述目标行为类别图像的总数，基于所述目标行为类别图像总数和采样频率确定持续时间。
作为可选的方案，在本发明实施例的第一方面中，判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像，包括：
如果目标行为图像帧集合中所有的图像帧的序号均连续，则将所述目标行为图像帧集合的所有图像帧均作为目标行为类别图像；
如果目标行为图像帧集合中所有的图像帧的序号并不全部连续，获取目标行为图像帧集合中存在多个连续的目标行为图像帧子集合，然后：
判断相邻两个目标行为图像帧子集合之间的最小序号差，如果所述最小序号差小于预设差值，则将所述最小序号差小于预设差值的相邻两个目标行为图像帧子集合以及二者之间的图像帧合并成一个目标行为图像帧子集合，按照这种方式直至无法进行目标行为图像帧子集合的合并，获取最终的目标行为图像帧子集合，将所述最终的目标行为图像帧子集合中所有图像帧均作为目标行为类别图像；或/和，将图像帧数大于或等于预设帧数的所有目标行为图像帧子集合中所有图像帧均作为目标行为类别图像。
作为可选的方案，在本发明实施例的第一方面中，从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度，包括：
从所述目标行为类别图像中任意选取一帧作为目标行为的视频关键帧，记为目标视频关键帧；
使用相似度算法比对所述目标视频关键帧和所述目标行为对应的图像模板之前的相似度。
作为可选的方案，在本发明实施例的第一方面中，当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求，包括：
当所有行为分类对应的匹配度均达到对应的预设阈值，且所有行为分类对应的持续时间均处于对应的预设范围时，则判断所述临床试验机构对所述目标医疗器械的操作达到要求。
作为可选的方案，在本发明实施例的第一方面中，所述对所述操作行为进行分析，得到行为分析结果之前，还包括：
对所述视频采集的方式得到的视频数据进行预处理；
或/和，
使用slow-fast网络或仅使用slow-fast网络中的fast通道对所述视频采集的方式得到的视频数据进行初步分析。
本发明实施例第二方面公开了一种临床试验机构质量评估装置，其包括：
分析单元，用于通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果；
确定单元，用于基于所述行为分析结果确定行为分类和持续时间；
匹配单元，用于从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度；
判断单元，用于当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种临床试验机构质量评估方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种临床试验机构质量评估方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种临床试验机构质量评估方法。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种临床试验机构质量评估方法。
与现有技术相比，本发明实施例的有益效果在于：
1、本发明主要针对作用于人体或/和三级医疗器械的操作行为进行监控，从而降低试验风险；
2、采用视频监控的方式，通过对操作行为的匹配度和持续时间进行分析，对临床试验机构操作目标医疗器械的行为进行质量评估，规范临床试验机构的操作行为的同时，也为目标医疗器械后续的使用效果提供较为准确的依据。
附图说明
图1是本发明实施例提供的一种临床试验机构质量评估方法的流程示意图；
图2是本发明实施例公开的一种临床试验机构质量评估装置的结构示意图；
图3是本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
本具体实施方式仅仅是对本发明实施例的解释，其并不是对本发明实施例的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明实施例的权利要求范围内都受到专利法的保护。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明采用视频监控的方式，通过对操作行为的匹配度和持续时间进行分析，对临床试验机构操作目标医疗器械的行为进行质量评估，规范临床试验机构的操作行为的同时，也为目标医疗器械后续的使用效果提供较为准确的依据，以下结合附图进行详细描述。
实施例一
请参阅图1，图1是本发明实施例公开的一种临床试验机构质量评估方法的流程示意图。如图1所示，该临床试验机构质量评估方法包括以下步骤：
S110、通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果。
本发明实施例中的目标医疗器械是指临床试验机构进行临床试验时所操控的医疗器械，其由对应的生产厂商生产、CRO机构研发，以及临床试验机构进行临床试验，当然，在一些其他的场景中，CRO机构可以负责研发和临床试验的全部流程。
目标医疗器械，在本发明较佳的实施例中，优选为三级医疗器械，即植入人体用于维持生命的医疗器械，或者作用于人体起到康复和使用效果的医疗器械。这些目标医疗器械，对操作人员的操作规范要求非常严格，且会带来较大的风险的可能性。
通过视频采集的方式获取目标医疗器械的操作人员的操作行为，是通过摄像头或摄像机对操作空间内的操作人员操作目标医疗器械的过程进行监控和记录。
这里的操作人员分为两种情形，一种是对目标医疗器械进行操作，以使目标医疗器械作用于病人，例如术后康复医疗器械，或者之于人体用于维持生命的医疗器械等，这时的操作人员是指操控目标医疗器械的人员，一般为医师，另一种是使用目标医疗器械用于相应训练的操作人员，例如脊柱侧弯矫正训练的目标医疗器械，此时的操作人员是指训练人员。
在目标医疗器械占用空间较小时，可以通过一个全景摄像头实现监控，得到其采集的视频数据，用于操作行为分析，当目标医疗器械较大，使得一个摄像头在监控过程中出现遮挡的情况时，可以通过多个摄像头同时进行监控，然后使用这些摄像头采集的视频图像进行拼接后得到的视频数据进行操作行为分析。
获取到的视频数据，在做操作行为分析之前，可以先进行一些预处理，预处理包括但不限于图像增强，或者图像矫正等。
其中，图像矫正是基于图像特征自动自动检测出图像倾斜方向和倾斜角度，然后通过补充相应的倾斜角度达到图像矫正的目的；倾斜角度方法包括但不限于基于投影的方法、基于Hough变换方法、基于线性回归算法，以及使用傅里叶变换到频域来检测的方法等。
图像增强主要解决由于图像的灰度级范围较小造成的对比度较低的问题，目的就是将输出图像的灰度级放大到指定的程度，使得图像中的细节看起来增加清晰。图像增强方法包括但不限于伽马变换、直方图正规化、直方图均衡化以及局部自适应直方图均衡化等。
操作行为分析的方法有多种，在本发明较佳的实施例中，使用Openpose模型实现。
由于Openpose模型会对所有的视频数据进行一一识别，这种方式存在以下缺陷：识别效率低，在视频数据中会存在大量无效图像，如果对所有的视频图像数据均进行识别，则识别时间较长；而且使用Openpose模型会占用相应的执行主体大量的内存，导致处理速度过慢，而且还易出现系统崩溃的可能性。
在本发明较佳的实施例中，在使用Openpose模型得对视频数据中的人体姿态进行检测之前，还对视频数据进行粗检的过程。
粗检是通过对视频数据中具有操作人员作用于目标医疗器械的图像进行筛选，从而筛选出仅包括操作人员和目标医疗器械在一帧视频图像上，且操作人员和目标医疗器械之间有接触的视频图像，这些视频图像构成初筛视频数据，后续的人体姿态检测，即可基于这些初筛视频数据进行。
在本发明较佳的实施例中，可以通过Slowfast网络完成初筛，也以仅使用Slowfast网络中的fast网络完成初筛。
Slowfast网络广泛应用于目标检测领域，可以通过目标检测(操作人员和目标医疗器械)的检测得到包括有操作人员的视频图像，然后再判断操作人员和目标医疗器械的关系，从而确定满足上述条件的初筛视频数据。
Openpose模型用于人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源库；可以实现人体动作、面部表情、手指运动等姿态估计。
使用Openpose模型进行人体姿态检测的过程包括：
首先，向预先训练的Openpose模型输入一幅图像，经过VGG19卷积网络提取特征，得到一组特征图，分别使用CNN网络提取该组特征图的Part Confidence Maps(PCM置信度)和Part Affinity Fields(PAF关联度)；
其中，置信度用于表征人体关键点的位置信息，PAF用于表征人体关键点的的亲和力信息，亲和力高的人体关键点会相连，得到这两个信息后，使用图论中的BipartiteMatching(偶匹配)求出Part Association，将同一个人的人体关键点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架。
在本发明较佳的实施例中，将整体骨架对应的人体关键点特征集合即人体关键点以及人体关键点之间的连接关系输入到预先训练好的分类器中，得到每张视频图像的行为分类，该行为分类结果即为行为分析结果。
在本发明实施例中，分类器优选使用LSTM网络，当然，在其他的实施例中，还可以采用其他的分类模型，例如随机森林或者支持向量机等。
S120、基于所述行为分析结果确定行为分类和持续时间。
由步骤S110可知，行为分析结果包括有行为分类结果，即每个初筛视频数据对应的行为分类。基于该行为分类，则可以判断每个行为分类的持续时间。
在本发明较佳的实施例中，对于操作人员的行为是否满足规范性要求，一方面是要确定其行为是否与图像模板相匹配，即行为是否规范，另一方面还要保证操作行为的持续时间处于预设范围中，即操作行为不能缺斤短两，也不能盲目拉长相应的操作行为时间。
示例性地，应用于康复医疗器械的操作行为时，例如，对于脊柱侧弯的矫正康复的医疗器械中，假设包括六个行为分类步骤：背部拉伸、芭蕾式拉伸、锻炼腰部、胸肌拉伸、脊柱拉伸和胸椎旋转，则需要确定每个行为分类的持续时间，否则，康复效果未必能达到预设效果。
因此，如果不对持续时间进行评估，则基于使用效果(可以是治疗效果，也可以是康复效果或者训练效果等)而言，临床试验机构的质量评估可能为差，但是事实上可能由于操作行为不规范或者持续时间未达到预设时间导致的，这种质量评估结果则可能会对临床试验机构造成不良影响。
基于此，在本发明较佳的实施例中，对每个行为分类的持续时间进行计算，得到持续时间参数。
对于目标行为分类的持续时间的确定，可以通过目标行为分类对应的视频图像帧数来判断，因为图像采集设备例如摄像头或摄像机的采样率为确定值，则相邻两张图像之间的时间间隔也是确定的，因此，当确定每个目标行为分类的视频图像总帧数，则可以得到对应目标行为分类的持续时间。
在视频采集过程中，可以理解的是，可以得到每帧图像的图像帧序号，例如，启动视频采集时，将第一帧视频图像的图像帧序号记为1，然后后续的视频图像的序号依次加1，则得到所有视频数据的图像帧序号。从而得到每个目标行为分类的目标行为图像帧集合，目标行为图像帧集合包括目标行为图像本身以及其对应的图像帧序号。
判断目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像，从而得到目标行为类别图像的总数，基于所述目标行为类别图像总数和采样频率确定持续时间。
如果目标行为图像帧集合中所有的图像帧的序号并不全部连续，则这些并不全部连续的目标行为图像帧集合必然存在多个连续的目标行为图像帧子集合，基于这些个连续的目标行为图像帧子集合确定目标行为类别图像以及其数量。
具体地，可以通过以下任意一种方式实现：
方式一、判断相邻两个目标行为图像帧子集合之间的最小序号差，如果所述最小序号差小于预设差值，则将所述最小序号差小于预设差值的相邻两个目标行为图像帧子集合以及二者之间的图像帧合并成一个目标行为图像帧子集合，按照这种方式直至无法进行目标行为图像帧子集合的合并，获取最终的目标行为图像帧子集合，将所述最终的目标行为图像帧子集合中所有图像帧均作为目标行为类别图像。
示例性地，假设目标行为图像帧子集合有5个，分别为{1，2，3}、{6，7}、{9，10，11}、{13，14，15，16}、{18，19，20}，这些数字表示目标行为图像帧子集合中图像帧序号，假设预设差值为3，则第一个目标行为图像帧子集合和第二个目标行为图像帧子集合之间的最小序号差为3，大于预设差值，二者无法合并，而第二个目标行为图像帧子集合和第三个目标行为图像帧子集合的最小序号差为2，可以合并，合并的同时将二者之间的图像帧也同时加进来，构成第二个目标行为图像帧子集合，其为{6，7，8，9，10，11}，按照这种方式逐个合并，直到无法合并位置，则最后得到的目标行为图像帧为：{1，2，3}、{6，7，8，9，10，11，12，13，14，15，16，17，18，19，20}，最后得到的目标行为类别图像总数为18。
方式二、将图像帧数大于或等于预设帧数的所有目标行为图像帧子集合中所有图像帧均作为目标行为类别图像。
示例性地，假设目标行为图像帧子集合有5个，分别为{1，2，3}、{6，7}、{9，10，11}、{13，14，15，16}、{18，19，20}，这些数字表示目标行为图像帧子集合中图像帧序号，假设预设帧数为3，则除第二个目标行为图像帧子集合的图像帧数小于预设帧数外，其他所有目标行为图像帧子集合的图像帧数均大于或等于3，则最后得到的目标行为类别图像总数为13。
当然，在其他的实施例中，还可以结合上述的方式一和方式二，仍以上述的目标行为图像帧子集合为例，假设预设差值为3，预设帧数为4，则最后得到的目标行为类别图像总数为15。
得到目标行为类别图像总数后，确定目标行为的持续时间为：(目标行为类别图像总数-1)*采样率。
S130、从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度。
匹配度计算，是用于对操作人员的操作是否规范进行评价。
视频关键帧的选取方式有多种，在本发明较佳的实施例中，由于每个目标行为类别图像集合中的所有视频图像帧均对应相应的行为分类，则可以从目标行为分类中任意选取一张目标行为类别图像作为最终的视频关键帧，来与图像模板进行匹配度计算。
在一些其他的实施例中，还可以选取多帧图像作为每个目标行为分类的视频关键帧，然后这些视频关键帧的匹配度均达到预设阈值，或者这些视频关键帧的匹配度的平均值达到预设阈值，则操作规范评估通过审核。
图像模板为在各目标行为分类中，选取操作人员的操作行为中较为清晰的一张图像作为图像模板，该图像模板可以通过摆拍的方式完成。
匹配度可以通过相似度计算实现，相似度算法有多种，示例性地，可以通过SIFT(不变特征变换匹配算法)实现，当然，也可以采用欧氏距离等方式。
S140、当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求。
通过步骤S120和步骤S130的计算可以得到每个行为分类的持续时间和每个行为分类与图像模板的匹配度，基于该两个参数，对临床试验机构的相应的目标医疗器械的操作是否达到要求进行质量评估。
在本发明较佳的实施例中，以所有行为分类对应的匹配度均达到对应的预设阈值，且所有行为分类对应的持续时间均处于对应的预设范围时，则判断所述临床试验机构对所述目标医疗器械的操作达到要求，即这种情况下，临床试验机构的质量评估为通过。
当临床试验机构的质量评估为通过时，则目标医疗器械的治疗或康复训练结果可以作为后续对目标医疗器械的质量进行评估。
示例性地，对目标医疗器械的质量进行评估，可以包括两个方面，一方面是治疗或训练结果数据，第二方面是时间数据，将该两方面的数据整合成治疗或康复训练曲线，然后与目标医疗器械提供的效果曲线进行比对，当比对通过后，则目标医疗器械的质量达到要求，否则，目标医疗器械的质量未达到要求。
实施例二
请参阅图2，图2是本发明实施例公开的一种临床试验机构质量评估装置的结构示意图。如图2所示，该临床试验机构质量评估装置可以包括：
分析单元210，用于通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果；
确定单元220，用于基于所述行为分析结果确定行为分类和持续时间；
匹配单元230，用于从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度；
判断单元240，用于当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求。
作为可选的方案，分析单元210，可以包括：
关键点特征获取子单元，用于使用Openpose模型对视频采集的方式得到的视频数据中的人体姿态进行检测，获取每一帧图像的人体关键点特征集合；
确定单元220，可以包括：
分类子单元，用于将所述人体关键点特征集合输入分类器，得到每一帧图像的行为分类；
计算子单元，用于确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间。
作为可选的方案，计算子单元，可以包括：
确定目标行为分类对应的图像帧序号，构成目标行为图像帧集合；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像；
如果目标行为图像帧集合中所有的图像帧的序号并不全部连续，获取目标行为图像帧集合中存在多个连续的目标行为图像帧子集合，然后：
判断相邻两个目标行为图像帧子集合之间的最小序号差，如果所述最小序号差小于预设差值，则将所述最小序号差小于预设差值的相邻两个目标行为图像帧子集合以及二者之间的图像帧合并成一个目标行为图像帧子集合，按照这种方式直至无法进行目标行为图像帧子集合的合并，获取最终的目标行为图像帧子集合，将所述最终的目标行为图像帧子集合中所有图像帧均作为目标行为类别图像；或/和，将图像帧数大于或等于预设帧数的所有目标行为图像帧子集合中所有图像帧均作为目标行为类别图像
获取所述目标行为类别图像的总数，基于所述目标行为类别图像总数和采样频率确定持续时间。
作为可选的方案，匹配单元230，可以包括：
选取子单元，用于从所述目标行为类别图像中任意选取一帧作为目标行为的视频关键帧，记为目标视频关键帧；
相似度计算子单元，用于使用相似度算法比对所述目标视频关键帧和所述目标行为对应的图像模板之前的相似度。
作为可选的方案，判断单元240，可以包括：当所有行为分类对应的匹配度均达到对应的预设阈值，且所有行为分类对应的持续时间均处于对应的预设范围时，则判断所述临床试验机构对所述目标医疗器械的操作达到要求。
作为可选的方案，在分析单元210之前，还包括：
预处理单元，用于对所述视频采集的方式得到的视频数据进行预处理；
或/和，
初筛单元，用于使用slow-fast网络或仅使用slow-fast网络中的fast通道对所述视频采集的方式得到的视频数据进行初步分析。
实施例三
请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：
存储有可执行程序代码的存储器310；
与存储器310耦合的处理器320；
其中，处理器320调用存储器310中存储的可执行程序代码，执行实施例一中的一种临床试验机构质量评估方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的一种临床试验机构质量评估方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种临床试验机构质量评估方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种临床试验机构质量评估方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种临床试验机构质量评估方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种临床试验机构质量评估方法，其特征在于，针对作用于人体或/和三级医疗器械的操作行为进行监控，其包括以下步骤：
通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果；
基于所述行为分析结果确定行为分类和持续时间；
从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度；
当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求；
对所述操作行为进行分析，得到行为分析结果，包括：
使用Openpose模型对视频采集的方式得到的视频数据中的人体姿态进行检测，获取每一帧图像的人体关键点特征集合；
基于所述行为分析结果确定行为分类和持续时间，包括：
将所述人体关键点特征集合输入分类器，得到每一帧图像的行为分类；
确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间；
确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间，包括：
确定目标行为分类对应的图像帧序号，构成目标行为图像帧集合；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像；
获取所述目标行为类别图像的总数，基于所述目标行为类别图像总数和采样频率确定持续时间；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像，包括：
如果目标行为图像帧集合中所有的图像帧的序号均连续，则将所述目标行为图像帧集合的所有图像帧均作为目标行为类别图像；
如果目标行为图像帧集合中所有的图像帧的序号并不全部连续，获取目标行为图像帧集合中存在多个连续的目标行为图像帧子集合，然后：
判断相邻两个目标行为图像帧子集合之间的最小序号差，如果所述最小序号差小于预设差值，则将所述最小序号差小于预设差值的相邻两个目标行为图像帧子集合以及二者之间的图像帧合并成一个目标行为图像帧子集合，按照这种方式直至无法进行目标行为图像帧子集合的合并，获取最终的目标行为图像帧子集合，将所述最终的目标行为图像帧子集合中所有图像帧均作为目标行为类别图像；或/和，将图像帧数大于或等于预设帧数的所有目标行为图像帧子集合中所有图像帧均作为目标行为类别图像。
2.根据权利要求1所述的临床试验机构质量评估方法，其特征在于，从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度，包括：
从所述目标行为类别图像中任意选取一帧作为目标行为的视频关键帧，记为目标视频关键帧；
使用相似度算法比对所述目标视频关键帧和所述目标行为对应的图像模板之前的相似度。
3.根据权利要求1-2任一项所述的临床试验机构质量评估方法，其特征在于，当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求，包括：
当所有行为分类对应的匹配度均达到对应的预设阈值，且所有行为分类对应的持续时间均处于对应的预设范围时，则判断所述临床试验机构对所述目标医疗器械的操作达到要求。
4.根据权利要求1-2任一项所述的临床试验机构质量评估方法，其特征在于，所述对所述操作行为进行分析，得到行为分析结果之前，还包括：
对所述视频采集的方式得到的视频数据进行预处理；
或/和，
使用slow-fast网络或仅使用slow-fast网络中的fast通道对所述视频采集的方式得到的视频数据进行初步分析。
5.一种临床试验机构质量评估装置，其特征在于，针对作用于人体或/和三级医疗器械的操作行为进行监控，其包括：
分析单元，用于通过视频采集的方式获取目标医疗器械的操作人员的操作行为，并对所述操作行为进行分析，得到行为分析结果；
确定单元，用于基于所述行为分析结果确定行为分类和持续时间；
匹配单元，用于从所述行为分类中选取视频关键帧，并将所述视频关键帧与对应的图像模板进行匹配度计算，得到匹配度；
判断单元，用于当所述匹配度达到预设阈值，且所述持续时间处于预设范围时，判断所述临床试验机构对所述目标医疗器械的操作达到要求；
对所述操作行为进行分析，得到行为分析结果，包括：
使用Openpose模型对视频采集的方式得到的视频数据中的人体姿态进行检测，获取每一帧图像的人体关键点特征集合；
基于所述行为分析结果确定行为分类和持续时间，包括：
将所述人体关键点特征集合输入分类器，得到每一帧图像的行为分类；
确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间；
确定每一个行为分类对应连续的图像帧数，基于所述图像帧数，确定所述行为分类对应的持续时间，包括：
确定目标行为分类对应的图像帧序号，构成目标行为图像帧集合；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像；
获取所述目标行为类别图像的总数，基于所述目标行为类别图像总数和采样频率确定持续时间；
判断所述目标行为图像帧集合是否连续，如果连续，则将所述目标行为图像帧集合的图像帧均作为目标行为类别图像，包括：
如果目标行为图像帧集合中所有的图像帧的序号均连续，则将所述目标行为图像帧集合的所有图像帧均作为目标行为类别图像；
如果目标行为图像帧集合中所有的图像帧的序号并不全部连续，获取目标行为图像帧集合中存在多个连续的目标行为图像帧子集合，然后：
判断相邻两个目标行为图像帧子集合之间的最小序号差，如果所述最小序号差小于预设差值，则将所述最小序号差小于预设差值的相邻两个目标行为图像帧子集合以及二者之间的图像帧合并成一个目标行为图像帧子集合，按照这种方式直至无法进行目标行为图像帧子集合的合并，获取最终的目标行为图像帧子集合，将所述最终的目标行为图像帧子集合中所有图像帧均作为目标行为类别图像；或/和，将图像帧数大于或等于预设帧数的所有目标行为图像帧子集合中所有图像帧均作为目标行为类别图像。
6.一种电子设备，其特征在于，其包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1-4任一项所述的临床试验机构质量评估方法。
7.一种计算机可读存储介质，其特征在于，其存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1-4任一项所述的临床试验机构质量评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211653871.4A CN116091963B (zh) | 2022-12-22 | 2022-12-22 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211653871.4A CN116091963B (zh) | 2022-12-22 | 2022-12-22 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091963A CN116091963A (zh) | 2023-05-09 |
| CN116091963B true CN116091963B (zh) | 2024-05-17 |
Family
ID=86203652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211653871.4A Active CN116091963B (zh) | 2022-12-22 | 2022-12-22 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091963B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117524441A (zh) * | 2024-01-03 | 2024-02-06 | 杭州海康慧影科技有限公司 | 一种手术质量的检测方法、装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018060374A (ja) * | 2016-10-05 | 2018-04-12 | 富士ゼロックス株式会社 | 情報処理装置、評価システムおよびプログラム |
| CN112906453A (zh) * | 2020-12-17 | 2021-06-04 | 江南大学 | 智能识别并实时反馈的洗手监测系统 |
| KR20210126965A (ko) * | 2020-04-13 | 2021-10-21 | 주식회사 삼육오엠씨네트웍스 | 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법 |
| CN113537128A (zh) * | 2021-07-29 | 2021-10-22 | 广州中金育能教育科技有限公司 | 一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备 |
| CN114170543A (zh) * | 2021-10-26 | 2022-03-11 | 阿里巴巴达摩院(杭州)科技有限公司 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
| CN114678117A (zh) * | 2022-05-26 | 2022-06-28 | 成都与睿创新科技有限公司 | 用于规范手术室人员操作行为的管理方法及装置 |
| CN114708532A (zh) * | 2022-03-23 | 2022-07-05 | 南京邮电大学 | 一种监控视频质量评估方法、系统及存储介质 |
| CN114973048A (zh) * | 2021-12-29 | 2022-08-30 | 北京五八信息技术有限公司 | 康复动作的纠正方法、装置、电子设备及可读介质 |
| CN115130851A (zh) * | 2022-06-23 | 2022-09-30 | 苏州大学 | 一种临床护理控制方法和系统 |
| CN115223246A (zh) * | 2022-07-19 | 2022-10-21 | 中国兵器装备集团自动化研究所有限公司 | 一种人员违规行为识别方法、装置、设备及存储介质 |
| CN115331777A (zh) * | 2022-08-10 | 2022-11-11 | 绍兴市晟虎体育用品有限公司 | 动作评估方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7303793B2 (ja) * | 2017-08-07 | 2023-07-05 | ザ ジャクソン ラボラトリー | 長期間の継続的な動物行動モニタリング |
| KR102289277B1 (ko) * | 2018-12-21 | 2021-08-13 | 주식회사 인피니트헬스케어 | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 |
-
2022
- 2022-12-22 CN CN202211653871.4A patent/CN116091963B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018060374A (ja) * | 2016-10-05 | 2018-04-12 | 富士ゼロックス株式会社 | 情報処理装置、評価システムおよびプログラム |
| KR20210126965A (ko) * | 2020-04-13 | 2021-10-21 | 주식회사 삼육오엠씨네트웍스 | 동작 분석을 이용한 인공지능 기반의 무균 조작 평가 장치 및 방법 |
| CN112906453A (zh) * | 2020-12-17 | 2021-06-04 | 江南大学 | 智能识别并实时反馈的洗手监测系统 |
| CN113537128A (zh) * | 2021-07-29 | 2021-10-22 | 广州中金育能教育科技有限公司 | 一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备 |
| CN114170543A (zh) * | 2021-10-26 | 2022-03-11 | 阿里巴巴达摩院(杭州)科技有限公司 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
| CN114973048A (zh) * | 2021-12-29 | 2022-08-30 | 北京五八信息技术有限公司 | 康复动作的纠正方法、装置、电子设备及可读介质 |
| CN114708532A (zh) * | 2022-03-23 | 2022-07-05 | 南京邮电大学 | 一种监控视频质量评估方法、系统及存储介质 |
| CN114678117A (zh) * | 2022-05-26 | 2022-06-28 | 成都与睿创新科技有限公司 | 用于规范手术室人员操作行为的管理方法及装置 |
| CN115130851A (zh) * | 2022-06-23 | 2022-09-30 | 苏州大学 | 一种临床护理控制方法和系统 |
| CN115223246A (zh) * | 2022-07-19 | 2022-10-21 | 中国兵器装备集团自动化研究所有限公司 | 一种人员违规行为识别方法、装置、设备及存储介质 |
| CN115331777A (zh) * | 2022-08-10 | 2022-11-11 | 绍兴市晟虎体育用品有限公司 | 动作评估方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 时域候选优化的时序动作检测;熊成鑫;郭丹;刘学亮;;中国图象图形学报;20200716(07);169-180 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091963A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hofbauer et al. | A ground truth for iris segmentation | |
| De Melo et al. | A deep multiscale spatiotemporal network for assessing depression from facial dynamics | |
| US10810512B1 (en) | Validating a machine learning model prior to deployment | |
| WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
| CN110956628B (zh) | 图片等级分类方法、装置、计算机设备和存储介质 | |
| KR102250954B1 (ko) | 뇌 mri 영상의 뇌 영역별 분할을 통한 치매 예측 장치 및 방법 | |
| CN105225222B (zh) | 对不同图像集的感知视觉质量的自动评估 | |
| CN110348385B (zh) | 活体人脸识别方法和装置 | |
| JP2020184331A (ja) | ライブネス検査方法及び装置、顔認証方法及び装置 | |
| CN116091963B (zh) | 临床试验机构质量评估方法、装置、电子设备及存储介质 | |
| JP2022510113A (ja) | 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム | |
| WO2021005613A1 (en) | Chest radiograph image analysis system and a method thereof | |
| CN111241883A (zh) | 防止远程被测人员作弊的方法和装置 | |
| Sharma et al. | Machine learning approach for detection of diabetic retinopathy with improved pre-processing | |
| Rangarajan et al. | Identification of potential biomarkers in the hippocampus region for the diagnosis of ADHD using PBL-McRBFN approach | |
| CN116863522A (zh) | 痤疮分级方法、装置、设备及介质 | |
| CN117557941A (zh) | 基于多模态数据融合的视频智能分析系统及方法 | |
| CN116313103A (zh) | 疼痛识别模型的训练方法、疼痛识别方法、装置和介质 | |
| Hosseini et al. | Convolution neural network for pain intensity assessment from facial expression | |
| Nainwal et al. | Comparative Study of VGG-13, AlexNet, MobileNet and Modified-DarkCovidNet for Chest X-Ray Classification | |
| CN111539911B (zh) | 一种口呼吸面容识别方法、设备和存储介质 | |
| Gu et al. | Efficient echocardiogram view classification with sampling-free uncertainty estimation | |
| Viscaino et al. | Computer-aided ear diagnosis system based on CNN-LSTM hybrid learning framework for video otoscopy examination | |
| EP4246525A1 (en) | Method and device for processing pathological slide image | |
| CN111767829B (zh) | 一种活体检测方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |