CN111916192A - 一种医疗行为多模态数据标注方法和系统 - Google Patents

一种医疗行为多模态数据标注方法和系统 Download PDF

Info

Publication number
CN111916192A
CN111916192A CN202010713382.8A CN202010713382A CN111916192A CN 111916192 A CN111916192 A CN 111916192A CN 202010713382 A CN202010713382 A CN 202010713382A CN 111916192 A CN111916192 A CN 111916192A
Authority
CN
China
Prior art keywords
data
modal
labeled
labeling
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010713382.8A
Other languages
English (en)
Other versions
CN111916192B (zh
Inventor
张立华
弓佩弦
袁锐
张沛轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010713382.8A priority Critical patent/CN111916192B/zh
Publication of CN111916192A publication Critical patent/CN111916192A/zh
Application granted granted Critical
Publication of CN111916192B publication Critical patent/CN111916192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种医疗行为多模态数据标注方法和系统，方法包括以下步骤：数据采集步骤：采集医疗行为多模态数据；初始化步骤：进行数据清洗，获取未标注空白数据，并初始化多模态数据自动标注模型；模型训练步骤：基于未标注空白数据构建待标注多模态数据，并载入多模态数据自动标注模型中，获得自动标注数据，对该待检验标注数据进行复核检验，从而对多模态数据自动标注模型进行训练；结果获取步骤：采用训练后的多模态数据自动标注模型对待标注多模态数据进行自动标注。与现有技术相比，本发明将开发过程和标注过程结合起来，同时添加了自动标注模型，不仅减轻了标注人员的工作压力，提高标注效率，还减少了标注错误率，提升标注准确率。

Description

一种医疗行为多模态数据标注方法和系统
技术领域
本发明涉及医疗数据标注领域，尤其是涉及一种医疗行为多模态数据标注方法和系统。
背景技术
在人工智能和医疗科技高速发展的今天，标注不同传感器采集的医疗行为数据的需要越来越迫切。面对多模态的数据标注需求，现有的标注方法主要是开发专门的网页系统，并组织标注人员进行人工数据标注。同时，现有的自动标注系统主要是针对单一文本数据或单一图片数据。
对数据标注的解决方案，现有的方法是采用word、excel等文本形式。或者开发专门的web网页系统用于标注数据，之后让标注人员对以上形式的数据进行人工标注。
现有技术的问题在于：标注人员各自为政，分别标注自己负责的数据；标注人员之间也存在标注标准的差别；由于标注和研发的过程相互独立，因此不能协同开发；对于标注人员因为个人疏忽产生的标注错误，只能进行二次标注进行改正，存在人为因素所引发的医疗质量问题，效率低，有着较长的标注周期，大量数据下，任务量大，人为造成的准确率下降，同时对于医疗、患者行为尚无统一标准，缺乏干预依据。这些问题极大的限制了标注及研发的效率和质量。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提升标注及研发的效率和质量的医疗行为多模态数据标注方法和系统。
本发明的目的可以通过以下技术方案来实现：
一种医疗行为多模态数据标注方法，包括以下步骤：
数据采集步骤：采集医疗行为多模态数据；
初始化步骤：对所述医疗行为多模态数据进行数据清洗，获取未标注空白数据，并初始化预先建立的多模态数据自动标注模型；
模型训练步骤：包括以下子步骤：
1)基于所述未标注空白数据构建待标注多模态数据，并载入所述多模态数据自动标注模型中，获得自动标注数据；
2)基于所述自动标注数据构建待检验标注数据，对该待检验标注数据进行复核检验，获得已标注多模态数据；
3)采用所述已标注多模态数据对所述多模态数据自动标注模型进行训练，判断所述多模态数据自动标注模型是否满足预设的训练要求，若否，则返回步骤1)，若是则进行结果获取步骤；
结果获取步骤：采用训练后的所述多模态数据自动标注模型对待标注多模态数据进行自动标注，输出结果作为所述已标注多模态数据，直至所有所述医疗行为多模态数据均生成对应的所述已标注多模态数据。
进一步地，所述步骤1)中，所述基于所述未标注空白数据构建待标注多模态数据具体为，
基于所述未标注空白数据和所述自动标注数据，构建所述待标注多模态数据。
进一步地，所述步骤2)中，所述基于所述自动标注数据构建待检验标注数据具体为，基于所述自动标注数据和未标注空白数据，构建所述待检验标注数据。
进一步地，所述数据采集步骤还包括，按照时间序列和文件类型，对所述医疗行为多模态数据进行分类存储。
进一步地，所述步骤2)中，通过专家法，对所述待检验标注数据进行复核检验。
进一步地，所述结果获取步骤中，基于所述已标注多模态数据的多模态信息，对所述已标注多模态数据进行数据融合后输出。
进一步地，所述对已标注多模态数据进行数据融合后还包括，通过专家法对所述数据融合后的结果进行确认后输出。
本发明还提供一种医疗行为多模态数据标注系统，包括传感器数据采集模块、Web后端服务器、云计算服务器和多台复核检验计算机，所述Web后端服务器分别连接所述传感器数据采集模块、云计算服务器和多台复核检验计算机，
所述云计算服务器用于运行所述多模态数据自动标注模型，以及进行迭代训练；
所述多台复核检验计算机用于对所述待检验标注数据进行复核检验。
所述Web后端服务器用于调用所述传感器数据采集模块、云计算服务器和多台复核检验计算机，运行如权利要求1所述的一种医疗行为多模态数据标注方法。
进一步地，所述Web后端服务器包括分布式交互单元、多模态数据存储单元和后端数据逻辑单元，
所述分布式交互单元，用于为所述多台复核检验计算机构建待检验标注数据；
所述多模态数据存储单元，用于进行数据存储；
所述后端数据逻辑单元，用于运行如权利要求1所述的一种医疗行为多模态数据标注方法。
进一步地，所述传感器数据采集模块用于采集医疗行为多模态数据，所述医疗行为多模态数据包括摄像头数据、声学设备数据、毫米波雷达数据和医疗仪器数据。
进一步地，所述云计算服务器为GPU服务器。
与现有技术相比，本发明具有以下优点：
(1)本发明提出的标注方法及系统可以将开发过程和标注过程结合起来，提升研发进度，将标注人员统一起来，将各个标注人员统一到一个平台，同时添加了基于多模态深度学习的自动标注系统，不仅可以减轻标注人员的工作压力，提高标注效率，还可以减少标注错误率，提升标注准确率。
(2)本发明所提出的医疗行为多模态数据标注系统可以显著缩短医疗行为相关数据标注的标注周期和整体工程的研发周期，减少标注所需要的时间和工作量。标注后的医疗行为数据覆盖患者全身以及手部三维骨架、表情、语音、饮食结构等多模态数据，推动相关医疗行为算法的科研。
附图说明
图1为医疗行为多模态数据标注方法的数据处理流程示意图；
图2为待标注多模态数据的获取示意图；
图3为医疗行为多模态数据标注方法的第一流程示意图；
图4为医疗行为多模态数据标注方法的第二流程示意图；
图5为医疗行为多模态数据标注系统的结构示意图；
图6为Web后端服务器的结构示意图；
图中，1、多模态数据自动标注模型，2、传感器数据采集模型，3、待标注多模态数据，4、已标注多模态数据，5、自动标注数据，6、未标注空白数据，7、待检验标注数据，100、Web后端服务器，101、分布式交互单元，102、多模态数据存储单元，103、后端数据逻辑单元，200、云计算服务器，300、计算机。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供一种医疗行为多模态数据标注方法，包括以下步骤：
数据采集步骤：采集医疗行为多模态数据，按照时间序列和文件类型，对医疗行为多模态数据进行分类存储；
初始化步骤：对医疗行为多模态数据进行数据清洗，获取未标注空白数据，并初始化预先建立的多模态数据自动标注模型；
模型训练步骤：包括以下子步骤：
1)基于未标注空白数据构建待标注多模态数据，并载入多模态数据自动标注模型中，获得自动标注数据；
可进一步基于未标注空白数据和自动标注数据，构建待标注多模态数据。
2)基于自动标注数据构建待检验标注数据，通过专家法，对该待检验标注数据进行复核检验，获得已标注多模态数据；
可进一步基于自动标注数据和未标注空白数据，构建待检验标注数据。
3)采用已标注多模态数据对多模态数据自动标注模型进行训练，判断多模态数据自动标注模型是否满足预设的训练要求，若否，则返回步骤1)，若是则进行结果获取步骤；
结果获取步骤：采用训练后的多模态数据自动标注模型对待标注多模态数据进行自动标注，输出结果作为已标注多模态数据，直至所有医疗行为多模态数据均生成对应的已标注多模态数据。
基于已标注多模态数据的多模态信息，对已标注多模态数据进行数据融合后，通过专家法对数据融合后的结果进行确认，然后输出。
相当于，医疗行为多模态数据标注方法，包括以下步骤：
步骤1：通过相关医院摄像头、声学设备、毫米波雷达、医疗仪器等等采集原始数据，并且按照时间序列和文件类型进行分类存储；
步骤2：对不同传感器输入的原始数据进行数据清洗，并初始化多模态数据自动标注模型；
步骤3：多模态数据自动标注模型根据已标注多模态数据进行协同学习和迭代训练，进而对待标注数据进行不同模态的自动标注；
步骤4：标注人员对多模态数据自动标注模型标注的数据进行复核检验，并将复验后的数据保存为已标注多模态数据；
步骤5：多模态数据自动标注模型将会根据更新后的已标注多模态数据进行新的迭代训练，并将训练好的新的多模态数据自动标注模型替换旧的模型。
其中，所述多模态自动标注模型在研发过程中设计，用于对数据清洗后的多模态数据进行自动标注。
所述多模态自动标注模型的输入为待标注多模态数据中的视频、音频、纪律文档和医疗设备传感器信号等，输出为标注好的30类常见医疗行为标签，所述医疗行为标签与输入的待标注多模态数据一一对应。
所述待标注多模态数据包括多模态数据自动标注模型自动标注的自动标注数据和未标注空白数据。
如果所述标注数据为未标注空白数据，标注人员需要进行标注；如果所述标注数据为标注模型自动标注的数据，标注人员需要复验是否标注正确，如果标注正确，标注人员只需要在系统中进行确认，如果有错误，标注人员则需要进行正确的标注，并在系统中确认。
具体实施：
如图1至4所示，根据医疗行为标注过程构建了标注系统模型，该标注系统模型由4个部分组成：多模态数据自动标注模型1、待标注多模态数据3、已标注多模态数据4。
在标注系统模型的基础上，提出一种基于医疗行为多模态的数据标注方法，包括如下步骤：
S1、在标注开始阶段，用户录入待标注多模态数据3，同时初始化多模态数据自动标注模型1；
S2、多模态自动标注系统1为标注人员从待标注多模态数据3和已标注多模态数据4中抽取一定数量的数据生成待检验标注数据7；
S3、为已经采集到的摄像头、声学设备、毫米波雷达和医疗仪器数据同时建立上述S1、S2模型。
S4、多模态数据自动标注模型1使用已标注多模态数据4，不断进行迭代训练，进而对待标注多模态数据3进行自动标注生成标注模型自动标注数据5。对不同传感器产生的标注数据进行数据融合，产生综合的结果。
S5、医疗人员对结果进行确认，保存结果。
其中，多模态数据自动标注模型1在研发的同时立即生成，使得本实施例的医疗行为多模态数据标注方法可以将开发过程和标注过程结合起来，加快研发的进度，大大节约时间，减少研发和标注花费的时间。多模态数据自动标注模型1的输入为多传感器(摄像头、声学设备、毫米波雷达和医疗仪器等)分别获取到的场景，输出为标注完的医疗行为序列。
多模态自动标注模型1可以为标注人员生成待检验标注数据7，待检验标注数据7是从待标注多模态数据3和已标注多模态数据4中抽取得来。待标注多模态数据3是尚未标注的数据，包括标注模型自动标注数据5和未标注空白数据6。标注模型自动标注数据5由标注模型根据已标注多模态数据4进行迭代训练，对待标注多模态数据3进行自动标注而生成。
待检验标注数据7生成后，首先对其是否被标注进行检查，如果其为未标注空白数据6，即为未标注数据，标注人员需要对其进行标注；如果所述标注数据7为标注模型自动标注数据5或已标注多模态数据4，即标注数据7经过了标注，经过标注的数据应判定是否标注正确。如果标注正确，标注人员对其确认即可；如果标注有误，标注人员则需要进行改正。标注人员对标注数据进行标注或确认后，形成新的已标注多模态数据4，多模态数据自动标注模型1对新的已标注多模态数据4进行迭代训练，更新多模态数据自动标注模型1，新的多模态数据自动标注模型1再对新的待标注多模态数据3自动标注生成标注模型进行数据标注，进而进入下一轮标注过程。
实施例2
本实施例提供一种医疗行为多模态数据标注系统，包括传感器数据采集模块、Web后端服务器、云计算服务器和多台复核检验计算机，Web后端服务器分别连接传感器数据采集模块、云计算服务器和多台复核检验计算机，
云计算服务器用于运行多模态数据自动标注模型，以及进行迭代训练；
多台复核检验计算机用于对待检验标注数据进行复核检验。
Web后端服务器用于调用传感器数据采集模块、云计算服务器和多台复核检验计算机，运行如实施例1所述的一种医疗行为多模态数据标注方法。
Web后端服务器包括分布式交互单元、多模态数据存储单元和后端数据逻辑单元，
分布式交互单元，用于为多台复核检验计算机构建待检验标注数据；
多模态数据存储单元，用于进行数据存储；
后端数据逻辑单元，用于运行如实施例1所的一种医疗行为多模态数据标注方法。
传感器数据采集模块用于采集医疗行为多模态数据，医疗行为多模态数据包括摄像头数据、声学设备数据、毫米波雷达数据和医疗仪器数据。
云计算服务器为GPU服务器。
相当于，
医疗行为多模态数据标注系统包括医疗场景中传感器数据采集模块、Web后端服务器、云计算服务器、多台装有浏览器的计算机。
医疗场景中传感器数据采集模型包含摄像头、声学设备、毫米波雷达、医疗仪器数据等，将采集到的数据发送到Web后端服务器上进行数据清洗和存储；
Web后端服务器包括分布式交互单元、多模态数据存储单元、后端数据逻辑单元；
多模态数据存储单元用于保存已标注多模态数据和未标注多模态数据。
后端数据逻辑单元用于接收并存储原始数据、数据清洗、初始化模型、保存已标注数据、分布式任务协同。
云计算服务器用于运行多模态数据自动标注模型，并根据Web后端服务器提供的已标注多模态数据进行迭代训练，其中，所述多模态数据自动标注模型是在研发过程中生成，用于对标注数据进行标注；
多台装有浏览器的计算机用于标注人员登入标注系统，并对多模态标注数据进行复验和确认。
具体实施：
如图5、6所示，基于实施1的医疗行为多模态数据标注方法，医疗行为多模态数据标注系统包括Web后端服务器100(Web后端服务器)、GPU服务器200(对应云计算服务器，对应图5中深度学习云计算平台)、多台装有浏览器的计算机300。Web后端服务器由分布式交互单元101、多模态数据存储单元102、后端数据逻辑单元103组成；多台安装浏览器的计算机300用于标注人员登入数据标注系统，对标注数据7进行标注或确认，GPU服务器200用于运行多模态自动标注模型1，并根据Web后端服务器100提供的已标注多模态数据4进行迭代训练，其中，多模态自动标注模型1用于对标注数据7进行标注，在研发过程中自动进行迭代训练。
多模态自动标注模型1的输入为待标注医疗行为多模态数据中不同类型的数据，比如视频、音频、纪律文档和医疗设备传感器信号等，输出为标注好的一个标签序列，所述标签序列中的标签与输入的待标注医疗行为多模态数据一一对应。多模态数据存储单元102用于保存标注模型自动标注数据5、未标注空白数据6和已标注多模态数据4。分布式交互单元101用于为标注人员从待标注多模态数据3和已标注多模态数据4中抽取一定数量的数据生成标注数据7。后端数据逻辑单元103发送指令包括初始化多模态自动标注模型1或分布式交互单元101、保存已标注多模态数据4、多模态自动标注模型1输入已标注多模态数据4的迭代训练等。
本实施例提出的标注方法及系统可以将开发过程和标注过程结合起来，提升研发进度。将标注人员统一起来，将各个标注人员统一到一个平台，同时添加了基于多模态深度学习的自动标注系统，不仅可以减轻标注人员的工作压力，提高标注效率，还可以减少标注错误率，提升标注准确率。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种医疗行为多模态数据标注方法，其特征在于，包括以下步骤：
数据采集步骤：采集医疗行为多模态数据；
初始化步骤：对所述医疗行为多模态数据进行数据清洗，获取未标注空白数据，并初始化预先建立的多模态数据自动标注模型；
模型训练步骤：包括以下子步骤：
1)基于所述未标注空白数据构建待标注多模态数据，并载入所述多模态数据自动标注模型中，获得自动标注数据；
2)基于所述自动标注数据构建待检验标注数据，对该待检验标注数据进行复核检验，获得已标注多模态数据；
3)采用所述已标注多模态数据对所述多模态数据自动标注模型进行训练，判断所述多模态数据自动标注模型是否满足预设的训练要求，若否，则返回步骤1)，若是则进行结果获取步骤；
结果获取步骤：采用训练后的所述多模态数据自动标注模型对待标注多模态数据进行自动标注，输出结果作为所述已标注多模态数据，直至所有所述医疗行为多模态数据均生成对应的所述已标注多模态数据。
2.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述步骤1)中，所述基于所述未标注空白数据构建待标注多模态数据具体为，
基于所述未标注空白数据和所述自动标注数据，构建所述待标注多模态数据。
3.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述步骤2)中，所述基于所述自动标注数据构建待检验标注数据具体为，基于所述自动标注数据和未标注空白数据，构建所述待检验标注数据。
4.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述数据采集步骤还包括，按照时间序列和文件类型，对所述医疗行为多模态数据进行分类存储。
5.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述步骤2)中，通过专家法，对所述待检验标注数据进行复核检验。
6.根据权利要求1所述的一种医疗行为多模态数据标注方法，其特征在于，所述结果获取步骤中，基于所述已标注多模态数据的多模态信息，对所述已标注多模态数据进行数据融合后输出。
7.一种医疗行为多模态数据标注系统，其特征在于，包括传感器数据采集模块、Web后端服务器、云计算服务器和多台复核检验计算机，所述Web后端服务器分别连接所述传感器数据采集模块、云计算服务器和多台复核检验计算机，
所述云计算服务器用于运行所述多模态数据自动标注模型，以及进行迭代训练；
所述多台复核检验计算机用于对所述待检验标注数据进行复核检验。
所述Web后端服务器用于调用所述传感器数据采集模块、云计算服务器和多台复核检验计算机，运行如权利要求1所述的一种医疗行为多模态数据标注方法。
8.根据权利要求7所述的一种医疗行为多模态数据标注系统，其特征在于，所述Web后端服务器包括分布式交互单元、多模态数据存储单元和后端数据逻辑单元，
所述分布式交互单元，用于为所述多台复核检验计算机构建待检验标注数据；
所述多模态数据存储单元，用于进行数据存储；
所述后端数据逻辑单元，用于运行如权利要求1所述的一种医疗行为多模态数据标注方法。
9.根据权利要求7所述的一种医疗行为多模态数据标注系统，其特征在于，所述传感器数据采集模块用于采集医疗行为多模态数据，所述医疗行为多模态数据包括摄像头数据、声学设备数据、毫米波雷达数据和医疗仪器数据。
10.根据权利要求7所述的一种医疗行为多模态数据标注系统，其特征在于，所述云计算服务器为GPU服务器。
CN202010713382.8A 2020-07-22 2020-07-22 一种医疗行为多模态数据标注方法和系统 Active CN111916192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713382.8A CN111916192B (zh) 2020-07-22 2020-07-22 一种医疗行为多模态数据标注方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713382.8A CN111916192B (zh) 2020-07-22 2020-07-22 一种医疗行为多模态数据标注方法和系统

Publications (2)

Publication Number Publication Date
CN111916192A true CN111916192A (zh) 2020-11-10
CN111916192B CN111916192B (zh) 2023-01-13

Family

ID=73280704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713382.8A Active CN111916192B (zh) 2020-07-22 2020-07-22 一种医疗行为多模态数据标注方法和系统

Country Status (1)

Country Link
CN (1) CN111916192B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580577A (zh) * 2022-05-05 2022-06-03 天津大学 一种面向多模态的交互式数据标注方法及系统
KR102714247B1 (ko) 2021-11-29 2024-10-08 주식회사 바딧 센서 데이터에 대한 레이블링을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874763A (zh) * 2018-06-08 2018-11-23 深圳勇艺达机器人有限公司 一种基于群智的语料库数据标注方法及系统
CN110147547A (zh) * 2019-04-09 2019-08-20 苏宁易购集团股份有限公司 一种基于迭代式学习的智能辅助标注方法及系统
CN111008706A (zh) * 2019-12-09 2020-04-14 长春嘉诚信息技术股份有限公司 一种自动标注、训练、预测海量数据的处理方法
CN111274425A (zh) * 2020-01-20 2020-06-12 平安科技（深圳）有限公司 医疗影像分类方法、装置、介质及电子设备
CN111783993A (zh) * 2019-05-23 2020-10-16 北京京东尚科信息技术有限公司 智能标注方法、装置、智能平台及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874763A (zh) * 2018-06-08 2018-11-23 深圳勇艺达机器人有限公司 一种基于群智的语料库数据标注方法及系统
CN110147547A (zh) * 2019-04-09 2019-08-20 苏宁易购集团股份有限公司 一种基于迭代式学习的智能辅助标注方法及系统
CN111783993A (zh) * 2019-05-23 2020-10-16 北京京东尚科信息技术有限公司 智能标注方法、装置、智能平台及存储介质
CN111008706A (zh) * 2019-12-09 2020-04-14 长春嘉诚信息技术股份有限公司 一种自动标注、训练、预测海量数据的处理方法
CN111274425A (zh) * 2020-01-20 2020-06-12 平安科技（深圳）有限公司 医疗影像分类方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102714247B1 (ko) 2021-11-29 2024-10-08 주식회사 바딧 센서 데이터에 대한 레이블링을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN114580577A (zh) * 2022-05-05 2022-06-03 天津大学 一种面向多模态的交互式数据标注方法及系统

Also Published As

Publication number Publication date
CN111916192B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN112001177B (zh) 融合深度学习与规则的电子病历命名实体识别方法及系统
CN108664374B (zh) 故障告警模型创建方法、装置、故障告警方法及装置
CN111316281B (zh) 基于机器学习的自然语言情境中数值数据的语义分类方法以及系统
US9672204B2 (en) System and method to acquire paraphrases
CN110705206B (zh) 一种文本信息的处理方法及相关装置
CN112507701A (zh) 待纠错医疗数据的识别方法、装置、设备和存储介质
CN112884060B (zh) 图像标注方法、装置、电子设备及存储介质
CN112509661B (zh) 用于识别体检报告的方法、计算设备和介质
CN112308077A (zh) 样本数据获取方法、图像分割方法、装置、设备和介质
CN116992839B (zh) 病案首页自动生成方法、装置及设备
CN112749277A (zh) 医学数据的处理方法、装置及存储介质
CN110867228B (zh) 创伤住院患者创伤严重程度智能信息抓取与评估方法和系统
CN111916192B (zh) 一种医疗行为多模态数据标注方法和系统
CN115525750A (zh) 机器人话术检测可视化方法、装置、电子设备及存储介质
CN116976321A (zh) 文本处理方法、装置、计算机设备、存储介质和程序产品
CN112700862B (zh) 目标科室的确定方法、装置、电子设备及存储介质
CN114464326A (zh) 基于多模态颈动脉数据的冠心病预测系统
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
CN116824670A (zh) 基于微表情的问诊辅助方法、装置、设备及介质
CN109657207B (zh) 条款的格式化处理方法和处理装置
CN113793677A (zh) 一种电子病历管理方法、装置、存储介质及电子设备
CN112749545A (zh) 医学数据的处理方法、装置及存储介质
CN112115719A (zh) 基于多头注意力机制的中医医案命名实体识别方法及系统
Zech Using BERT Models to Label Radiology Reports
CN113487698B (zh) 基于双通道神经网络模型的表单生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant