CN113438438B - 一种高清实时医疗协同平台及其方法 - Google Patents

一种高清实时医疗协同平台及其方法 Download PDF

Info

Publication number
CN113438438B
CN113438438B CN202110550575.0A CN202110550575A CN113438438B CN 113438438 B CN113438438 B CN 113438438B CN 202110550575 A CN202110550575 A CN 202110550575A CN 113438438 B CN113438438 B CN 113438438B
Authority
CN
China
Prior art keywords
medical
audio
video information
user
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110550575.0A
Other languages
English (en)
Other versions
CN113438438A (zh
Inventor
杨志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Breakcom Technology Co ltd
Original Assignee
Beijing Breakcom Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Breakcom Technology Co ltd filed Critical Beijing Breakcom Technology Co ltd
Priority to CN202110550575.0A priority Critical patent/CN113438438B/zh
Publication of CN113438438A publication Critical patent/CN113438438A/zh
Application granted granted Critical
Publication of CN113438438B publication Critical patent/CN113438438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种高清实时医疗协同平台及其方法，包括：数据交互模块、数据库模块和医疗会诊报告生成模块；所述数据交互模块用于采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端；所述数据库模块用于存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块；所述医疗会诊报告生成模块用于采集会诊信息，并将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告。该平台可以为临床治疗提供优质高效的协同服务。

Description

一种高清实时医疗协同平台及其方法
技术领域
本发明涉及医疗协同服务技术领域，具体是一种高清实时医疗协同平台及其方法。
背景技术
医学技术、信息技术进步，医疗行业临床治疗技术复杂而精进，岗位间、科室间、医院间的信息(尤其是医疗影像)、人员交互协同需求愈发丰富而高要求。现有利用视频监控平台、视频会议平台与计算机平台形成的集成式产品，在影像品质、实时性与治疗流程响应方面，远达不到临床要求。
因此，如何为临床治疗提供优质高效的协同服务是本领域技术人员亟待解决的问题。
发明内容
鉴于上述问题，本发明实施例提供一种高清实时医疗协同平台，包括：数据交互模块、数据库模块和医疗会诊报告生成模块；
所述数据交互模块连接多个用户终端，用于采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给所述数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端；
所述数据库模块连接所述数据交互模块与所述医疗会诊报告生成模块，用于存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块；
所述医疗会诊报告生成模块用于采集会诊信息，并将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块。
在一个实施例中，还包括：存储记录管理模块；
所述存储记录管理模块连接所述数据库模块，用于采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块。
在一个实施例中，所述存储记录管理模块，包括：存储位置选择单元和存储格式选择单元；
所述存储位置选择单元用于采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元；
所述存储格式选择单元用于获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块。
在一个实施例中，所述数据库模块，还用于接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
在一个实施例中，所述数据交互模块，包括：多点控制单元、选择性转发单元、矩阵控制单元、调用指令生成单元和视频播放单元；
所述多点控制单元连接所述选择性转发单元，用于采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据；
所述选择性转发单元用于获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流；
所述矩阵控制单元连接所述多个用户终端，用于采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端；
所述调用指令生成单元用于采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块；
所述视频播放单元用于将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
基于上述目的，在本申请的第二个方面，还提出了一种高清实时医疗协同方法，包括：
数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端；
数据库模块存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块；
医疗会诊报告生成模块将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块。
在一个实施例中，还包括：
存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块。
在一个实施例中，所述存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块，包括：
存储位置选择单元采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元；
存储格式选择单元获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块。
在一个实施例中，还包括：
所述数据库模块接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
在一个实施例中，所述数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端，包括：
多点控制单元采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据；
选择性转发单元获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流；
矩阵控制单元采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端；
调用指令生成单元采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块；
视频播放单元将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种高清实时医疗协同平台及其方法，该平台通过用户交互模块实现了用户音视频信息的同步显示，在用户终端之间建立统一的通信架构，实现视频、即时通信、语音的统一通信，为临床治疗提供了优质高效的协同服务，并且能够实时采集医疗协同音视频信息进行同步播放显示，为临床治疗提供了高保真影像质量、超低平台延时与灵活的操作界面，建立了高质量的协同服务，提升了医疗质量与运营效率，优化了医疗机构持续发展与医患满意度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种高清实时医疗协同平台的框图；
图2为本发明实施例提供的数据交互模块与用户终端之间的交互过程的示意图；
图3为本发明实施例提供的用户音视频信息处理过程的示意图；
图4为本发明实施例提供的数据交互模块的架构示意图；
图5为本发明实施例提供的一种高清实时医疗协同方法流程图；
图6为本发明实施例提供的步骤S504的流程图；
图7为本发明实施例提供的步骤S501的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示，本发明实施例提供的一种高清实时医疗协同平台，包括：数据交互模块1、数据库模块2和医疗会诊报告生成模块3；
所述数据交互模块1连接多个用户终端，用于采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给所述数据库模块2，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端。
具体的，数据交互模块1通过标准API接口对接各种标准化网络终端设备(即用户终端)，包括网络摄像机、视频编解码器、会议终端、计算机、网络电话、PDA、智能手机和显示屏。
具体的，参照图2所示，数据交互模块1与用户终端之间的交互过程为：对接医院业务系统，调取临床协同任务建立协同分组，并定时通知协同人员采集信息流(包括信息化系统患者病历、医疗设备实时影像、协同场景语音/视频/数据)，信息流分发至协同人员建立高质量实时临床协同，进行示范教学/直播，临床协同过程语音视频同步录制文件可编辑制作教学课件，进行点播教学录制文件可通过关键词快速溯源。
所述数据库模块2连接所述数据交互模块1与所述医疗会诊报告生成模块3，用于存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块1。
具体的，基于所述调用指令调取所述医疗会诊报告和所述医疗协同音视频信息，将所述医疗会诊报告和所述医疗协同音视频信息进行绑定并发给所述数据交互模块1，用户终端以分屏的形式显示所述医疗会诊报告和所述医疗协同音视频信息。
所述医疗会诊报告生成模块3用于采集会诊信息，并将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块2。
具体的，所述会诊报告生成模型可以为会诊报告模板，包括：患者门诊号、姓名，手术名称、时间、主刀医生、麻醉医生，手术名称、手术过程记录、手术结果等必要信息。
例如，在检查咽喉部时，当在咽喉部发现积液时记录吸口伸入喉道的距离，吸液时记录吸液功率、吸取的液量、吸取耗时、吸取时的图像留存等等，然后自动填充到“吸取喉液模板”的诊断记录模板中的相应数据项中，得到吸取喉液诊断记录。
进一步地，可以将协同双方在术中的意见交流、调取了哪些病例和医疗影像记录和会诊医生建议等信息记录在医疗会诊报告中。
本实施例中，通过用户交互模块实现了用户音视频信息的同步显示，在用户终端之间建立统一的通信架构，实现视频、即时通信、语音的统一通信，为临床治疗提供了优质高效的协同服务，并且能够实时采集医疗协同音视频信息进行同步播放显示，为临床治疗提供了高保真影像质量、超低平台延时与灵活的操作界面，建立了高质量的协同服务，提升了医疗质量与运营效率，优化了医疗机构持续发展与医患满意度。
在一个实施例中，还包括：存储记录管理模块4；
所述存储记录管理模块4连接所述数据库模块2，用于采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块2。
具体的，对医疗协同音视频信息进行全过程记录，支持无损压缩，支持用户端和中心端存储。
具体的，利用视频编码器对医疗协同音视频信息进行编码，将编码后的医疗协同音视频信息作为元数据存储至数据库模块2中，数据库模块2基于元数据将临床协同过程语音视频同步录制文件编辑制作为教学课件，在点播教学录制文件可通过元数据中的关键词快速溯源。
进一步地，所述医疗协同音视频数据也可以直接根据用户需求直接将发送给多个用户终端进行同步显示，实现用户终端的交互；例如，一端的用户终端为现场医师，另一端的用户终端为远程指导专家，存储记录管理模块4建立现场医师端与远程指导专家端之间的因视频通信，采集现场医师端的医疗协同音视频信息并直接发送给远程指导专家端，远程指导专家根据医疗协同音视频数据来远程指导现场医师下一步该如何做或者自己下一步打算做的事对不对。
在一个实施例中，所述存储记录管理模块4，包括：存储位置选择单元5和存储格式选择单元6；
所述存储位置选择单元5用于采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元6。
具体的，所述存储位置支持用户端和/或中心端存储，用户也可以根据临床需要灵活选择存储位置。
所述存储格式选择单元6用于获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块2。
具体的，用户可以选择无损压缩存储和其他压缩存储方式(例如H.264或H.265)。
具体的，所述数据库模块2还用于接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
在一个实施例中，参照图3-4所示，所述数据交互模块1，包括：多点控制单元7、选择性转发单元8、矩阵控制单元9、调用指令生成单元10和视频播放单元11；
所述多点控制单元7连接所述选择性转发单元8，用于采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据。
具体的，利用Simulcast模式(联播模式)采集用户音视频数据，并对用户音视频数据进行编码、混流，生成不同分辨率的视频流。
进一步地，所述用户终端可以为一个或多个，矩阵控制单元9利用SIP(会话发起协议)创建、修改和释放一个或多个参与者(主用户与协同用户)的会话，基于统一通信应用建立语音管理与视频管理，实现以人为本的融合与协同。
所述选择性转发单元8用于获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流。
具体的，选择性转发单元8根据其他用户端的网络状态将不同分辨率的视频流进行压缩处理，使得视频流符合其他用户终端的网络状态。
例如，若用户终端为手机，其一次性接收的数据量为8兆，而视频流的数据量为16兆，则对该视频流进行压缩，将压缩后的视频流发送给手机端。
所述矩阵控制单元9连接所述多个用户终端，用于采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端。
例如，不同分辨率的视频流包括手术开始视频、手术进程视频和手术报告视频三路视频流，用户需求为“观看手术报告视频”，则矩阵控制单元9根据上述用户需求将手术报告视频的视频流发送给用户终端。
所述调用指令生成单元10用于采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块2。
具体的，调用指令生成单元10采集用户语音，基于预先设置不同的语音相对应的用户指令(例如，将“显示心肌梗塞的图像”的语音指令生成相应的文字指令“心肌梗塞”“图像”，基于上述文字指令生成用户指令)。
进一步地，调用指令生成可以基于用户指令选择性地提取医疗会诊报告和医疗协同音视频信息，将医疗会诊报告和所述医疗协同音视频信息以匹配调用指令的模式方案向用户展示。
所述视频播放单元11用于将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
具体的，在用户终端授权条件下，视频播放单元11可以实时将医疗协同音视频分发至直播平台，实现医疗直播活动；对于医疗协同过程中生成的音视频录制信息，按学术需要进行编辑整理形成教学视频，用于非实时状态下的点播学习。
需要说明的是，参照图4所示，数据交互模块1实现协同服务需要以下功能：ACC(访问与授权准入控制)、MCU(多点控制)、Matrix(矩阵控制)、DBS(数据库)、MSR(存储与记录管理)、MS(流媒体服务器)、VOD(视频点播)、NAT(网络地址转换)功能。
本实施例中，在临床协同场景下，根据协同参与各方的语音动作等指令，进行自动交互式智能识别，实现了医疗影像、病例、协同场景自身音视频及数据按需求的自动调取、自动同步和自动呈现。
参照图5所示，一种高清实时医疗协同方法，包括：
S501、数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端。
具体的，数据交互模块1通过标准API接口对接各种标准化网络终端设备(即用户终端)，包括网络摄像机、视频编解码器、会议终端、计算机、网络电话、PDA、智能手机和显示屏。
具体的，参照图2所示，数据交互模块1与用户终端之间的交互过程为：对接医院业务系统，调取临床协同任务建立协同分组，并定时通知协同人员采集信息流(包括信息化系统患者病历、医疗设备实时影像、协同场景语音/视频/数据)，信息流分发至协同人员建立高质量实时临床协同，进行示范教学/直播，临床协同过程语音视频同步录制文件可编辑制作教学课件，进行点播教学录制文件可通过关键词快速溯源。
S502、数据库模块存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块。
具体的，基于所述调用指令调取所述医疗会诊报告和所述医疗协同音视频信息，将所述医疗会诊报告和所述医疗协同音视频信息进行绑定并发给所述数据交互模块，用户终端以分屏的形式显示所述医疗会诊报告和所述医疗协同音视频信息。
S503、医疗会诊报告生成模块将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块。
具体的，所述会诊报告生成模型可以为会诊报告模板，包括：患者门诊号、姓名，手术名称、时间、主刀医生、麻醉医生，手术名称、手术过程记录、手术结果等必要信息。
例如，在检查咽喉部时，当在咽喉部发现积液时记录吸口伸入喉道的距离，吸液时记录吸液功率、吸取的液量、吸取耗时、吸取时的图像留存等等，然后自动填充到“吸取喉液模板”的诊断记录模板中的相应数据项中，得到吸取喉液诊断记录。
进一步地，可以将协同双方在术中的意见交流、调取了哪些病例和医疗影像记录和会诊医生建议等信息记录在医疗会诊报告中。
在一个实施例中，还包括：
S504、存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块。
具体的，对医疗协同音视频信息进行全过程记录，支持无损压缩，支持用户端和中心端存储。
具体的，利用视频编码器对医疗协同音视频信息进行编码，将编码后的医疗协同音视频信息作为元数据存储至数据库模块中，数据库模块基于元数据将临床协同过程语音视频同步录制文件编辑制作为教学课件，在点播教学录制文件可通过元数据中的关键词快速溯源。
进一步地，所述医疗协同音视频数据也可以直接根据用户需求直接将发送给多个用户终端进行同步显示，实现用户终端的交互；例如，一端的用户终端为现场医师，另一端的用户终端为远程指导专家，存储记录管理模块建立现场医师端与远程指导专家端之间的因视频通信，采集现场医师端的医疗协同音视频信息并直接发送给远程指导专家端，远程指导专家根据医疗协同音视频数据来远程指导现场医师下一步该如何做或者自己下一步打算做的事对不对。
在一个实施例中，如图6所示，步骤S504，即所述存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块，包括：
S5041、存储位置选择单元采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元。
具体的，所述存储位置支持用户端和/或中心端存储，用户也可以根据临床需要灵活选择存储位置。
S5042、存储格式选择单元获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块。
具体的，用户可以选择无损压缩存储和其他压缩存储方式(例如H.264或H.265)。
具体的，所述数据库模块接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
在一个实施例中，如图7所示，步骤S501，即所述数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端，包括：
S5011、多点控制单元采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据。
具体的，利用Simulcast模式(联播模式)采集用户音视频数据，并对用户音视频数据进行编码、混流，生成不同分辨率的视频流。
进一步地，所述用户终端可以为一个或多个，矩阵控制单元利用SIP(会话发起协议)创建、修改和释放一个或多个参与者(主用户与协同用户)的会话，基于统一通信应用建立语音管理与视频管理，实现以人为本的融合与协同。
S5012、选择性转发单元获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流。
具体的，选择性转发单元根据其他用户端的网络状态将不同分辨率的视频流进行压缩处理，使得视频流符合其他用户终端的网络状态。
例如，若用户终端为手机，其一次性接收的数据量为8兆，而视频流的数据量为16兆，则对该视频流进行压缩，将压缩后的视频流发送给手机端。
S5013、矩阵控制单元采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端。
例如，不同分辨率的视频流包括手术开始视频、手术进程视频和手术报告视频三路视频流，用户需求为“观看手术报告视频”，则矩阵控制单元根据上述用户需求将手术报告视频的视频流发送给用户终端。
S5014、调用指令生成单元采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块。
具体的，调用指令生成单元采集用户语音，基于预先设置不同的语音相对应的用户指令(例如，将“显示心肌梗塞的图像”的语音指令生成相应的文字指令“心肌梗塞”“图像”，基于上述文字指令生成用户指令)。
进一步地，调用指令生成可以基于用户指令选择性地提取医疗会诊报告和医疗协同音视频信息，将医疗会诊报告和所述医疗协同音视频信息以匹配调用指令的模式方案向用户展示。
S5015、视频播放单元将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
具体的，在用户终端授权条件下，视频播放单元可以实时将医疗协同音视频分发至直播平台，实现医疗直播活动；对于医疗协同过程中生成的音视频录制信息，按学术需要进行编辑整理形成教学视频，用于非实时状态下的点播学习。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种高清实时医疗协同平台，其特征在于，包括：数据交互模块、数据库模块和医疗会诊报告生成模块；
所述数据交互模块连接多个用户终端，用于采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给所述数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端；
所述数据库模块连接所述数据交互模块与所述医疗会诊报告生成模块，用于存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块；
所述医疗会诊报告生成模块用于采集会诊信息，并将所述会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块；
其中，所述数据交互模块与用户终端之间的交互过程为：对接医院业务系统，调取临床协同任务建立协同分组，并定时通知协同人员采集信息流，所述信息流包括信息化系统患者病历、医疗设备实时影像、协同场景语音或视频或数据，信息流分发至协同人员，进行示范教学或直播；
所述数据库模块基于所述调用指令调取所述医疗会诊报告和所述医疗协同音视频信息，将所述医疗会诊报告和所述医疗协同音视频信息进行绑定并发给所述数据交互模块；
所述会诊报告生成模型为会诊报告模板，并且将协同双方在术中的意见交流、调取了哪些病例和医疗影像记录和会诊医生建议信息记录在医疗会诊报告。
2.如权利要求1所述一种高清实时医疗协同平台，其特征在于，还包括：存储记录管理模块；
所述存储记录管理模块连接所述数据库模块，用于采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块。
3.如权利要求2所述的一种高清实时医疗协同平台，其特征在于，所述存储记录管理模块，包括：存储位置选择单元和存储格式选择单元；
所述存储位置选择单元用于采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元；
所述存储格式选择单元用于获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块。
4.如权利要求3所述的一种高清实时医疗协同平台，其特征在于，所述数据库模块，还用于接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
5.如权利要求1所述的一种高清实时医疗协同平台，其特征在于，所述数据交互模块，包括：多点控制单元、选择性转发单元、矩阵控制单元、调用指令生成单元和视频播放单元；
所述多点控制单元连接所述选择性转发单元，用于采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据；
所述选择性转发单元用于获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流；
所述矩阵控制单元连接所述多个用户终端，用于采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端；
所述调用指令生成单元用于采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块；
所述视频播放单元用于将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
6.一种高清实时医疗协同方法，其特征在于，包括：
数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给多个用户终端；
数据库模块存储所述医疗会诊报告和所述医疗协同音视频信息，基于所述调用指令将所述医疗会诊报告和医疗协同音视频信息发送给所述数据交互模块；
医疗会诊报告生成模块将会诊信息输入至会诊报告生成模型中，生成所述医疗会诊报告，并将所述医疗会诊报告发送至所述数据库模块；
其中，所述数据交互模块与用户终端之间的交互过程为：对接医院业务系统，调取临床协同任务建立协同分组，并定时通知协同人员采集信息流，所述信息流包括信息化系统患者病历、医疗设备实时影像、协同场景语音或视频或数据，信息流分发至协同人员，进行示范教学或直播；
基于所述调用指令调取所述医疗会诊报告和所述医疗协同音视频信息，将所述医疗会诊报告和所述医疗协同音视频信息进行绑定并发给所述数据交互模块；
所述会诊报告生成模型为会诊报告模板，并且将协同双方在术中的意见交流、调取了哪些病例和医疗影像记录和会诊医生建议信息记录在医疗会诊报告。
7.如权利要求6所述的一种高清实时医疗协同方法，其特征在于，还包括：
存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块。
8.如权利要求7所述的一种高清实时医疗协同方法，其特征在于，所述存储记录管理模块采集医疗协同音视频信息，并将所述医疗协同音视频信息发送给所述数据库模块，包括：
存储位置选择单元采集所述医疗协同音视频信息，并选取音视频存储位置，将所述存储位置发送给所述存储格式选择单元；
存储格式选择单元获取所述医疗协同音视频信息的用途，基于所述医疗协同音视频信息的用途选取存储格式，将所述存储位置、存储格式与所述医疗协同音视频数据进行打包，生成医疗协同音视频信息打包数据，并将所述医疗协同音视频信息打包数据发送给所述数据库模块。
9.如权利要求8所述的一种高清实时医疗协同方法，其特征在于，还包括：
所述数据库模块接收所述医疗协同音视频信息打包数据，并基于所述存储位置与存储格式对所述医疗协同音视频数据进行存储。
10.如权利要求6所述的一种高清实时医疗协同方法，其特征在于，所述数据交互模块采集用户终端的用户音视频信息和用户语音，将所述用户音视频信息发送给其他用户终端，基于所述用户语音生成调用指令，将所述调用指令发送给数据库模块，并将医疗会诊报告和医疗协同音视频信息发送给所述多个用户终端，包括：
多点控制单元采集所述用户终端的用户音视频信息，并对所述用户终端的用户音视频信息进行编码和混流，生成传输视频数据；
选择性转发单元获取所述其他用户终端的网络状态，基于所述其他用户终端的网络状态对所述传输视频数据进行处理，生成不同分辨率的视频流；
矩阵控制单元采集用户需求，并基于所述用户需求将所述不同分辨率的视频流分发至所述其他用户终端；
调用指令生成单元采集所述用户语音，并基于所述用户语音生成调用指令，并将所述调用指令发送给所述数据库模块；
视频播放单元将所述医疗会诊报告和所述医疗协同音视频信息发送给所述多个用户终端进行同步显示。
CN202110550575.0A 2021-05-20 2021-05-20 一种高清实时医疗协同平台及其方法 Active CN113438438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550575.0A CN113438438B (zh) 2021-05-20 2021-05-20 一种高清实时医疗协同平台及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550575.0A CN113438438B (zh) 2021-05-20 2021-05-20 一种高清实时医疗协同平台及其方法

Publications (2)

Publication Number Publication Date
CN113438438A CN113438438A (zh) 2021-09-24
CN113438438B true CN113438438B (zh) 2022-08-05

Family

ID=77803351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550575.0A Active CN113438438B (zh) 2021-05-20 2021-05-20 一种高清实时医疗协同平台及其方法

Country Status (1)

Country Link
CN (1) CN113438438B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306552U (zh) * 2011-06-24 2012-07-04 海纳医信（北京）软件科技有限责任公司 远程实时会诊系统
CN105959391A (zh) * 2016-06-16 2016-09-21 贵阳朗玛信息技术股份有限公司 远程问诊服务平台、系统及方法
CN110164564A (zh) * 2019-05-31 2019-08-23 贵州精准健康数据有限公司 Mdt多学科会诊平台
CN110677626A (zh) * 2019-11-01 2020-01-10 蔡佩华 一种医疗影像设备通用的音视频远程传输系统及方法
CN111223544A (zh) * 2019-12-31 2020-06-02 创业慧康科技股份有限公司 一种远程实时内镜安全会诊系统
CN112102965A (zh) * 2020-09-15 2020-12-18 深圳市联影医疗数据服务有限公司 一种基于临床辅助和区域协同的医疗信息管理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305423B2 (en) * 2008-11-24 2012-11-06 Innovatec, S.L. Communication system for remote patient visits and clinical status monitoring
CN101427916B (zh) * 2008-12-05 2012-02-22 张锦景 电生理数据与病理图像监测的移动网络终端装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202306552U (zh) * 2011-06-24 2012-07-04 海纳医信（北京）软件科技有限责任公司 远程实时会诊系统
CN105959391A (zh) * 2016-06-16 2016-09-21 贵阳朗玛信息技术股份有限公司 远程问诊服务平台、系统及方法
CN110164564A (zh) * 2019-05-31 2019-08-23 贵州精准健康数据有限公司 Mdt多学科会诊平台
CN110677626A (zh) * 2019-11-01 2020-01-10 蔡佩华 一种医疗影像设备通用的音视频远程传输系统及方法
CN111223544A (zh) * 2019-12-31 2020-06-02 创业慧康科技股份有限公司 一种远程实时内镜安全会诊系统
CN112102965A (zh) * 2020-09-15 2020-12-18 深圳市联影医疗数据服务有限公司 一种基于临床辅助和区域协同的医疗信息管理系统

Also Published As

Publication number Publication date
CN113438438A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
US8217987B2 (en) Method for creating a videoconferencing displayed image
CN102938834B (zh) 一种多屏多视频缩微视图调度系统及调度操作方法
CN100433826C (zh) 记录视频会议数据的方法和系统
CN103650515B (zh) 无线3d 流式传输服务器
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
CN103686219B (zh) 一种视频会议录播的方法、设备及系统
CN102892032B (zh) 实时互动高清网络视频通讯系统
CN102333201B (zh) 远程呈现的字幕传输方法、终端及系统
US10904386B2 (en) Caller queue process and system to manage incoming video callers
KR20040010694A (ko) 멀티미디어 정보통신 서비스 시스템, 이용자 단말용프로그램 및 기록 매체
WO2003007208A1 (fr) Systeme de service d'enseignement utilisant une ligne de communication et procede de fourniture de service d'enseignement
CN102223515B (zh) 远程呈现会议系统、远程呈现会议的录制与回放方法
WO2014033729A2 (en) A system, method, and platform, for embedding video feeds captured during a surgery, with multimedia data, in real-time
JP2007082182A (ja) 対話型マルチメディアコンテンツ製作方法
CN105553967A (zh) 网络会议方法及装置
WO2005112453A1 (ja) Ｉｐテレビ電話サービスシステム
US20120281970A1 (en) Medical video production and distribution system
CN101662643A (zh) 一种将实时监控图像/录像引入视频会议的方法
CN113438438B (zh) 一种高清实时医疗协同平台及其方法
CN113905003A (zh) 一种智能交互的同频互动讲解方法及系统
CN203015009U (zh) 实时互动高清网络视频通讯系统
CN112153321B (zh) 一种会议录制方法、装置及会议录制系统
JP2014053776A (ja) 映像再生システム、再生装置、再生プログラムおよび再生方法
CN116795464A (zh) 一种实现远程协助的方法及相关设备
CN112291497B (zh) 一种智能视频客服接入方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant