CN112118415A - 远程诊疗方法、装置和患者侧终端、医生侧终端 - Google Patents

远程诊疗方法、装置和患者侧终端、医生侧终端 Download PDF

Info

Publication number
CN112118415A
CN112118415A CN202010986700.8A CN202010986700A CN112118415A CN 112118415 A CN112118415 A CN 112118415A CN 202010986700 A CN202010986700 A CN 202010986700A CN 112118415 A CN112118415 A CN 112118415A
Authority
CN
China
Prior art keywords
side terminal
shooting picture
picture
doctor
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010986700.8A
Other languages
English (en)
Other versions
CN112118415B (zh
Inventor
要婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruiran Tianjin Technology Co ltd
Original Assignee
Ruiran Tianjin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruiran Tianjin Technology Co ltd filed Critical Ruiran Tianjin Technology Co ltd
Priority to CN202010986700.8A priority Critical patent/CN112118415B/zh
Publication of CN112118415A publication Critical patent/CN112118415A/zh
Application granted granted Critical
Publication of CN112118415B publication Critical patent/CN112118415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种远程诊疗方法、装置和患者侧终端、医生侧终端，其中方法包括：利用患者侧终端的前置摄像头拍摄第一拍摄画面，后置摄像头拍摄第二拍摄画面，同时获取患者侧终端所在环境的第一声音信号，然后将第一拍摄画面、第二拍摄画面和第一声音信号发送给医生侧终端进行显示和播放，同时医生侧终端会获取到第三拍摄画面和第二声音信号，并将第三拍摄画面和第二声音信号发送给患者侧终端进行显示和播放。基于此，在视频通话过程中，医生侧终端的屏幕会显示患者侧终端前置摄像头和后置摄像头拍摄的画面，拍摄范围更大，不需要频繁移动终端，就能拍摄到需要展示的画面。

Description

远程诊疗方法、装置和患者侧终端、医生侧终端
技术领域
本申请涉及医疗器械技术领域，尤其涉及一种远程诊疗方法、装置和患者侧终端、医生侧终端。
背景技术
随着网络技术的不断发展，网络技术的应用也越来越广泛，再加上视频通话的不断发展，以前很多必须要亲自到现场才能做的事情，也可以通过线上进行，或者部分进行，以减轻线下的压力。比如医疗领域中，随着远程诊疗平台的建立，病患可以通过远程医疗平台进行初步诊断，并完成对一些简单症状的治疗，或者是根据疾病对病患进行分流，减轻医院的就诊压力。
但是，目前的远程诊疗平台往往是通过会话界面的形式进行，也有利用视频通话提高诊断效率的，但是通话过程中，由于目前终端上带有的相机只能拍摄到其面向的方向，医患双方只能看到对方的一面，这就导致医患通过视频交流时，需要将展示的内容移动到相机能够拍摄到的一面，且相机能够拍摄到的空间有限，可能会在通过过程中无法展示到重要的地方。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种远程诊疗方法、装置和患者侧终端、医生侧终端。
根据本申请的第一方面，提供一种远程诊疗方法，应用于患者侧终端，所述方法包括：
获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
可选的，所述方法还包括：
将所述第二声音信号发送给预先训练的语义识别模型；
获取所述语义识别模型输出的所述第二声音信号的语义数据；
将所述语义数据存储到预先创建的文档文件中。
可选的，所述方法还包括：
将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；
获取所述截屏控制模型输出的截屏指令；
给根据所述截屏指令对所述患者侧终端的屏幕进行截屏，得到截屏图片；
按照预设存储路径存储所述截屏图片。
根据本申请的第二方面，提供一种远程诊疗方法，应用于医生侧终端，所述方法包括：
获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
可选的，所述方法还包括：
将所述第一声音信号发送给预先训练的语义识别模型；
获取所述语义识别模型输出的所述第一声音信号的语义数据；
将所述语义数据存储到预先创建的文档文件中。
可选的，所述方法还包括：
将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；
获取所述截屏控制模型输出的截屏指令；
给根据所述截屏指令对所述医生侧终端的屏幕进行截屏，得到截屏图片；
按照预设存储路径存储所述截屏图片。
根据本申请的第三方面，提供一种远程诊疗装置，包括：
第一获取模块，用于获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
第一发送模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
第一接收模块，用于通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
第一处理模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
根据本申请的第四方面，提供一种远程诊疗装置，包括：
第二获取模块，用于获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
第二发送模块，用于将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
第二接收模块，用于通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
第二处理模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
根据本申请的第五方面，提供一种患者侧终端，包括：至少一个处理器和存储器；
所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现本申请第一方面所述的远程诊疗方法。
根据本申请的第六方面，提供一种医生侧终端，包括：至少一个处理器和存储器；
所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现本申请第二方面所述的远程诊疗方法。
本申请的方案中，利用患者侧终端的前置摄像头拍摄第一拍摄画面，后置摄像头拍摄第二拍摄画面，同时获取患者侧终端所在环境的第一声音信号，然后将第一拍摄画面、第二拍摄画面和第一声音信号发送给医生侧终端，医生侧终端随即将第一拍摄画面和第二拍摄画面显示在屏幕的预设位置，同时播放第一声音信号；在此过程中，医生侧终端会获取到第三拍摄画面和第二声音信号，并将第三拍摄画面和第二声音信号发送给患者侧终端，患者侧终端接收到第三拍摄画面和第二声音信号后，将第一拍摄画面、第二拍摄画面和第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，并播放所述第二声音信号。基于此，在视频通话过程中，医生侧终端的屏幕会显示患者侧终端前置摄像头和后置摄像头拍摄的画面，拍摄范围更大，不需要频繁移动终端，就能拍摄到需要展示的画面。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请的一个实施例提供的一种远程诊疗方法的流程示意图，
图2是本申请的另一实施例提供的一种远程诊疗方法的流程示意图，
图3是本申请的另一实施例提供的一种远程诊疗方法的流程示意图，
图4是本申请的另一实施例提供的一种远程诊疗装置的结构示意图，
图5是本申请的另一实施例提供的一种远程诊疗装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置的例子。
请参阅图1，图1是本申请的一个实施例提供的一种远程诊疗方法的流程示意图。
本实施例以患者侧终端和医生侧终端之间的交互为例进行说明。如图1所示，本实施例提供的远程诊疗方法可以包括：
步骤S101、患者侧终端获取其前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号。
需要说明的是，本步骤中所指的前置摄像头和后置摄像头是相对于患者侧终端本体上的位置概念，一般，患者侧终端会带有屏幕，屏幕所在的一侧往往是正对患者的一侧，而与屏幕同在一侧的摄像头，在本申请中称为前置摄像头，与屏幕没有在一侧的摄像头，在本申请中称为后置摄像头。
步骤S102、患者侧终端将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的患者侧终端。
在一个例子中，预先建立的通信通道可以是通过同时安装在患者侧终端和患者侧终端的同种应用程序构建，也可以是在运行系统层面进行部署，只要是能够使患者侧终端和患者侧终端进行通信，都应在本实施例的包含的范围中。
步骤S103、医生侧终端接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号。
步骤S104、医生侧终端获取其摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号。
本步骤中，摄像头组中可以包括多个摄像头，当具有多个摄像头时，第三拍摄画面应当包含有各摄像头分别拍摄的子画面，当然，可以是使多个摄像头中的部分摄像头分别拍摄的子画面。
步骤S105、医生侧终端将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端。
关于通信通道的相关论述可以参考步骤S102中的相关说明，此处不再赘述。
步骤S106、患者侧终端接收医生侧终端发送的第三拍摄画面和第二声音信号。
步骤S107、患者侧终端将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
步骤S108、医生侧终端将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述医生侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
上述步骤S107和S108中所指的预设位置是第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面在屏幕中显示的位置，比如将第一拍摄画面铺满屏幕，第二拍摄画面和第三拍摄画面缩小一定比例，覆盖在显示的第一拍摄画面上，且第二拍摄画面和第三拍摄画面可以设置为在屏幕中随意拖动的状态。
本实施例利用患者侧终端的前置摄像头拍摄第一拍摄画面，后置摄像头拍摄第二拍摄画面，同时获取患者侧终端所在环境的第一声音信号，然后将第一拍摄画面、第二拍摄画面和第一声音信号发送给医生侧终端，医生侧终端随即将第一拍摄画面和第二拍摄画面显示在屏幕的预设位置，同时播放第一声音信号；在此过程中，医生侧终端会获取到第三拍摄画面和第二声音信号，并将第三拍摄画面和第二声音信号发送给患者侧终端，患者侧终端接收到第三拍摄画面和第二声音信号后，将第一拍摄画面、第二拍摄画面和第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，并播放所述第二声音信号。基于此，在视频通话过程中，医生侧终端的屏幕会显示患者侧终端前置摄像头和后置摄像头拍摄的画面，拍摄范围更大，不需要频繁移动终端，就能拍摄到需要展示的画面。
请参阅图2，图2是本申请的另一实施例提供的一种远程诊疗方法的流程示意图。
本实施例以患者侧终端的执行为例进行说明，如图2所示，本实施例提供的远程诊疗方法可以包括：
步骤S201、获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
步骤S202、将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
步骤S203、通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
步骤S204、将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
需要说明的是，本实施例中的相关部分可以参考图1示意的实施例的相关内容，此处不再赘述。
本实施例利用患者侧终端的前置摄像头拍摄第一拍摄画面，后置摄像头拍摄第二拍摄画面，同时获取患者侧终端所在环境的第一声音信号，然后将第一拍摄画面、第二拍摄画面和第一声音信号发送给医生侧终端，医生侧终端随即将第一拍摄画面和第二拍摄画面显示在屏幕的预设位置，同时播放第一声音信号；在此过程中，医生侧终端会获取到第三拍摄画面和第二声音信号，并将第三拍摄画面和第二声音信号发送给患者侧终端，患者侧终端接收到第三拍摄画面和第二声音信号后，将第一拍摄画面、第二拍摄画面和第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，并播放所述第二声音信号。基于此，在视频通话过程中，医生侧终端的屏幕会显示患者侧终端前置摄像头和后置摄像头拍摄的画面，拍摄范围更大，不需要频繁移动终端，就能拍摄到需要展示的画面。
另外，在语音通话过程中，由于医生指出的内容可能过于专业，很多专业的医学词汇，患者可能无法记住，在后期进一步的诊疗中更无法转述给其他医生，因此，本实施例特提出一种将视频过程中语音信号转化成文档的方法，具体可以包括：将所述第二声音信号发送给预先训练的语义识别模型；获取所述语义识别模型输出的所述第二声音信号的语义数据；将所述语义数据存储到预先创建的文档文件中。
其中，预先训练的语义识别模型指的是能够将具有一些医学专业词汇的声音信号较为准确地转化成语义数据的神经网络模型。其训练过程与传统神经网络模型的训练一致，均是利用样本数据以及样本标签进行训练，此处不再赘述。
另外，为了保证文档文件中记载的语义数据的准确性，在将语义数据存储到文档文件中后，可以将文档文件发送到医生侧终端，在医生侧终端进行显示，由医生在医生侧终端操作确认后，表示该文档文件中的内容无误，此时医生侧终端可以返回一个确认指令到患者侧终端，患者侧终端接收到确认指令后，可以对文档文件进行更名，表示该文档文件是经过医生确认后的文档文件。另外，如果医生在医生侧终端对文档文件进行了修改，医生侧终端可以直接返回修改后的文档文件，患者侧终端将原有的文档文件更新为修改后的文档文件。
由于在视频通话过程中，会涉及到一些单据参数，在患者出示单据之前，医生往往会有一个主动求取的过程，比如“麻烦看一下您的化验单”、“麻烦看一下您的片子”等，这种话语往往带有比较明显的特征，为了便于记录以及供医生后期复核，在视频通话过程中出现上述类似语言时，可以进行截屏，具体可以包括：将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；获取所述截屏控制模型输出的截屏指令；给根据所述截屏指令对所述患者侧终端的屏幕进行截屏，得到截屏图片；按照预设存储路径存储所述截屏图片。
请参阅图3，图3是本申请的另一实施例提供的一种远程诊疗方法的流程示意图。
本实施例以医生侧终端的执行为例进行说明，如图3所示，本实施例的方法可以包括：
步骤S301、获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
步骤S302、将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
步骤S303、通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
步骤S304、将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述医生侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
本实施例利用患者侧终端的前置摄像头拍摄第一拍摄画面，后置摄像头拍摄第二拍摄画面，同时获取患者侧终端所在环境的第一声音信号，然后将第一拍摄画面、第二拍摄画面和第一声音信号发送给医生侧终端，医生侧终端随即将第一拍摄画面和第二拍摄画面显示在屏幕的预设位置，同时播放第一声音信号；在此过程中，医生侧终端会获取到第三拍摄画面和第二声音信号，并将第三拍摄画面和第二声音信号发送给患者侧终端，患者侧终端接收到第三拍摄画面和第二声音信号后，将第一拍摄画面、第二拍摄画面和第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，并播放所述第二声音信号。基于此，在视频通话过程中，医生侧终端的屏幕会显示患者侧终端前置摄像头和后置摄像头拍摄的画面，拍摄范围更大，不需要频繁移动终端，就能拍摄到需要展示的画面。
另外，在语音通话过程中，由于医生指出的内容可能过于专业，很多专业的医学词汇，患者可能无法记住，在后期进一步的诊疗中更无法转述给其他医生，因此，本实施例特提出一种将视频过程中语音信号转化成文档的方法，具体可以包括：将所述第一声音信号发送给预先训练的语义识别模型；获取所述语义识别模型输出的所述第一声音信号的语义数据；将所述语义数据存储到预先创建的文档文件中。
其中，预先训练的语义识别模型指的是能够将具有一些医学专业词汇的声音信号较为准确地转化成语义数据的神经网络模型。其训练过程与传统神经网络模型的训练一致，均是利用样本数据以及样本标签进行训练，此处不再赘述。
另外，为了保证文档文件中记载的语义数据的准确性，在将语义数据存储到文档文件中后，可以将文档文件发送到医生侧终端，在医生侧终端进行显示，由医生在医生侧终端操作确认后，表示该文档文件中的内容无误，此时医生侧终端可以返回一个确认指令到患者侧终端，患者侧终端接收到确认指令后，可以对文档文件进行更名，表示该文档文件是经过医生确认后的文档文件。另外，如果医生在医生侧终端对文档文件进行了修改，医生侧终端可以直接返回修改后的文档文件，患者侧终端将原有的文档文件更新为修改后的文档文件。
由于在视频通话过程中，会涉及到一些单据参数，在患者出示单据之前，医生往往会有一个主动求取的过程，比如“麻烦看一下您的化验单”、“麻烦看一下您的片子”等，这种话语往往带有比较明显的特征，为了便于记录以及供医生后期复核，在视频通话过程中出现上述类似语言时，可以进行截屏，具体可以包括：将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；获取所述截屏控制模型输出的截屏指令；给根据所述截屏指令对所述医生侧终端的屏幕进行截屏，得到截屏图片；按照预设存储路径存储所述截屏图片。
请参阅图4，图4是本申请的另一实施例提供的一种远程诊疗装置的结构示意图。
如图4所示，本实施例提供的装置可以包括：
第一获取模块401，用于获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
第一发送模块402，用于将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
第一接收模块403，用于通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
第一处理模块404，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
请参阅图5，图5是本申请的另一实施例提供的一种远程诊疗装置的结构示意图。
如图5所示，本实施例提供的装置可以包括：
第二获取模块501，用于获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
第二发送模块502，用于将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
第二接收模块503，用于通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
第二处理模块504，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述医生侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
另外，本申请的另一实施例还提供一种患者侧终端和医生侧终端，其中，患者侧终端可以包括：至少一个处理器和存储器；所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现上述实施例中应用于患者侧终端的远程诊疗方法。
医生侧终端可以包括：至少一个处理器和存储器；所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现应用于医生侧终端的远程诊疗方法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种远程诊疗方法，应用于患者侧终端，其特征在于，所述方法包括：
获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
2.根据权利要求1所述的远程诊疗方法，其特征在于，所述方法还包括：
将所述第二声音信号发送给预先训练的语义识别模型；
获取所述语义识别模型输出的所述第二声音信号的语义数据；
将所述语义数据存储到预先创建的文档文件中。
3.根据权利要求2所述的远程诊疗方法，其特征在于，所述方法还包括：
将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；
获取所述截屏控制模型输出的截屏指令；
给根据所述截屏指令对所述患者侧终端的屏幕进行截屏，得到截屏图片；
按照预设存储路径存储所述截屏图片。
4.一种远程诊疗方法，应用于医生侧终端，其特征在于，所述方法包括：
获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述医生侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
5.根据权利要求4所述的远程诊疗方法，其特征在于，所述方法还包括：
将所述第一声音信号发送给预先训练的语义识别模型；
获取所述语义识别模型输出的所述第一声音信号的语义数据；
将所述语义数据存储到预先创建的文档文件中。
6.根据权利要求5所述的远程诊疗方法，其特征在于，所述方法还包括：
将所述语义数据发送到预先训练的截屏控制模型，以根据所述语义数据中包含的语义生成截屏指令；
获取所述截屏控制模型输出的截屏指令；
给根据所述截屏指令对所述医生侧终端的屏幕进行截屏，得到截屏图片；
按照预设存储路径存储所述截屏图片。
7.一种远程诊疗装置，其特征在于，包括：
第一获取模块，用于获取患者侧终端的前置摄像头的第一拍摄画面、后置摄像头的第二拍摄画面以及所述患者侧终端所在环境的第一声音信号；
第一发送模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第一声音信号发送到与所述患者侧终端预先建立通信通道的医生侧终端，以使所述医生侧终端在屏幕的预设位置显示所述第一拍摄画面和所述第二拍摄画面，所述医生侧终端播放所述第一声音信号；
第一接收模块，用于通过所述通信通道接收医生侧终端发送的第三拍摄画面和第二声音信号；
第一处理模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述患者侧终端的屏幕中对应的预设位置，以及播放所述第二声音信号。
8.一种远程诊疗装置，其特征在于，包括：
第二获取模块，用于获取医生侧终端的摄像头组的第三拍摄画面以及所述医生侧终端所在环境的第二声音信号；
第二发送模块，用于将所述第三拍摄画面和所述第二语音信号发送到与所述医生侧终端预先建立通信通道的患者侧终端，以使所述患者侧终端在屏幕的预设位置显示所述第三拍摄画面以及播放所述第二语音信号；
第二接收模块，用于通过所述通信通道接收患者侧终端发送的第一拍摄画面、第二拍摄画面和第一语音信号；所述第一拍摄画面由所述患者侧终端的前摄像头拍摄得到，所述第二拍摄画面由所述患者侧终端的后置摄像头拍摄得到；
第二处理模块，用于将所述第一拍摄画面、所述第二拍摄画面和所述第三拍摄画面显示在所述医生侧终端的屏幕中对应的预设位置，同时播放所述第一语音信号。
9.一种患者侧终端，其特征在于，包括：至少一个处理器和存储器；
所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现权利要求1-3任一项所述的远程诊疗方法。
10.一种医生侧终端，其特征在于，包括：至少一个处理器和存储器；
所述处理器用于执行所述存储器中存储的远程诊疗程序，以实现权利要求4-6任一项所述的远程诊疗方法。
CN202010986700.8A 2020-09-18 2020-09-18 远程诊疗方法、装置和患者侧终端、医生侧终端 Active CN112118415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010986700.8A CN112118415B (zh) 2020-09-18 2020-09-18 远程诊疗方法、装置和患者侧终端、医生侧终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010986700.8A CN112118415B (zh) 2020-09-18 2020-09-18 远程诊疗方法、装置和患者侧终端、医生侧终端

Publications (2)

Publication Number Publication Date
CN112118415A true CN112118415A (zh) 2020-12-22
CN112118415B CN112118415B (zh) 2023-02-10

Family

ID=73801279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010986700.8A Active CN112118415B (zh) 2020-09-18 2020-09-18 远程诊疗方法、装置和患者侧终端、医生侧终端

Country Status (1)

Country Link
CN (1) CN112118415B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915852A (zh) * 2021-02-09 2022-08-16 腾讯科技（深圳）有限公司 视频通话交互方法、装置、计算机设备和存储介质
WO2022262495A1 (zh) * 2021-06-16 2022-12-22 苏州景昱医疗器械有限公司 家用医疗设备的控制方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质
CN107959864A (zh) * 2017-11-06 2018-04-24 北京小米移动软件有限公司 截屏控制方法及装置
WO2018081297A1 (en) * 2016-10-25 2018-05-03 Thomas Jefferson University Telehealth systems
CN108833821A (zh) * 2018-06-14 2018-11-16 深圳超多维科技有限公司 一种视频通话方法及移动终端
CN108962253A (zh) * 2017-05-26 2018-12-07 北京搜狗科技发展有限公司 一种基于语音的数据处理方法、装置和电子设备
CN109390040A (zh) * 2018-09-17 2019-02-26 王子洋 一种智能化电子病历系统
CN111163099A (zh) * 2019-12-31 2020-05-15 重庆亚德科技股份有限公司 基于5g的医疗远程会诊系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081297A1 (en) * 2016-10-25 2018-05-03 Thomas Jefferson University Telehealth systems
CN108962253A (zh) * 2017-05-26 2018-12-07 北京搜狗科技发展有限公司 一种基于语音的数据处理方法、装置和电子设备
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质
CN107959864A (zh) * 2017-11-06 2018-04-24 北京小米移动软件有限公司 截屏控制方法及装置
CN108833821A (zh) * 2018-06-14 2018-11-16 深圳超多维科技有限公司 一种视频通话方法及移动终端
CN109390040A (zh) * 2018-09-17 2019-02-26 王子洋 一种智能化电子病历系统
CN111163099A (zh) * 2019-12-31 2020-05-15 重庆亚德科技股份有限公司 基于5g的医疗远程会诊系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915852A (zh) * 2021-02-09 2022-08-16 腾讯科技（深圳）有限公司 视频通话交互方法、装置、计算机设备和存储介质
CN114915852B (zh) * 2021-02-09 2023-07-25 腾讯科技（深圳）有限公司 视频通话交互方法、装置、计算机设备和存储介质
WO2022262495A1 (zh) * 2021-06-16 2022-12-22 苏州景昱医疗器械有限公司 家用医疗设备的控制方法及相关装置

Also Published As

Publication number Publication date
CN112118415B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN112118415B (zh) 远程诊疗方法、装置和患者侧终端、医生侧终端
JP5368668B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
CN102831305A (zh) 远程医疗诊断辅助工作站
JPH09122125A (ja) 超音波モジュールおよび超音波診断システム
WO2017015902A1 (zh) 一种超声成像系统及方法
US20100317924A1 (en) Digital image data collection apparatus system and method
JP4282957B2 (ja) 医用診断システム、超音波診断装置、情報表示装置、及び医用診断システムの制御方法
TW202312185A (zh) 通過語音記錄及處理一組織之影像資訊的方法及系統
JP5451718B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
US7738940B2 (en) Medical image recording system
JP4477451B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2007213282A (ja) 講演者支援装置および講演者支援方法
CN110517756A (zh) 一种外科手术记录自动生成系统及方法
FR2907566A1 (fr) Procede et dispositif pour utiliser un assistant langagier
CN107872620B (zh) 视频录制方法及装置、计算机可读存储介质
JP2008104551A (ja) 超音波診断装置
JP3675008B2 (ja) 動画メール作成方法及び動画メールシステム
JP2019028753A (ja) 機器制御装置及び機器制御方法
CA2588209A1 (en) Medical media capture system and method
JP2004522530A (ja) 文書化された医用画像情報の構成方法
CN108784733A (zh) 听诊系统及方法
JPH10179543A (ja) 医療検査装置
WO2019047080A1 (zh) 超声诊断仪及使用超声诊断仪获取远程辅助数据的方法
JP6143504B2 (ja) 医療装置及びそれを含む超音波診断装置
JP2001175784A (ja) 電子カルテ装置および紹介状伝送装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant