CN111832656A - 医用人机交互辅助系统及含该程序的计算机可读存储介质 - Google Patents

医用人机交互辅助系统及含该程序的计算机可读存储介质 Download PDF

Info

Publication number
CN111832656A
CN111832656A CN202010691420.4A CN202010691420A CN111832656A CN 111832656 A CN111832656 A CN 111832656A CN 202010691420 A CN202010691420 A CN 202010691420A CN 111832656 A CN111832656 A CN 111832656A
Authority
CN
China
Prior art keywords
information
modal
mode
fusion
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010691420.4A
Other languages
English (en)
Inventor
张立华
谢媛媛
杜洋涛
董志岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010691420.4A priority Critical patent/CN111832656A/zh
Publication of CN111832656A publication Critical patent/CN111832656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低的缺点。一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，还包括执行如下步骤的程序：由所述传感器输入多模态传感信息；对多模态传感信息进行融合计算，获得融合后的多模态信息；对获取的多模态信息进行语义理解和分析；将分析结果利用交互式方法进行系统反馈。还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。本发明为现今医疗行业提供一个模态丰富且高效的边缘智能终端。

Description

医用人机交互辅助系统及含该程序的计算机可读存储介质
技术领域
本发明涉及一种医用人机交互辅助系统，还涉及一种包括该程序的计算机可读存储介质。
背景技术
多年来，现实中的人机交互技术不断发展并取得较大进步，现有的人机交互技术主要有手势识别技术、语音交互技术、触觉反馈技术、眼动跟踪技术、生理计算技术等。
医用人机交互辅助系统可以利用智能化和信息化技术提升医疗服务的品质和效率，但现有的医用人机交互辅助系统利用单一的交互技术，感知范围窄；算力有限，对复杂且高维度的信息进行处理延时较高、系统的交互频率低。
这是现有技术的不足。
发明内容
针对现有技术的不足，本发明要解决的技术问题是提供一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低等缺点，为现今医疗行业提供一个模态丰富且高效的边缘智能终端。
为了解决上述技术问题，本发明的技术方案是：一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：
由所述传感器输入多模态传感信息；
对多模态传感信息进行融合计算，获得融合后的多模态信息；
对获取的多模态信息进行语义理解和分析；
将分析结果利用交互式方法进行系统反馈。
还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。
所述传感器包括获取视觉信息的红外摄像头、获取语音信息的超声波设备、获取力学信息的压力传感器和陀螺仪。
所述对多模态传感信息进行融合计算的具体步骤是：
首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；
其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；
最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。
所述语义理解和分析的具体步骤是：
利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；
利用主成分分析方法对特征中的主要特征进行辨别；
计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；
对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。
本发明具有如下有益技术效果：
一、利用多模态传感器可以获得范围更广、信息层次更深的混合现实场景信息，同时利用多模态信息融合技术，可以对冗余场景信息进行过滤形成稀疏表示的融合信息，更利于后续的信息处理。
二、以可重构、分布式的边缘计算方式为底层特色，将复杂且高维度的信息进行分布式计算，有效的提高了计算效率，提高了交互的频率。
三、利用行为语义理解，对混合现实场景信息进行分析，得到可靠的行为语义，并通过多种方式进行交互反馈，提高了交互辅助系统的有效性和便捷性。
附图说明
图1是本发明的主要流程图。
图2是本发明的多模态信息融合程序模块的流程图。
图3是本发明的行为语义理解程序模块的流程图。
具体实施方式
现结合附图和实施例对本发明作进一步详细说明。
本发明的医用人机交互辅助系统，是指，以控制手术台位姿的人机交互系统为例，视觉传感器和力学传感器获取病人躺在手术台上的图像信息和对手术台的压力信息，以及医生的图像信息等，并将这些信息输入多模态信息融合模块，进行信息配准与语义融合。将融合后的多模态信息分配给多个分布式设备进行分布式边缘计算，通过行为语义理解模块对获取的多模态信息进行语义理解与分析，将分析结果利用交互式方法进行系统反馈，调整手术台的位姿，使病人所在的位置更方便医生进行手术。
本发明整体技术方案如图1所示，本发明的技术方案包括硬件和软件，硬件包括处理器、存储器和若干传感器，软件的主要流程包括如下步骤：
步骤11，首先通过多种传感器，例如视觉传感器、语音传感器、力学传感器构成多模态信息获取网络；
步骤12，将多模态传感信息输入多模态信息融合模块，进行信息配准与语义融合(该模块的具体技术方案将在下文介绍)；
步骤13将融合后的多模态信息分配给多个分布式设备进行分布式边缘计算，通过行为语义理解模块对获取的多模态信息进行语义理解与分析(该模块的具体技术方案将在下文介绍)；
步骤14，将分析结果利用交互式方法进行系统反馈，反馈方式分为：显示设备上的辅助信息、语音设备的提示(包括提示音、警报等)、医用设备的力学反馈(包括病床的角度调整、手术台的位姿自适应控制等)。
本发明利用可重构、分布式的边缘计算方式，将复杂且高维度的信息进行分布式计算，有效的提高了计算效率，提高了交互的频率。
本发明中的多模态信息融合模块具体技术方案如图2所示，包括如下步骤:
步骤21，首先将输入的视觉信息(传统摄像头或红外摄像头采集获得)、语音信息(超声波设备获得的医学信息、现场人员的语音信息)、力学信息(病床和手术台上的压力传感器、陀螺仪等获得的信息)，利用系统标定算法对场景进行一个自标定；
步骤22，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；
步骤23，最后将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。
本发明利用多模态传感信息可以获得范围更广、信息层次更深的混合现实场景信息，同时利用多模态信息融合技术，可以对冗余场景信息进行过滤形成稀疏表示的融合信息，更利于后续的信息处理。
本发明中的行为语义理解模块具体技术方法如图3所示，包括如下步骤：
步骤31，对于每个分布式设备中的多模态的融合信息首先利用事先训练好的卷积神经网络(CNN)进行特征提取；
步骤32，然后利用主成分分析方法对特征中的主要特征进行辨别；
步骤33，计算提取的主成分特征相对于原始特征的损失；
步骤34，并将信息一起输入长短期记忆网络；
步骤35，利用长短期记忆网络对多模态信息进行时序理解，获得具有时空间分辨率的行为语义信息，即可以在空间的不同位置辨别行为语义且可以确定行为的始末时间。
本发明利用行为语义理解，对混合现实场景信息进行分析，得到可靠的行为语义，并通过多种方式进行交互反馈，提高了交互辅助系统的有效性和便捷性。

Claims (8)

1.一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：
由所述传感器输入多模态传感信息；
对多模态传感信息进行融合计算，获得融合后的多模态信息；
对多模态信息进行语义理解和分析；
将分析结果利用交互式方法进行系统反馈。
2.如权利要求1所述的医用人机交互辅助系统，其特征是还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。
3.如权利要求1所述的医用人机交互辅助系统，其特征是所述传感器包括获取视觉信息的红外摄像头、获取语音信息的超声波设备、获取力学信息的压力传感器和陀螺仪。
4.如权利要求1所述的医用人机交互辅助系统，其特征是所述对多模态传感信息进行融合计算的具体步骤是：
首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；
其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；
最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。
5.如权利要求4所述的医用人机交互辅助系统，其特征是所述语义理解和分析的具体步骤是：
利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；
利用主成分分析方法对特征中的主要特征进行辨别；
计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；
对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。
6.一种包含程序的计算机可读存储介质，其特征是所述程序包括如下步骤：
由若干传感器输入多模态传感信息；
对多模态传感信息进行融合计算，获得融合后的多模态信息；
对获取的多模态信息进行语义理解和分析；
将分析结果利用交互式方法进行系统反馈。
7.如权利要求6所述的计算机可读存储介质，其特征是所述对多模态传感信息进行融合计算的具体步骤是：
首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；
其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；
最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。
8.如权利要求6所述的计算机可读存储介质，其特征是所述语义理解和分析的具体步骤是：
利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；
利用主成分分析方法对特征中的主要特征进行辨别；
计算提取的主成分特征相对于原始特征的损失，并将信息一起输入长短期记忆网络；
对多模态信息进行时序理解，获得具有时空分辨率的行为语义信息。
CN202010691420.4A 2020-07-17 2020-07-17 医用人机交互辅助系统及含该程序的计算机可读存储介质 Pending CN111832656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691420.4A CN111832656A (zh) 2020-07-17 2020-07-17 医用人机交互辅助系统及含该程序的计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691420.4A CN111832656A (zh) 2020-07-17 2020-07-17 医用人机交互辅助系统及含该程序的计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111832656A true CN111832656A (zh) 2020-10-27

Family

ID=72923508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691420.4A Pending CN111832656A (zh) 2020-07-17 2020-07-17 医用人机交互辅助系统及含该程序的计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111832656A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780426A (zh) * 2021-09-14 2021-12-10 中国联合网络通信集团有限公司 一种多模态信息融合方法、mec、模态信息采集单元及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120557A1 (en) * 2002-12-18 2004-06-24 Sabol John M. Data processing and feedback method and system
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN110211079A (zh) * 2019-05-22 2019-09-06 首都医科大学 医学图像的融合方法及装置
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
CN110338907A (zh) * 2018-04-05 2019-10-18 云南师范大学 一种用于医学影像引导手术的触觉导航系统
CN110544275A (zh) * 2019-08-19 2019-12-06 中山大学 生成配准的带病灶分割标签的多模态mri的方法、系统及介质
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120557A1 (en) * 2002-12-18 2004-06-24 Sabol John M. Data processing and feedback method and system
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
CN110338907A (zh) * 2018-04-05 2019-10-18 云南师范大学 一种用于医学影像引导手术的触觉导航系统
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN110211079A (zh) * 2019-05-22 2019-09-06 首都医科大学 医学图像的融合方法及装置
CN110298871A (zh) * 2019-06-10 2019-10-01 东软医疗系统股份有限公司 图像配准方法及装置
CN110544275A (zh) * 2019-08-19 2019-12-06 中山大学 生成配准的带病灶分割标签的多模态mri的方法、系统及介质
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
薛迎峰;王栋;王芳;董梅;李婷;贾玲;张友忠;: "实时融合导航与三维可视化技术在模拟微创肿瘤治疗中的应用", 医学与哲学(B), no. 09 *
赵轩;郭蔚;刘京;: "RGB-D图像中的分步超像素聚合和多模态融合目标检测", 中国图象图形学报, no. 08 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780426A (zh) * 2021-09-14 2021-12-10 中国联合网络通信集团有限公司 一种多模态信息融合方法、mec、模态信息采集单元及系统
CN113780426B (zh) * 2021-09-14 2023-06-30 中国联合网络通信集团有限公司 一种多模态信息融合方法、mec、模态信息采集单元及系统

Similar Documents

Publication Publication Date Title
US11561616B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
AU2013200053B2 (en) Touch free operation of ablator workstation by use of depth sensors
US9639744B2 (en) Method for controlling and requesting information from displaying multimedia
CN109871450B (zh) 基于绘本阅读的多模态交互方法及系统
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
US20110273551A1 (en) Method to control media with face detection and hot spot motion
KR102412523B1 (ko) 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 서버
CN106985137A (zh) 用于智能机器人的多模态交互方法及系统
WO2008069519A1 (en) Gesture/speech integrated recognition system and method
Su et al. Recent advancements in multimodal human–robot interaction
CN111832656A (zh) 医用人机交互辅助系统及含该程序的计算机可读存储介质
Jain et al. Mental and physical health management system using ML, computer vision and IoT sensor network
Roy et al. A robust webcam-based eye gaze estimation system for Human-Computer interaction
CN109634407B (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
WO2021203368A1 (zh) 图像处理方法、装置、电子设备和存储介质
Raja et al. Voice Assistant and Gesture Controlled Virtual Mouse using Deep Learning Technique
Sharma et al. Applications of hand gesture recognition
CN115291718A (zh) 一种智能家居空间下的人机交互系统及其应用方法
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
CN115317304A (zh) 一种基于生理特征检测的智能按摩方法及系统
Qiu et al. Research on Intention Flexible Mapping Algorithm for Elderly Escort Robot
JP2022008717A (ja) 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター
Vadali et al. Kinect based Telerehabilitation for Virtual Therapy
US20230380684A1 (en) Systems and methods for improved eye-tracking devices and associated user interfaces
US20240085982A1 (en) Haptic-feedback bilateral human-machine interaction method based on remote digital interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination