CN112451831A - 一种基于虚拟现实的听觉功能训练及检测系统 - Google Patents

一种基于虚拟现实的听觉功能训练及检测系统 Download PDF

Info

Publication number
CN112451831A
CN112451831A CN202011474537.3A CN202011474537A CN112451831A CN 112451831 A CN112451831 A CN 112451831A CN 202011474537 A CN202011474537 A CN 202011474537A CN 112451831 A CN112451831 A CN 112451831A
Authority
CN
China
Prior art keywords
auditory function
function training
information
terminal
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011474537.3A
Other languages
English (en)
Inventor
马永
王成兴
马赛
杨建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Elite Medical Technology Co ltd
Original Assignee
Shenzhen Elite Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Elite Medical Technology Co ltd filed Critical Shenzhen Elite Medical Technology Co ltd
Priority to CN202011474537.3A priority Critical patent/CN112451831A/zh
Publication of CN112451831A publication Critical patent/CN112451831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A61B5/123—Audiometering evaluating hearing capacity subjective methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明适用于计算机技术领域，提供了一种基于虚拟现实的听觉功能训练及检测系统，本发明提供的基于虚拟现实的听觉功能训练及检测系统包括：听觉功能训练服务端，用于将听觉功能训练场景信息发送至虚拟成像终端；用于将听觉功能训练信息发送至声源发生终端；虚拟成像终端，用于接收并向听觉功能训练用户展示听觉功能训练场景信息；声源发生终端，用于接收听觉功能训练信息并按照预设的输出规则向用户输出所述听觉功能训练信息，本发明提供的听觉功能训练及检测系统，将听觉功能训练及检测系统与虚拟现实组合，利用虚拟现实来构建听觉功能训练场景信息，能够有效的改善用户检测和训练康复的效果。

Description

一种基于虚拟现实的听觉功能训练及检测系统
技术领域
本发明属于计算机技术领域，尤其涉及一种基于虚拟现实的听觉功能训练及检测系统。
背景技术
随着社会的进步，人类的医疗水平逐渐提升，目前已经有许多检测训练系统应用于对人类的各项能力的检测和康复训练，例如有对听觉、视觉、嗅觉、认知等功能进行检测和训练康复的检测训练系统。
然而，目前的听觉功能训练及检测系统大多数都是在一个封闭的空间内通过输出听觉功能训练及检测信息来对用户进行检测和训练康复，与日常生活环境不同，而在这样的环境下，用户往往会高度集中注意力进行检测和训练康复，导致实际检测和训练康复的效果并不理想。
可见，目前的听觉功能训练及检测系统还存在着实际检测和训练康复的效果并不理想的技术问题。
发明内容
本发明实施例的目的在于提供一种基于虚拟现实的听觉功能训练及检测系统，旨在解决现有的听觉功能训练及检测系统还存在的实际检测和训练康复的效果并不理想的技术问题。
本发明实施例是这样实现的，一种基于虚拟现实的听觉功能训练及检测系统，所述听觉功能训练系统包括听觉功能训练服务端、虚拟成像终端以及声源发生终端；所述听觉功能训练服务端上预先存储有听觉功能训练场景信息以及听觉功能训练信息；
所述听觉功能训练服务端，用于将所述听觉功能训练场景信息发送至虚拟成像终端,；用于将所述听觉功能训练信息发送至声源发生终端；
所述虚拟成像终端，用于接收并向听觉功能训练用户展示所述听觉功能训练场景信息；
所述声源发生终端，用于接收所述听觉功能训练信息并按照预设的输出规则向用户输出所述听觉功能训练信息。
作为本发明的一个优选实施例，还包括应答信息采集终端；所述应答信息采集终端，用于采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答信息，并发送至听觉功能训练服务端；所述听觉功能训练服务端，用于根据所述应答信息、所述听觉功能训练信息以及预设的应答辨识模型确定听觉功能检测结果信息；所述应答辨识模型是预先基于人工智能学习算法训练生成的。
作为本发明的一个优选实施例，所述听觉功能检测结果信息包括听觉功能异常信息；当确定听觉功能检测结果信息为听觉功能异常信息时，所述听觉功能训练服务端，还用于再次向声源发生终端发送所述听觉功能训练信息。
作为本发明的一个优选实施例，所述应答信息采集终端为应答声音采集终端或应答动作采集终端。
作为本发明的一个优选实施例，所述应答信息采集终端为应答动作采集终端；所述虚拟成像终端包括有多个，所述虚拟成像终端包括训练用户虚拟成像终端以及辅助用户虚拟成像终端；所述应答动作采集终端用于采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答动作信息，并发送至听觉功能训练服务端；所述听觉功能训练服务端，用于将所述应答动作信息发送至所述辅助用户虚拟成像终端。
作为本发明的一个优选实施例，所述训练用户虚拟成像终端以及所述辅助用户虚拟成像终端展示的听觉功能训练场景信息相同。
作为本发明的一个优选实施例，所述听觉功能训练服务端，还用于根据所述应答信息、所述听觉功能训练信息以及所述听觉功能训练场景信息生成听觉功能训练及检测视频信息。
作为本发明的一个优选实施例，所述声源发生终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之前，输出提醒信息。
作为本发明的一个优选实施例，所述虚拟成像终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之前，输出提醒信息。
作为本发明的一个优选实施例，所述虚拟成像终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之后，输出预先设置的与所述听觉功能训练信息对应的应答辅助信息。
本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统，主要由虚拟成像终端、声源发生终端以及听觉功能训练服务端组成，其中听觉功能训练服务端上预先存储有预先关联的听觉功能训练场景信息以及听觉功能训练信息，当需要开听觉功能训练及检测时，听觉功能训练服务端会向虚拟成像终端发送听觉功能训练场景信息以使虚拟成像终端向用户展示听觉功能训练场景信息，同时，听觉功能训练服务端会向声源发生终端发送听觉功能训练信息以使声源发生终端按照既定的输出规则向用户输出所述听觉功能训练信息，如此，用户就能够沉浸在听觉功能训练场景中通过表示出对听觉功能训练信息的反馈来实现对听觉的训练及检测。本发明实施例提供的听觉功能训练及检测系统相比于常规的听觉功能训练及检测系统，配合虚拟成像终端实现了场景虚拟化，有益于听觉功能训练及检测的效果。
附图说明
图1为本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统的结构示意图；
图2为本发明实施例提供的另一种基于虚拟现实的听觉功能训练及检测系统的结构示意图；
图3为本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图4为本发明实施例提供的另一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图5为本发明实施例提供的又一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图6为本发明实施例提供的再一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图7为本发明实施例提供的还一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图8为本发明实施例提供的再另一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图9为本发明实施例提供的再又一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图10为本发明实施例提供的再还一种基于虚拟现实的听觉功能训练及检测系统的交互时序图；
图11为本发明实施例提供的一种听觉功能训练及检测系统中听觉功能训练服务端的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有的听觉功能训练及检测系统大多数都是在一个封闭的空间内通过输出听觉功能训练及检测信息来对用户进行检测和训练康复，与日常生活环境不同，导致实际检测和训练康复的效果并不理想，本发明为针对上述听觉功能训练及检测系统所存在的问题，创造性的将听觉功能训练及检测系统与虚拟现实组合，利用虚拟现实来构建听觉功能训练场景信息，能够有效的改善用户检测和训练康复的效果。
如图1所示，为本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统的结构示意图，详述如下。
在本发明实施例中，所述听觉功能训练及检测系统主要包括听觉功能训练服务端110、虚拟成像终端120以及声源发生终端130。
在本发明实施例中，所述听觉功能训练服务端110上预先存储有预先关联的听觉功能训练场景信息以及听觉功能训练信息。当触发听觉功能训练及检测时，所述听觉功能训练服务端110用于将所述听觉功能训练场景信息发送至虚拟成像终端120，将所述听觉功能训练信息发送至声源发生终端130。
在本发明实施例中，所述虚拟成像终端120，用于接收并向听觉功能训练用户展示所述听觉功能训练场景信息。
在本发明实施例中，所述声源发生终端130，用于接收所述听觉功能训练信息并按照预设的输出规则向用户输出所述听觉功能训练信息。
在本发明实施例中，所述听觉功能训练服务端可以是具有一定数据存储能力或者处理能力的硬件设备，例如可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器，当然也可以理解为运行于上述硬件设备上的软件程序等等。所述听觉功能训练服务端主要为听觉功能训练及检测提供数据支撑。
在本发明实施例中，所述虚拟成像终端可以简单的理解为能够实现虚拟成像的终端设备，例如最常见的VR眼镜等等，由于虚拟成像终端本身属于本领域技术人员的公知常识，本发明在此对虚拟成像终端的具体实现原理以及具体结构不做具体的说明。本发明通过主要是利用虚拟成像终端能够构建出听觉功能训练场景，使用户沉浸在特定的场景下，从而提升听觉功能训练及检测的效果。
在本发明实施例中，所述声源发生终端通常指可以输出声音信号的音箱、喇叭、广播等等，在听觉功能训练及检测系统中属于常见的设备，本发明在此同样不对具体的结构进行描述。
在本发明实施例中，所述听觉功能训练场景信息通常是指与具体的生活场景相关的信息，例如车站、市场、超市、银行等等，所述听觉功能训练信息是与所述听觉功能训练场景信息相关联的，例如在车站的听觉功能训练场景中听觉功能训练信息会涉及到车次、车票等信息，在超市的听觉功能训练场景中听觉功能训练信息会涉及到货物位置以及商品价格等信息，所述听觉功能训练信息需要用户给出相应的应答信息，包括语言应答以及动作应答，进一步的基于用户的应答信息与听觉功能训练信息就可以实现对的听觉功能的训练及检测。
在本发明实施例中，为便于了解本发明提供的听觉功能训练及检测系统中各结构单元之间的交互关系，如图3所示，为本发明提供的一种听觉功能训练及检测系统的交互时序图。
作为本发明的一个优选实施例，本发明还可以进一步通过输出提醒信息来降低听觉功能训练及检测的难度，相比于常规方案中是利用声源发生终端调节播放声音的大小来实现对听觉功能训练及检测难度的控制，基于输出提醒信息可以更加方便的、随时根据用户的需求来实现对听觉功能训练及检测难度的控制。具体的，所述声源发生终端130，还用于在向用户输出听觉功能训练信息之前，输出提醒信息。其中，声源发生终端所输出的提醒信息是语音信息，例如铃声等等。此时，听觉功能训练及检测系统的交互时序图如图8所示。
作为本发明的另一个优选实施例，所述提醒信息还可以是通过虚拟成像终端输出的，具体的，虚拟成像终端可在用户视野范围内展示提醒信息，以提醒用户获取听觉功能训练信息。此时，听觉功能训练及检测系统的交互时序图如图9所示。
作为本发明的另一个优选实施例，虚拟成像终端除了可以输出提醒信息，以提醒用户获取听觉功能训练信息外，还可以输出预先设置的与所述听觉功能训练信息对应的应答辅助信息来辅助训练用户对所述听觉功能训练信息作出应答，以实现对听觉功能训练及检测的难度的切换。此时，听觉功能训练及检测系统的交互时序图如图10所示。
本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统，主要由虚拟成像终端、声源发生终端以及听觉功能训练服务端组成，其中听觉功能训练服务端上预先存储有预先关联的听觉功能训练场景信息以及听觉功能训练信息，当需要开听觉功能训练及检测时，听觉功能训练服务端会向虚拟成像终端发送听觉功能训练场景信息以使虚拟成像终端向用户展示听觉功能训练场景信息，同时，听觉功能训练服务端会向声源发生终端发送听觉功能训练信息以使声源发生终端按照既定的输出规则向用户输出所述听觉功能训练信息，如此，用户就能够沉浸在听觉功能训练场景中通过表示出对听觉功能训练信息的反馈来实现对听觉的训练及检测。本发明实施例提供的听觉功能训练及检测系统相比于常规的听觉功能训练及检测系统，配合虚拟成像终端实现了场景虚拟化，有益于听觉功能训练及检测的效果。
如图2所示，为本发明实施例提供的另一种基于虚拟现实的听觉功能训练及检测系统的结构示意图，详述如下。
在本发明实施例中，与图1所示出的基于虚拟现实的听觉功能训练及检测系统的结构示意图相比，还包括：应答信息采集终端210。
在本发明实施例中，所述应答信息采集终端210还用于采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答信息，并发送至听觉功能训练服务端110。
在本发明实施例中，所述听觉功能训练服务端110，还用于根据所述应答信息、所述听觉功能训练信息以及预设的应答辨识模型确定听觉功能检测结果信息。
在本发明实施例中，所述用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答信息主要包括应答声音信息以及应答动作信息两种，则此时具体的应答信息采集终端不同，例如当应答信息为应答声音信息时，此时应答信息采集终端通常只是具有声音采集功能的终端设备，例如录音设备等等来获取到用户的应答声音信息，而当应答信息为应答动作信息，则此时应答信息采集终端通常是指可以采集到用户肢体动作的终端设备，例如可以是通过设置于用户肢体上的位移传感器来实现应答动作信息的采集，当然上述应答信息采集终端仅仅是本发明的一种可选实施例，不应当理解为对本发明的限制，凡是能够实现应答信息采集的硬件设备或者软件程序等等，均可以理解为本发明所要求的应答信息采集终端。
在本发明实施例中，听觉功能训练服务端还可以具体利用应答辨识模型来实现对应答信息的检测从而确定听觉功能检测结果信息，其中应答辨识模型是预先基于人工智能学习算法训练生成的，其中人工智能学习算法例如可以是诸如神经网络模型算法等等，其中人工智能学习算法属于本领域技术人员的公知常识，本发明在此不对人工智能学习算法的具体实现原理以及过程进行阐述。基于人工智能学习算法训练生成的应答辨识模型包含了应答信息、听觉功能训练信息与听觉功能检测结果信息之间的内在关系，基于应答辨识模型可直接确定听觉功能检测结果信息。
在本发明实施例中，为便于了解本发明提供的听觉功能训练及检测系统中各结构单元之间的交互关系，如图4所示，为本发明提供的另一种听觉功能训练及检测系统的交互时序图。
作为本发明的一个优选实施例，听觉功能检测结果信息还包括听觉功能异常信息，当确定听觉功能检测结果信息为听觉功能异常信息时，所述听觉功能训练服务端110，还用于再次向声源发生终端130发送听觉功能训练信息，以再次实现听觉功能的训练及检测，提高听觉功能的训练及检测的准确率。此时，听觉功能训练及检测系统的交互时序图如图5所示。
作为本发明一个优选实施例，所述应答信息采集终端具体为应答动作采集终端，所述虚拟成像终端包括有多个，所述虚拟成像终端包括训练用户虚拟成像终端以及辅助用户虚拟成像终端，即分别用于训练用户的听觉功能训练及检测以及辅助用户对训练用户的听觉功能训练及检测过程的辅助监测，辅助用户通常是指检测人员，此时，应答动作采集终端还可以采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答动作信息，并发送至听觉功能训练服务端，然后由听觉功能训练服务端发送至辅助用户虚拟成像终端上，此时可以使得辅助用户通过辅助用户虚拟成像终端获取到检测用户对所述听觉功能训练信息的应答动作信息，更便于后续的诊断。此时，听觉功能训练及检测系统的交互时序图如图6所示。
作为本发明进一步的优选实施例，所述训练用户虚拟成像终端以及所述辅助用户虚拟成像终端展示的听觉功能训练场景信息相同。
作为本发明的另一个优选实施例，所述听觉功能训练服务端110，还用于根据所述应答信息、所述听觉功能训练信息以及所述听觉功能训练场景信息生成听觉功能训练及检测视频信息，在本发明实施例中，听觉功能训练服务端110还具有场景再现的功能，具体的，能够根据所述应答信息、所述听觉功能训练信息以及所述听觉功能训练场景信息生成听觉功能训练及检测视频信息以再现听觉功能训练及检测的过程，而生成的听觉功能训练及检测视频信息可以用于后续医生的指导。此时，听觉功能训练及检测系统的交互时序图如图7所示。
本发明实施例提供的一种基于虚拟现实的听觉功能训练及检测系统，主要由虚拟成像终端、声源发生终端以及听觉功能训练服务端组成，其中听觉功能训练服务端上预先存储有预先关联的听觉功能训练场景信息以及听觉功能训练信息，当需要开听觉功能训练及检测时，听觉功能训练服务端会向虚拟成像终端发送听觉功能训练场景信息以使虚拟成像终端向用户展示听觉功能训练场景信息，同时，听觉功能训练服务端会向声源发生终端发送听觉功能训练信息以使声源发生终端按照既定的输出规则向用户输出所述听觉功能训练信息，如此，用户就能够沉浸在听觉功能训练场景中通过表示出对听觉功能训练信息的反馈来实现对听觉的训练及检测。本发明实施例提供的听觉功能训练及检测系统相比于常规的听觉功能训练及检测系统，配合虚拟成像终端实现了场景虚拟化，有益于听觉功能训练及检测的效果。
如图3所示，为本发明实施例提供的一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，在听觉功能训练功能开启后，听觉功能训练服务端会将其上存储的相关联的听觉功能训练场景信息以及听觉功能训练信息分别发送给虚拟成像终端以及声源发生终端，然后虚拟成像终端用于接收并向用户展示听觉功能训练场景信息，而声源发生终端用于接收并向用户展示听觉功能训练信息从而实现了对用户的听觉功能训练及检测。
如图4所示，为本发明实施例提供的另一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图3示出的听觉功能训练及检测系统的交互时序图的区别在于还包括应答信息采集终端，可以用于采集用户在听觉功能训练场景信息下对听觉功能训练信息的应答信息，并返回给听觉功能训练服务端，此时听觉功能训练服务端将会根据预先设置好的应答辨识模型确定听觉功能检测结果信息。
如图5所示，为本发明实施例提供的又一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图4示出的听觉功能训练及检测系统的交互时序图的区别在于当确定听觉功能异常信息时，还会进一步向声源发生终端再次发送听觉功能训练信息以重复对用户进行检测，从而进一步提高了检测效果。
如图6所示，为本发明实施例提供的再一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，此时虚拟成像终端包括多个(图中未示出)，其中具体包括训练用户虚拟成像终端以及辅助用户虚拟成像终端，此时听觉功能训练服务端可以将采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答动作信息发送给辅助用户虚拟成像终端以使辅助用户通过辅助用户虚拟成像终端获取到检测用户对所述听觉功能训练信息的应答动作信息。
如图7所示，为本发明实施例提供的还一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图4示出的听觉功能训练及检测系统的交互时序图的区别在于，听觉功能训练服务端还可以进一步根据应答信息、听觉功能训练场景信息、听觉功能训练信息生成听觉功能训练及检测视频信息，可以记录用户在听觉功能训练场景信息下对听觉功能训练信息所做出的完整的应答信息，从而更便于后续的处理。
如图8所示，为本发明实施例提供的再另一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图3示出的听觉功能训练及检测系统的交互时序图的区别在于，在声源发生终端接收并展示听觉功能训练信息之前，声源发生终端会输出语音提醒信息，可以更加方便的、随时根据用户的需求来控制听觉功能训练及检测的难度。
如图9所示，为本发明实施例提供的再又一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图3示出的听觉功能训练及检测系统的交互时序图的区别在于，在虚拟成像终端输出听觉功能训练场景信息之前，也可以输出提醒信息，具体的，虚拟成像终端可在用户视野范围内展示提醒信息，以提醒用户获取听觉功能训练信息。
如图10所示，为本发明实施例提供的再还一种听觉功能训练及检测系统的交互时序图。
在本发明实施例中，可以看出，与图3示出的听觉功能训练及检测系统的交互时序图的区别在于，虚拟成像终端输出听觉功能训练场景信息之后，还可以进一步通过输出预先设置的与所述听觉功能训练信息对应的应答辅助信息来辅助训练用户对所述听觉功能训练信息作出应答，以实现对听觉功能训练及检测的难度的切换
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1(或图2中)中的听觉功能训练服务端110。如图11所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于虚拟现实的听觉功能训练及检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于虚拟现实的听觉功能训练及检测系统，其特征在于，所述听觉功能训练系统包括听觉功能训练服务端、虚拟成像终端以及声源发生终端；所述听觉功能训练服务端上预先存储有预先关联的听觉功能训练场景信息以及听觉功能训练信息；
所述听觉功能训练服务端，用于将所述听觉功能训练场景信息发送至虚拟成像终端；用于将所述听觉功能训练信息发送至声源发生终端；
所述虚拟成像终端，用于接收并向听觉功能训练用户展示所述听觉功能训练场景信息；
所述声源发生终端，用于接收所述听觉功能训练信息并按照预设的输出规则向用户输出所述听觉功能训练信息。
2.根据权利要求1所述的听觉功能训练及检测系统，其特征在于，还包括应答信息采集终端；
所述应答信息采集终端，用于采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答信息，并发送至听觉功能训练服务端；
所述听觉功能训练服务端，用于根据所述应答信息、所述听觉功能训练信息以及预设的应答辨识模型确定听觉功能检测结果信息；所述应答辨识模型是预先基于人工智能学习算法训练生成的。
3.根据权利要求2所述的听觉功能训练及检测系统，其特征在于，所述听觉功能检测结果信息包括听觉功能异常信息；当确定听觉功能检测结果信息为听觉功能异常信息时，所述听觉功能训练服务端，还用于再次向声源发生终端发送所述听觉功能训练信息。
4.根据权利要求2所述的听觉功能训练及检测系统，其特征在于，所述应答信息采集终端为应答声音采集终端或应答动作采集终端。
5.根据权利要求4所述的听觉功能训练及检测系统，其特征在于，所述应答信息采集终端为应答动作采集终端；所述虚拟成像终端包括有多个，所述虚拟成像终端包括训练用户虚拟成像终端以及辅助用户虚拟成像终端；所述应答动作采集终端用于采集用户在所述听觉功能训练场景信息下对所述听觉功能训练信息的应答动作信息，并发送至听觉功能训练服务端；
所述听觉功能训练服务端，用于将所述应答动作信息发送至所述辅助用户虚拟成像终端。
6.根据权利要求5所述的听觉功能训练及检测系统，其特征在于，所述训练用户虚拟成像终端以及所述辅助用户虚拟成像终端展示的听觉功能训练场景信息相同。
7.根据权利要求2所述的听觉功能训练及检测系统，其特征在于，所述听觉功能训练服务端，还用于根据所述应答信息、所述听觉功能训练信息以及所述听觉功能训练场景信息生成听觉功能训练及检测视频信息。
8.根据权利要求1所述的听觉功能训练及检测系统，其特征在于，所述声源发生终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之前，输出提醒信息。
9.根据权利要求1所述的听觉功能训练及检测系统，其特征在于，所述虚拟成像终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之前，输出提醒信息。
10.根据权利要求1所述的听觉功能训练及检测系统，其特征在于，所述虚拟成像终端，还用于在所述声源发生终端向用户输出所述听觉功能训练信息之后，输出预先设置的与所述听觉功能训练信息对应的应答辅助信息。
CN202011474537.3A 2020-12-14 2020-12-14 一种基于虚拟现实的听觉功能训练及检测系统 Pending CN112451831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011474537.3A CN112451831A (zh) 2020-12-14 2020-12-14 一种基于虚拟现实的听觉功能训练及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011474537.3A CN112451831A (zh) 2020-12-14 2020-12-14 一种基于虚拟现实的听觉功能训练及检测系统

Publications (1)

Publication Number Publication Date
CN112451831A true CN112451831A (zh) 2021-03-09

Family

ID=74804199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011474537.3A Pending CN112451831A (zh) 2020-12-14 2020-12-14 一种基于虚拟现实的听觉功能训练及检测系统

Country Status (1)

Country Link
CN (1) CN112451831A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118454057A (zh) * 2024-07-05 2024-08-09 中国科学院自动化研究所 基于听觉信息的空间感知训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259619A1 (en) * 2011-05-25 2016-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sound reproduction device including auditory scenario simulation
US20180064375A1 (en) * 2011-06-22 2018-03-08 Massachusetts Eye & Ear Infirmary Auditory stimulus for auditory rehabilitation
CN108428475A (zh) * 2018-05-15 2018-08-21 段新 基于人体生理数据监测和虚拟现实的生物反馈训练系统
CN109173187A (zh) * 2018-09-28 2019-01-11 广州乾睿医疗科技有限公司 基于虚拟现实的认知康复训练的控制系统、方法及装置
CN110841167A (zh) * 2019-11-29 2020-02-28 杭州南粟科技有限公司 听觉康复训练系统
CN111309143A (zh) * 2020-01-19 2020-06-19 南京康龙威康复医学工程有限公司 一种儿童多感官训练系统
CN111803033A (zh) * 2020-07-13 2020-10-23 华东医院 基于vr和生物反馈的老年人躯体和听觉认知同步康复系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259619A1 (en) * 2011-05-25 2016-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sound reproduction device including auditory scenario simulation
US20180064375A1 (en) * 2011-06-22 2018-03-08 Massachusetts Eye & Ear Infirmary Auditory stimulus for auditory rehabilitation
CN108428475A (zh) * 2018-05-15 2018-08-21 段新 基于人体生理数据监测和虚拟现实的生物反馈训练系统
CN109173187A (zh) * 2018-09-28 2019-01-11 广州乾睿医疗科技有限公司 基于虚拟现实的认知康复训练的控制系统、方法及装置
CN110841167A (zh) * 2019-11-29 2020-02-28 杭州南粟科技有限公司 听觉康复训练系统
CN111309143A (zh) * 2020-01-19 2020-06-19 南京康龙威康复医学工程有限公司 一种儿童多感官训练系统
CN111803033A (zh) * 2020-07-13 2020-10-23 华东医院 基于vr和生物反馈的老年人躯体和听觉认知同步康复系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118454057A (zh) * 2024-07-05 2024-08-09 中国科学院自动化研究所 基于听觉信息的空间感知训练方法及装置

Similar Documents

Publication Publication Date Title
JP6261515B2 (ja) 個人のリアクションを伴うコンテンツの消費
WO2019071903A1 (zh) 微表情面审辅助方法、装置及存储介质
CN112233690B (zh) 双录方法、装置、终端及存储介质
CN113257383B (zh) 匹配信息确定方法、显示方法、装置、设备及存储介质
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN113496156B (zh) 一种情感预测方法及其设备
CN111400450B (zh) 人机对话方法、装置、设备及计算机可读存储介质
CN111836106A (zh) 在线视频播放监控处理方法、装置、计算机和存储介质
CN112451831A (zh) 一种基于虚拟现实的听觉功能训练及检测系统
Zhou et al. Synthetic data generation method for data-free knowledge distillation in regression neural networks
CN110322964B (zh) 一种健康状态展示方法、装置、计算机设备及存储介质
CN112967814A (zh) 基于深度学习的新型冠状病毒患者行动追踪方法及装置
CN115718809B (zh) 知识图谱补全模型的训练方法及装置
CN113923516B (zh) 基于深度学习模型的视频处理方法、装置、设备以及存储介质
CN113283995B (zh) 一种保险公估远程访问纪要方法、装置以及设备
CN110737421B (zh) 一种处理方法和装置
CN113573091A (zh) 家庭康复软件系统以及应用于家庭康复的人机交互方法
CN112528790A (zh) 基于行为识别的教学管理方法、装置及服务器
CN115796803B (zh) 一种留学生学校资料模型的生成方法、系统及电子设备
US20230396428A1 (en) System and method of providing an authenticator for an event
CN113257374B (zh) 口腔健康管理相关系统、方法、装置及设备
US11856261B1 (en) System and method for redaction based on group association
Jadhav et al. Dementia Care: Literature Survey and Design
US20240420474A1 (en) Computer-readable recording medium storing information processing program, information processing method, and information processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication