CN116616691A - 基于虚拟现实的人机互动视力检测方法及系统 - Google Patents

基于虚拟现实的人机互动视力检测方法及系统 Download PDF

Info

Publication number
CN116616691A
CN116616691A CN202310567782.6A CN202310567782A CN116616691A CN 116616691 A CN116616691 A CN 116616691A CN 202310567782 A CN202310567782 A CN 202310567782A CN 116616691 A CN116616691 A CN 116616691A
Authority
CN
China
Prior art keywords
vision
voice
module
tested person
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310567782.6A
Other languages
English (en)
Inventor
代黎明
张冬冬
李鹏
钱甜甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhizhen Health Technology Co ltd
Original Assignee
Hunan Zhizhen Mingyang Technical Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhizhen Mingyang Technical Service Co ltd filed Critical Hunan Zhizhen Mingyang Technical Service Co ltd
Priority to CN202310567782.6A priority Critical patent/CN116616691A/zh
Publication of CN116616691A publication Critical patent/CN116616691A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及视力检测技术领域，特别涉及一种基于虚拟现实的人机互动视力检测方法及系统，方法包括：通过3D成像系统，生成虚拟的人物形象3D指令员和视力表；通过虚拟的3D指令员的动作指示视力表上的视力测试符；采用语音交互方式，实现指导被测试者的视力检测。系统包括3D成像子系统、语音交互子系统和检测控制子系统；用于采用上述方法进行视力检测。本发明通过虚拟的3D指令员替代检测医生，由此实现在无人指导下进行视力检测，减少视力检测的人工成本，提高被测试者自助进行视力检测的良好体验。

Description

基于虚拟现实的人机互动视力检测方法及系统
技术领域
本发明涉及视力检测技术领域，特别涉及一种基于虚拟现实的人机互动视力检测方法及系统。
背景技术
虚拟现实技术(英文名称：Virtual Reality，缩写为VR)，又称虚拟实境或灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果，借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
视力检测通常在医生的指导下进行，采用人工测试的方式存在人力资源的浪费的缺点。
发明内容
为了解决上述技术问题，本发明提供了一种基于虚拟现实的人机互动视力检测方法，包括：
通过3D成像系统，生成虚拟的人物形象3D指令员和视力表；
通过虚拟的3D指令员的动作指示视力表上的视力测试符；
采用语音交互方式，实现指导被测试者的视力检测。
可选的，将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
可选的，3D指令员指示的视力测试符采用以下方式确定：
通过语音询问被测试者的左眼视力和右眼视力；
接收被测试者的语音回答，进行语音识别获取被测试者陈述的左眼视力和右眼视力；
通过被测试者陈述的左眼视力和右眼视力在视力表上分别对应确定视力测试符的符号排列行；
进行单眼检测时，采用随机算法在确定的符号排列行中选取指示的视力测试符；
接收被测试者对视力测试符方向的判断语音，通过语音识别得到判断内容；
将判断内容与视力测试符的实际开口方向进行比对，若比对一致则以将下一符号排列行作为确定的符号排列行，若比对一致则以将上一符号排列行作为确定的符号排列行，重新采用随机算法在确定的符号排列行中选取指示的视力测试符进行测试。
可选的，在语音交互中，对于采集到的被测试者的回答语音，进行滤波处理，去除环境噪声。
可选的，在进行视力检测时，实时检测周边的环境亮度，根据环境亮度调整3D成像子系统显示虚拟的人物形象3D指令员和视力表的光强。
本发明还提供了一种基于虚拟现实的人机互动视力检测方法，包括3D成像子系统、语音交互子系统和检测控制子系统；
3D成像子系统，用于生成并显示虚拟的人物形象3D指令员和视力表；根据检测控制子系统的控制指令，通过虚拟的3D指令员的动作指示视力表上的视力测试符；
语音交互子系统，用于在对被测试者进行视力检测时，采用语音交互方式实现人机互动；
检测控制子系统，用于分别连接并控制3D成像子系统和语音交互子系统，实现指导被测试者的视力检测。
可选的，3D成像子系统包括信息收发模块、3D影像投射模块和视力表显示模块
信息收发模块用于将3D影像信息、视力测试符信息传输给检测控制子系统，以及接收检测控制子系统的控制指令；
3D影像投射模块用于根据控制指令确定虚拟的3D指令员的动作并进行影像投射；
视力表显示模块用于将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
可选的，语音交互子系统包括语音接收模块、语音信号输出模块、语音识别模块和语音信号转换模块；
语音信号转换模块用于在视力测试过程中，将指令转化为语音指令信号并传输给语音信号输出模块；
语音信号输出模块用于将语音指令信号通过扬声器播放出来；
语音接收模块用于通过麦克风接收被测试者的回答语音；
语音识别模块用于识别出被测试者的回答语音的信息内容，并采用文字信息进行记录。
可选的，检测控制子系统包括信息接收模块、比对模块和指令生成模块；
信息接收模块，用于接收3D成像子系统的3D影像信息、视力测试符信息和语音交互子系统语音交互识别的文字信息；
比对模块用于将被测试者就指示的视力测试符的回答语音转换的文字信息与视力测试符信息中指示的视力测试符的实际开口方向进行比对，确定被测试者的是否回答正确；
指令生成模块用于根据比对模块确定的被测试者是否回答正确的情况，生成相应的控制指令分别发送给3D成像子系统和语音交互子系统。
可选的，检测控制子系统还包括图像采集模块、图像识别模块和单眼验证模块；
图像采集模块用于采集被测试者的双眼图像；
图像识别模块用于对被测试者的双眼图像进行识别双眼状态，确定属于睁眼状态还是闭眼状态；
单眼验证模块用于根据识别的双眼状态，验证单眼视力检测的双眼状态是否正确。
本发明的基于虚拟现实的人机互动视力检测方法及系统，通过设置的3D成像子系统生成并显示虚拟的人物形象3D指令员和视力表，配合与被测试者进行人机语音交互，根据语音交互情况，控制虚拟的3D指令员的动作，指示视力表上的视力测试符让被测试者进行辨认，由被测试者判断并说出视力测试符的开口方向，经语音识别后，与视力测试符的实际开口方向进行对比，确定被测试者辨认是否正确，若正确表示被测试者可以看清该视力测试符，若不正确则表示被测试者不能看清该视力测试符，通过虚拟的3D指令员替代检测医生，由此实现在无人(医生)指导下进行视力检测，减少视力检测的人工成本，提高被测试者自助进行视力检测的良好体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于虚拟现实的人机互动视力检测方法流程图；
图2为本发明的基于虚拟现实的人机互动视力检测方法实施例采用的3D指令员指示的视力测试符确定方式流程图；
图3为本发明实施例中一种基于虚拟现实的人机互动视力检测系统示意框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于虚拟现实的人机互动视力检测方法，包括：
S100：通过3D成像子系统，生成并显示虚拟的人物形象3D指令员和视力表；
S200：通过虚拟的3D指令员的动作指示视力表上的视力测试符；
S300：采用语音交互方式，实现指导被测试者的视力检测。
上述技术方案的工作原理和有益效果为：本方案通过设置的3D成像子系统生成并显示虚拟的人物形象3D指令员和视力表，配合与被测试者进行人机语音交互，根据语音交互情况，控制虚拟的3D指令员的动作，指示视力表上的视力测试符让被测试者进行辨认，由被测试者判断并说出视力测试符的开口方向，经语音识别后，与视力测试符的实际开口方向进行对比，确定被测试者辨认是否正确，若正确表示被测试者可以看清该视力测试符，若不正确则表示被测试者不能看清该视力测试符，通过虚拟的3D指令员替代检测医生，由此实现在无人(医生)指导下进行视力检测，减少视力检测的人工成本，提高被测试者自助进行视力检测的良好体验。
在一个实施例中，在S100步骤中，将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
上述技术方案的工作原理和有益效果为：本方案通过将视力表的视标等效换算成实际空间的预设距离标准，根据换算结果将视力表影像通过透镜调节显示在屏幕上，可以精确控制视力表相对被测试者的位置符合视力检测要求；其中，预设距离标准一般为5米；在虚拟场景中，等效换算具体采用的换算方法可以根据所使用的屏幕的分辨率情况进行确定。
在一个实施例中，如图2所示，在S200步骤中，3D指令员指示的视力测试符采用以下方式确定：
S210：通过语音询问被测试者的左眼视力和右眼视力；
S220：接收被测试者的语音回答，进行语音识别获取被测试者陈述的左眼视力和右眼视力；
S230：通过被测试者陈述的左眼视力和右眼视力在视力表上分别对应确定视力测试符的符号排列行；
S240：进行单眼检测时，采用随机算法在确定的符号排列行中选取指示的视力测试符；
S250：接收被测试者对视力测试符方向的判断语音，通过语音识别得到判断内容；
S260：将判断内容与视力测试符的实际开口方向进行比对，若比对一致则以将下一符号排列行作为确定的符号排列行，若比对一致则以将上一符号排列行作为确定的符号排列行，重新采用随机算法在确定的符号排列行中选取指示的视力测试符进行测试；
可以采用至少上、下各换两次符号排列行且最后一个视力测试符方向判断正确结束被测试者的单眼视力检测，以最后回复判断正确的视力测试符所对应的视力数值作为被测试者的单眼视力数值；对于同一被测试者，还可以记录已经指示过的视力测试符，并验证采用随机算法选取的视力测试符是否属于已经指示过的视力测试符，若是则重新采用随机算法进行视力测试符的选取，以避免同一被测试者检测时指示了同一视力测试符而影响检测的可靠性。
上述技术方案的工作原理和有益效果为：本方案初始通过询问被测试者，获取被测试者认知的自身左眼视力和右眼视力，以此为基础分别确定左眼和右眼视力检测开始的第一个视力测试符在视力表上所属的符号排列行，可以让视力检测开始与被测试者的视力相匹配，加快检测速度，提高检测效率；在确定的符号排列行中采用随机算法选取指示的视力测试符，可以避免有规律的视力测试符让被测试者猜出其开口方向，影响视力检测的准确性和可靠性。
在一个实施例中，确定指示的视力测试符的随机算法如下：
γ＝int(1+rand()％N)
上式中，γ表示符号排列行中选取指示的视力测试符的排列序号；int()表示取整函数；rand()表示随机函数；N表示符号排列行中包含视力测试符的数量。
上述技术方案的工作原理和有益效果为：本方案提供了确定指示的视力测试符可用的随机算法，该算法简单易操作，运算量小，能够快速反应确定视力测试符在符号排列行中的排列序号，从而迅速指示。
在一个实施例中，在S300步骤中，在语音交互中，对于采集到的被测试者的回答语音，进行滤波处理，去除环境噪声。
上述技术方案的工作原理和有益效果为：本方案通过对采集的被测试者的回答语音进行滤波处理，可以去除环境噪声，保障回答语音的语音数据品质，使得回答语音更便于语音识别，提高语音识别的准确性，降低识别误差。
在一个实施例中，在进行视力检测时，实时检测周边的环境亮度，根据环境亮度调整3D成像子系统显示虚拟的人物形象3D指令员和视力表的光强。
上述技术方案的工作原理和有益效果为：本方案通过检测周边的环境亮度，根据环境亮度调整虚拟的人物形象3D指令员和视力表的显示光强，一方面可以节省视力检测的能耗，另一方面将视力检测时的光强调节到适宜可以防止对被检测者的眼睛产生刺激或者伤害。
如图3所示，本发明实施例提供了一种基于虚拟现实的人机互动视力检测系统，包括3D成像子系统10、语音交互子系统20和检测控制子系统30：
3D成像子系统10，用于生成并显示虚拟的人物形象3D指令员和视力表；根据检测控制子系统的控制指令，通过虚拟的3D指令员的动作指示视力表上的视力测试符；
语音交互子系统20，用于在对被测试者进行视力检测时，采用语音交互方式实现人机互动；
检测控制子系统30，用于分别连接并控制3D成像子系统10和语音交互子系统20，实现指导被测试者的视力检测。
上述技术方案的工作原理和有益效果为：本方案通过设置的3D成像子系统生成并显示虚拟的人物形象3D指令员和视力表，配合语音交互子系统与被测试者进行人机语音交互，检测控制子系统根据语音交互情况，控制虚拟的3D指令员的动作，指示视力表上的视力测试符让被测试者进行辨认，由被测试者判断并说出视力测试符的开口方向，经语音识别后，与视力测试符的实际开口方向进行对比，确定被测试者辨认是否正确，若正确表示被测试者可以看清该视力测试符，若不正确则表示被测试者不能看清该视力测试符，通过虚拟的3D指令员替代检测医生，由此实现在无人(医生)指导下进行视力检测，减少视力检测的人工成本，提高被测试者自助进行视力检测的良好体验。
在一个实施例中，3D成像子系统包括信息收发模块、3D影像投射模块和视力表显示模块
信息收发模块用于将3D影像信息、视力测试符信息传输给检测控制子系统，以及接收检测控制子系统的控制指令；
3D影像投射模块用于根据控制指令确定虚拟的3D指令员的动作并进行影像投射；
视力表显示模块用于将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
上述技术方案的工作原理和有益效果为：本方案通过信息收发模块实现3D成像子系统与检测控制子系统的信息交互；通过3D影像投射模块根据控制指令确定虚拟的3D指令员的动作并进行影像投射形成虚拟的人物形象作为3D指令员，替代检测医生，实现自助视力检测，降低视力检测人工成本，便于视力检测的普及；通过视力表显示模块将视力表的视标等效换算成实际空间的预设距离标准，根据换算结果将视力表影像通过透镜调节显示在屏幕上，可以精确控制视力表相对被测试者的位置符合视力检测要求；本方案通过将3D成像应用于视力检测，实现了视力检测的智能化和数字化。
在一个实施例中，语音交互子系统包括语音接收模块、语音信号输出模块、语音识别模块和语音信号转换模块；
语音信号转换模块用于在视力测试过程中，将指令转化为语音指令信号并传输给语音信号输出模块；
语音信号输出模块用于将语音指令信号通过扬声器播放出来；
语音接收模块用于通过麦克风接收被测试者的回答语音；
语音识别模块用于识别出被测试者的回答语音的信息内容，并采用文字信息进行记录。
上述技术方案的工作原理和有益效果为：本方案通过语音信号转换模块将指令转化为语音指令信号，便于语音信号输出模块通过扬声器播放出来，在视力检测过程中对被测试者进行语音指导；采用语音接收模块通过麦克风接收被测试者的回答语音，由语音识别模块进行识别获取被测试者的回答语音的信息内容；本方案语音交互子系统能够方便地实现人机语音互动。
在一个实施例中，检测控制子系统包括信息接收模块、比对模块和指令生成模块；
信息接收模块，用于接收3D成像子系统的3D影像信息、视力测试符信息和语音交互子系统语音交互识别的文字信息；
比对模块用于将被测试者就指示的视力测试符的回答语音转换的文字信息与视力测试符信息中指示的视力测试符的实际开口方向进行比对，确定被测试者的是否回答正确；
指令生成模块用于根据比对模块确定的被测试者是否回答正确的情况，生成相应的控制指令分别发送给3D成像子系统和语音交互子系统。
上述技术方案的工作原理和有益效果为：本方案通过信息接收模块接收3D成像子系统的3D影像信息、视力测试符信息和语音交互子系统语音交互识别的文字信息，采用比对模块将被测试者的回答语音转换的文字信息与视力测试符信息中的视力测试符的实际开口方向进行比对，根据比对结果，由指令生成模块生成相应的控制指令对3D成像子系统和语音交互子系统进行控制，保障自助式视力检测的顺利进行。
在一个实施例中，检测控制子系统还包括图像采集模块、图像识别模块和单眼验证模块；
图像采集模块用于采集被测试者的双眼图像；
图像识别模块用于对被测试者的双眼图像进行识别双眼状态，确定属于睁眼状态还是闭眼状态；
单眼验证模块用于根据识别的双眼状态，验证单眼视力检测的双眼状态是否正确。
上述技术方案的工作原理和有益效果为：本方案通过设置图像采集模块采集被测试者的双眼图像，由图像识别模块进行识别确定被测试者的双眼状态，采用单眼验证模块验证双眼状态是否满足单眼视力检测要求，满足要求表示正确；例如在检测左眼视力时，要求被测试者将左眼睁开且将右眼闭上(遮挡)，而在检测右眼视力时，要求被测试者将右眼睁开且将左眼闭上(遮挡)；本方案可以避免被测试者不当操作造成检测结果不准确；如果发现被测试者的双眼状态不正确，则可以通过发出语音提醒被测试者进行调整，只有在双眼状态正确才继续进行检测。
在一个实施例中，语音识别模块将识别出的被测试者回答语音的信息内容转换为文字信息，以根据文字信息是否能够成功生成控制指令判断信息内容转换为文字信息是否正确并进行标示，语音交互子系统将回答语音的信息内容、对应的文字信息和标示信息进行保存；
将保存的信息内容、对应的文字信息和标示信息作为已知训练样本进行训练，采用以下算法转换风险评估：
上式中，σ表示转换风险指数；m表示已知训练样本的数量；L()表示损失函数；τi表示第i个已知训练样本的标示信息；f(μi，ωi)表示标示函数；μi表示第i个已知训练样本的信息内容；ωi表示第i个已知训练样本的文字信息；
若转换风险指数超过预设的风险阈值，则发出警示信息。
上述技术方案的工作原理和有益效果为：本方案语音交互子系统通过对保存的历史进行样本训练，采用上述公式计算转换风险指数，将转换风险指数与风险阈值对比，若超过风险阈值则发出警示信息，表示语音交互子系统在对信息内容转换为文字信息中保障转换正确的概率下降，需要进行系统调试或者采取其他措施进行优化，避免由于转换不正确影响视力检测的进行或者让被检测者产生不良体验，保障视力检测过程中的检测效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于虚拟现实的人机互动视力检测方法，其特征在于，包括：
通过3D成像系统，生成虚拟的人物形象3D指令员和视力表；
通过虚拟的3D指令员的动作指示视力表上的视力测试符；
采用语音交互方式，实现指导被测试者的视力检测。
2.根据权利要求1所述的基于虚拟现实的人机互动视力检测方法，其特征在于，将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
3.根据权利要求1所述的基于虚拟现实的人机互动视力检测方法，其特征在于，3D指令员指示的视力测试符采用以下方式确定：
通过语音询问被测试者的左眼视力和右眼视力；
接收被测试者的语音回答，进行语音识别获取被测试者陈述的左眼视力和右眼视力；
通过被测试者陈述的左眼视力和右眼视力在视力表上分别对应确定视力测试符的符号排列行；
进行单眼检测时，采用随机算法在确定的符号排列行中选取指示的视力测试符；
接收被测试者对视力测试符方向的判断语音，通过语音识别得到判断内容；
将判断内容与视力测试符的实际开口方向进行比对，若比对一致则以将下一符号排列行作为确定的符号排列行，若比对一致则以将上一符号排列行作为确定的符号排列行，重新采用随机算法在确定的符号排列行中选取指示的视力测试符进行测试。
4.根据权利要求1所述的基于虚拟现实的人机互动视力检测方法，其特征在于，在语音交互中，对于采集到的被测试者的回答语音，进行滤波处理，去除环境噪声。
5.根据权利要求1所述的基于虚拟现实的人机互动视力检测方法，其特征在于，在进行视力检测时，实时检测周边的环境亮度，根据环境亮度调整3D成像子系统显示虚拟的人物形象3D指令员和视力表的光强。
6.一种基于虚拟现实的人机互动视力检测方法，其特征在于，包括3D成像子系统、语音交互子系统和检测控制子系统；
3D成像子系统，用于生成并显示虚拟的人物形象3D指令员和视力表；根据检测控制子系统的控制指令，通过虚拟的3D指令员的动作指示视力表上的视力测试符；
语音交互子系统，用于在对被测试者进行视力检测时，采用语音交互方式实现人机互动；
检测控制子系统，用于分别连接并控制3D成像子系统和语音交互子系统，实现指导被测试者的视力检测。
7.根据权利要求6所述的基于虚拟现实的人机互动视力检测方法，其特征在于，3D成像子系统包括信息收发模块、3D影像投射模块和视力表显示模块
信息收发模块用于将3D影像信息、视力测试符信息传输给检测控制子系统，以及接收检测控制子系统的控制指令；
3D影像投射模块用于根据控制指令确定虚拟的3D指令员的动作并进行影像投射；
视力表显示模块用于将视力表的视标等效换算成实际空间的预设距离标准，将视力表影像通过透镜调节显示在屏幕上。
8.根据权利要求6所述的基于虚拟现实的人机互动视力检测方法，其特征在于，语音交互子系统包括语音接收模块、语音信号输出模块、语音识别模块和语音信号转换模块；
语音信号转换模块用于在视力测试过程中，将指令转化为语音指令信号并传输给语音信号输出模块；
语音信号输出模块用于将语音指令信号通过扬声器播放出来；
语音接收模块用于通过麦克风接收被测试者的回答语音；
语音识别模块用于识别出被测试者的回答语音的信息内容，并采用文字信息进行记录。
9.根据权利要求6所述的基于虚拟现实的人机互动视力检测方法，其特征在于，检测控制子系统包括信息接收模块、比对模块和指令生成模块；
信息接收模块，用于接收3D成像子系统的3D影像信息、视力测试符信息和语音交互子系统语音交互识别的文字信息；
比对模块用于将被测试者就指示的视力测试符的回答语音转换的文字信息与视力测试符信息中指示的视力测试符的实际开口方向进行比对，确定被测试者的是否回答正确；
指令生成模块用于根据比对模块确定的被测试者是否回答正确的情况，生成相应的控制指令分别发送给3D成像子系统和语音交互子系统。
10.根据权利要求9所述的基于虚拟现实的人机互动视力检测方法，其特征在于，检测控制子系统还包括图像采集模块、图像识别模块和单眼验证模块；
图像采集模块用于采集被测试者的双眼图像；
图像识别模块用于对被测试者的双眼图像进行识别双眼状态，确定属于睁眼状态还是闭眼状态；
单眼验证模块用于根据识别的双眼状态，验证单眼视力检测的双眼状态是否正确。
CN202310567782.6A 2023-05-19 2023-05-19 基于虚拟现实的人机互动视力检测方法及系统 Pending CN116616691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310567782.6A CN116616691A (zh) 2023-05-19 2023-05-19 基于虚拟现实的人机互动视力检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310567782.6A CN116616691A (zh) 2023-05-19 2023-05-19 基于虚拟现实的人机互动视力检测方法及系统

Publications (1)

Publication Number Publication Date
CN116616691A true CN116616691A (zh) 2023-08-22

Family

ID=87635941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310567782.6A Pending CN116616691A (zh) 2023-05-19 2023-05-19 基于虚拟现实的人机互动视力检测方法及系统

Country Status (1)

Country Link
CN (1) CN116616691A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117547217A (zh) * 2023-11-23 2024-02-13 常州软盈科技有限公司 基于虚拟现实的人机互动视力检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126307A1 (ko) * 2013-02-15 2014-08-21 주식회사 케이티 로봇에서의 시력 측정 방법 및 이를 위한 로봇
CN112568866A (zh) * 2020-12-09 2021-03-30 佳木斯大学 一种基于虚拟现实技术的智能视力检测系统及其方法
CN112932401A (zh) * 2021-02-01 2021-06-11 读书郎教育科技有限公司 基于vr技术和手势识别的智能视力检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126307A1 (ko) * 2013-02-15 2014-08-21 주식회사 케이티 로봇에서의 시력 측정 방법 및 이를 위한 로봇
CN112568866A (zh) * 2020-12-09 2021-03-30 佳木斯大学 一种基于虚拟现实技术的智能视力检测系统及其方法
CN112932401A (zh) * 2021-02-01 2021-06-11 读书郎教育科技有限公司 基于vr技术和手势识别的智能视力检测系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117547217A (zh) * 2023-11-23 2024-02-13 常州软盈科技有限公司 基于虚拟现实的人机互动视力检测方法及系统

Similar Documents

Publication Publication Date Title
CN110890140A (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
CN116616691A (zh) 基于虚拟现实的人机互动视力检测方法及系统
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
EP1351209A2 (en) Sign language education system and program therefor
CN110728199A (zh) 一种基于mr的智能驾考练车系统及方法
KR20160139786A (ko) 증강현실을 이용한 학습문제풀이 시스템 및 그 제어방법
JP7099377B2 (ja) 情報処理装置及び情報処理方法
KR20180076797A (ko) 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법
CN112748800B (zh) 一种基于智能手套的实验场景感知交互方法
KR20200056760A (ko) 인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법
CN115860591B (zh) 一种实验操作ai考试评分方法及系统
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
KR101996247B1 (ko) 진단 검사 방법 및 장치
CN115861977A (zh) 一种模拟驾驶姿态评价方法及模拟驾驶装置
CN115659221A (zh) 一种教学质量的评估方法、装置及计算机可读存储介质
KR101054688B1 (ko) 시력검사장치
CN111507555B (zh) 人体状态检测方法、课堂教学质量的评价方法及相关装置
JP2021064101A (ja) 情報処理装置、制御方法及びプログラム
CN114140282B (zh) 一种基于深度学习的普教课堂答题快速评审方法及装置
WO2024062935A1 (ja) 情報処理装置、システム、情報処理方法、およびプログラム
TWI838197B (zh) 於同步顯示之手術動態影像中即時標註提示之系統及方法
CN116271786B (zh) 一种动漫游戏机的界面交互控制方法及装置
CN217938189U (zh) 一种视力检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231127

Address after: Unit 707, Building 1, Building 1, No.1 Courtyard, Longyu Middle Street, Huilongguan Town, Changping District, Beijing, 100000

Applicant after: Beijing Zhizhen Health Technology Co.,Ltd.

Address before: 410008 Room 811, Building A, Xingwang Science Park, No. 280, Binhe North Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province

Applicant before: Hunan Zhizhen Mingyang Technical Service Co.,Ltd.

TA01 Transfer of patent application right