KR20200128506A - 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 - Google Patents

발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 Download PDF

Info

Publication number
KR20200128506A
KR20200128506A KR1020200147532A KR20200147532A KR20200128506A KR 20200128506 A KR20200128506 A KR 20200128506A KR 1020200147532 A KR1020200147532 A KR 1020200147532A KR 20200147532 A KR20200147532 A KR 20200147532A KR 20200128506 A KR20200128506 A KR 20200128506A
Authority
KR
South Korea
Prior art keywords
image
hmd device
control device
user
virtual reality
Prior art date
Application number
KR1020200147532A
Other languages
English (en)
Other versions
KR102330218B1 (ko
Inventor
김연표
Original Assignee
(주)소프트젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180169239A external-priority patent/KR20200079748A/ko
Application filed by (주)소프트젠 filed Critical (주)소프트젠
Priority to KR1020200147532A priority Critical patent/KR102330218B1/ko
Publication of KR20200128506A publication Critical patent/KR20200128506A/ko
Application granted granted Critical
Publication of KR102330218B1 publication Critical patent/KR102330218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템에 관한 것으로서, 2차원 영상을 360° VR 영상으로 변환하고 VR 영상을 복수의 영역들로 분할하며 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 제어 장치로부터 VR 영상을 제공받아 표시하고 사용자의 음성을 감지하여 음성인식결과에 대응하여 VR 영상의 표시를 변경하는 HMD 장치를 포함한다.

Description

발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법{VIRTUAL REALITY EDUCATION SYSTEM AND METHOD FOR LANGUAGE TRAINING OF DISABLED PERSON}
본 발명은 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 관한 것으로서, 더 상세하게는 가상현실 영상을 이용하여 언어 훈련과 함께 시각 교육을 함께 수행할 수 있는 가상현실 교육 시스템 및 방법에 관한 것이다.
머리 착용 디스플레이(Head Mounted Display, 이하 "HMD"라 함) 기기가 보급화됨에 따라 가상현실(Virtual Reality, 이하 "VR"이라 함) 영상에 대한 관심도 높아지고 있다. HMD 기기는 마치 실제 주변 환경과 상호 작용을 하는 것처럼 느낄 수 있는 VR 영상을 사용자에게 제공할 수 있다.
360° VR 영상을 이용하면 사용자의 움직임에 따라 시점이 변화하여 다양한 시점의 영상이 제공될 수 있다. 이러한 특징을 활용하여 게임, 교육 등 다양한 분야에 적용하려는 시도가 활발하게 진행중에 있다.
하지만, 발달장애인과 같은 인지 능력이 부족한 사용자들은 VR 영상 시청에 따른 적절한 응답을 기대할 수 없으며, 특정 시점의 영상을 시청하도록 유도하는데 어려움이 있다. 따라서, 이러한 사용자들에게 제공되는 VR 영상을 이용한 시청각 교육 방법은 효율성이 떨어지는 문제가 있다.
선행문헌 1: 대한민국 공개특허공보 제10-2018-0098936호(2018.09.05 공개) 선행문헌 2: 대한민국 등록특허공보 제10-1696558호(2017.01.13 공고)
본 발명은 전술한 문제점을 해결하고자 하는 것으로서, 사용자의 음성을 감지하여 해당 사용자가 VR 영상 내의 어떤 오브젝트(object)를 인지하려고 하는지를 판단하고, 음성인식결과에 대응하는 오브젝트를 사용자가 정확하게 인지하는지 여부를 판단하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법을 제공함에 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명은 2차원 영상을 360° 가상현실(VR) 영상으로 변환하고, 상기 VR 영상을 복수의 영역들로 분할하며, 분할된 각각의 영역에 위치 좌표를 설정하는 제어 장치와, 상기 제어 장치로부터 상기 VR 영상을 제공받아 표시하고, 사용자의 음성을 감지하여 음성인식결과에 대응하여 상기 VR 영상의 표시를 변경하는 HMD 장치를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템을 제공한다.
실시 예에 따라, 상기 HMD 장치는, 상기 VR 영상을 표시하는 표시부와, 상기 사용자의 머리 움직임을 감지하여 동작 정보를 생성하는 센서부와, 상기 사용자의 음성을 감지하여 음성인식결과를 생성하는 음성 감지부와, 상기 동작 정보를 기초로 상기 사용자가 바라보는 중심 영역의 위치 좌표를 판단하고, 상기 음성인식결과에 대응하여 상기 표시부의 영상 표시를 제어하는 프로세서를 포함할 수 있다.
실시 예에 따라, 상기 제어 장치는, 상기 HMD 장치로부터 상기 중심 영역의 위치 좌표를 수신하고, 상기 중심 영역의 위치 좌표를 기초로 상기 HMD 장치와 동일한 시점의 VR 영상을 표시할 수 있다.
실시 예에 따라, 상기 프로세서는 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트가 강조되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트의 외곽선이 밝은 휘도로 강조되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함한 영역의 휘도가 다른 영역의 휘도보다 증가되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 음성인식결과와 대응하는 오브젝트를 포함된 영역 이외의 영역의 휘도가 감소되어 표시되도록 상기 표시부를 제어할 수 있다.
실시 예에 따라, 상기 오브젝트 정보는 오브젝트의 위치 좌표와 오브젝트를 지시하는 텍스트 정보를 포함하고, 상기 오브젝트 정보는 상기 제어 장치에 의해 생성될 수 있다.
실시 예에 따라, 상기 제어 장치는, 상기 HMD 장치로부터 상기 음성인식결과를 수신하여 VR 영상에 포함된 복수의 오브젝트들 각각의 오브젝트 정보와 상기 음성인식결과를 비교하고, 상기 음성인식결과와 대응하는 오브젝트를 강조하여 표시할 수 있다.
또한, 전술한 목적을 달성하기 위하여, 본 발명은 가상현실(VR) 영상을 사용자에게 표시하는 HMD 장치와, 2차원 영상을 상기 VR 영상으로 변환하여 상기 HMD 장치에 제공하는 제어 장치를 이용한 발달장애인의 언어 훈련을 위한 가상현실 교육 방법에 있어서, 상기 HMD 장치가 사용자의 음성을 감지하여 음성인식결과를 생성하는 단계와, 상기 HMD 장치가, 상기 사용자에게 표시되는 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계와, 상기 HMD 장치가, 선별된 오브젝트를 상기 사용자에게 집중시키기 위해 상기 오브젝트를 강조하여 표시하는 단계와, 상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표를 판단하는 단계와, 상기 HMD 장치가, 상기 사용자의 중심 시점의 위치 좌표가 기 설정된 시간 동안 상기 선별된 오브젝트가 배치된 영역에 위치한 경우 교육 완료 메시지를 표시 화면상에 표시하는 단계를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법을 제공한다.
실시 예에 따라, 상기 발달장애인의 언어 훈련을 위한 가상현실 교육 방법은, 상기 제어 장치가, 상기 HMD 장치로부터 상기 중심 시점의 위치 좌표를 수신하는 단계와, 상기 제어 장치가, 상기 중심 시점의 위치 좌표를 기초로 상기 HMD 장치가 표시하는 시점의 VR 영상과 동일한 VR 영상을 표시하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 발달장애인의 언어 훈련을 위한 가상현실 교육 방법은, 상기 제어 장치가, 상기 HMD 장치로부터 상기 음성인식결과를 수신하는 단계와, 상기 제어 장치가, 상기 VR 영상에 포함된 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계와, 상기 제어 장치가, 선별된 오브젝트를 상기 오브젝트를 강조하여 표시하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 제어 장치가, 상기 HMD 장치로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시하는 단계를 더 포함할 수 있다.
본 발명의 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 따르면, 사용자의 음성을 감지하여 해당 사용자가 VR 영상 내의 어떤 오브젝트를 인지하려고 하는지를 판단할 수 있으며, 음성인식결과에 대응하는 오브젝트를 강조하여 표시함으로써 사용자의 오브젝트 인식을 도울 수 있다.
또한, 본 발명의 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법에 따르면, 사용자의 중심 시점의 위치 좌표를 판단함으로써 사용자가 오브젝트를 효과적으로 인식하고 있는지를 정확하게 판단할 수 있다.
도 1은 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 시스템의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 HMD 장치의 개략적인 블록도이다.
도 3a와 도 3b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.
도 1은 본 발명의 실시 예에 따른 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템의 도면이고, 도 2는 본 발명의 실시 예에 따른 HMD 장치의 개략적인 블록도이다.
도 1과 도 2를 참조하면, 본 발명의 실시 예에 따른 발달장애인 언어 훈련을 위한 가상현실 교육 시스템(10)은 HMD(head mounted display) 장치(100)와 제어 장치(200)를 포함할 수 있다.
HMD 장치(100)는 웨어러블 표시장치, 예컨대 두부 장착형 표시 장치로 구현될 수 있으나, 이에 한정되는 것은 아니다. HMD 장치(100)는 프로세서(110), 표시부(120), 저장부(130), 센서부(140), 및 음성 감지부(150)를 포함할 수 있다.
프로세서(110)는 특정한 계산들 또는 태스크들을 수행할 수 있다. 예컨대, 프로세서(110)는 집적 회로(integrated circuit(IC)), 애플리케이션 프로세서(application processor(AP)), 모바일(mobile) AP를 제어할 수 있는 프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
프로세서(110)는 사용자의 음성에 기초하여 표시부(120)의 표시 동작을 제어할 수 있다. 예컨대, 프로세서(110)는 사용자의 음성이 영상의 특정 영역에 포함된 오브젝트와 관련이 있는 경우, 해당 오브젝트를 강조하여 표시하도록 표시부(120)를 제어할 수 있다.
또한, 프로세서(110)는 센서부(140)에서 측정된 사용자의 동작 정보를 기초로 사용자가 VR 영상을 바라보는 중심 영역의 위치 좌표를 판단할 수 있다.
표시부(120)는 복수의 화소들을 포함하고, 입력된 영상 데이터를 이용하여 VR(virtual reality) 영상을 표시할 수 있다. 예컨대, 표시부(120)는 유기전계발광 표시 패널(Organic Light Emitting Display Panel), 액정 표시 패널(Liquid Crystal Display Panel), 플라즈마 표시 패널(Plasma Display Panel) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
저장부(130)는 제어 장치(200)로부터 제공된 VR 영상을 저장할 수 있다. 실시 예에 따라, 저장부(130)는 플래시(flash) 메모리 등과 같은 비휘발성 메모리 또는 DRAM(dynamic RAM) 등과 같은 휘발성 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다.
센서부(140)는 사용자의 머리 움직임을 감지하는 센서, 예컨대 자이로 센서를 포함할 수 있다. 상기 자이로 센서는 사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 동작 정보를 생성하여 프로세서(110)에 제공할 수 있다.
음성 감지부(150)는 HMD 장치(100) 주변에서 발생하는 사운드 중에서 사용자의 음성만을 추출하여 음성 데이터를 생성할 수 있으며, 상기 음성 데이터를 분석하여 사용자가 발화한 단어를 포함하는 음성인식결과를 프로세서(110)에 제공할 수 있다.
제어 장치(200)는 무선 또는 유선으로 데이터를 주거나 받을 수 있는 무선 통신 장치기, 이동 장치기, 및 컴퓨팅 장치를 의미할 수 있다.
예컨대, 제어 장치(200)는 서버, PC, 스마트폰(smart phone), 태블릿 (tablet) PC, 모바일 인터넷 장치(mobile internet device(MID)), 인터넷 태블릿, IoT(internet of things) 장치, IoE(internet of everything) 장치, 데스크 탑 컴퓨터(desktop computer), 랩탑(laptop) 컴퓨터, 워크스테이션 컴퓨터, 또는 PDA (personal digital assistant)를 의미할 수 있으나, 이에 한정되는 것은 아니다.
제어 장치(200)는 2차원 영상을 변환하여 360° VR 영상을 생성할 수 있고, 360° VR 영상을 HMD 장치(100)에 제공할 수 있다. 제어 장치(200)는 VR 영상을 복수의 영역들로 분할할 수 있고, 제어 장치(200)는 복수의 영역들 각각에 위치 좌표를 설정할 수 있다.
또한, 제어 장치(200)는 HMD 장치(100)와의 무선 통신을 통해 HMD 장치(100)에서 표시되는 VR 영상과 동일한 VR 영상을 표시할 수 있다. HMD 장치(100)를 착용한 사용자는 발달장애인과 같이 의사소통이 원활하지 않은 자일 수 있기 때문에 교육자의 지도에 응답하여 피드백을 적절하게 제공하지 못할 수 있다. 따라서, 제어 장치(200)의 사용자는 HMD 장치(100)에서 표시되는 VR 영상과 동일한 VR 영상을 시청함으로써, HMD 장치(100)의 사용자가 교육자의 지도에 적절하게 반응하는지 여부를 판단할 수 있다.
제어 장치(200)는 HMD 장치(100)의 사용자 움직임에 따른 시점 변화를 반영하여 표시되는 VR 영상의 시점을 변화시킬 수 있기 때문에, 교육자는 제어 장치(200)에서 표시되는 VR 영상을 확인하여 HMD 장치(100)의 사용자의 시점변화 추이를 관찰할 수 있다.
이를 위해, 제어 장치(200)는 HMD 장치(100)로부터 사용자의 현재 중심 시점, 즉 사용자가 바라보고 있는 중심 영역의 위치 좌표를 실시간으로 제공받을 수 있다. 제어 장치(200)는 중심 영역의 위치 좌표를 기초로 사용자가 바라보고 있는 중심 영역이 제어 장치(200)가 표시하는 화면 중심에 위치하도록 제어 장치(200)에서 표시되는 VR 영상을 제어할 수 있다.
도 3a와 도 3b는 본 발명의 실시 예에 따른 360°VR 영상을 설명하기 위한 도면이다.
도 3a를 참조하면, 제어 장치(200)는 2차원 영상을 이용하여 구 형태의 360° VR 영상을 생성할 수 있다. 제어 장치(200)는 360° VR 영상을 복수의 영역(AR)들로 분할한 후, 각각의 영역(AR)에 위치 좌표를 설정할 수 있다. 이때, 영역(AR)들 각각의 크기는 관리자의 설정에 따라 다양하게 변경될 수 있다.
도 3b를 참조하면, HMD 장치(100)의 사용자는 360° 전방위에서 표시되는 VR 영상을 시청할 수 있다. HMD 장치(100)는 자이로 센서에서 측정된 정보를 이용하여 사용자가 어느 영역을 바라보고 있는지, 즉 중심 영역(ARM)을 판단할 수 있다.
사용자의 움직임에 따라 자이로 센서의 x축, y축, 및 z축의 정보는 변경될 수 있으며, HMD 장치(100)는 변경된 x축, y축, 및 z축의 정보를 기초로 사용자가 바라보는 VR 영상의 중심 영역(ARM)을 판단할 수 있다. 그리고 HMD 장치(100)는 중심 영역(ARM)의 위치 좌표를 제어 장치(200)에 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 도면이다.
도 4를 참조하면, HMD 장치(100)는 제어장치로부터 VR 영상(IM)을 제공받거나 저장부(130)에 저장된 VR 영상(IM)을 재생하여 표시부(120)에 표시할 수 있다. VR 영상(IM)에는 사용자의 언어 교육을 위한 복수의 오브젝트들이 포함될 수 있다.
VR 영상은 360° 전방위에 대한 표시 화면을 포함하고 있다. HMD 장치(100)에서 VR 영상은 가상현실을 제공하는 것으로서, 실제와 마찬가지로 전방위에 배치된 영상을 동시에 시청할 수는 없다. HMD 장치(100)의 사용자가 시청할 수 있는 영역은 사용자의 안구의 전방에 위치한 영역들이며, 사용자의 움직임에 따라 표시 영역은 변경될 수 있다. 각 표시 영역에는 오브젝트들이 배치될 수 있으며, 표시 화면이 변경되게 되면 인지할 수 있는 오브젝트들의 배치도 변경되게 된다.
예컨대, HMD 장치(100)의 중심 시점이 제1 중심 영역(ARM)을 바라보게 되면 표시 화면상에는 제1 내지 제3 오브젝트들(OB1 내지 OB3)이 표시될 수 있지만, 사용자의 중심 시점이 제1 중심 영역(ARM)이 아닌 다른 영역을 바라보게 되면 표시 화면이 변경되게 되어 오브젝트들의 배치도 달라지게 된다.
HMD 장치(100)는 오브젝트들 각각의 위치를 구분하기 위해, 오브젝트가 포함된 영역의 위치 좌표를 오브젝트 정보에 저장할 수 있다. 예컨대, 제1 오브젝트(OB1)에 대한 제1 오브젝트 정보는 제1 영역들(ARG1)의 위치 좌표를 포함할 수 있고, 제2 오브젝트(OB2)에 대한 제2 오브젝트 정보는 제2 영역들(ARG2)의 위치 좌표를 포함할 수 있고, 제3 오브젝트(OB3)에 대한 제3 오브젝트 정보는 제3 영역들(ARG3)의 위치 좌표를 포함할 수 있다.
한편, 제어 장치(200)는 HMD 장치(100)로부터 실시간으로 또는 기설정 주기마다 제공된 제 중심 영역(ARM)의 위치 좌표를 수신받아 HMD 장치(100)에서 표시되는 VR 영상(IM)과 동일한 시점의 VR 영상을 표시할 수 있다. 제어 장치(200)의 사용자는 HMD 장치(100)의 사용자와 동일한 화면을 시청함으로써 HMD 장치(100)의 사용자가 언어 훈련을 정상적으로 수행하고 있는지를 판단할 수 있다.
예컨대, HMD 장치(100)의 중심 시점이 제1 중심 영역(ARM)을 바라보고 있는 경우, HMD 장치(100)는 제1 중심 영역(ARM)의 위치 좌표(PC)를 제어 장치(200)에 제공할 수 있다. 그리고 제어 장치(200)는 위치 좌표(PC)를 기초로 제1 중심 영역(ARM)이 표시 화면의 정중앙에 위치하도록 VR 영상(IM)을 표시할 수 있다.
HMD 장치(100)는 사용자의 음성을 인식하고, 해당 음성에 대응하는 영상을 강조하여 표시할 수 있다. HMD 장치(100)의 사용자는 언어 사용이 미숙한 발달장애를 가진자이기 때문에, HMD 장치(100)는 이러한 사용자를 위해 사물을 구분하는 훈련과 함께 언어 발달을 촉진하는 훈련을 제공할 수 있다.
먼저, HMD 장치(100)는 사용자의 음성을 감지하여 음성을 분석할 수 있다. 언어 사용이 미숙한 자들의 발음은 부정확할 수 있기 때문에, HMD 장치(100)의 음성 감지부(150)는 HMM(Hidden Markov Model) 알고리즘 등의 음성인식 알고리즘을 이용하여 인식 대상 후보 단어와 감지된 단어를 비교하여 가장 유력한 후보 단어를 음성인식결과로 결정할 수 있다. 그리고 HMD 장치(100)는 결정된 음성인식결과를 제어 장치(200)에 제공할 수 있다.
HMD 장치(100)는 음성인식결과와 대응하는 오브젝트를 선별하여, 해당 오브젝트를 화면상에서 강조하여 표시할 수 있다.
구체적으로, HMD 장치(100)는 음성인식결과에 포함된 정보와 대응하는 오브젝트 정보를 비교하여 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다.
예컨대, 음성인식결과에 '거울'이라는 텍스트 정보가 포함된 경우, HMD 장치(100)는 표시 화면상에 배치된 제1 내지 제3 오브젝트 정보들(OB1 내지 OB3)에 '거울'과 대응하는 정보가 포함되어 있는지 판단할 수 있다. 만약, 제1 오브젝트 정보에 '거울'에 관련된 정보가 포함되어 있는 경우, HMD 장치(100)는 제1 오브젝트(OB1)를 음성인식결과와 대응하는 것으로 판단할 수 있다.
HMD 장치(100)는 선별된 오브젝트가 위치한 영역의 위치 좌표를 기초로 해당 영역의 오브젝트를 다른 영역의 오브젝트보다 강조하여 표시할 수 있다.
실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트의 외곽선을 하이라이트 표시할 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)인 '거울 이미지'의 외곽선을 밝은 휘도로 강조하여 표시할 수 있다.
다른 실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트가 포함된 영역의 휘도를 다른 영역의 휘도보다 증가시켜서 높은 휘도로 표시된 오브젝트를 사용자에게 집중시킬 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)가 포함된 제1 영역들(ARG1)의 휘도만을 증가시키고, 나머지 영역들의 휘도를 유지하여 제1 영역들(ARG1)에 포함된 제1 오브젝트(OB1)를 강조할 수 있다.
또 다른 실시 예에 따라, HMD 장치(100)는 음성인식결과와 대응하는 오브젝트가 포함된 영역 이외의 영역의 휘도를 감소시켜서 높은 휘도로 표시된 오브젝트를 사용자에게 집중시킬 수 있다.
예컨대, 제1 오브젝트(OB1)가 음성인식결과와 대응하는 것으로 판단된 경우, HMD 장치(100)는 제1 오브젝트(OB1)가 포함된 제1 영역들(ARG1) 이외의 영역들의 휘도를 감소시키고, 제1 영역들(ARG1)의 휘도를 유지하여 제1 영역들(ARG1)에 포함된 제1 오브젝트(OB1)를 강조할 수 있다.
이후, 사용자의 중심 시점의 위치 좌표가 기 설정된 시간 동안 선별된 오브젝트가 배치된 영역에 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시화면 상에 표시하거나 교육 완료 음성을 외부에 송출할 수 있다.
예컨대, 사용자의 중심 시점의 위치 좌표가 제1 오브젝트(OB1)가 배치된 제1 영역들(ARG1) 상에 3초 이상 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시화면상에 표시하거나 교육 완료 음성을 외부에 송출하여 교육과정을 종료할 수 있다.
한편, 제어 장치(200)는 HMD 장치(100)로부터 음성인식결과를 수신하여 HMD 장치(100)가 강조하여 표시하는 오브젝트를 동일하게 강조하여 표시할 수 있다.
예컨대, 제어 장치(200)가 HMD 장치(100)로부터 수신한 음성인식결과에 '거울'이라는 텍스트 정보가 포함된 경우, 제어 장치(200)는 표시 화면상에 배치된 제1 내지 제3 오브젝트 정보들(OB1 내지 OB3)에 '거울'과 대응하는 정보가 포함되어 있는지 판단할 수 있다. 그리고 제1 오브젝트(OB1)에 '거울'에 관련된 정보가 포함되어 있는 경우, 제어 장치(200)는 제1 오브젝트(OB1)를 음성인식결과와 대응하는 것으로 판단하여 제1 오브젝트(OB1)를 제2 및 제3 오브젝트들(OB2 및 OB3)보다 강조하여 표시할 수 있다.
이와 같이, 본 발명의 실시 예에 따른 발달장애인 언어 훈련을 위한 가상현실 교육 시스템은 HMD 장치(100)의 사용자의 언어 사용과 사물 인지 능력을 강화시키기 위해 사용자의 음성을 감지하여 음성과 대응하는 오브젝트를 사용자에게 집중적으로 인지시킬 수 있다.
도 5는 본 발명의 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, HMD 장치(100)는 사용자의 음성을 감지하여 음성인식결과를 생성할 수 있다(S100).
그리고 HMD 장치(100)는 사용자에게 표시되는 VR 영상(IM)에 포함된 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다(S110).
그리고 HMD 장치(100)는 선별된 오브젝트를 사용자에게 집중시키기 위해 오브젝트를 강조하여 표시할 수 있다(S120).
그리고 HMD 장치(100)는 사용자의 중심 시점의 위치 좌표(PC)를 판단할 수 있다(S130).
그리고 사용자의 중심 시점의 위치 좌표(PC)가 기 설정된 시간 동안 선별된 오브젝트가 배치된 영역에 위치한 경우, HMD 장치(100)는 교육 완료 메시지를 표시 화면상에 표시하여 언어 교육을 종료할 수 있다(S140).
도 6은 본 발명의 다른 실시 예에 따른 발달장애인의 언어훈련을 위한 가상현실 교육 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 제어 장치(200)는 HMD 장치(100)로부터 중심 시점의 위치 좌표(PC)를 수신할 수 있다(S200).
그리고 제어 장치(200)는 중심 시점의 위치 좌표(PC)를 기초로 HMD 장치(100)가 표시하는 시점의 VR 영상(IM)과 동일한 VR 영상을 표시할 수 있다(S210).
그리고 제어 장치(200)는 HMD 장치(100)로부터 음성인식결과를 수신할 수 있다(S220).
그리고 제어 장치(200)는 VR 영상에 포함된 오브젝트들 중 음성인식결과에 대응하는 오브젝트를 선별할 수 있다(S230).
그리고 제어 장치(200)는 선별된 오브젝트를 오브젝트를 강조하여 표시할 수 있다(S240).
그리고 제어 장치(200)는 HMD 장치(100)로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시할 수 있다(S250).
이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.
100: HMD 장치
110: 프로세서
120: 표시부
130: 저장부
140: 센서부
150: 음성 감지부
200: 제어 장치

Claims (1)

  1. 발달장애인에 장착되어 가상현실(VR) 영상을 표시하는 HMD 장치와, 2차원 영상을 상기 VR 영상으로 변환하여 상기 HMD 장치에 제공하고, 상기 VR 영상을 교육자에게 표시하는 제어 장치를 이용한 발달장애인의 언어 훈련을 위한 가상현실 교육 방법에 있어서,
    상기 VR 영상을 복수의 영역들로 분할하여 상기 복수의 영역들 각각에 위치 좌표를 설정하는 단계;
    상기 HMD 장치가 상기 교육자의 음성을 감지하여 음성인식결과를 생성하는 단계;
    상기 HMD 장치가, 상기 발달장애인에게 표시되는 VR 영상 내 오브젝트들 중 상기 음성인식결과에 대응하는 오브젝트를 선별하는 단계;
    상기 HMD 장치가, 선별된 오브젝트를 상기 발달장애인에게 집중시키기 위해 상기 오브젝트를 강조하여 표시하는 단계;
    상기 HMD 장치가, 상기 발달장애인이 바라보는 상기 VR 영상 내 중심 시점의 위치 좌표를 판단하는 단계;
    상기 제어 장치가, 상기 HMD 장치로부터 상기 중심 시점의 위치 좌표를 수신하는 단계;
    상기 제어 장치가, 상기 발달장애인의 시점 변화 추이를 상기 교육자에게 인식시키기 위해, 상기 중심 시점의 위치 좌표를 기초로 상기 HMD 장치와 동일한 시점의 VR 영상을 표시하는 단계;
    상기 HMD 장치가, 상기 중심 시점의 위치 좌표가 기 설정된 시간 동안 상기 선별된 오브젝트가 배치된 영역에 위치한 경우 교육 완료 메시지를 표시 화면상에 표시하는 단계; 및
    상기 제어 장치가, 상기 HMD 장치로부터 교육 완료 신호를 수신하여 상기 교육 완료 메시지를 표시하는 단계를 포함하는 발달장애인의 언어 훈련을 위한 가상현실 교육 방법.
KR1020200147532A 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법 KR102330218B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200147532A KR102330218B1 (ko) 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180169239A KR20200079748A (ko) 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR1020200147532A KR102330218B1 (ko) 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169239A Division KR20200079748A (ko) 2018-12-26 2018-12-26 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200128506A true KR20200128506A (ko) 2020-11-13
KR102330218B1 KR102330218B1 (ko) 2021-11-24

Family

ID=73398947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147532A KR102330218B1 (ko) 2018-12-26 2020-11-06 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102330218B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220108851A (ko) * 2021-01-27 2022-08-04 주식회사 시온네트웍 음성인식 기반 가상현실 학습제공 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240040277A (ko) 2022-09-21 2024-03-28 배재대학교 산학협력단 발달 장애인의 자가 학습을 위한 가상 현실 기반 교육 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276097B1 (ko) * 2012-11-16 2013-06-18 (주) 피디케이리미티드 발달장애 치료용 다중 시뮬레이터 및 시뮬레이션 방법
KR20150066779A (ko) * 2013-12-09 2015-06-17 전자부품연구원 학습을 위한 착용형 장치 및 이를 포함하여 학습을 지원하는 시스템
KR101696558B1 (ko) 2015-12-02 2017-01-13 에스케이 주식회사 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR20180017736A (ko) * 2016-08-10 2018-02-21 (주) 씽크브릿지 Hmd 및 그 hmd의 제어 방법
KR20180061691A (ko) * 2016-11-30 2018-06-08 주식회사 넥슨코리아 음성 기반 제어 장치 및 방법
KR20180098936A (ko) 2017-02-27 2018-09-05 주식회사 에이투텍 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276097B1 (ko) * 2012-11-16 2013-06-18 (주) 피디케이리미티드 발달장애 치료용 다중 시뮬레이터 및 시뮬레이션 방법
KR20150066779A (ko) * 2013-12-09 2015-06-17 전자부품연구원 학습을 위한 착용형 장치 및 이를 포함하여 학습을 지원하는 시스템
KR101696558B1 (ko) 2015-12-02 2017-01-13 에스케이 주식회사 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법
KR101743230B1 (ko) * 2016-04-18 2017-06-05 (주)케이디엠티 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
KR20180017736A (ko) * 2016-08-10 2018-02-21 (주) 씽크브릿지 Hmd 및 그 hmd의 제어 방법
KR20180061691A (ko) * 2016-11-30 2018-06-08 주식회사 넥슨코리아 음성 기반 제어 장치 및 방법
KR20180098936A (ko) 2017-02-27 2018-09-05 주식회사 에이투텍 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220108851A (ko) * 2021-01-27 2022-08-04 주식회사 시온네트웍 음성인식 기반 가상현실 학습제공 방법

Also Published As

Publication number Publication date
KR102330218B1 (ko) 2021-11-24

Similar Documents

Publication Publication Date Title
US11087538B2 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
CN110458122B (zh) 一种视线标校方法、显示装置的播放方法和视线标校系统
KR102257181B1 (ko) 감각 안경류
US6345111B1 (en) Multi-modal interface apparatus and method
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US10943388B1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US20140129207A1 (en) Augmented Reality Language Translation
JP2006350705A (ja) 情報提供装置および方法並びにプログラム
US10788902B2 (en) Information processing device and information processing method
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR20200077775A (ko) 전자 장치 및 그의 정보 제공 방법
KR20230135550A (ko) 전자 장치 및 그의 제어 방법
JP2009206924A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
KR20200079748A (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
US11474595B2 (en) Display device and display device control method
JP2019057047A (ja) 表示制御システム、表示制御方法及びプログラム
JP2009194697A (ja) 指示システム、指示プログラム及び指示装置
US20230034773A1 (en) Electronic headset for test or exam administration
JP2005267380A (ja) 表示文字翻訳装置及びコンピュータプログラム
US20240050831A1 (en) Instructor avatars for augmented reality experiences
US20240119928A1 (en) Media control tools for managing communications between devices
US20240079031A1 (en) Authoring tools for creating interactive ar experiences
US20240077983A1 (en) Interaction recording tools for creating interactive ar stories
Huang A HoloLens application to aid people who are visually impaired in navigation tasks

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant