KR20230075593A

KR20230075593A - Apparatus and method for providing realistic language learning contents based on virtual reality and voice recognition

Info

Publication number: KR20230075593A
Application number: KR1020210161921A
Authority: KR
Inventors: 이민재
Original assignee: 주식회사 메타키움
Priority date: 2021-11-23
Filing date: 2021-11-23
Publication date: 2023-05-31

Abstract

The present invention relates to an apparatus and a method for providing realistic language learning content based on virtual reality and voice recognition. The apparatus comprises a storage module, a projection module, an audio module, a voice recognition module, and a content provision module. The storage module stores content including video and audio to reproduce virtual reality. The projection module projects video, and the audio module receives or outputs audio. The voice recognition module recognizes the audio of an answer or a question from a user about an object in virtual reality, received from the audio module and outputs a voice recognition result. The content provision module evaluates the answer or question of the user according to the voice recognition result, and enables the projection module and the audio module to output content including the audio and the video in which the object responds to the answer or question of the user in response to an evaluation result. Therefore, users can maximize the effectiveness of language learning without going abroad.

Description

Apparatus and method for providing realistic language learning contents based on virtual reality and voice recognition}

본 발명은 어학학습 콘텐츠를 제공하는 기술에 관한 것으로, 특히 가상현실 및 음성인식 기반으로 실감 어학학The present invention relates to a technology for providing language learning contents, and in particular, realistic language learning based on virtual reality and voice recognition.

습 콘텐츠를 제공하기 위한 장치와 방법에 관한 것이다.It relates to an apparatus and method for providing wet content.

가상현실(virtual reality: VR)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸, 실제와 유사하지만 실제가 아Virtual reality (VR) is similar to reality, created by artificial technology using computers, etc., but is not real.

닌 특정 환경이나 상황 혹은 그 기술 자체를 의미한다. 이때, 만들어진 가상의 환경이나 상황 등은 사용자의 오Nin means a specific environment or situation or the technology itself. At this time, the created virtual environment or situation is the user's error.

감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게By stimulating the senses and having a spatial and temporal experience similar to reality, the boundary between reality and imagination is freely crossed.

한다. 또한 사용자는 가상현실에 단순히 몰입할 뿐만 아니라 실재하는 디바이스를 이용해 조작이나 명령을 가하do. In addition, users are not only immersed in virtual reality, but also manipulate or command using real devices.

는 등 가상현실 속에 구현된 것들과 상호작용이 가능하다.It is possible to interact with things implemented in virtual reality.

본 발명의 목적은 가상현실을 통해 사용자가 직접 외국인을 만나고 음성인식을 통해 실제 외국인과 대화하는 것The purpose of the present invention is to allow users to directly meet foreigners through virtual reality and communicate with real foreigners through voice recognition.

과 같은 체험을 제공할 수 있는 장치 및 방법을 제공하기 위한 것이다.It is to provide a device and method capable of providing the same experience.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 장치는, 가상현실을 재현In order to achieve the above object, an apparatus for providing learning content according to an embodiment of the present invention reproduces virtual reality.

하기 위한 영상 및 음성을 포함하는 콘텐츠를 저장하는 저장모듈과, 영상을 영사하기 위한 영사모듈과, 음성을A storage module for storing content including video and audio for processing, a projection module for projecting an image, and a

입력받거나 출력하기 위한 오디오모듈과, 상기 오디오모듈로부터 수신되는 가상현실의 객체에 대한 사용자의 답An audio module for inputting or outputting, and a user's response to a virtual reality object received from the audio module

변 혹은 질문을 음성인식하여 음성인식 결과를 출력하는 음성인식모듈과, 상기 음성인식 결과에 따라 상기 사용A voice recognition module for recognizing words or questions and outputting a voice recognition result;

자의 답변 혹은 질문을 평가하고, 상기 평가 결과에 대응하여 상기 객체가 사용자의 답변 혹은 질문에 대해 응The user's answer or question is evaluated, and the object responds to the user's answer or question in response to the evaluation result.

답하는 음성 및 영상을 포함하는 콘텐츠를 상기 영상모듈 및 상기 오디오모듈이 출력하도록 제공하는 콘텐츠 제Contents provision for providing the video module and the audio module to output contents including voice and video responses

공모듈을 포함한다.Includes public module.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 장치는, 영상을 출력하기In order to achieve the above object, an apparatus for providing learning content according to an embodiment of the present invention outputs an image.

위한 영사모듈과, 음성을 출력하기 위한 오디오모듈과, 사용자의 두부에 착용되는 가상현실 재현부의 움직임을motion of a projection module for audio, an audio module for outputting voice, and a virtual reality representation worn on the user's head.

감지하고, 감지된 움직임에 따른 좌표를 출력하는 센서모듈과, 상기 좌표에 따른 사용자의 시야를 검출하고, 검A sensor module that detects and outputs coordinates according to the detected movement, detects the user's field of view according to the coordinates, and

출된 시야에 상응하는 영상 및 음성을 포함하는 콘텐츠를 구성하고, 구성된 콘텐츠를 상기 영상모듈 및 상기 오디오모듈이 출력하도록 제공하는 콘텐츠 제공모듈을 포함한다.and a content providing module that configures content including video and audio corresponding to the extracted field of view and provides the configured content to be output by the image module and the audio module.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 방법은, 오디오모듈이 수In order to achieve the above object, a method for providing learning content according to an embodiment of the present invention may include an audio module

신되는 가상현실의 객체에 대한 사용자의 답변 혹은 질문을 입력 받은 단계와, 음성인식모듈이 상기 사용자의The step of receiving a user's answer or question about the object of virtual reality to be played, and the voice recognition module

답변 혹은 질문을 음성인식하여 음성인식 결과를 출력하는 단계와, 콘텐츠 제공모듈이 상기 음성인식 결과에 따Voice recognition of an answer or question and outputting a voice recognition result, and a content providing module according to the voice recognition result

라 상기 사용자의 답변 혹은 질문을 평가하고, 상기 평가 결과에 대응하여 상기 객체가 사용자의 답변 혹은 질D Evaluate the user's answer or question, and in response to the evaluation result, the object responds to the user's answer or question

문에 대해 응답하는 영상 및 음성을 포함하는 콘텐츠를 구성하는 단계와, 영상모듈 및 오디오모듈이 상기 콘텐A step of constructing content including video and audio in response to a question, a video module and an audio module

츠를 출력하는 단계를 포함한다.and outputting tsu.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 방법은, 센서모듈이 사용In order to achieve the above object, a method for providing learning content according to an embodiment of the present invention uses a sensor module

자의 두부에 착용되는 가상현실 재현부의 움직임을 감지하고, 감지된 움직임에 따른 좌표를 출력하는 단계와,Detecting the movement of the virtual reality representation unit worn on the head of the ruler and outputting coordinates according to the detected movement;

콘텐츠 제공모듈이 상기 좌표에 따른 사용자의 시야를 검출하고, 검출된 시야에 상응하는 영상 및 음성을 포함The content providing module detects the user's field of view according to the coordinates, and includes video and audio corresponding to the detected field of view.

하는 콘텐츠를 구성하는 단계와, 상기 영상모듈 및 상기 오디오모듈이 상기 구성된 콘텐츠의 영상 및 음성을 출The step of constructing the content, and the video module and the audio module outputting the video and audio of the configured content.

력하는 단계를 포함한다.It includes steps to

본 발명에 따르면, 가상현실 및 음성인식을 통해 사용자가 직접 외국인을 만나고 대화하는 것과 같은 체험을 제According to the present invention, through virtual reality and voice recognition, users can experience the same as meeting and talking with foreigners directly.

공하여 외국에 나가지 않더라도 언어 학습의 효과를 극대화시킬 수 있다.Even if you do not go abroad, you can maximize the effect of language learning.

도 1은 본 발명의 실시예에 따른 콘텐츠 제공 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 제공부 및 가상현실 재현부의 구성을 설명하기 위한 블록도이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 영상을 설명하기 위한 도면이다.
도 7 내지 도 12는 본 발명의 실시예에 따른 객체영상을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 콘텐츠를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 실시예에 따른 학습 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 실시예에 따른 음성인식을 이용한 학습 콘텐츠를 제공하기 위한 방법을 설명하기 위한 흐름
도이다.
도 16은 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 청취 객체를 설명하기 위한 화면 예이다.
도 17은 본 발명의 실시예에 따른 음성 명령을 설명하기 위한 화면 예이다.
도 18은 본 발명의 일 실시예에 따른 상호작용에 따라 학습 콘텐츠를 제공하는 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 다른 실시예에 따른 상호작용에 따라 학습 콘텐츠를 제공하는 방법을 설명하기 위한 도면이
다.
도 20은 본 발명의 실시예에 따른 영상 구성 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 실시예에 따른 사용자와 원어민의 발음, 강세 및 억양을 비교하기 위한 그래프의 예를 보인
다.1 is a diagram for explaining the configuration of a content providing device according to an embodiment of the present invention.
2 is a block diagram for explaining the configuration of a content providing unit and a virtual reality reproducing unit according to an embodiment of the present invention.
3 to 6 are views for explaining an image according to an embodiment of the present invention.
7 to 12 are views for explaining object images according to an embodiment of the present invention.
13 is a flowchart illustrating a method for providing content according to an embodiment of the present invention.
14 is a flowchart illustrating a learning content providing method according to an embodiment of the present invention.
15 is a flow for explaining a method for providing learning content using voice recognition according to an embodiment of the present invention.
It is also
16 is an example of a screen for explaining a listening object for providing learning content according to an embodiment of the present invention.
17 is an example of a screen for explaining a voice command according to an embodiment of the present invention.
18 is a diagram for explaining a method of providing learning content according to an interaction according to an embodiment of the present invention.
19 is a diagram for explaining a method of providing learning content according to interaction according to another embodiment of the present invention.
all.
20 is a diagram for explaining an image composition method according to an embodiment of the present invention.
21 shows an example of a graph for comparing pronunciation, stress, and intonation of a user and a native speaker according to an embodiment of the present invention.
all.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 외국어, 예컨대, 영어를 배우고자 하는 사용자가 가상의 상대방과 외국어로 대화할 수 있는 체험을The present invention provides an experience in which a user who wants to learn a foreign language, for example, English, can communicate with a virtual counterpart in a foreign language.

제공하기 위한 가상현실을 제공한다. 이를 위한 본 발명의 실시예에 따른 가상현실 기반의 학습 콘텐츠를 제공virtual reality to provide. For this purpose, virtual reality-based learning content is provided according to an embodiment of the present invention.

하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 학습 콘텐츠 제공 장치의 구성을A device for this will be described. 1 shows the configuration of a learning content providing device according to an embodiment of the present invention.

설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 학습 콘텐츠 제공 장치는 콘텐츠 제공부It is a drawing for explanation. Referring to FIG. 1, an apparatus for providing learning content according to an embodiment of the present invention includes a content providing unit

(100) 및 가상현실 재현부(200)를 포함한다. 그리고 학습 콘텐츠 제공 장치는 선택적으로 표시부(300)를 더 포(100) and a virtual reality reproducing unit (200). And the learning content providing device optionally further includes a display unit 300.

함할 수 있다.can contain

콘텐츠 제공부(100)는 본 발명의 실시예에 따른 학습 콘텐츠를 가상현실 재현부(200)에 제공한다. 여기서, 콘텐The content providing unit 100 provides the learning content according to an embodiment of the present invention to the virtual reality reproducing unit 200 . Here, the content

츠는 가상현실(VR: Virtual Reality)을 시각적으로 표현하는 영상 및 청각적으로 표현하는 음성을 포함한다. 또It includes video that visually expresses virtual reality (VR) and voice that aurally expresses it. also

한, 콘텐츠 제공부(100)는 가상현실 재현부(200)에 제공하는 것과 동일한 콘텐츠를 표시부(300)에 제공할 수도However, the content provider 100 may provide the same content as provided to the virtual reality reproducing unit 200 to the display unit 300.

있다. 일 실시예에 따르면, 콘텐츠 제공부(100)는 셋탑박스(set-top box)로 구현될 수 있으며, 이러한 경우, 콘there is. According to one embodiment, the content provider 100 may be implemented as a set-top box, and in this case, the

텐츠 제공부(100)는 HDMI 분배기를 통해 가상현실 재현부(200)에 제공하는 것과 동일한 콘텐츠를 표시부(300)에The content providing unit 100 provides the same content as that provided to the virtual reality reproducing unit 200 through the HDMI distributor to the display unit 300.

제공할 수 있다. 다른 실시예에 따르면, 가상현실 재현부(200)는 콘텐츠 제공부(100)로부터 수신한 콘텐츠와 동can provide According to another embodiment, the virtual reality reproducing unit 200 is identical to the content received from the content providing unit 100.

일한 콘텐츠를 표시부(300)에 제공할 수 있다.The same content can be provided to the display unit 300 .

가상현실 재현부(200)는 사용자의 음성을 입력받고, 입력된 음성을 콘텐츠 제공부(100)에 전달하며 콘텐츠 제공The virtual reality reproduction unit 200 receives the user's voice, transmits the input voice to the content providing unit 100, and provides content.

부(100)는 전달받은 음성에 상응하는 콘텐츠를 제공한다. 그러면, 가상현실 재현부(200)는 사용자가 가상현실을The unit 100 provides content corresponding to the received voice. Then, the virtual reality reproduction unit 200 allows the user to

체감할 수 있도록 콘텐츠를 출력한다. 가상현실 재현부(200)는 대표적으로, HMD(Head Mounted Display)를 예시Output the content so that you can feel it. The virtual reality reproducing unit 200 typically exemplifies a Head Mounted Display (HMD).

할 수 있다. 따라서 사용자는 가상현실 재현부(200)를 두부에 착용하여 콘텐츠를 가상현실로 체험할 수 있다.can do. Therefore, the user can experience the content in virtual reality by wearing the virtual reality reproducing unit 200 on the head.

표시부(300)는 콘텐츠 제공부(100)가 제공하는 콘텐츠를 출력한다. 이러한 표시부(300)는 스피커를 포함하는 디The display unit 300 outputs content provided by the content providing unit 100 . The display unit 300 includes a speaker

스플레이 장치, 예컨대 모니터가 될 수 있다. 표시부(300)는 액정 표시 장치(LCD: Liquid Crystal Display),It can be a display device, for example a monitor. The display unit 300 includes a liquid crystal display (LCD),

유기 발광 다이오드(OLED: Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED: ActiveOrganic Light Emitting Diodes (OLED), Active Organic Light Emitting Diodes (AMOLED)

Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다.Matrix Organic Light Emitting Diodes), etc.

이하, 본 발명의 실시예에 따른 콘텐츠 제공부(100) 및 가상현실 재현부(200)의 구성에 대해서 설명한다. 도 2Hereinafter, configurations of the content providing unit 100 and the virtual reality reproducing unit 200 according to an embodiment of the present invention will be described. Figure 2

는 본 발명의 실시예에 따른 콘텐츠 제공부 및 가상현실 재현부의 구성을 설명하기 위한 블록도이다. 도 2를 참is a block diagram for explaining the configuration of a content providing unit and a virtual reality reproducing unit according to an embodiment of the present invention. see figure 2

조하면, 콘텐츠 제공부(100)는 음성인식모듈(110), 콘텐츠 제공모듈(120), 및 저장모듈(130)을 포함한다. 그리In other words, the content providing unit 100 includes a voice recognition module 110, a content providing module 120, and a storage module 130. picture

고 가상현실 재현부(200)는 영사모듈(210), 오디오모듈(220), 및 센서모듈(230)을 포함한다.The virtual reality reproduction unit 200 includes a projection module 210, an audio module 220, and a sensor module 230.

음성인식모듈(110)은 가상현실 재현부(200)의 오디오모듈(220)로부터 사용자의 음성을 수신하여, 수신된 음성을The voice recognition module 110 receives the user's voice from the audio module 220 of the virtual reality reproducing unit 200, and converts the received voice to

인식한다. 음성인식모듈(110)은 오디오모듈(220)로부터 음성이 입력되면, 음성으로부터 특징 벡터를 추출하여Recognize. When voice is input from the audio module 220, the voice recognition module 110 extracts a feature vector from the voice and

음성 벡터를 생성한다. 그런 다음, 음성인식모듈(110)은 음성 벡터에 대해 음향 모델, 발음 사전, 및 언어 모델Generate speech vectors. Then, the speech recognition module 110 uses an acoustic model, a pronunciation dictionary, and a language model for the speech vector.

을 기초로 형성된 탐색 공간에서 음성인식을 수행한다. 이러한 음성인식은 음소 단위로 이루어진다. 또한, 음성Speech recognition is performed in the search space formed based on . Such speech recognition is performed in units of phonemes. Also, voice

인식의 결과는 1-best 또는 N-best의 인식 결과가 될 수 있으나, N-best의 인식 결과가 바람직하다.The recognition result may be 1-best or N-best recognition result, but N-best recognition result is preferable.

콘텐츠 제공모듈(120)은 마이크(MIC)를 통해 입력된 사용자의 음성을 수신하거나, 혹은 센서모듈(230)을 통해The content providing module 120 receives the user's voice input through the microphone (MIC) or through the sensor module 230.

감지된 가상현실 재현부(200)의 움직임, 즉, 사용자의 두부의 움직임의 좌표를 수신하면, 그 음성 혹은 움직임Upon receiving the coordinates of the movement of the detected virtual reality reproduction unit 200, that is, the movement of the user's head, the voice or movement

의 좌표에 대응하는 콘텐츠를 가상현실 재현부(200)에 제공하는 역할을 수행한다. 이러한 컨텐츠제공모듈(120)It serves to provide the contents corresponding to the coordinates of the virtual reality reproduction unit 200. This content providing module (120)

은 영상 및 음성을 인코딩하거나 디코딩하기 위한 인코더 혹은 디코더를 포함한다. 특히, 인코더 및 디코더는includes an encoder or decoder for encoding or decoding video and audio. In particular, encoders and decoders

하드웨어이거나 소프트웨어로 구현될 수 있다.It can be hardware or software implemented.

저장모듈(130)은 콘텐츠 제공부(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그The storage module 130 serves to store programs and data necessary for the operation of the content provider 100,

램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 콘텐츠 제공부(100)의 전반적인 동작을 제어하는It can be divided into a RAM area and a data area. The program area controls the overall operation of the content providing unit 100.

프로그램 및 콘텐츠 제공부(100)를 부팅시키는 운영체제(OS: Operating System), 응용 프로그램 등을 저장할 수An operating system (OS) for booting the program and content provider 100, an application program, and the like may be stored.

있다. 데이터 영역은 콘텐츠 제공부(100)의 사용에 따라 발생하는 사용자 데이터가 저장되는 영역이다. 또한,there is. The data area is an area where user data generated according to the use of the content providing unit 100 is stored. also,

저장모듈(130)은 본 발명의 실시예에 따른 콘텐츠를 저장한다. 이러한 콘텐츠는 영상 및 음성을 포함한다. 저장The storage module 130 stores content according to an embodiment of the present invention. Such content includes video and audio. save

모듈(130)에 저장되는 각종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.Various types of data stored in the module 130 may be deleted, changed, or added according to a user's manipulation.

음성인식모듈(110)과 콘텐츠 제공모듈(120)은 예컨대, 중앙 처리 장치(CPU: Central Processing Unit), 어플리The voice recognition module 110 and the content providing module 120 may be, for example, a central processing unit (CPU), an application

케이션 프로세서(AP: Application Processor), 마이크로컨트롤러(micro-controller), 그래픽 처리 장치(GPU:Application processor (AP: Application Processor), micro-controller, graphics processing unit (GPU:

Graphics Processing Unit), 디지털 신호 처리기(DSP: Digital Signal Processor) 등을 통해 구현될 수 있다.Graphics Processing Unit), Digital Signal Processor (DSP), and the like.

또한, 저장모듈(130)은 HDD(Hard Disk Drive), SDD(Solidstate Disk Drive), RAM(Read Access Memory),In addition, the storage module 130 includes a hard disk drive (HDD), a solid state disk drive (SDD), a read access memory (RAM),

ROM(Read Only Memory), FLASH, EEPROM 등을 통해 구현될 수 있다.It may be implemented through read only memory (ROM), FLASH, EEPROM, and the like.

영사모듈(210)은 도시되지는 않았지만, 프로젝터와 광학계를 포함한다. 프로젝터는 마이크로 디스플레이 패널을Although not shown, the projection module 210 includes a projector and an optical system. The projector uses a micro display panel

통해 영상을 발산하며, 광학계는 그 영상을 반사시키거나 굴절시켜 사용자의 눈(동공)에 영사한다. 이로써, 사The optical system reflects or refracts the image and projects it to the user's eye (pupil). In this way,

용자는 가상현실을 나타내는 확대된 영상을 볼 수 있다.The user can see an enlarged image representing virtual reality.

오디오모듈(220)은 마이크(MIC) 및 스피커(SPK)를 포함한다. 오디오모듈(220)은 마이크(MIC)를 통해 사용자의The audio module 220 includes a microphone (MIC) and a speaker (SPK). The audio module 220 is the user's through the microphone (MIC)

음성을 입력받고, 입력된 음성을 음성인식모듈(310)에 제공한다. 또한, 오디오모듈(220)은 콘텐츠 제공모듈It receives a voice input and provides the input voice to the voice recognition module 310 . In addition, the audio module 220 is a content providing module

(320)로부터 입력되는 음성을 스피커(SPK)를 통해 출력한다.The voice input from 320 is output through the speaker SPK.

센서모듈(230)은 가상현실 재현부(200)의 움직임을 감지하기 위한 것이다. 가상현실 재현부(200)는 사용자의 두The sensor module 230 is for detecting the movement of the virtual reality reproducing unit 200 . The virtual reality reproducing unit 200 is a user's two

부에 착용되기 때문에 센서모듈(230)을 통해 가상현실 재현부(200)의 움직임을 감지하면, 사용자의 시야를 도출When the motion of the virtual reality reproducing unit 200 is detected through the sensor module 230 because it is worn on the part, the user's field of view is derived.

할 수 있다. 이를 위하여, 센서모듈(230)은 가상현실 재현부(200)의 움직임을 감지하여, 감지된 움직임을 좌표can do. To this end, the sensor module 230 detects the movement of the virtual reality reproducing unit 200 and converts the detected movement to coordinates.

로 콘텐츠 제공모듈(320)에 제공한다. 센서모듈(230)이 콘텐츠 제공모듈(320)에 제공하는 좌표는 3차원 직교좌to the content providing module 320. The coordinates provided by the sensor module 230 to the content providing module 320 are three-dimensional orthogonal coordinates.

표계의 x, y, z와, 요(yaw), 피치(pitch), 롤(roll)을 포함한다. 센서모듈(230)은 하나 이상의 센서를 통해 구It includes the coordinate system x, y, z, yaw, pitch, and roll. The sensor module 230 is configured through one or more sensors.

현될 수 있으며, 이러한 센서는 가속도센서(accelerometer), 자이로센서(gyroscope), 지자기센서It can be implemented, and these sensors include an accelerometer, a gyroscope, and a geomagnetic sensor.

(magnetometer) 등이 될 수 있다.(magnetometer), etc.

다음으로, 본 발명의 실시예에 따른 가상현실을 표현하는 배경영상(V)에 대해서 설명하기로 한다. 도 3 내지 도Next, a background image (V) representing virtual reality according to an embodiment of the present invention will be described. Figure 3 to Figure

6은 본 발명의 실시예에 따른 영상을 설명하기 위한 도면이다.6 is a diagram for explaining an image according to an embodiment of the present invention.

도 3에서 도면부호 S는 가상공간을 나타낸다. 본 발명의 실시예에 따른 가상현실은 사용자가 가상현실 재현부In FIG. 3, reference numeral S denotes a virtual space. Virtual reality according to an embodiment of the present invention is a virtual reality reproducing unit

(200)를 착용하였을 때, 가상공간(S) 상의 위치 U에 있는 것과 같은 가상의 체험을 할 수 있도록 제공된다. 이When wearing (200), it is provided so that a virtual experience such as being in the position U on the virtual space (S) can be performed. this

를 위하여, 위치 U에서 가상공간(S)을 전방향으로 촬영하여 배경영상(V)을 생성한다. 특히, 배경영상(V)은 현실For this, a background image (V) is created by photographing the virtual space (S) in all directions at the location U. In particular, the background image (V) is real

감을 위해 사용자의 시야에 따라 가상공간(S)의 일부만이 제공된다. 현실 세계에서 사용자가 시선을 돌리면 그For perception, only a part of the virtual space S is provided according to the user's field of view. In the real world, when a user looks away,

사용자의 시야도 변경된다. 이와 마찬가지로, 본 발명에 따르면, 사용자의 변경되는 시야에 맞춰 가상공간(S)의The user's field of view also changes. Similarly, according to the present invention, the virtual space (S) according to the user's changed field of view

일부를 배경영상(V)으로 제공한다.A part is provided as a background image (V).

본 발명은 언어를 학습하고자 하는 사용자가 가상공간(S)에서 학습하고자 하는 언어를 가상현실을 체험할 수 있According to the present invention, a user who wants to learn a language can experience the language he wants to learn in a virtual space (S) in virtual reality.

도록 한다. 주제에 따라 다양한 가상공간(S)이 제공되며, 각 주제는 특정 장소 혹은 상황에 따라 정해질 수 있let it be Depending on the subject, various virtual spaces (S) are provided, and each subject can be determined according to a specific place or situation.

다. 예컨대, 주제는 특정 장소에 따라 공항, 식당, 공연장, 호텔, 지하철, 도시, 놀이시설, 명승지 등이 될 수all. For example, the subject may be an airport, restaurant, concert hall, hotel, subway, city, amusement facility, scenic spot, etc. depending on the specific place.

있다. 혹은, 다른 예로, 주제는 특정 영화의 패러디 상황, 특정 드라마의 패러디 상황 등이 될 수 있다. 즉, 본there is. Alternatively, as another example, the subject may be a parody situation of a specific movie or a parody situation of a specific drama. That is, seen

발명의 실시예에 따른 학습 콘텐츠는 그 주제에 따라 특정 장소 혹은 상황을 가상현실로 재현하기 위해 각 주제Learning content according to an embodiment of the invention is for each subject to reproduce a specific place or situation in virtual reality according to the subject.

에 상응하는 가상공간(S)을 가진다. 그리고 이러한 가상공간(S) 중의 일부를 시야에 따라 배경영상(V)으로 제공has a virtual space (S) corresponding to And some of these virtual spaces (S) are provided as background images (V) according to the field of view.

한다. 이에 따라, 사용자는 배경영상(V)을 통해 주제, 즉 어떤 장소인지 혹은 어떤 상황인지를 직관적으로 인지do. Accordingly, the user intuitively recognizes the subject, that is, a certain place or a certain situation through the background image (V).

할 수 있다. 도 4에 보인 예는 지하철을 가상현실로 재현하기 위해 사용되는 배경영상(V)의 예를 보인다. 배경can do. The example shown in FIG. 4 shows an example of a background image (V) used to reproduce a subway in virtual reality. background

영상(V)의 지하철의 차량, 지하철 플랫폼을 통해 사용자는 자신이 지하철에 관련된 가상현실을 체험할 것임을Through the subway vehicle and subway platform in the video (V), the user will experience the virtual reality related to the subway.

인지할 수 있다.can perceive

본 발명의 실시예에 따르면, 가상현실 재현부(200)는 사용자의 두부에 착용되기 때문에 가상현실 재현부(200)의According to an embodiment of the present invention, since the virtual reality reproducing unit 200 is worn on the head of the user, the virtual reality reproducing unit 200

움직임을 감지하고 가상현실 재현부(200)의 움직임에 따라 사용자의 시선(시야)의 변화를 추정한다. 이를 위하The movement is detected and the change of the user's line of sight (field of view) is estimated according to the movement of the virtual reality reproducing unit 200 . for this

여, 가상현실 재현부(200)에 내장되는 센서모듈(230)을 이용한다. 도 5에 보인 바와 같이, 센서모듈(230)은 가Yea, the sensor module 230 built into the virtual reality reproducing unit 200 is used. As shown in Figure 5, the sensor module 230 is

상현실 재현부(200)의 움직임을 감지하여 그 움직임을 좌표(x, y, z, yaw, pitch, roll)로 출력한다. 그러면,The movement of the virtual reality reproducing unit 200 is sensed and the movement is output as coordinates (x, y, z, yaw, pitch, roll). then,

콘텐츠 제공모듈(120)은 좌표(x, y, z, yaw, pitch, roll)로부터 시선의 방향을 검출하고, 그 시선에 따른 시야The content providing module 120 detects the direction of the gaze from the coordinates (x, y, z, yaw, pitch, roll), and the visual field according to the gaze

에 따라 배경영상(V)을 구성한다. 좀 더 자세히 설명하면, 사람 눈의 좌우 시야각은 약 120도 정도이지만, 가상According to the background image (V) is configured. To explain in more detail, the left and right viewing angles of the human eye are about 120 degrees, but the virtual

현실 재현부(200)가 제공하는 배경영상(V)은 가상현실 재현부(200)가 제공하는 시야각에 따른다. 이러한 시야각The background image V provided by the reality reproducing unit 200 depends on the viewing angle provided by the virtual reality reproducing unit 200 . these viewing angles

은 영사모듈(210)의 사양, 즉 프로젝터 및 광학계의 사양(spec)에 따른다. 따라서 콘텐츠 제공모듈(120)은 센서depends on the specifications of the projection module 210, that is, the specifications of the projector and optical system. Therefore, the content providing module 120 is a sensor

모듈(230)로부터 수신된 좌표(x, y, z, yaw, pitch, roll)를 이용하여 초점(Focus Point: FP)으로부터 시선의The gaze from the focus point (FP) using the coordinates (x, y, z, yaw, pitch, roll) received from the module 230

방향(Direction of View: DoV)을 구하고, 그 시선의 중심으로부터 영사모듈(210)이 제공 가능한 시야각(FieldThe direction of view (DoV) is obtained, and the viewing angle (Field

of View angle: FoV)에 따라 가상공간(S)으로부터 배경영상(V)을 추출한다. 예컨대, 도 5에 보인바와 같이, 영The background image (V) is extracted from the virtual space (S) according to the view angle (FoV). For example, as shown in FIG. 5, zero

사모듈(210)의 사양에 따라 좌우 시야각(FoV)이 약 115도이고, 상하 시야각(FoV)이 90도라고 가정한다. 콘텐츠Assume that the left and right viewing angles (FoV) are about 115 degrees and the up and down viewing angles (FoV) are 90 degrees according to the specifications of the four module 210. contents

제공모듈(320)은 좌표(x, y, z, yaw, pitch, roll)로부터 시선의 방향(DoV)을 도출하고, 그 시선의 방향(DoV)The providing module 320 derives the direction of the gaze (DoV) from the coordinates (x, y, z, yaw, pitch, roll), and the direction of the gaze (DoV)

로부터 요, 롤, 및 피치(yaw, pitch, roll)에 따라 좌우 시야각(FoV) 115도 그리고 상하 시야각(FoV) 90도 만Left and right FoV 115 degrees and up and down FoV 90 degrees depending on yaw, pitch, and roll from

큼의 시야에 속한 가상공간(S)을 추출하여 배경영상(V)으로 구성한다.The virtual space (S) belonging to the large field of view is extracted and constituted as a background image (V).

배경영상(V)을 구성한 후, 콘텐츠 제공모듈(320)은 배경영상(V)을 영사모듈(210)에 제공하며, 영사모듈(210)은After configuring the background image (V), the content providing module 320 provides the background image (V) to the projection module 210, and the projection module 210

그 배경영상(V)을 영사한다. 따라서 가상현실 재현부(200)를 착용한 사용자는 자신이 고개를 돌려 시선을 변경The background image (V) is projected. Therefore, the user wearing the virtual reality reproducing unit 200 turns his or her head and changes the line of sight.

하면, 그 시선의 변경에 상응하는 시야에 잡히는 배경영상(V)을 볼 수 있다. 예컨대, 도 6에 보인 바와 같이,Then, the background image (V) caught in the field of view corresponding to the change of the line of sight can be seen. For example, as shown in Figure 6,

시야가 초기 영상(V_initial)에 있을 때, 사용자가 고개를 왼쪽으로 돌리면, 센서모듈(230)은 요(yaw)의 값이When the user's head is turned to the left when the field of view is in the initial image (V_initial), the sensor module 230 returns a yaw value

변경된 좌표를 출력하며, 이에 따라, 콘텐츠 제공모듈(320)은 요(yaw)가 변경된 배경영상(V_yaw)을 구성하고,Outputs the changed coordinates, and accordingly, the content providing module 320 constructs a background image (V_yaw) with a changed yaw,

영사모듈(210)은 이를 영사한다. 마찬가지로, 사용자가 고개를 왼쪽으로 숙이면, 센서모듈(230)은 롤(roll)의The projection module 210 projects it. Similarly, when the user bends his head to the left, the sensor module 230 rolls

값이 변경된 좌표를 출력하며, 이에 따라, 콘텐츠 제공모듈(320)은 롤(roll)이 변경된 배경영상(V_roll)을 구성Outputs the coordinates whose values are changed, and accordingly, the content providing module 320 configures a background image (V_roll) with a changed roll.

하고, 영사모듈(210)은 이를 영사한다. 또한, 사용자가 고개를 앞으로 숙이면, 센서모듈(230)은 피치(pitch)의and the projection module 210 projects it. In addition, when the user bends his or her head forward, the sensor module 230 adjusts the pitch

값이 변경된 좌표를 출력하며, 이에 따라, 콘텐츠 제공모듈(320)은 피치(pitch)가 변경된 배경영상(V_pitch)을 구성하고, 영사모듈(210)은 이를 영사한다. 이에 따라 사용자는 가상공간(S)에 있는 것과 같은 가상현실을 체험The coordinates whose values are changed are output, and accordingly, the content providing module 320 constructs a background image (V_pitch) having a changed pitch, and the projection module 210 projects the background image (V_pitch). Accordingly, the user experiences the same virtual reality as being in the virtual space (S).

할 수 있다.can do.

한편, 본 발명의 실시예에 따른 콘텐츠의 영상은 배경영상(V)과 더불어 객체영상(O)을 포함한다. 다른 말로, 영On the other hand, the image of the content according to the embodiment of the present invention includes the background image (V) and the object image (O). In other words, young

상은 배경영상(V)에 객체영상(O)이 정합된 것이다. 이러한 객체영상(O)에 대해서 설명하기로 한다. 도 7 내지The image is a matching object image (O) to the background image (V). This object image O will be described. 7 to

도 12는 본 발명의 실시예에 따른 객체영상(O)을 설명하기 위한 도면이다.12 is a diagram for explaining an object image O according to an embodiment of the present invention.

객체영상(O)은 본 발명의 실시예에 따른 객체(Object)를 표현하기 위한 것이다. 도 7에 보인 바와 같이, 객체영The object image O is for representing an object according to an embodiment of the present invention. As shown in Figure 7, object zero

상(O)은 크로마키 기법에 따라 배경영상(V)과 별개로 촬영되며, 촬영된 객체영상(O)은 배경영상(V)에 정합되어The image (O) is captured separately from the background image (V) according to the chroma key technique, and the captured object image (O) is matched to the background image (V).

콘텐츠의 영상을 이룬다. 본 발명의 실시예에서 객체는 대화 객체, 단어 객체, 및 이동 객체를 포함한다.make up the image of the content. In an embodiment of the present invention, objects include conversation objects, word objects, and moving objects.

대화 객체는 가상공간(S)에 존재하는 가상의 캐릭터로, 본 발명의 실시예에 따라 사용자와 대화할 수 있다. 즉,The conversation object is a virtual character existing in the virtual space (S), and can communicate with the user according to an embodiment of the present invention. in other words,

대화 객체는 가상의 대화 상대이다. 대화 객체는 주로 인물이지만, 동물, 혹은 무생물이 의인화된 캐릭터가 될A conversation object is a virtual conversation partner. Conversation objects are mainly people, but animals or inanimate objects can be anthropomorphic characters.

수도 있다. 일례로, 주제가 지하철인 경우, 승객, 역무원, 경찰 등이 대화 객체가 될 수 있다.may be For example, when the subject is a subway, conversation objects may be passengers, station attendants, police officers, and the like.

도 8 및 도 9는 주제가 지하철인 경우의 배경영상(V)을 보이며, 경찰(51)이 대화 객체인 객체영상(O)이 정합된8 and 9 show a background image (V) when the subject is the subway, and the object image (O) in which the police 51 is a conversation object is matched.

화면 예를 보인다. 사용자는 이러한 대화 객체와 본 발명의 실시예에 따라 대화를 할 수 있다. 이러한 대화 방Show example screen. A user can have a conversation with this conversation object according to an embodiment of the present invention. these chat rooms

법은 아래에서 보다 상세하게 설명될 것이다.The law will be explained in more detail below.

단어 객체는 단어의 의미를 설명하는 캐릭터이다. 이러한 단어 객체는 사용자가 단어의 의미를 직관적으로 이해A word object is a character that describes the meaning of a word. These word objects allow users to intuitively understand the meaning of words.

할 수 있도록 돕는다. 단어 객체는 해당 단어가 사물의 명칭을 나타내는 명사인 경우, 그 사물이 될 수 있다.help you do it A word object may be a thing when a corresponding word is a noun representing a name of a thing.

예컨대, 도 8 및 도 9에 도시된 바와 같이, 단어 객체는 '표지판(signs)'(53)이 될 수 있다. 그리고 도 10의 단For example, as shown in FIGS. 8 and 9 , the word object may be 'signs' 53 . And the stage of FIG. 10

어 객체는 '개찰구(turnstile)'(55)이다. 또한, 단어 객체는 해당 단어가 동사, 형용사, 부사, 등의 무형의 것The object is a 'turnstile' (55). In addition, word objects are intangible objects such as verbs, adjectives, adverbs, etc.

인 경우, 해당 단어의 의미를 재현하는 주체가 될 수 있다. 도 11에서 단어 객체는 단어 "read"의 의미를 설명In the case of , it may be a subject that reproduces the meaning of the word. In Figure 11, the word object describes the meaning of the word "read"

하는 캐릭터(57)이다. 여기서, 단어 객체는 "read"의 의미를 설명하기 위하여 책을 읽고 있는 가상의 인물(57)It is a character (57) to do. Here, the word object is an imaginary character 57 reading a book to explain the meaning of “read”.

이 채택된다.this is adopted

이동 객체는 사용자가 가상공간(S) 내에서 이동할 수 있도록 하기 위한 것이다. 이러한 이동 객체는 사용자가The moving object is for allowing the user to move within the virtual space (S). These moving objects are

움직일 수 있는 방향을 나타내는 표지의 형태를 가진다. 사용자는 가상공간(S)에서 이동 객체를 통해 이동 객체It has the form of a sign indicating the direction in which it can move. The user moves through the moving object in the virtual space (S)

가 지시하는 방향으로 이동할 수 있다. 예컨대, 도 12의 이동 객체는 위쪽 방향을 지시하는 화살표(59)이며, 이can move in the direction indicated by For example, the moving object in FIG. 12 is an arrow 59 pointing in an upward direction,

러한 이동 객체가 활성화되면, 사용자는 위쪽으로 이동할 수 있다. 이러한 이동은 사용자가 직접 이동하는 것이When such a moving object is activated, the user can move upward. This movement is performed by the user himself.

아니라, 배경영상(V)을 이동시켜 사용자가 계단을 통해 위로 걸어가는 것과 같은 가상 체험을 제공하는 것이다.Rather, the background image V is moved to provide a virtual experience such as the user walking up through the stairs.

그러면, 전술한 설명을 기초로 가상현실 재현부(200)를 두부에 착용한 사용자의 움직임에 따라 학습 콘텐츠를Then, based on the above description, the learning content is provided according to the movement of the user wearing the virtual reality reproducing unit 200 on the head.

제공하는 방법에 대해서 설명하기로 한다. 도 13은 본 발명의 일 실시예에 따른 학습 콘텐츠를 제공하기 위한We will explain how to provide it. 13 is a diagram for providing learning content according to an embodiment of the present invention.

방법을 설명하기 위한 흐름도이다.It is a flow chart to explain the method.

도 3 내지 도 13을 참조하면, 가상현실 재현부(200), 예컨대, HMD는 사용자가 자신의 두부에 착용한 상태이다.Referring to FIGS. 3 to 13 , the virtual reality reproducing unit 200, for example, the HMD, is worn on the user's head.

이러한 상태에서 고개를 돌리거나, 젖히거나, 숙이는 등의 사용자의 움직임이 있으면, 가상현실 재현부(200)도In this state, if there is a movement of the user, such as turning, tilting, or bending the head, the virtual reality reproducing unit 200 also

움직인다. 이에 따라, 가상현실 재현부(200) 내에 설치된 센서모듈(230)은 S110 단계에서 가상현실 재현부(20It moves. Accordingly, the sensor module 230 installed in the virtual reality reproducing unit 200 is the virtual reality reproducing unit 20 in step S110.

0)의 움직임을 감지할 수 있다. 그리고 센서모듈(230)은 S120 단계에서 감지된 가상현실 재현부(200)의 움직임0) can detect motion. And the sensor module 230 moves the virtual reality reproduction unit 200 detected in step S120.

을 좌표(x, y, z, yaw, pitch, roll)를 통해 콘텐츠 제공모듈(120)로 전달한다.is transmitted to the content providing module 120 through coordinates (x, y, z, yaw, pitch, roll).

다음으로, 콘텐츠 제공모듈(120)은 S130 단계에서 가상현실 재현부(200)의 움직임을 나타내는 좌표(x, y, z,Next, the content providing module 120 sets the coordinates (x, y, z,

yaw, pitch, roll)에 따라 시야를 검출한다. 여기서, 시야는 사람의 시야가 아닌 영사 모듈(210)이 제공할 수yaw, pitch, roll) to detect the field of view. Here, the field of view may be provided by the projection module 210 rather than the human field of view.

있는 시야라는 점을 유의하여야 한다. 좀 더 자세히 설명하면, 사람 눈의 좌우 시야각은 약 120도 정도이지만,It should be noted that there is a field of view. To explain in more detail, the left and right viewing angles of the human eye are about 120 degrees,

가상현실 재현부(200)가 제공하는 배경영상(V)은 가상현실 재현부(200)가 제공하는 시야각에 따른다. 시야각은The background image V provided by the virtual reality reproducing unit 200 depends on the viewing angle provided by the virtual reality reproducing unit 200 . the viewing angle is

영사모듈(210)의 사양, 즉, 프로젝터 및 광학계의 사양(spec)에 따른다. 따라서 도 5에 보인 바와 같이, 콘텐츠Depends on the specifications of the projection module 210, that is, the specifications of the projector and optical system. Therefore, as shown in Figure 5, the content

제공모듈(320)은 센서모듈(230)로부터 수신된 좌표(x, y, z, yaw, pitch, roll)를 이용하여 초첨(Focus Point:The providing module 320 uses the coordinates (x, y, z, yaw, pitch, roll) received from the sensor module 230 to focus (Focus Point:

FP)으로부터 시선의 방향(Direction of View: DoV)을 구하고, 그 시선의 중심으로부터 영사모듈(210)이 제공 가The direction of view (DoV) is obtained from FP), and the projection module 210 provides it from the center of the gaze.

능한 시야각(Field of View angle: FoV)에 따라 시야를 구한다.Obtain the field of view according to the available field of view angle (FoV).

그런 다음, 콘텐츠 제공모듈(120)은 S140 단계에서 앞서 구한 시야에 상응하는 배경영상(V) 및 객체영상(O)을Then, the content providing module 120 provides a background image (V) and an object image (O) corresponding to the previously obtained field of view in step S140.

포함하는 영상과 그 영상에 필요한 음성을 포함하는 콘텐츠를 구성한다.Contents including video and audio necessary for the video are configured.

이어서, 콘텐츠 제공모듈(120)은 S150 단계에서 영상 및 음성을 영사모듈(210) 및 오디오모듈(220)에 제공한다.Subsequently, the content providing module 120 provides video and audio to the projection module 210 and the audio module 220 in step S150.

그러면, 영사모듈(210) 및 오디오모듈(220)은 S160 단계에서 영상 및 음성을 출력한다. 즉, 오디오모듈(220)은 사용자가 음성을 청각적으로 인지할 수 있도록 출력하며, 영사모듈(210)은 사용자가 영상을 시각적으로 인지할Then, the projection module 210 and the audio module 220 output video and audio in step S160. That is, the audio module 220 outputs so that the user can perceive voices aurally, and the projection module 210 allows the user to visually perceive images.

수 있도록 영사한다.consulate so that

전술한 바와 같이, 영상은 배경영상(V) 및 객체영상(O)을 포함한다. 본 발명의 실시예에 따르면, 객체영상(O)은As described above, the image includes a background image (V) and an object image (O). According to an embodiment of the present invention, the object image (O)

활성 모드 및 비활성 모드를 가지며, 객체의 활성 모드 및 비활성 모드 각각에 대한 객체영상(O)은 조건에 따라It has an active mode and an inactive mode, and the object image O for each of the active mode and inactive mode of the object depends on the condition.

선택적으로 제공된다.provided optionally.

전술한 바와 같이, 대화 객체는 사용자와 가상의 대화를 수행하며, 단어 객체는 사용자에게 단어의 의미를 설명As described above, the conversation object conducts a virtual conversation with the user, and the word object explains the meaning of words to the user.

하고, 이동 객체는 사용자가 가상공간(S) 내에서 이동할 수 있도록 한다. 이러한 기능들은 활성 모드에서 제공And, the moving object allows the user to move within the virtual space (S). These functions are provided in active mode

되며, 비활성 모드인 경우 객체의 외형만이 표현되는 기본 영상이 재생된다. 기본적으로, 객체영상(O)은 비활성In case of the inactive mode, a basic image in which only the external appearance of the object is expressed is reproduced. By default, object image (O) is inactive.

모드로 제공되며, 기 설정된 조건이 만족되면, 활성 모드로 전환된다. 그러면, 비활성 모드의 객체를 활성 모드It is provided as a mode, and when a preset condition is satisfied, it is converted into an active mode. Then, an object in inactive mode can be moved to active mode.

로 전환시킨 후 학습 콘텐츠를 제공하는 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 학After converting to , a method of providing learning content will be described. 14 is a diagram according to an embodiment of the present invention

습 콘텐츠 제공 방법을 설명하기 위한 흐름도이다. 도 14의 실시예는 앞서 도 13에서 설명된 S140 단계에서 이It is a flowchart for explaining the wet content providing method. In the embodiment of FIG. 14, in step S140 described above in FIG. 13,

루어진다.gets ripped

전술한 바와 같이, 콘텐츠 제공모듈(120)은 S130 단계에서 센서모듈(230)로부터 가상현실 재현부(200)의 움직임As described above, the content providing module 120 moves the virtual reality reproducing unit 200 from the sensor module 230 in step S130.

에 대한 좌표를 이용하여 시야를 검출한다. 이에 따라, 콘텐츠 제공모듈(120)은 S210 단계에서 시야의 중심(C:The field of view is detected using the coordinates for . Accordingly, the content providing module 120 controls the center of the field of view (C:

the center of the field of view)에 객체가 존재하는지 여부를 판단한다. 여기서, 시야의 중심(C)은 시선의Determines whether an object exists in the center of the field of view). Here, the center of the visual field (C) is the

방향(DoV)으로부터 도출된다. 도 8 내지 도 12는 비활성 모드의 객체(51, 53, 55, 57, 59)의 객체영상(O)을 포It is derived from the direction (DoV). 8 to 12 include object images O of objects 51, 53, 55, 57, and 59 in an inactive mode.

함하는 영상(V)이다. 도 8 및 도 9의 경우, 대화 객체인 경찰(51)과 단어 객체인 '표지판(signs)'(53)이 존재한It is the video (V) containing. In the case of FIGS. 8 and 9 , a conversation object police 51 and a word object 'signs' 53 exist.

다. 도 8의 경우, 시야의 중심(C)에 어떠한 객체도 존재하지 않지만, 도 9의 경우, 시야의 중심(C)에 객체인 경all. In the case of FIG. 8, no object exists in the center C of the visual field, but in the case of FIG. 9, an object is present in the center C of the visual field.

찰(51)이 존재한다. 도 8의 모든 객체(51, 53)의 객체영상(O)은 비활성 모드를 유지하며, 도 9의 경찰(51)의 객Char 51 is present. The object images O of all objects 51 and 53 of FIG. 8 maintain an inactive mode, and the object of the police 51 of FIG. 9

체영상(O)은 활성 모드로 전환될 것이다. 또한, 도 10, 도 11 및 도 12의 경우, 시야의 중심(C)에 각각 '개찰구The body image (O) will be switched to the active mode. In addition, in the case of FIGS. 10, 11 and 12, the 'wicket' at the center of the field of view (C)

(turnstile)'(55), 가상의 인물(57), 화살표(59)가 존재한다. 따라서 각각 '개찰구(turnstile)'(55), 가상의(turnstile)' (55), an imaginary person (57), and an arrow (59) exist. Thus, each 'turnstile' (55), virtual

인물(57), 화살표(59)의 객체영상(O)은 활성 모드로 전환될 것이다.The object image O of the person 57 and the arrow 59 will be switched to the active mode.

활성 모드로 전환되는 경우, 콘텐츠 제공모듈(120)은 S220 단계에서 저장모듈(130)로부터 객체의 종류에 따라When switched to the active mode, the content providing module 120 determines the type of object from the storage module 130 in step S220.

활성 모드에 해당하는 객체영상(O)을 추출하고, S230 단계에서 추출된 활성 모드의 객체영상(O)을 배경영상(V)An object image (O) corresponding to the active mode is extracted, and the object image (O) of the active mode extracted in step S230 is converted to a background image (V).

에 정합하여 영상을 구성한다. 반면, 비활성 모드를 유지하는 경우, 콘텐츠 제공모듈(120)은 S240 단계에서 저to compose an image. On the other hand, if maintaining the inactive mode, the content providing module 120 in step S240

장모듈(130)로부터 객체의 종류에 따라 비활성 모드에 해당하는 객체영상(O)을 추출하고, S230 단계에서 추출된An object image (O) corresponding to the inactive mode is extracted from the field module 130 according to the type of object, and extracted in step S230.

비활성 모드의 객체영상(O)을 배경영상(V)에 정합하여 영상을 구성한다.An image is formed by matching the object image (O) in the inactive mode to the background image (V).

그러면, 도 8 내지 도 12를 참조하여, 객체의 종류별 비활성 모드 및 활성 모드의 차이에 대해서 예를 들어 설Then, with reference to FIGS. 8 to 12, the difference between the inactive mode and the active mode for each type of object will be described as an example.

명하기로 한다. 일례로, 단어 객체 중 도 8, 도 9 및 도 10의 단어 객체의 해당 단어가 사물의 명칭을 나타내는to order As an example, among word objects, a corresponding word of word objects of FIGS. 8, 9, and 10 indicates the name of a thing.

명사인 '표지판(signs)'(53) 및 '개찰구(turnstile)'(55)와 같은 경우, 비활성 모드에서 단순히 객체의 외형만In the case of the nouns 'signs' (53) and 'turnstile' (55), in inactive mode, the object's appearance is simply

이 제공된다. 반면, 활성 모드에서 '표지판(signs)'(53) 및 '개찰구(turnstile)'(55)는 단어('signs' 및is provided. On the other hand, in the active mode, 'signs' (53) and 'turnstile' (55) are words ('signs' and

turnstile')의 철자가 텍스트로 제공되고, 그 발음이 음성으로 제공될 수 있다. 또한, 단어('signs' 및turnstile') may be provided as text, and its pronunciation may be provided as voice. Also, words ('signs' and

turnstile')의 의미가 선택에 따라 국어 혹은 영어로 음성 및 텍스트 중 어느 하나로 제공될 수 있다. 또한, 단turnstile') can be provided in either voice or text in Korean or English, depending on the selection. Also, only

어('signs' 및 turnstile')에 대한 예문이 음성 및 텍스트 중 어느 하나로 제공될 수 있다. 다른 예로, 단어 객Example sentences for words ('signs' and turnstile') can be provided in either voice or text. As another example, the word object

체 중 도 11의 단어 객체인 가상의 인물(57)은 해당 단어가 동사 'read'와 같은 무형의 것이다. 이러한 경우,Weight The imaginary person 57, which is a word object of FIG. 11, is intangible such that the corresponding word is the verb 'read'. In this case,

비활성 모드에서 객체영상(O)은 가상의 인물(57)이 책을 읽고('read')있는 모습을 제공한다. 반면, 활성 모드에In the inactive mode, the object image O provides a picture of the virtual person 57 reading ('reading') a book. On the other hand, in active mode

서 객체영상(O)은 가상의 인물(57)이 단어('read')의 철자를 직접 기재하는 행위와 더불어 가상의 인물(57)이In the object image O, the virtual character 57 directly spells the word 'read' and the virtual character 57

단어('read')를 발음하는 음성을 포함한다. 또한, 선택적으로, 활성 모드에서 객체영상(O)은 가상의 인물(57)이Contains the voice pronouncing the word 'read'. Also, optionally, in the active mode, the object image O is a virtual person 57

단어('read')의 의미를 국어 혹은 영어로 직접 기재하는 행위와 더불어, 가상의 인물(57)이 그 의미를 읽어주는In addition to the act of directly writing the meaning of the word ('read') in Korean or English, a virtual character (57) reads the meaning

영상이 될 수 있다. 이때, 그 의미를 읽는 데에 따른 음성이 더 포함될 것이다. 또한, 선택적으로, 객체영상could be a video. At this time, the voice according to reading the meaning will be further included. Also, optionally, object image

(O)은 가상의 인물(57)이 단어('read')의 예문을 직접 기재하고 읽는 행위와 그에 따른 음성을 포함할 수 있다.(O) may include an act of directly writing and reading an example sentence of the word 'read' by the virtual person 57 and a sound resulting therefrom.

또 다른 예로, 도 12의 이동 객체인 위 방향 화살표(59)의 경우, 비활성 모드에서 단순히 위 방향 화살표(59)As another example, in the case of the upward arrow 59, which is a moving object in FIG. 12, in the inactive mode, the upward arrow 59 simply

자체의 외형만을 표시한다. 그리고 활성 모드로 전환되면, 객체영상(O)은 사용자가 계단을 오를 때 볼 수 있는It displays only its appearance. And when switched to the active mode, the object image O is visible when the user climbs the stairs.

화상을 제공한다. 이러한 이동은 사용자가 직접 이동하는 것이 아니라, 사용자가 계단을 통해 위로 걸어가는 가provide burns. This movement is not the user's direct movement, but the user's walking upward through the stairs.

상 체험을 제공할 수 있도록 한다.to provide a top-notch experience.

한편, 도 8 및 도 9의 대화 객체인 경찰(51)의 경우, 비활성 모드에서 객체영상(O)은 경찰(51)의 외형만이 제공On the other hand, in the case of the police officer 51, which is the conversation object of FIGS. 8 and 9, only the appearance of the police officer 51 is provided as the object image O in the inactive mode.

된다. 반면, 활성 모드에서 대화 객체 경찰(51)의 객체영상(O)은 가상의 캐릭터인 경찰(51)이 사용자와 상호작do. On the other hand, in the active mode, the object image O of the conversation object police 51 is a virtual character police officer 51 interacts with the user.

용하여 대화를 가능하게 한다. 활성 모드에서 대화 시, 다양한 상황에 대비한 객체영상(O)이 따로 마련되며, 각각의 상황에 따라 해당 객체영상(O)을 배경영상(V)에 정합한 영상을 제공한다. 이러한 객체영상(O)은 예컨대,Use it to make conversation possible. During a conversation in the active mode, object images (O) are prepared separately for various situations, and images matching the corresponding object image (O) with the background image (V) are provided according to each situation. Such an object image O is, for example,

대화 객체가 대화 중 대답을 기다리는 영상, 빠른 답변을 유도하기 위한 영상, 사용자의 말을 이해하지 못했을A video in which a conversation object waits for an answer during a conversation, a video to induce a quick response, or a video that does not understand the user's words

때의 영상, 사용자의 말을 이해하였을 때의 영상 등을 포함한다. 이러한 대화는 음성인식을 기반으로 이루어진It includes an image when the user understands the words and the like. These conversations are based on voice recognition.

다. 그러면, 본 발명의 실시예에 따른 음성인식을 이용한 학습 콘텐츠를 제공하기 위한 방법에 대해서 설명하기all. Then, a method for providing learning content using voice recognition according to an embodiment of the present invention will be described.

로 한다. 도 15는 본 발명의 실시예에 따른 음성인식을 이용한 학습 콘텐츠를 제공하기 위한 방법을 설명하기do it with 15 illustrates a method for providing learning content using voice recognition according to an embodiment of the present invention.

위한 흐름도이며, 도 16은 본 발명의 실시예에 따른 학습 콘텐츠를 제공하기 위한 청취 객체를 설명하기 위한16 is a flowchart for explaining a listening object for providing learning content according to an embodiment of the present invention.

화면 예이다.This is an example screen.

도 9와 마찬가지로, 도 16에 보인 바와 같이, 시야의 중심(C)에 대화 객체인 경찰(51)이 위치하여 활성화된 상As in FIG. 9, as shown in FIG. 16, the police 51, which is a conversation object, is located in the center of the field of view (C) and activated.

태라고 가정한다. 이에 따라, 대화 객체인 경찰(51)과 사용자는 학습하고자 하는 언어, 예컨대 영어로 대화를Assume that it is Accordingly, the police 51, which is a conversation object, and the user have a conversation in the language to be learned, for example, English.

할 수 있다. 대화는 기 설정된 시나리오에 따라 경찰(51)이 먼저 말을 건네거나, 사용자가 먼저 말을 건넬 수can do. In the conversation, the police 51 may speak first or the user may speak first according to a preset scenario.

있다. 예컨대, 경찰(51)이 먼저 사용자에게 질문을 하거나, 사용자가 경찰(51)에게 질문할 수 있다. 이에 따라,there is. For example, the police officer 51 may ask the user a question first, or the user may ask the police officer 51 a question. Accordingly,

사용자는 질문하거나 답변할 수 있다.Users can ask or answer questions.

대화 중 사용자가 질문 혹은 답변할 때가 되면, 콘텐츠 제공모듈(120)은 S310 단계에서 도 16에 보인 바와 같은When it is time for the user to ask a question or answer during a conversation, the content providing module 120 performs the steps as shown in FIG. 16 in step S310.

청취 객체(60)를 정합한 배경영상(V)을 제공한다. 그러면, 영사모듈(210)은 S320 단계에서 청취 객체(60)를 포A background image (V) matching the listening object (60) is provided. Then, the projection module 210 includes the listening object 60 in step S320.

함하는 영상을 출력한다. 청취 객체(60)는 마이크 모양의 아이콘과 음성 신호의 파형으로 표시된다.outputs a video containing The listening object 60 is represented by a microphone-shaped icon and a waveform of a voice signal.

청취 객체(60)를 제공한 후, S330 단계에서 사용자의 응답을 기다리는 대기 모드를 수행한다. 대기 모드에서 콘After providing the listening object 60, a standby mode for waiting for a response from the user is performed in step S330. cone in standby mode

텐츠 제공모듈(120)은 기본적으로 대화 객체가 대답을 기다리고 있음을 나타내는 영상 및 음성을 포함하는 콘텐The content providing module 120 basically provides content including video and audio indicating that a conversation object is waiting for an answer.

츠를 제공한다. 이에 따라, 영사모듈(210) 및 오디오모듈(220)은 대화 객체가 대답을 기다리는 있음을 나타내는provides tsu. Accordingly, the projection module 210 and the audio module 220 indicate that the conversation object is waiting for an answer.

영상 및 음성을 출력할 수 있다. 또한, 대기 모드에서 콘텐츠 제공모듈(120)은 기 설정된 시간 이상 사용자의It can output video and audio. In addition, in the standby mode, the content providing module 120 provides the user's information for a predetermined time or longer.

답이 없는 경우, 빠른 답변을 유도하기 위해 대화 객체가 대답을 재촉함을 나타내는 영상 및 음성을 포함하는In the case of no answer, including video and audio indicating that the conversation object urges an answer in order to induce a quick answer

콘텐츠를 제공한다. 이에 따라, 영사모듈(210) 및 오디오모듈(220)은 대화 객체가 대답을 재촉함을 나타내는 영provide content. Accordingly, the projection module 210 and the audio module 220 display a message indicating that the conversation object prompts an answer.

상 및 음성을 출력한다.Output image and audio.

대기 모드 중 사용자가 응답하는 경우, 오디오모듈(220)은 S340 단계에서 사용자의 음성(예컨대, 질문 혹은 답If the user responds during the standby mode, the audio module 220 outputs the user's voice (eg, question or answer in step S340).

변)을 마이크를 통해 입력 받고, S350 단계에서 사용자의 음성을 음성인식모듈(310)로 전달한다. 그러면, 음성side) is received through the microphone, and the user's voice is transmitted to the voice recognition module 310 in step S350. Then, voice

인식모듈(310)은 S360 단계에서 사용자의 음성을 인식하고, S370 단계에서 음성인식 결과를 출력한다.The recognition module 310 recognizes the user's voice in step S360 and outputs the voice recognition result in step S370.

출력된 음성인식 결과가 콘텐츠 제공모듈(120)에 전달되면, 콘텐츠 제공모듈(120)은 S380 단계에서 음성인식 결When the output voice recognition result is delivered to the content providing module 120, the content providing module 120 determines the voice recognition in step S380.

과에 따라 사용자의 질문 혹은 답변을 평가할 수 있다. 음성인식 결과는 사용자의 임계치보다 작은 크기의 음성The user's question or answer can be evaluated according to the department. The voice recognition result is a voice with a volume smaller than the user's threshold.

의 입력 등의 원인을 비롯하여 다양한 원인에 의해 음성인식이 이루어지지 않을 수 있다. 이러한 경우, 음성인Voice recognition may not be performed due to various reasons including the input of the voice. In this case, negative

식 결과로 오류가 출력될 수 있다. 따라서 콘텐츠 제공모듈(320)은 우선 S380 단계에서 음성인식 결과가 있는지An error may be output as an expression result. Therefore, the content providing module 320 first checks whether there is a voice recognition result in step S380.

여부를 평가한다. 만약, 음성인식 결과로 오류가 출력되는 경우, 음성인식이 이루어지지 않은 것으로 평가할 수evaluate whether If an error is output as a voice recognition result, it can be evaluated that voice recognition has not been performed.

있다. 음성인식 결과가 있는 경우, 사용자의 질문 혹은 답변이 올바른지 여부를 평가한다. 저장모듈(330)은 다there is. If there is a voice recognition result, it is evaluated whether the user's question or answer is correct. The storage module 330 is

양한 상황에 따라 가능한 복수의 질문과 이에 따른 복수의 답변을 저장한다. 이에 따라, 콘텐츠 제공모듈(120)A plurality of possible questions and a plurality of answers are stored according to various situations. Accordingly, the content providing module 120

은 음성인식 결과와 저장모듈(330)에 저장된 상황별 질문 및 답변을 비교하여 사용자의 질문 혹은 답변이 올바The user's question or answer is correct by comparing the voice recognition result with the question and answer for each situation stored in the storage module 330.

른지 여부를 평가할 수 있다. 정리하면, S380 단계에서 콘텐츠 제공모듈(320)은 음성인식이 이루어지지 않은 것You can evaluate whether or not In summary, in step S380, the content providing module 320 does not perform voice recognition.

으로 평가하거나, 음성인식 결과 올바른 질문 혹은 답변을 한 것으로 평가하거나, 혹은 음성인식 결과 바르지or, as a result of voice recognition, it is evaluated that the correct question or answer was given, or as a result of voice recognition, it is evaluated as incorrect.

않은 질문 혹은 답변을 한 것으로 평가할 수 있다.It can be evaluated as a question or answer that has not been answered.

그런 다음, 콘텐츠 제공모듈(320)은 S390 단계에서 평가 결과에 상응하는 영상 및 음성을 포함하는 콘텐츠를 구Then, the content providing module 320 constructs content including video and audio corresponding to the evaluation result in step S390.

성한다. 평가 결과에 상응하는 콘텐츠는 즉, 사용자의 질문 혹은 답변에 대한 응답을 제공하는 영상 및 음성을form The content corresponding to the evaluation result is video and audio that provides responses to the user's question or answer.

포함한다. 일례로, 평가 결과 음성인식이 이루어지지 않은 경우, 혹은 음성인식 결과 바르지 않은 질문 혹은 답include For example, when voice recognition is not performed as a result of evaluation, or questions or answers that are not correct as a result of voice recognition

변을 한 경우, 콘텐츠 제공모듈(320)은 대화 객체의 질문 혹은 답변을 듣지 못했다거나 이해하지 못했다는 표정When changed, the content providing module 320 expresses that it did not hear or did not understand the question or answer of the conversation object.

과 몸짓의 영상과 질문 혹은 답변을 듣지 못하거나 이해하지 못했을 때 할 수 있는 말(예컨대, 'pardon me?',and gestures and words you can say when you do not hear or understand questions or answers (e.g. 'pardon me?',

'Can you say that again, please?', 'Could you repeat that?', 'Sorry, I didn't get that.', 'I didn't'Can you say that again, please?', 'Could you repeat that?', 'Sorry, I didn't get that.', 'I didn't

hear what you said. Could you repeat it?', 'I'm sorry, but I couldn't hear you.' 등)의 음성(AUDIO)을hear what you said. Could you repeat it?', 'I'm sorry, but I couldn't hear you.' etc.)

구성할 수 있다. 다른 예로, 평가 결과 올바른 질문 혹은 답변을 한 것으로 평가한 경우, 콘텐츠 제공모듈(32can be configured. As another example, if it is evaluated that the correct question or answer was given as a result of the evaluation, the content providing module (32

0)은 대화 객체의 질문 혹은 답변을 이해하였다는 표정과 몸짓의 영상과 해당 질문 혹은 답변에 대응하는 말의0) is a video of facial expressions and gestures indicating that the question or answer of the conversation object was understood and the words corresponding to the question or answer.

음성(예컨대, 사용자가 현재 몇 시인지 대화 객체에 물어봤을 때, 그 시간을 알려주는 대답으로 'It's twoVoice (e.g., when the user asks the conversation object what time it is, 'It's two

thirty.', 대화 객체가 사용자에게 시간을 물어보고, 사용자가 그 시간을 답한 후, 그에 대한 대답으로 'Is itthirty.', the dialog object asks the user for the time, and after the user answers the time, the answer is 'Is it

that late already?' 등)을 구성할 수 있다.that late already?' etc.) can be configured.

다음으로, 콘텐츠 제공모듈(320)은 S370 단계에서 앞서 구성된 영상 및 음성을 포함하는 콘텐츠를 오디오모듈Next, the content providing module 320 transmits the content including video and audio previously configured in step S370 to the audio module.

(220) 및 영사모듈(210)에 제공한다. 그러면, S380 단계에서 오디오모듈(220)은 음성을 출력하고, 영사모듈(220) and the projection module (210). Then, in step S380, the audio module 220 outputs a voice, and the projection module

(210)은 영상을 영사한다.210 projects an image.

이와 같이, 본 발명의 실시예에 따르면, 음성인식을 통해 사용자는 가상의 대화 상대인 대화 객체와 대화할 수As such, according to an embodiment of the present invention, a user can communicate with a conversation object, a virtual conversation partner, through voice recognition.

있다. 이는 사용자가 직접 외국인을 만나고 대화하는 것과 같은 가상의 체험을 제공하여 외국에 나가지 않더라there is. This provides a virtual experience, such as meeting and talking to foreigners in person, so that users do not go abroad.

도 그 언어학습의 효과를 극대화시킬 수 있다.It can also maximize the effect of language learning.

한편, 본 발명의 실시예에 따르면, 사용자는 음성을 통해 각종 제어를 수행할 수 있다. 이러한 음성을 통한 제Meanwhile, according to an embodiment of the present invention, a user can perform various controls through voice. through these voices

어 방법에 대해서 설명하기로 한다. 도 17은 본 발명의 실시예에 따른 음성 명령을 설명하기 위한 화면 예이다.I will explain how. 17 is an example of a screen for explaining a voice command according to an embodiment of the present invention.

전술한 바와 같이, 가상공간(S)은 학습 주제별로 구분될 수 있으며, 이러한 주제를 선택하여 해당 가상공간(S)As described above, the virtual space (S) can be classified by learning subject, and by selecting this subject, the corresponding virtual space (S)

에 진입하거나, 가상공간(S)에서 이루어지는 가상현실 체험을 위한 콘텐츠의 재생을 시작(play)하거나, 중지or start (play) or stop playback of content for virtual reality experience in virtual space (S).

(Stop)하거나, 가상현실 체험을 종료(Close)하는 등의 조작을 음성 명령을 통해 할 수 있다. 또한, 본 발명은(Stop) or end (Close) the virtual reality experience can be operated through voice commands. In addition, the present invention

학습 주제에 따른 단어장, 숙어장, 강의 영상을 제공할 수 있으며, 사용자는 단어장, 숙어장, 강의 영상 등을Vocabulary, idiom, and lecture videos according to learning topics can be provided, and users can view vocabulary, idiom, and lecture videos.

제공하도록 음성 명령을 입력할 수 있다. 전술한 바와 같은 음성 명령이 있으면, 오디오모듈(220)은 사용자의You can enter a voice command to provide. If there is a voice command as described above, the audio module 220

음성 명령을 마이크를 통해 입력 받고, 그 음성 명령을 음성인식모듈(310)로 전달한다. 그러면, 음성인식모듈A voice command is received through the microphone, and the voice command is transmitted to the voice recognition module 310. Then, the voice recognition module

(310)은 음성 명령을 음성인식하고, 음성인식 결과를 출력한다. 그러면, 콘텐츠 제공모듈(120)은 음성인식 결과310 voice recognizes a voice command and outputs a voice recognition result. Then, the content providing module 120 results in voice recognition.

에 따라 기 설정된 음성 명령과 비교하여 해당 음성 명령을 식별하고, 식별된 음성 명령에 따라 해당 명령을 수Compared with a preset voice command according to the voice command, the corresponding voice command is identified, and the corresponding command is received according to the identified voice command.

행한다. 예컨대, 사용자가 'help'를 음성 명령으로 입력한 경우, 음성인식 결과는 'help'가 출력될 것이며,do For example, if the user inputs 'help' as a voice command, the voice recognition result will be 'help' output.

'help'가 강의 영상을 제공하도록 하는 음성 명령으로 미리 설정되어 있는 경우, 콘텐츠 제공모듈(120)은 도 17If 'help' is preset as a voice command to provide a lecture video, the content providing module 120 is shown in FIG. 17

에 도시된 바와 같이, 강의 영상(70)을 배경영상(V)에 정합한 영상을 제공할 수 있다.As shown in, it is possible to provide an image matching the lecture image 70 to the background image V.

본 발명의 실시예에 따르면, 사용자의 음성 입력에 상응하는 콘텐츠가 제공되어야 한다. 즉, 사용자와의 상호작According to an embodiment of the present invention, content corresponding to a user's voice input should be provided. That is, interaction with the user

용에 따라 콘텐츠가 제공된다. 이러한 상호작용에 따라 콘텐츠를 제공하는 방법에 대해서 설명하기로 한다. 도Content is provided according to the purpose. A method of providing content according to such interaction will be described. do

18은 본 발명의 일 실시예에 따른 상호작용에 따라 콘텐츠를 제공하는 방법을 설명하기 위한 도면이다.18 is a diagram for explaining a method of providing content according to an interaction according to an embodiment of the present invention.

도 18을 참조하면, 저장모듈(130)은 질문 혹은 답변의 평가에 따라 대응하는 복수의 콘텐츠를 시간 상 연속된 1Referring to FIG. 18, the storage module 130 stores a plurality of contents corresponding to the evaluation of the question or answer as one continuous one in time.

개의 콘텐츠 데이터로 결합하여 저장한다.It is combined and stored as two content data.

또한, 복수의 콘텐츠 각각의 시간상의 위치를 나타내는 시간 정보는 메타데이터로 기록되어 저장모듈(130)에 저In addition, time information indicating the position of each of a plurality of contents in time is recorded as metadata and stored in the storage module 130.

장된다. 예컨대, 제1 콘텐츠는 대화 객체가 미리 설정된 대화의 시나리오에 따라 첫 번째 질문을 하는 영상 및it is long For example, the first content includes an image in which a conversation object asks a first question according to a preset conversation scenario;

음성이며, 제2 콘텐츠는 첫 번째 질문에 대한 사용자의 답이 알맞은 경우에 대응하는 영상 및 음성이고, 제3 콘The second content is video and audio corresponding to the case where the user's answer to the first question is correct, and the third content is

텐츠는 첫 번째 질문에 대한 사용자의 답을 이해하지 못한 경우에 대응하는 영상 및 음성일 수 있다. 또한, 제4The content may be video and audio corresponding to the case where the user does not understand the answer to the first question. Also, the fourth

콘텐츠는 대화 객체가 대화의 시나리오에 따라 사용자가 첫 번째 질문에 대한 답을 제대로 못하는 경우 두 번째The content is the second question if the user fails to answer the first question correctly, depending on the dialog's scenario.

질문을 하는 영상 및 음성이며, 제5 콘텐츠는 두 번째 질문에 대한 사용자의 답이 알맞은 경우에 대응하는 영상It is a video and audio that asks a question, and the fifth content is a video corresponding to the case where the user's answer to the second question is correct.

및 음성이고, 제3 콘텐츠는 두 번째 질문에 대한 사용자의 답을 이해하지 못한 경우에 대응하는 영상 및 음성일and audio, and the third content is video and audio corresponding to the case where the user does not understand the answer to the second question.

수 있다. 그리고 제7 콘텐츠는 대화 객체가 대화의 시나리오에 따라 사용자가 두 번째 질문에 대한 답을 제대로can In the seventh content, the dialog object correctly answers the second question according to the dialog scenario.

한 경우 세 번째 질문을 하는 영상 및 음성이 될 수 있다. 이러한 제1 내지 제7 콘텐츠는 시간상 연속되게 결합In one case, it can be video and audio asking the third question. These 1st to 7th contents are combined continuously in time.

되어, 1개의 콘텐츠 데이터로 생성되며, 이러한 경우, 제1 내지 제7 콘텐츠의 타임라인(timeline) 상의 위치,In this case, the position on the timeline of the first to seventh contents,

즉, 시간축 상의 위치는 시간 정보(t1 내지 t7)로 기록된다.That is, the position on the time axis is recorded as time information (t1 to t7).

전술한 바와 같이, S380 단계에서 음성인식 결과에 따라 사용자의 질문/답변을 평가한 후, S390 단계에서 평가As described above, after evaluating the user's question/answer according to the voice recognition result in step S380, the evaluation is performed in step S390.

결과에 대응하는 영상을 구성할 때, 콘텐츠 제공모듈(120)은 해당하는 콘텐츠의 시간 정보에 따라 대응하는 콘When constructing an image corresponding to the result, the content providing module 120 provides a corresponding icon according to the time information of the corresponding content.

텐츠로 점프하여 해당 콘텐츠를 제공한다. 예컨대, 콘텐츠 제공모듈(120)은 시나리오에 따라 먼저 첫 번째 질문It jumps to content and provides the content. For example, the content providing module 120 first asks a first question according to the scenario.

을 하는 제1 콘텐츠를 제공한다. 첫 번째 질문에 대한 사용자의 답변이 있을 때, 콘텐츠 제공모듈(120)은 S380Provides the first content that does. When there is a user's answer to the first question, the content providing module 120 sends S380

단계에서 음성인식 결과에 따라 첫 번째 질문에 대한 사용자의 답변을 평가한다. 이때, 사용자의 답변을 이해하In the step, the user's answer to the first question is evaluated according to the voice recognition result. At this time, understand the user's answer

지 못한 것으로 평가된 경우, 콘텐츠 제공모듈(120)은 S390 단계에서 저장모듈(130)에 저장된 시간 정보를 참조If it is evaluated that it is not, the content providing module 120 refers to the time information stored in the storage module 130 in step S390.

하여, 제3 콘텐츠로 점프한 후, 제3 콘텐츠를 제공한다.So, after jumping to the third content, the third content is provided.

다음으로 본 발명의 다른 실시예에 따른 상호작용에 따라 콘텐츠를 제공하는 방법에 대해서 설명하기로 한다.Next, a method of providing content according to an interaction according to another embodiment of the present invention will be described.

도 19는 본 발명의 다른 실시예에 따른 상호작용에 따라 학습 콘텐츠를 제공하는 방법을 설명하기 위한 도면이19 is a diagram for explaining a method of providing learning content according to interaction according to another embodiment of the present invention.

다.all.

다른 실시예에 따르면, 저장모듈(130)은 질문/답변에 대한 평가 결과에 대응하는 복수의 콘텐츠들 각각을 따로According to another embodiment, the storage module 130 separately stores each of the plurality of contents corresponding to the evaluation result of the question/answer.

저장한다. 질문/답변의 평가 결과에 대응하여 제작된 복수의 콘텐츠 각각은 평가 결과에 대응하는 콘텐츠임을 나타내는 대응 정보가 메타데이터로 기록되어 저장모듈(130)에 저장된다.Save. Corresponding information indicating that each of the plurality of contents produced in response to the evaluation result of the question/answer is the content corresponding to the evaluation result is recorded as metadata and stored in the storage module 130 .

예컨대, 제1 콘텐츠는 대화 객체가 미리 설정된 대화의 시나리오에 따라 첫 번째 질문을 하는 영상 및For example, the first content includes an image in which a conversation object asks a first question according to a preset conversation scenario;

텐츠는 첫 번째 질문에 대한 사용자의 답을 이해하지 못한 경우에 대응하는 영상 및 음성일 수 있다. 이때, 제2The content may be video and audio corresponding to the case where the user does not understand the answer to the first question. At this time, the second

콘텐츠의 대응 정보는 제1 콘텐츠에 대한 답변의 평가 결과에 대응하는 답이 알맞은 경우에 대응하는 콘텐츠임Correspondence information of content is content corresponding to the case where the answer corresponding to the evaluation result of the answer to the first content is correct.

을 나타내며, 제3 콘텐츠의 대응 정보는 제1 콘텐츠에 대한 답변의 평가 결과에 대응하는 답이 이해하지 못한, and the correspondence information of the third content indicates that the answer corresponding to the evaluation result of the answer to the first content is not understood.

경우에 대응하는 콘텐츠임을 나타낸다.Indicates that the content corresponds to the case.

결과에 대응하는 콘텐츠를 구성할 때, 콘텐츠 제공모듈(120)은 해당하는 콘텐츠의 대응 정보에 따라 해당 콘텐When configuring the content corresponding to the result, the content providing module 120 provides the corresponding content according to the corresponding information of the corresponding content.

츠를 저장모듈(130)로부터 추출하고, 추출된 콘텐츠를 제공한다. 예컨대, 콘텐츠 제공모듈(120)은 시나리오에The extracted contents are extracted from the storage module 130 and the extracted contents are provided. For example, the content providing module 120 is

따라 먼저 첫 번째 질문을 하는 제1 콘텐츠를 제공한다. 첫 번째 질문에 대한 사용자의 답변이 있을 때, 콘텐츠Accordingly, the first content that asks the first question is provided. When there is a user's answer to the first question, the content

제공모듈(120)은 S380 단계에서 음성인식 결과에 따라 첫 번째 질문에 대한 사용자의 답변을 평가한다. 이때,The providing module 120 evaluates the user's answer to the first question according to the voice recognition result in step S380. At this time,

사용자의 답변을 이해하지 못한 것으로 평가된 경우, 콘텐츠 제공모듈(120)은 S390 단계에서 대응 정보를 참조If it is evaluated that the user's answer is not understood, the content providing module 120 refers to corresponding information in step S390.

하여, 저장모듈(130)로부터 제3 콘텐츠를 추출하여 추출된 제3 콘텐츠를 제공한다.Thus, third content is extracted from the storage module 130 and the extracted third content is provided.

다음으로, 본 발명의 실시예에 따른 영상 구성 방법에 대해서 설명하기로 한다. 도 20은 본 발명의 실시예에 따Next, an image composition method according to an embodiment of the present invention will be described. 20 is according to an embodiment of the present invention

른 영상 구성 방법을 설명하기 위한 도면이다. 도 7에서 설명된 바와 같이, 객체(Object)를 표현하기 위한 객체It is a diagram for explaining another image composition method. As described in FIG. 7, an object for expressing an object

영상(O)은 크로마키 기법에 따라 배경영상(V)과 별개로 촬영되며, 촬영된 객체영상(O)은 배경영상(V)에 정합된The image (O) is captured separately from the background image (V) according to the chroma key technique, and the captured object image (O) is matched to the background image (V).

다. 도 20의 (a)는 배경영상(V)을 나타내며, 도 20의 (b)는 객체영상(O)을 나타낸다. 그리고 도 20의 (c)는 아all. (a) of FIG. 20 shows a background image (V), and (b) of FIG. 20 shows an object image (O). And Figure 20 (c) is a

이콘을 나타낸다. 본 발명의 실시에에 따르면, 도 20의 (a), (b) 및 (c)와 같이 서로 다른 레이어가 병합되어represents an icon. According to an embodiment of the present invention, different layers are merged as shown in (a), (b) and (c) of FIG.

도 20의 (d)와 같은 하나의 영상을 구성한다. 도 20에는 3개의 레이어가 병합되는 것으로 도시하였으나, 이러한One image is configured as shown in (d) of FIG. 20 . 20 shows that three layers are merged, but this

레이어는 필요에 따라 더 많은 수가 사용될 수 있다. 예컨대, 도 17의 강의 영상이 또 다른 레이어를 이용하여A larger number of layers may be used as needed. For example, the lecture video of FIG. 17 uses another layer

영상에 병합될 수 있다.Can be merged into video.

다음으로, 본 발명은 사용자의 발음, 강세, 억양 등을 원어민의 발음, 강세, 억양 등과 비교하여 그래프로 제공Next, the present invention provides a graph by comparing the user's pronunciation, stress, intonation, etc. with the native speaker's pronunciation, stress, intonation, etc.

할 수 있다. 도 21은 본 발명의 실시예에 따른 사용자와 원어민의 발음, 강세 및 억양을 비교하기 위한 그래프can do. 21 is a graph for comparing pronunciation, stress, and intonation between a user and a native speaker according to an embodiment of the present invention.

의 예를 보인다.show an example of

음성인식모듈(110)은 음성인식 외에 오디오모듈(220)로부터 사용자의 답변 혹은 질문이 입력될 때마다(S350),In addition to voice recognition, the voice recognition module 110 whenever a user's answer or question is input from the audio module 220 (S350),

즉 사용자의 음성이 입력될 때마다, 입력된 음성 신호에 의해 생긴 전압 변화를 시간 변화에 따라 선형스케일That is, whenever the user's voice is input, the voltage change caused by the input voice signal is linearly scaled according to the time change.

(linear scale)로 나타낸 시간 파형(ㄱ, A), 이를 대수적으로 처리하여 전압 변화를 데시벨(dB)로 나타낸 시간Time waveforms (a, A) represented by (linear scale), logarithmically processed, and time represented by decibels (dB) of voltage change

파형의 대수적인 포락선(envelop)인 진폭포락선(ㄴ, B), 선택된 데이터그룹의 FFT(Fast Fourier Transform) 분Amplitude envelope (b, B), which is the algebraic envelope of the waveform, FFT (Fast Fourier Transform) fraction of the selected data group

석에 의해 입력 신호의 주파수별 전력크기(power magnitude)를 나타낸 FFT 스펙트럼(ㄷ, C)을 이용하여 사용자User can use the FFT spectrum (c, C) that shows the power magnitude of each frequency of the input signal by analysis.

와 원어민의 발음, 강세 및 억양을 비교하여, 사용자가 비교에 따른 차이를 인지하도록 비교 결과를 그래프를It compares the pronunciation, stress and intonation of the native speaker and displays the comparison result in a graph so that the user can recognize the difference according to the comparison.

통해 출력한다. 그러면, 콘텐츠 제공모듈(120)은 이러한 그래프를 영상으로 구성하여 배경영상(V)에 정합한 후,output through Then, the content providing module 120 configures these graphs as images and matches them to the background image (V),

영사모듈(210) 및 오디오모듈(220)이 출력하도록 제공한다. 이러한 그래프를 참조하여 사용자는 자신의 발음을It is provided so that the projection module 210 and the audio module 220 output. Referring to these graphs, users can make their own pronunciation.

교정할 수 있다.can be corrected

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인The present invention has been described above using several preferred examples, but these examples are illustrative and limiting.

것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된It is not. As such, those skilled in the art to which the present invention pertains will follow the spirit of the present invention and the accompanying

특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을Various changes and modifications can be made according to the theory of equivalents without departing from the scope of rights presented in the claims.

이해할 것이다.will understand

Claims

An apparatus for providing learning content,
Images including object images and background images for reproducing virtual reality, and content including audio necessary for the images
A storage module for storing tsu;
a projection module for projecting the image;
an audio module for receiving or outputting the voice;
A voice recognition module for recognizing a user's answer or question about a virtual reality object received from the audio module.
module; and
Evaluate whether the user's answer or question is voice-recognized, and the user's answer or question is voice-recognized
In this case, the user's answer or question is determined by comparing the voice recognition result with the answers and questions for each situation stored in the storage module.
evaluates whether the question is appropriate, and the object responds to the evaluated evaluation result to determine whether the user's answer or
so that the projection module and the audio module output content including audio and video in response to the question
Including the content providing module provided,
The content providing module
When the object does not exist in the center of the user's visual field, the appearance of the object is expressed by providing an inactive mode
Extracts the inactive mode object image that is to be used, and configures the image by matching the extracted inactive mode object image to the background image
and
When the object exists in the center of the user's field of view, the inactive mode is switched to the active mode so that the object
An active mode object image providing corresponding learning content is extracted, and the extracted active mode object image is used as a background image.
An apparatus for providing learning content, characterized in that for composing an image by matching to.

According to claim 1,
The storage module stores one content data in which a plurality of contents corresponding to the evaluation result are continuously combined in time.
save,
Each of the plurality of contents has time information indicating a position in time in the one piece of contents data.
A device for providing learning content characterized by.

According to claim 2,
The content providing module
Characterized in that the content corresponding to the evaluation result is jumped and detected according to the time information.
A device for providing learning content to be.

According to claim 1,
The storage module individually stores a plurality of contents corresponding to the evaluation result,
The apparatus for providing learning content, characterized in that each of the images has corresponding information indicating that the image corresponds to the evaluation result.

According to claim 4,
The content providing module
Detecting content corresponding to the evaluation result according to the correspondence information, and providing the detected content for output.
An apparatus for providing learning content, characterized in that.

According to claim 1,
The voice recognition module whenever the user's answer or question is input by voice, the user for the input voice
Outputs a graph comparing pronunciation, stress, and intonation of native speakers with
Learning content, characterized in that the content providing module configures the graph as an image and provides it for output
A device for providing tsu.

According to claim 1,
When the voice recognition module receives the user's voice command from the audio module, the voice recognition module responds to the voice command.
output the recognition result;
The content providing module configures content corresponding to the voice command according to the voice recognition result,
A device for providing learning content, characterized in that the module and the audio module provide to be output.

An apparatus for providing learning content,
a projection module worn on the user's head to output an image; and
an audio module for outputting voice;
a sensor module that detects motion of the projection module and outputs coordinates according to the detected motion;
The user's field of view is detected according to the coordinates, and an object image of an object located at a position corresponding to the detected field of view is detected.
and contents including a video including a background video and audio necessary for the video, and the configured contents.
Including a content providing module that provides output to the projection module and the audio module,
The content providing module
When the object does not exist in the center of the visual field, an inactive mode is provided to express the object's appearance.
Extracting an active mode object image and composing an image by matching the extracted inactive mode object image to a background image;
When the object exists in the center of the field of view, the inactive mode is switched to the active mode to correspond to the object.
Extracts an active mode object image that provides learning content, and assigns the extracted active mode object image to a background image.
An apparatus for providing learning content, characterized in that an image is formed by combining.

According to claim 8,
The content providing module
The center of the user's field of view is detected according to the coordinates, and if an object exists in the center of the field of view, the
Configure video and audio, and recall the video and audio of the object so that the video and audio of the object are output.
A device for providing learning content, characterized in that it is provided to the projection module and the audio module.

According to claim 9,
The content providing module
If the object is a conversation object, configure video and audio for questioning or answering the user of the conversation object
and providing the configured video and audio to the projection module and the audio module.
A device for providing content.

According to claim 9,
The content providing module
If the object is a moving object, virtual reality in which the user moves in a direction indicated by the moving object may be provided.
An apparatus for providing learning contents characterized by moving a rock background image.

According to claim 9,
If the object is a word object, providing video and audio explaining the meaning of a word corresponding to the word object
A device for providing learning content characterized by.

Provides learning content performed by a device for providing learning content by expressing virtual reality as video and audio
In the way to do it,
outputting, by a projection module and an audio module, first content to a virtual reality containing an object;
receiving a user's answer or question about the virtual reality object through which the audio module is received;
voice recognition of the user's answer or question by a voice recognition module;
The content providing module evaluates whether or not the voice is recognized for the user's answer or question, and the user's answer or question is evaluated.
When a question is voice-recognized, the voice recognition result is compared with the answers and questions for each situation stored in the storage module,
Evaluate the suitability of the user's answer or question, and in response to the evaluated evaluation result, the object is
configuring second content including video and audio in response to a user's answer or question; and
Including the step of outputting the second content by the projection module and the audio module,
Configuring the second content
When the object does not exist in the center of the user's visual field, the appearance of the object is expressed by providing an inactive mode
Extracts the inactive mode object image that is to be used, and configures the image by matching the extracted inactive mode object image to the background image
and
When the object exists in the center of the user's field of view, the inactive mode is switched to the active mode so that the object
An active mode object image providing corresponding learning content is extracted, and the extracted active mode object image is used as a background image.
A method for providing learning content, characterized in that for composing an image by matching to.

According to claim 13,
Before the step of receiving the user's answer or question, the storage module stores a plurality of contents corresponding to the evaluation result in time
Further comprising the step of storing as one continuously combined content data,
Each of the plurality of contents has time information indicating a position in time in the one piece of contents data.
A method for providing learning content that features.

According to claim 14,
The step of constructing the content is
Characterized in that the content corresponding to the evaluation result is jumped and detected according to the time information.
A method for providing learning content to be.

According to claim 13,
Before the step of receiving the user's answer or question, the storage module stores each of the plurality of contents corresponding to the evaluation result.
Further comprising the step of individually storing,
Characterized in that each of the plurality of contents has correspondence information indicating that the content corresponds to the evaluation result.
A method for providing learning content that

According to claim 16,
The step of constructing the content is
Provide learning content characterized in that content corresponding to the evaluation result is detected according to the correspondence information.
way to do it.

Provides learning content performed by a device for providing learning content by expressing virtual reality as video and audio
In the way to do it,
The sensor module detects the movement of the projection module worn on the user's head and outputs coordinates according to the detected movement.
step;
The content providing module detects the user's field of view according to the coordinates, and an object located at a position corresponding to the detected field of view
Constructing content including an image including an object image and a background image for the body and a sound required for the image
step; and
A projection module and an audio module outputting video and audio of the configured content,
The step of constructing the content is
When the object does not exist in the center of the visual field, an inactive mode is provided to express the object's appearance.
Extracting an active mode object image and composing an image by matching the extracted inactive mode object image to a background image;
When the object exists in the center of the field of view, the inactive mode is switched to the active mode to correspond to the object.
Extracts an active mode object image that provides learning content, and assigns the extracted active mode object image to a background image.
A method for providing learning content, characterized in that the image is composed by combining.

According to claim 18,
The step of constructing the content is
The center of the user's field of view is detected according to the coordinates, and if an object exists in the center of the field of view, the
A method for providing learning content, characterized in that it constitutes video and audio.

20. The method of claim 19, wherein configuring the content comprises
If the object is a conversation object, configure video and audio for questioning or answering the user of the conversation object
A method for providing learning content, characterized in that.

According to claim 19,
The step of constructing the content is
If the object is a moving object, virtual reality in which the user moves in a direction indicated by the moving object may be provided.
A method for providing learning content, characterized by moving a rock background image.

According to claim 19,
The step of constructing the content is
If the object is a word object, content providing video and audio explaining the meaning of a word corresponding to the word object
A method for providing learning content, characterized in that it constitutes a tsu.