KR102477531B1

KR102477531B1 - Virtual reality control system with voice recognition facility

Info

Publication number: KR102477531B1
Application number: KR1020210171159A
Authority: KR
Inventors: 엄익진; 최정환; 이정현; 한선규
Original assignee: (주)스코넥엔터테인먼트
Priority date: 2021-12-02
Filing date: 2021-12-02
Publication date: 2022-12-14

Abstract

According to one embodiment of the present specification, a virtual environment control system may be provided, which comprises: a detecting device detecting movement of a user in a play space and obtaining location information of the user; a wearable display device worn by the user and outputting an image of a virtual environment; an input device provided to the user and obtaining motion information related to action of the user; and a control device obtaining location information from the detecting device, obtaining the motion information from the input device, and controlling the image output to the wearable display device by using the location information and the motion information. In addition, the control device obtains execution time data about a time required for the user to perform the action from the motion information, and obtains voice data from the user during a channel time when the motion information indicates a preset gesture, wherein the channel time is set based on the execution time data. Accordingly, provided is the virtual environment control system in which a voice recognition function is activated in the virtual environment.

Description

Virtual environment control system with voice recognition function {VIRTUAL REALITY CONTROL SYSTEM WITH VOICE RECOGNITION FACILITY}

본 명세서는 음성인식 기능이 구비된 가상 환경 제어 시스템에 관한 것으로, 보다 상세하게는 가상 환경 내에서 플레이어가 음성인식 기능을 활용하여 특정 기능을 구현하거나 플레이어가 음성 인식 기능을 활용할 수 있도록 특정 조건 만족 시 가상 환경 내에서 음성인식 채널을 제공하는 가상 환경 제어 시스템에 관한 것이다.The present specification relates to a virtual environment control system equipped with a voice recognition function, and more particularly, in a virtual environment, a player implements a specific function by utilizing a voice recognition function or satisfies a specific condition so that a player can utilize a voice recognition function. A virtual environment control system providing a voice recognition channel within a city virtual environment.

최근 가상 환경에서의 가상 환경 체험이 보편화 되고 있으며, 다양한 목적에 기반한 가상 환경 체험에 대한 가상 환경 프로그램이 제작 및 개발되고 있는 실정이다. 이 중 직업 훈련을 위한 가상 환경 체험은 새로 직업을 얻게 된 사람들부터 경력이 많은 사람들까지 다양한 경력자들에게 제공될 수 있으며 직업 숙련도를 높이고 돌발 상황에 대비하는 역량을 키우는 등 그 역할이 점차 중요해지고 있다.Recently, virtual environment experience in a virtual environment has become common, and virtual environment programs for virtual environment experiences based on various purposes are being produced and developed. Among them, virtual environment experience for vocational training can be provided to people with various careers, from those who have newly acquired jobs to those with a lot of experience. .

한편, 가상 환경에서 특정 기능을 수행하는 일반적인 방법으로 가상 환경 체험을 위한 HMD(head mounted display) 상에 사용자 인터페이스를 제공하고, 사용자가 특정 기능을 선택함으로써 가상 환경 내에서 선택된 기능이 수행되는 것이 일반적이다. 다만, 이러한 경우 사용자의 시야범위는 한정되어 있어 많은 정보나 기능을 담기에는 다소 부족하다는 문제가 있다.On the other hand, as a general method of performing a specific function in the virtual environment, it is common to provide a user interface on a head mounted display (HMD) for experiencing the virtual environment, and to perform the selected function in the virtual environment when the user selects a specific function. to be. However, in this case, the user's field of view is limited, so there is a problem that it is somewhat insufficient to contain a lot of information or functions.

이러한 문제를 해결하기 위한 방안으로 가상 환경 내에서 음성인식 기능을 제공하는 방법이 있으며, 이에 따라 가상 환경 내에서 음성인식 기능을 구현하는 방법, 구현된 음성인식 기능을 이용하여 특정 기능을 구현하는 방법 등에 대한 구체적인 기술이 요구된다.As a way to solve this problem, there is a method of providing a voice recognition function in a virtual environment, and accordingly, a method of implementing a voice recognition function in a virtual environment, and a method of implementing a specific function using the implemented voice recognition function. A specific description is required.

본 명세서의 일 과제는 가상 환경 내에서 음성인식 기능을 활성화하는 가상 환경 제어 시스템을 제공하는 것이다.One object of the present specification is to provide a virtual environment control system for activating a voice recognition function in a virtual environment.

본 명세서의 일 과제는 가상 환경 내에서 음성인식 기능을 이용하여 다른 기능을 수행할 수 있도록 하는 가상 환경 제어 시스템을 제공하는 것이다.One object of the present specification is to provide a virtual environment control system capable of performing other functions using a voice recognition function in a virtual environment.

본 명세서의 일 과제는 가상 환경 내에서 플레이어(player)에 따라 서로 다른 커뮤니케이션 채널(communication channel)을 형성하는 가상 환경 제어 시스템을 제공하는 것이다.One object of the present specification is to provide a virtual environment control system that forms different communication channels according to players in a virtual environment.

본 명세서의 일 과제는 가상 환경 내에서 플레이어의 가상 훈련 과정을 평가할 수 있는 가상 환경 제어 시스템을 제공하는 것이다.One object of the present specification is to provide a virtual environment control system capable of evaluating a player's virtual training process in a virtual environment.

본 명세서에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved in this specification is not limited to the above-mentioned problem, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .

본 명세서의 일 실시예에 따르면, 가상 환경 제어 시스템에 있어서, 플레이 공간에서 사용자의 움직임을 감지하여 상기 사용자에 대한 위치 정보를 획득하는 디텍팅 장치; 사용자에게 착용되어 가상 환경에 대한 영상을 출력하는 착용형 디스플레이 장치; 상기 사용자에게 제공되어 상기 사용자의 동작에 관한 모션 정보를 획득하는 입력 장치; 및 상기 디텍팅 장치로부터 상기 위치 정보를 획득하고, 상기 입력 장치로부터 상기 모션 정보를 획득하며, 상기 위치 정보 및 상기 모션 정보를 이용하여 상기 착용형 디스플레이 장치에 출력되는 상기 영상을 제어하는 제어 장치;를 포함하고, 상기 제어 장치는, 상기 모션 정보로부터 상기 사용자가 상기 동작을 수행하는 데에 소요된 시간에 관한 수행 시간 데이터를 획득하고, 상기 모션 정보가 미리 설정된 제스처를 지시하는 경우, 채널 시간 동안 상기 사용자로부터 음성 데이터를 획득하되, 상기 채널 시간은 상기 수행 시간 데이터에 기초하여 설정되는 가상 환경 제어 시스템이 제공될 수 있다.According to one embodiment of the present specification, a virtual environment control system includes: a detecting device that detects a user's movement in a play space and obtains location information about the user; a wearable display device that is worn by a user and outputs an image of a virtual environment; an input device that is provided to the user and obtains motion information related to an action of the user; and a control device that obtains the location information from the detecting device, obtains the motion information from the input device, and controls the image output to the wearable display device using the location information and the motion information. wherein the control device obtains execution time data about a time required for the user to perform the operation from the motion information, and when the motion information indicates a preset gesture, during a channel time A virtual environment control system may be provided in which voice data is obtained from the user, and the channel time is set based on the execution time data.

본 명세서의 다른 실시예에 따르면, 가상 환경 제어 시스템에 있어서, 플레이 공간에서 제1 사용자의 움직임, 제2 사용자의 움직임, 및 제3 사용자의 움직임을 감지하여 상기 제1 사용자에 대한 제1 위치 정보, 상기 제2 사용자에 대한 제2 위치 정보, 및 상기 제3 사용자에 대한 제3 위치 정보를 획득하는 디텍팅 장치; 상기 제1 사용자에게 착용되어 가상 환경에 대한 제1 영상을 출력하는 제1 착용형 디스플레이 장치; 상기 제2 사용자에게 착용되어 가상 환경에 대한 제2 영상을 출력하는 제2 착용형 디스플레이 장치; 상기 제3 사용자에게 착용되어 가상 환경에 대한 제3 영상을 출력하는 제3 착용형 디스플레이 장치; 상기 제1 사용자에게 제공되어 상기 제1 사용자의 동작에 관한 제1 모션 정보를 획득하는 제1 입력 장치; 상기 디텍팅 장치로부터 상기 제1 내지 제3 위치 정보를 획득하고, 상기 제1 내지 제3 위치 정보를 이용하여 상기 제1 착용형 디스플레이 장치에 출력되는 상기 제1 영상을 제어하는 제1 제어 장치; 상기 디텍팅 장치로부터 상기 제1 내지 제3 위치 정보를 획득하고, 상기 제1 내지 제3 위치 정보를 이용하여 상기 제2 착용형 디스플레이 장치에 출력되는 상기 제2 영상을 제어하는 제2 제어 장치; 및 상기 디텍팅 장치로부터 상기 제1 내지 제3 위치 정보를 획득하고, 상기 제1 내지 제3 위치 정보를 이용하여 상기 제3 착용형 디스플레이 장치에 출력되는 상기 제3 영상을 제어하는 제3 제어 장치;를 포함하고, 상기 제1 제어 장치는 상기 제1 입력 장치로부터 상기 제1 모션 정보를 획득하고, 상기 제1 착용형 디스플레이 장치는 상기 제1 사용자로부터 제1 음성 신호를 획득하여 상기 제1 제어 장치에 제공하며, 상기 제1 제어 장치는 상기 제1 음성 신호에 기초하여 제1 음성 데이터를 획득하고, 상기 제1 제어 장치는 상기 제1 모션 정보가 제1 제스처를 지시하는 경우 상기 제2 제어 장치에 상기 제1 음성 데이터를 제공하고, 상기 제1 모션 정보가 제2 제스처를 지시하는 경우 상기 제3 제어 장치에 상기 제1 음성 데이터를 제공하는 가상 환경 제어 시스템이 제공될 수 있다.According to another embodiment of the present specification, in a virtual environment control system, motion of a first user, motion of a second user, and motion of a third user are sensed in a play space, and first location information for the first user is detected. , a detecting device for acquiring second location information about the second user and third location information about the third user; a first wearable display device worn by the first user to output a first image of a virtual environment; a second wearable display device worn by the second user to output a second image of a virtual environment; a third wearable display device worn by the third user to output a third image of a virtual environment; a first input device that is provided to the first user and obtains first motion information related to a motion of the first user; a first control device that obtains the first to third location information from the detecting device and controls the first image output to the first wearable display device using the first to third location information; a second control device that obtains the first to third location information from the detecting device and controls the second image output to the second wearable display device using the first to third location information; and a third control device that obtains the first to third location information from the detecting device and controls the third image output to the third wearable display device using the first to third location information. wherein the first control device acquires the first motion information from the first input device, and the first wearable display device obtains a first audio signal from the first user to control the first motion; The first control device obtains first voice data based on the first voice signal, and the first control device controls the second control device when the first motion information indicates a first gesture. A virtual environment control system may be provided that provides the first voice data to a device and, when the first motion information indicates a second gesture, provides the first voice data to the third control device.

본 명세서에 따르면, 사용자가 가상 환경 내에서 다양한 기능을 수행할 수 있는 기능 수행 툴(tool)이 제공될 수 있다.According to the present specification, a function execution tool through which a user can perform various functions within a virtual environment may be provided.

본 명세서에 따르면, 사용자는 가상 환경 내에서 원하는 사용자와 의사소통을 선택적으로 수행할 수 있다. According to the present specification, a user can selectively communicate with a desired user within a virtual environment.

본 명세서에 따르면, 사용자에게 보다 현실감 있는 가상 직업 훈련을 제공할 수 있고, 이에 따라 사용자의 직업 숙련도가 향상될 수 있다.According to the present specification, more realistic virtual job training can be provided to the user, and thus the user's job proficiency can be improved.

본 명세서에 따른 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects according to the present specification are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.

도 1은 본 명세서의 일 실시예에 따른 가상 환경 제어 시스템을 나타내는 도면이다.
도 2는 본 명세서의 일 실시예에 따른 디텍팅(detecting) 장치를 나타내는 도면이다.
도 3은 본 명세서의 일 실시예에 따른 제어 장치의 구성들을 나타내는 도면이다.
도 4는 본 명세서의 일 실시예에 따른 착용형 디스플레이 장치의 구성들을 나타내는 도면이다.
도 5는 본 명세서의 일 실시예에 따른 가상 환경 제어 시스템이 적용되는 사용자 환경을 나타내는 도면이다.
도 6은 본 명세서의 일 실시예에 따른 대상체 추적 방법을 나타내는 도면이다.
도 7은 본 명세서의 일 실시예에 따른 음성인식 기능을 제공하기 위한 제어 장치의 구성들을 나타내는 도면이다.
도 8은 본 명세서의 일 실시예에 따른 가상 환경에서 음성인식 채널을 활성화하는 방법을 나타내는 도면이다.
도 9 및 도 10은 본 명세서의 일 실시예에 따른 가상 환경에서 음성인식 기능이 제공되는 과정을 나타내는 순서도이다.
도 11 및 도 12는 본 명세서의 일 실시예에 따른 가상 환경에서 선택적 의사소통 기능이 제공되는 방법을 나타내는 도면이다.
도 13은 본 명세서의 일 실시예에 따른 가상 환경에서 선택적 의사소통 기능이 제공되는 과정을 나타내는 순서도이다.1 is a diagram showing a virtual environment control system according to an embodiment of the present specification.
2 is a diagram illustrating a detecting device according to an embodiment of the present specification.
3 is a diagram showing configurations of a control device according to an embodiment of the present specification.
4 is a diagram illustrating configurations of a wearable display device according to an embodiment of the present specification.
5 is a diagram illustrating a user environment to which a virtual environment control system according to an embodiment of the present specification is applied.
6 is a diagram illustrating a method for tracking an object according to an embodiment of the present specification.
7 is a diagram showing configurations of a control device for providing a voice recognition function according to an embodiment of the present specification.
8 is a diagram illustrating a method of activating a voice recognition channel in a virtual environment according to an embodiment of the present specification.
9 and 10 are flowcharts illustrating a process of providing a voice recognition function in a virtual environment according to an embodiment of the present specification.
11 and 12 are diagrams illustrating a method of providing a selective communication function in a virtual environment according to an embodiment of the present specification.
13 is a flowchart illustrating a process of providing a selective communication function in a virtual environment according to an embodiment of the present specification.

본 명세서의 상술한 목적, 특징들 및 장 점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 명세서는 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above-described objects, features and advantages of this specification will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, the present specification may apply various changes and may have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성 요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thickness of layers and regions is exaggerated for clarity, and elements or layers may be "on" or "on" other elements or layers. What is referred to includes all cases where another layer or other component is intervened in the middle as well as immediately above another component or layer. Like reference numerals designate essentially like elements throughout the specification. In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.

본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.Numbers (eg, first, second, etc.) used in the description process of this specification are only identifiers for distinguishing one component from another component.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for the components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves.

이하에서는 도면을 참조하여 본 명세서의 구체적인 실시예를 상세하게 설명한다. 다만, 본 명세서의 사상은 제시되는 실시예에 제한되지 아니하고, 본 명세서의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 명세서의 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 명세서의 기술적 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Hereinafter, specific embodiments of the present specification will be described in detail with reference to the drawings. However, the spirit of the present specification is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present specification may add, change, or delete other elements within the scope of the same spirit, through other degenerative inventions or the present invention. Other embodiments that are included within the scope of the spirit of the specification can be easily proposed, but will also be included within the scope of the spirit of the present specification. In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.

상기 채널 시간은 상기 사용자의 동작에 소요되는 시간에 비례하여 설정될 수 있다.The channel time may be set in proportion to the time required for the user's operation.

상기 제어 장치는 상기 모션 정보가 상기 미리 설정된 제스처를 지시하는 경우, 상기 착용형 디스플레이 장치를 이용하여 음성인식 채널의 활성화를 반영하는 영상을 상기 채널 시간 동안 출력할 수 있다.When the motion information indicates the preset gesture, the control device may output an image reflecting activation of a voice recognition channel during the channel time using the wearable display device.

상기 제어 장치는 상기 모션 정보가 상기 미리 설정된 제스처를 지시하는 경우, 상기 착용형 디스플레이 장치를 이용하여 상기 음성인식 채널의 활성화가 종료되기까지 남은 시간을 나타내는 영상을 출력할 수 있다.When the motion information indicates the preset gesture, the control device may output an image representing a remaining time until activation of the voice recognition channel is terminated using the wearable display device.

상기 제어 장치는 음성 인식부를 포함하고, 상기 음성 인식부를 이용하여 상기 음성 데이터를 기초로 상기 사용자가 미리 설정된 단어를 말했는지 여부를 판단하고, 상기 판단한 결과를 상기 착용형 디스플레이 장치를 통해 출력할 수 있다.The control device may include a voice recognition unit, use the voice recognition unit to determine whether or not the user has spoken a preset word based on the voice data, and output a result of the determination through the wearable display device. have.

상기 제어 장치는 용어 데이터베이스를 포함하고, 상기 미리 설정된 단어는 상기 용어 데이터베이스에 저장된 용어일 수 있다.The control device may include a terminology database, and the preset word may be a term stored in the terminology database.

상기 용어 데이터베이스는 무전 용어에 대한 단어들에 대한 정보를 포함할 수 있고, 상기 미리 설정된 단어는 상기 무전 용어에 대한 단어들 중 하나일 수 있다.The terminology database may include information on words of radio terms, and the preset word may be one of words of radio terms.

상기 제2 제어 장치는 상기 제1 제어 장치로부터 상기 제1 음성 데이터를 수신하는 경우 상기 제2 착용형 디스플레이 장치를 통해 상기 제1 음성 데이터에 대응되는 음향을 출력하고, 상기 제3 제어 장치는 상기 제1 제어 장치로부터 상기 제1 음성 데이터를 수신하는 경우 상기 제3 착용형 디스플레이 장치를 통해 상기 제1 음성 데이터에 대응되는 음향을 출력할 수 있다.When the second control device receives the first voice data from the first control device, the second control device outputs a sound corresponding to the first voice data through the second wearable display device, and the third control device outputs a sound corresponding to the first voice data. When receiving the first voice data from the first control device, a sound corresponding to the first voice data may be output through the third wearable display device.

상기 제2 제어 장치는 상기 제1 제어 장치로부터 상기 제1 음성 데이터를 수신하는 경우 상기 제2 착용형 디스플레이 장치를 통해 상기 제1 음성 데이터에 대응되는 이미지가 포함된 상기 제2 영상을 출력하고, 상기 제3 제어 장치는 상기 제1 제어 장치로부터 상기 제1 음성 데이터를 수신하는 경우 상기 제3 착용형 디스플레이 장치를 통해 상기 제1 음성 데이터에 대응되는 이미지가 포함된 상기 제3 영상을 출력할 수 있다.When receiving the first audio data from the first control device, the second control device outputs the second image including an image corresponding to the first audio data through the second wearable display device; When receiving the first audio data from the first control device, the third control device may output the third image including an image corresponding to the first audio data through the third wearable display device. have.

상기 제2 제어 장치가 상기 제1 제어 장치로부터 상기 제1 음성 데이터를 수신하는 경우, 상기 제2 착용형 디스플레이 장치는 상기 제2 사용자로부터 제2 음성 신호를 획득하여 상기 제2 제어 장치에 제공하고, 상기 제2 제어 장치는 상기 제2 음성 신호에 기초하여 제2 음성 데이터를 획득하고, 상기 제2 제어 장치는 상기 제1 제어 장치에 상기 제2 음성 데이터를 제공할 수 있다.When the second control device receives the first audio data from the first control device, the second wearable display device acquires a second audio signal from the second user and provides it to the second control device, , The second control device may acquire second voice data based on the second voice signal, and the second control device may provide the second voice data to the first control device.

상기 제1 제어 장치는 상기 제1 모션 정보가 제3 제스처를 지시하는 경우 상기 제2 제어 장치 및 상기 제3 제어 장치에 상기 제1 음성 데이터를 제공할 수 있다.The first control device may provide the first voice data to the second control device and the third control device when the first motion information indicates a third gesture.

상기 제1 제어 장치는 상기 제1 모션 정보가 상기 제1 제스처 또는 상기 제2 제스처인 경우, 상기 제1 착용형 디스플레이 장치의 음향 센서 모듈을 활성화시켜 상기 제1 사용자로부터 상기 제1 음성 신호를 입력 받을 수 있다.When the first motion information is the first gesture or the second gesture, the first control device activates a sound sensor module of the first wearable display device to input the first voice signal from the first user. can receive

상기 가상 환경 제어 시스템은 상기 제1 제어 장치, 상기 제2 제어 장치, 및 상기 제3 제어 장치와 데이터 통신하는 메인 제어 장치;를 더 포함하고, 상기 제1 제어 장치는 상기 제1 음성 데이터를 상기 메인 제어 장치를 통해 상기 제2 제어 장치 또는 상기 제3 제어 장치에 제공할 수 있다.The virtual environment control system further includes a main control device that communicates data with the first control device, the second control device, and the third control device, wherein the first control device transmits the first voice data to the first control device. It may be provided to the second control device or the third control device through the main control device.

본 명세서는 음성인식 기능이 구비된 가상 환경 제어 시스템에 관한 것이다.The present specification relates to a virtual environment control system equipped with a voice recognition function.

본 명세서에서 가상 환경은 프로그램에 의해 생성된 인공적인 환경을 의미할 수 있다. 예를 들어, 가상 환경은 프로그램에 의해 현실과 분리된 가상 공간을 생성하여 이에 대한 이미지를 제공하는 가상 현실(VR: virtual reality), 현실 세계를 기반으로 가상의 이미지를 겹쳐 하나의 이미지로 제공하는 증강 현실(AR: augmented reality) 및 현실 세계와 가상 현실을 융합하여 가상 공간을 제공하고 이에 대한 이미지를 제공하는 혼합 현실(MR: mixed reality)로 구분될 수 있다. 한편, 본 명세서에서 가상 환경은 확장 현실(XR: extended reality)로 인식될 수도 있다.In this specification, a virtual environment may refer to an artificial environment created by a program. For example, the virtual environment is virtual reality (VR), which creates a virtual space separated from reality by a program and provides images for it, and overlaps virtual images based on the real world to provide a single image. It can be divided into augmented reality (AR) and mixed reality (MR) that provides a virtual space by converging the real world and virtual reality and provides images for it. Meanwhile, in this specification, the virtual environment may be recognized as extended reality (XR).

나아가, 본 명세서에서 서술하는 가상 환경은 상술한 가상 현실, 증강 현실 및 혼합 현실 외에도 다양한 형태의 가상 공간을 제공하는 환경을 의미할 수 있다.Furthermore, the virtual environment described in this specification may refer to an environment that provides various types of virtual spaces in addition to the above-described virtual reality, augmented reality, and mixed reality.

본 명세서에서 서술하는 가상 환경 제어 시스템은 사용자에게 가상 환경 체험을 제공하는 것을 주된 목적으로 하며, 가상 환경 체험은 게임, 쇼핑, 스포츠, 및 직업 훈련 등 다양한 컨텐츠를 포함할 수 있다. The main purpose of the virtual environment control system described in this specification is to provide a user with a virtual environment experience, and the virtual environment experience may include various contents such as games, shopping, sports, and job training.

이하에서는 도 1을 참조하여 본 명세서의 일 실시예에 따른 가상 환경을 제공하기 위한 시스템에 대해서 서술한다.Hereinafter, a system for providing a virtual environment according to an embodiment of the present specification will be described with reference to FIG. 1 .

도 1은 본 명세서의 일 실시예에 따른 가상 환경 제어 시스템(10)을 나타내는 도면이다.1 is a diagram showing a virtual environment control system 10 according to an embodiment of the present specification.

도 1을 참조하면, 가상 환경 제어 시스템(10)은 디텍팅 장치(100), 제어 장치(200), 착용형 디스플레이 장치(400), 및 입력 장치(500)를 포함할 수 있다. Referring to FIG. 1 , the virtual environment control system 10 may include a detecting device 100 , a control device 200 , a wearable display device 400 , and an input device 500 .

디텍팅 장치(100)는 대상체를 추적하여 디텍팅 정보를 획득할 수 있다. The detecting device 100 may acquire detecting information by tracking an object.

여기서, 대상체는 사용자에게 가상 환경을 제공하기 위해 현실 공간에 제공되는 물체를 의미할 수 있다.Here, the object may refer to an object provided in a real space to provide a virtual environment to the user.

구체적으로, 대상체는 사용자, 사용자의 신체 부위, 사용자 주변에 위치한 물체, 착용형 디스플레이 장치(400), 입력 장치(500), 및 기준점이나 특징점을 갖는 물체를 포함할 수 있다. Specifically, the object may include a user, a body part of the user, an object located around the user, the wearable display device 400, the input device 500, and an object having a reference point or feature point.

디텍팅 정보는 대상체에 대한 정보를 의미할 수 있다. 예를 들어, 디텍팅 정보는 대상체의 위치나 움직임 등을 감지하여 획득할 수 있는 대상체의 위치 정보, 속력 정보, 및 속도 정보 등을 포함할 수 있다.The detecting information may refer to information about an object. For example, the detecting information may include location information, speed information, speed information, and the like of an object that can be obtained by detecting the location or movement of the object.

디텍팅 장치(100)는 대상체에 대한 디텍팅 정보를 미리 정해진 주기로 획득할 수 있다.The detecting device 100 may obtain detecting information about the target object at predetermined cycles.

디텍팅 장치(100)는 디텍팅 정보를 제어 장치(200)에 제공할 수 있다.The detecting device 100 may provide detecting information to the control device 200 .

제어 장치(200)는 전반적으로 디텍팅 장치(100), 착용형 디스플레이 장치(400), 및 입력 장치(500)와 연결될 수 있다. The control device 200 may be generally connected to the detecting device 100 , the wearable display device 400 , and the input device 500 .

제어 장치(200)는 연결된 구성들로부터 정보를 획득할 수 있다.The control device 200 may obtain information from connected components.

일 예로, 제어 장치(200)는 디텍팅 장치(100)로부터 대상체에 관한 디텍팅 정보를 획득할 수 있다. 또는, 제어 장치(200)는 디텍팅 장치(100)로부터 대상체에 관한 이미지 정보를 획득할 수 있다. 또는, 제어 장치(200)는 디텍팅 장치(100)의 현재 상태에 관한 상태 정보를 획득할 수 있다. 제어 장치(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 가상 환경에서의 대상체 위치를 나타내는 가상 위치 정보를 생성할 수 있다. 가상 위치 정보에 관해서는 추후 구체적으로 서술한다.For example, the control device 200 may obtain detecting information about an object from the detecting device 100 . Alternatively, the control device 200 may obtain image information about the object from the detecting device 100 . Alternatively, the control device 200 may obtain state information about the current state of the detecting device 100 . The control device 200 may generate virtual location information indicating a location of an object in a virtual environment based on detecting information obtained from the detecting device 100 . The virtual location information will be described in detail later.

제어 장치(200)는 착용형 디스플레이 장치(400)를 제어할 수 있다. 예를 들어, 제어 장치(200)는 착용형 디스플레이 장치(400)가 사용자에게 가상 환경에 관한 이미지 또는 영상을 출력하도록 제어할 수 있다. 보다 구체적으로, 제어 장치(200)는 후술하는 바와 같이 디텍팅 장치(100)로부터 획득되는 디텍징 정보에 기초하여 착용형 디스플레이 장치(400)에서 출력되는 이미지 또는 영상을 변경함으로써 사용자에게 가상 체험을 제공할 수 있다.The control device 200 may control the wearable display device 400 . For example, the control device 200 may control the wearable display device 400 to output an image or video of a virtual environment to the user. More specifically, the control device 200 provides a virtual experience to the user by changing an image or video output from the wearable display device 400 based on the detecting information obtained from the detecting device 100 as will be described later. can provide

다시 말해, 제어 장치(200)은 미리 저장된 어플리케이션을 실행시켜 착용형 디스플레이 장치(400)를 통해 사용자에게 가상 환경 체험을 위한 이미지 또는 영상을 제공할 수 있다. 예를 들어, 상술한 미리 저장된 어플리케이션은 범죄 예방 훈련, 교통 통제 훈련, 방범 훈련, 시위대 통제 훈련 등 경찰의 직업 훈련에 관한 시나리오를 구현하는 프로그램이고, 착용형 디스플레이 장치(400)를 통해 사용자에게 제공되는 이미지 또는 영상은 각 시나리오에 대응될 수 있다.In other words, the control device 200 may execute a pre-stored application and provide an image or video for experiencing a virtual environment to the user through the wearable display device 400 . For example, the above-described pre-stored application is a program that implements scenarios related to police job training, such as crime prevention training, traffic control training, crime prevention training, and demonstrator control training, and is provided to the user through the wearable display device 400. The image or video to be used may correspond to each scenario.

제어 장치(200)는 입력 장치(500)로부터 입력 신호를 획득할 수 있다. 나아가, 제어 장치(200)는 입력 장치(500)로부터 획득한 입력 신호에 기초하여 입력 정보를 획득할 수 있다.The control device 200 may obtain an input signal from the input device 500 . Furthermore, the control device 200 may obtain input information based on an input signal obtained from the input device 500 .

여기서, 입력 신호는 사용자의 입력 장치(500) 조작에 의한 신호를 의미할 수 있고, 입력 정보는 사용자의 입력 장치(500) 조작에 대응되는 정보를 의미할 수 있다. 예를 들어, 입력 정보는 사용자의 입력 장치(500) 버튼 누름에 대응되는 선택 정보, 사용자의 동작에 대응되는 입력 장치(500)의 모션 정보, 입력 장치(500)의 지향 방향에 관한 지향 정보 등을 포함할 수 있다.Here, the input signal may mean a signal caused by the user's manipulation of the input device 500, and the input information may mean information corresponding to the user's manipulation of the input device 500. For example, the input information includes selection information corresponding to a user pressing a button of the input device 500, motion information of the input device 500 corresponding to a user's motion, direction information about a direction of the input device 500, and the like. can include

제어 장치(200)는 입력 장치(500)로부터 획득한 입력 정보에 기초하여 착용형 디스플레이 장치(400)에 출력되는 이미지 또는 영상을 변경할 수 있다.The control device 200 may change an image or video output to the wearable display device 400 based on input information acquired from the input device 500 .

한편, 제어 장치(200)는 반드시 하나의 물리적인 구성으로 제공되어야 하는 것은 아니며, 상술한 기능을 세분화하여 각각의 기능을 수행하는 복수의 장치로 제공될 수도 있다. Meanwhile, the control device 200 does not necessarily have to be provided as a single physical structure, and may be provided as a plurality of devices performing each function by subdividing the above-described functions.

일 예로, 제어 장치(200)는 디텍팅 장치(100)와 연결되어 디텍팅 정보에 기초하여 가상 위치 정보를 획득하는 디텍팅 모듈, 가상 환경 시스템(10)의 구성들 중 적어도 일부에 대한 제어를 수행하는 운영 모듈 및 가상 환경 시스템(10)의 구성들 중 적어도 하나에서 실행되는 어플리케이션에 대한 인증을 수행하는 라이센스 모듈 등을 포함할 수 있다.For example, the control device 200 is connected to the detecting device 100 to control at least some of the components of the detecting module and the virtual environment system 10 that obtain virtual location information based on the detecting information. It may include an operation module to perform and a license module to authenticate an application running in at least one of components of the virtual environment system 10 .

제어 장치(200)는 다양한 형태로 제공될 수 있다. 예를 들어, 제어 장치(200)는 사용자가 착용 가능한 백팩(backpack) PC 형태로 제공될 수 있다. 구체적으로, 제어 장치(200)는 사용자가 착용할 수 있는 가방에 결착된 형태로 제공될 수 있다.The control device 200 may be provided in various forms. For example, the control device 200 may be provided in the form of a backpack PC that can be worn by a user. Specifically, the control device 200 may be provided in a form attached to a bag worn by a user.

착용형 디스플레이 장치(400)는 제어 장치(200)와 연결될 수 있다.The wearable display device 400 may be connected to the control device 200 .

착용형 디스플레이 장치(400)는 사용자에게 가상 환경에 대한 이미지 또는 영상을 제공할 수 있다. 예를 들어, 착용형 디스플레이 장치(400)는 제어 장치(200)로부터 획득한 가상 이미지를 사용자에게 시각적으로 출력할 수 있다.The wearable display device 400 may provide a user with an image or video of a virtual environment. For example, the wearable display device 400 may visually output a virtual image obtained from the control device 200 to the user.

착용형 디스플레이 장치(400)는 사용자에게 음향 효과를 출력할 수 있다. 예를 들어, 착용형 디스플레이 장치(400)는 제어 장치(200)로부터 이미지 또는 영상에 대응하는 음향 정보를 획득하고, 획득한 음향 정보에 기초하여 음향 효과를 출력할 수 있다.The wearable display device 400 may output sound effects to the user. For example, the wearable display device 400 may obtain sound information corresponding to an image or video from the control device 200 and output a sound effect based on the obtained sound information.

입력 장치(500)는 상술한 바와 같이 사용자의 조작에 따른 입력 신호를 획득할 수 있다. 입력 장치(500)는 획득한 입력 신호를 제어 장치(200)에 제공할 수 있다.As described above, the input device 500 may obtain an input signal according to a user's manipulation. The input device 500 may provide the obtained input signal to the control device 200 .

입력 장치(500)는 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 등을 포함할 수 있다. 입력 장치(500)는 이러한 센서들을 이용하여 사용자의 조작에 대응되는 입력 신호를 획득할 수 있다.The input device 500 may include an acceleration sensor, a gyroscope, a gyro sensor, a MEMS, a geomagnetic sensor, an inertial sensor (IMIU), a light sensor, an illuminance sensor, a photo sensor, an infrared sensor, a color sensor, a depth sensor, an electromagnetic wave sensor, and the like. can The input device 500 may obtain an input signal corresponding to a user's manipulation using these sensors.

추가적으로 입력 장치(500)는 버튼, 스위치, 조그셔틀 및 휠 등 물리적 조작 부재를 포함할 수 있다.Additionally, the input device 500 may include physical manipulation members such as buttons, switches, jog shuttles, and wheels.

입력 장치(500)는 제어 장치(200)와 유선 통신 및 무선 통신 중 적어도 하나의 통신 방식으로 정보를 송수신할 수 있다. 이를 위해 입력 장치(500)는 통신 모듈을 포함할 수 있다.The input device 500 may transmit and receive information with the control device 200 through at least one of wired communication and wireless communication. To this end, the input device 500 may include a communication module.

이상에서 설명된 가상 환경 제어 시스템(10)은 설명의 편의를 위한 일 실시예이며, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니며 필요에 따라 다양한 형태로 구성될 수 있다. 예를 들어, 제어 장치(200) 및 착용형 디스플레이 장치(400)는 하나의 물리적 구성으로 제공될 수도 있다.The virtual environment control system 10 described above is an embodiment for convenience of explanation, and the technical spirit of the present specification is not limited thereto and may be configured in various forms as needed. For example, the control device 200 and the wearable display device 400 may be provided as one physical structure.

이하에서는 도 2 내지 도 4를 참조하여 가상 환경 제어 시스템(10)의 각 구성에 대해 구체적으로 서술한다.Hereinafter, each configuration of the virtual environment control system 10 will be described in detail with reference to FIGS. 2 to 4 .

도 2는 본 명세서의 일 실시예에 따른 디텍팅 장치(100)를 나타내는 도면이다.2 is a diagram showing a detecting device 100 according to an embodiment of the present specification.

도 2를 참조하면, 디텍팅 장치(100)는 발광부(110) 및 센싱부(120)를 포함할 수 있다.Referring to FIG. 2 , the detecting device 100 may include a light emitting unit 110 and a sensing unit 120 .

발광부(110)는 대상체 추적을 위해 대상체 또는 그 주변에 신호를 송출할 수 있다. 예를 들어, 발광부(110)는 가시광 및 적외선 등의 광 신호를 외부로 발신하는 발광 소자를 포함하고, 미리 설정된 영역에 광 신호를 발산할 수 있다. 보다 구체적으로, 발광부(110)는 가시광 LED 및/또는 적외선 LED 등으로 제공될 수 있다.The light emitting unit 110 may transmit a signal to the object or its surroundings in order to track the object. For example, the light emitting unit 110 may include a light emitting device that emits light signals such as visible light and infrared light to the outside, and may emit light signals to a preset area. More specifically, the light emitting unit 110 may be provided as a visible light LED and/or an infrared LED.

센싱부(120)는 외부로부터 신호를 획득할 수 있다. 예를 들어, 센싱부(120)는 발광부(110)가 송출한 신호에 대응하는 신호를 획득할 수 있다. 구체적으로, 센싱부(120)는 발광부(110)에서 발산한 광이 대상체 도달한 후 반사된 광을 감지할 수 있다.The sensing unit 120 may acquire a signal from the outside. For example, the sensing unit 120 may acquire a signal corresponding to a signal transmitted by the light emitting unit 110 . Specifically, the sensing unit 120 may sense reflected light after light emitted from the light emitting unit 110 reaches the object.

센싱부(120)는 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 및 전자파 센서 중 적어도 하나를 포함할 수 있다.The sensing unit 120 may include at least one of an image sensor, a light sensor, an illuminance sensor, a photosensor, an infrared sensor, a color sensor, a depth sensor, and an electromagnetic wave sensor.

도 3은 본 명세서의 일 실시예에 따른 제어 장치(200)의 구성들을 나타내는 도면이다. 3 is a diagram showing configurations of a control device 200 according to an embodiment of the present specification.

도 3을 참조하면, 제어 장치(200)는 제1 통신부(210), 제1 저장부(220), 제1 입력부(230), 제1 제어부(240) 및 제1 디스플레이부(250)를 포함할 수 있다.Referring to FIG. 3 , the control device 200 includes a first communication unit 210, a first storage unit 220, a first input unit 230, a first control unit 240 and a first display unit 250. can do.

제1 통신부(210)는 디텍팅 장치(100) 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결되어 데이터를 획득하거나 제공할 수 있다.The first communication unit 210 may acquire or provide data by being connected to at least one of the detecting device 100 and the wearable display device 400 .

제1 통신부(210)는 유선통신 및 무선통신 중 적어도 하나의 방식으로 디텍팅 장치(100) 및 착용형 디스플레이 장치(400) 중 적어도 하나와 연결될 수 있다. 여기서, 무선통신은 와이파이(Wi-Fi)망, 3G, LTE망, 5G, 로라(LoRa) 등의 이동통신망, wave(Wireless Access in Vehicular Environment), 비콘, 지그비(zigbee), 블루투스(Bluetooth), BLE(Bluetooth Low Energy) 등을 포함할 수 있다. 또 여기서, 유선통신은 트위스트 페어 케이블, 동축케이블 또는 광케이블 등을 포함할 수 있다.The first communication unit 210 may be connected to at least one of the detecting device 100 and the wearable display device 400 through at least one of wired communication and wireless communication. Here, the wireless communication is a mobile communication network such as Wi-Fi network, 3G, LTE network, 5G, LoRa, wave (Wireless Access in Vehicular Environment), beacon, zigbee, Bluetooth, Bluetooth Low Energy (BLE) and the like may be included. Also, here, wired communication may include a twisted pair cable, a coaxial cable, or an optical cable.

제1 저장부(220)는 각종 데이터를 저장할 수 있다. 예를 들어, 제1 저장부(220)는 제어 장치(200)에서 이용되는 데이터를 저장할 수 있다. 구체적으로, 제1 저장부(220)는 제어 장치(200)의 동작에 필요한 정보를 저장할 수 있다. 또한, 제1 저장부(220)는 외부로부터 획득한 정보를 저장할 수 있다.The first storage unit 220 may store various types of data. For example, the first storage unit 220 may store data used in the control device 200 . Specifically, the first storage unit 220 may store information necessary for the operation of the control device 200 . Also, the first storage unit 220 may store information acquired from the outside.

제1 저장부(220)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD, CD-ROM, DVD-ROM 또는 USB 등으로 제공될 수 있다.The first storage unit 220 includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Can be provided in optical media (magneto-optical media), ROM, RAM, flash memory, SSD, CD-ROM, DVD-ROM or USB.

제1 입력부(230)는 사용자의 입력에 대응하는 신호를 획득할 수 있다. 사용자의 입력은 예를 들어 버튼의 누름, 클릭, 터치 및 드래그 등일 수 있다. 제1 입력부(230)는 사용자 입력을 수신하기 위해 키보드, 키 패드, 버튼, 조그셔틀 및 휠 등을 포함할 수 있다.The first input unit 230 may obtain a signal corresponding to a user's input. The user's input may be, for example, button press, click, touch, and drag. The first input unit 230 may include a keyboard, a keypad, a button, a jog shuttle, and a wheel to receive a user input.

제1 제어부(240)는 제어 장치(200)의 동작을 총괄할 수 있다. 구체적으로, 제1 제어부(240)는 제어 장치(200)에 포함된 구성의 동작을 제어할 수 있다. 예를 들어, 제1 제어부(240)는 마이크로 프로세서, 마이크로 컨트롤러, DSP, 프로세서, 제어기 기능 수행을 위한 전기적인 유닛 등으로 구현될 수 있다.The first control unit 240 may oversee the operation of the control device 200 . Specifically, the first control unit 240 may control the operation of elements included in the control device 200 . For example, the first control unit 240 may be implemented as a microprocessor, microcontroller, DSP, processor, electrical unit for performing a controller function, or the like.

제1 제어부(240)는 적어도 하나의 기능 또는 동작을 수행하는 소프트웨어 코드로 구현될 수 있다. 여기서, 소프트웨어 코드는 적절한 프로그램 언어로 작성되는 것으로 소프트웨어 코드에 의해 각종 명령어가 수행될 수 있다. 소프트웨어 코드는 제1 저장부(220)에 저장되고, 제1 제어부(240) 또는 구성요소 등에 의해 실행될 수 있다.The first controller 240 may be implemented as software codes that perform at least one function or operation. Here, the software code is written in an appropriate programming language, and various commands can be executed by the software code. The software code may be stored in the first storage unit 220 and executed by the first control unit 240 or a component.

제1 디스플레이부(250)는 시각적인 정보를 출력할 수 있다. The first display unit 250 may output visual information.

제1 디스플레이부(250)는 시각적인 정보를 출력하는 모니터, TV, 디스플레이 패널 등으로 제공될 수 있다.The first display unit 250 may be provided as a monitor, TV, or display panel that outputs visual information.

한편, 제1 디스플레이부(250)가 터치 스크린으로 제공되는 경우, 제1 디스플레이부(250)는 제1 입력부(230)의 기능을 수행할 수 있다.Meanwhile, when the first display unit 250 is provided as a touch screen, the first display unit 250 may perform the function of the first input unit 230 .

도 4는 본 명세서의 일 실시예에 따른 착용형 디스플레이 장치(400)의 구성들을 나타내는 도면이다.4 is a diagram illustrating configurations of a wearable display device 400 according to an embodiment of the present specification.

도 4를 참조하면, 착용형 디스플레이 장치(400)는 제2 통신부(410), 제2 저장부(420), 센서부(430), 제2 제어부(440) 및 제2 디스플레이부(450)를 포함할 수 있다.Referring to FIG. 4 , the wearable display device 400 includes a second communication unit 410, a second storage unit 420, a sensor unit 430, a second control unit 440, and a second display unit 450. can include

제2 통신부(410)는 제어 장치(200)와 연결될 수 있다.The second communication unit 410 may be connected to the control device 200 .

제2 통신부(410)는 제1 통신부(210)와 동일하게 유선통신 및 무선통신 중 적어도 하나의 통신 방식을 이용할 수 있다. Like the first communication unit 210, the second communication unit 410 may use at least one communication method among wired communication and wireless communication.

제2 저장부(420)는 데이터를 저장할 수 있다. 예를 들어, 제2 저장부(420)는 착용형 디스플레이 장치(400)의 동작에 필요한 프로그램을 저장할 수 있다. 또한, 제2 저장부(420)는 외부로부터 획득한 정보를 저장할 수 있다. 제2 저장부(420)는 제1 저장부(410)와 유사하게 구현될 수 있다.The second storage unit 420 may store data. For example, the second storage unit 420 may store programs necessary for the operation of the wearable display device 400 . Also, the second storage unit 420 may store information acquired from the outside. The second storage unit 420 may be implemented similarly to the first storage unit 410 .

센서부(430)는 착용형 디스플레이 장치(400)의 상태 및 사용자의 입력에 대응하는 신호를 획득할 수 있다.The sensor unit 430 may acquire signals corresponding to the state of the wearable display device 400 and a user's input.

센서부(430)는 동작 센서모듈(431) 및 음향 센서모듈(432)을 포함할 수 있다.The sensor unit 430 may include a motion sensor module 431 and an acoustic sensor module 432 .

동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 상태에 대한 신호를 획득할 수 있다. 예를 들어, 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 회전에 대한 회전 정보를 획득할 수 있다. 다른 예를 들어, 동작 센서모듈(431)은 착용형 디스플레이 장치(400)의 위치 이동에 따른 가속도 정보, 속도 정보 또는 이동 정보를 획득할 수 있다.The motion sensor module 431 may obtain a signal about the state of the wearable display device 400 . For example, the motion sensor module 431 may obtain rotation information about rotation of the wearable display device 400 . For another example, the motion sensor module 431 may obtain acceleration information, speed information, or movement information according to the positional movement of the wearable display device 400 .

동작 센서모듈(431)은 가속도 센서, 자이로스코프, 자이로 센서, MEMS, 지자기 센서, 관성 센서(IMIU), 이미지 센서, 광 센서, 조도 센서, 포토 센서, 적외선 센서, 칼라 센서, 깊이 센서 또는 전자파 센서 등을 포함할 수 있다.The motion sensor module 431 may include an acceleration sensor, a gyroscope, a gyro sensor, MEMS, a geomagnetic sensor, an inertial sensor (IMIU), an image sensor, a light sensor, an illuminance sensor, a photo sensor, an infrared sensor, a color sensor, a depth sensor, or an electromagnetic wave sensor. etc. may be included.

음향 센서모듈(432)는 외부로부터 유입되는 소리에 대응하는 신호를 획득할 수 있다. 예를 들어, 음향 센서모듈(432)은 사용자의 음성을 입력 신호로 수신하여 음성 데이터를 획득할 수 있다. The acoustic sensor module 432 may acquire a signal corresponding to sound introduced from the outside. For example, the acoustic sensor module 432 may obtain voice data by receiving a user's voice as an input signal.

음향 센서모듈(432)은 마이크 등의 음성 입력 장치를 포함할 수 있다.The acoustic sensor module 432 may include a voice input device such as a microphone.

제2 제어부(440)는 착용형 디스플레이 장치(400)의 동작을 총괄할 수 있다. 제2 제어부(440)에 관한 내용은 상술한 제1 제어부(240)와 유사한 바 생략하도록 한다.The second controller 440 may oversee the operation of the wearable display device 400 . Details about the second control unit 440 are similar to those of the above-described first control unit 240 and thus will be omitted.

제2 디스플레이부(450)는 사용자에게 이미지 또는 영상을 출력할 수 있다. 예를 들어, 제2 디스플레이부(450)는 사용자에게 제공되는 가상 환경 체험에 대한 이미지 또는 영상을 출력할 수 있다. 제2 디스플레이부(450)에서 출력되는 이미지 또는 영상은 2차원 또는 3차원일 수 있다.The second display unit 450 may output an image or video to a user. For example, the second display unit 450 may output an image or video about the virtual environment experience provided to the user. An image or video output from the second display unit 450 may be 2D or 3D.

제2 디스플레이부(450)는 액정 디스플레이(LCD), 전자 종이, LED 디스플레이, OLED 디스플레이, 곡면 디스플레이, 스테레오스코피(양안 시차를 이용한 3차원 디스플레이) 등의 이미지 출력 장치로 제공될 수 있다.The second display unit 450 may be provided as an image output device such as a liquid crystal display (LCD), electronic paper, an LED display, an OLED display, a curved display, or a stereoscopy (three-dimensional display using binocular parallax).

음향 출력부(460)는 청각적인 정보를 출력할 수 있다. 예를 들어, 음향 출력부(460)는 튜너, 재생장치, 앰프, 스피커 등의 음향장치로 제공될 수 있다.The audio output unit 460 may output auditory information. For example, the sound output unit 460 may be provided as a sound device such as a tuner, a playback device, an amplifier, or a speaker.

도 5는 본 명세서의 일 실시예에 따른 가상 환경 제어 시스템(10)이 적용되는 사용자 환경을 나타내는 도면이다.5 is a diagram showing a user environment to which the virtual environment control system 10 according to an embodiment of the present specification is applied.

도 5을 참조하면 사용자 환경은 적어도 한 명의 사용자, 사용자가 가상 환경을 체험하기 위한 플레이 공간(PA), 사용자에게 제공되는 제어 장치(200), 착용형 디스플레이 장치(400), 및 입력 장치(500), 플레이 공간(PA)에서 사용자의 움직임을 감지할 수 있는 디텍팅 장치(100)를 포함할 수 있다.Referring to FIG. 5 , the user environment includes at least one user, a play space (PA) for the user to experience a virtual environment, a control device 200 provided to the user, a wearable display device 400, and an input device 500. ), and the detecting device 100 capable of detecting a user's motion in the play space PA.

플레이 공간(PA)은 적어도 한 명 이상의 사용자가 가상 환경을 체험하기 위한 현실 공간을 의미할 수 있다.The play space PA may refer to a real space for at least one user to experience a virtual environment.

사용자 환경에서 사용자의 움직임을 감지하기 위해 마커(M)가 제공될 수 있다. 마커(M)는 디텍팅 장치(100)에 의해 그 위치나 이동 정보가 감지되는 기준점 또는 특징점 역할을 수행할 수 있다. 예를 들어, 마커(M)가 대상체에 부착됨으로써 디텍팅 장치(100)는 사용자 환경 내 대상체의 움직임을 추적할 수 있다. 보다 구체적으로, 마커(M)는 착용형 디스플레이 장치(400) 및/또는 입력 장치(500) 등에 부착되고 디텍팅 장치(100)는 착용형 디스플레이 장치(400) 및/또는 입력 장치(500)에 대한 정보를 획득함으로써 사용자 환경 내 사용자의 위치를 추적할 수 있다. A marker M may be provided to detect a user's movement in the user environment. The marker M may serve as a reference point or feature point at which the location or movement information is sensed by the detecting device 100 . For example, by attaching the marker M to the object, the detecting apparatus 100 may track the movement of the object in the user environment. More specifically, the marker M is attached to the wearable display device 400 and/or the input device 500, and the detecting device 100 is attached to the wearable display device 400 and/or the input device 500. It is possible to track the location of the user in the user environment by obtaining information about the user.

플레이 공간(PA)에서 디텍팅 장치(100)가 복수 개 제공될 수 있다. 예를 들어, 복수의 디텍팅 장치(100)는 플레이 공간(PA)의 주변을 미리 정해진 간격만큼 이격되어 배치되어 각 할당 영역에 대해 광을 발산하고 수집할 수 있다.A plurality of detecting devices 100 may be provided in the play space PA. For example, the plurality of detecting devices 100 may be spaced apart from each other by a predetermined interval around the play space PA to emit and collect light for each assigned area.

디텍팅 장치(100)는 플레이 공간(PA)에 대한 디텍팅 정보를 획득할 수 있다. 예를 들어, 디텍팅 장치(100)의 센싱부(120)는 플레이 공간(PA) 중 적어도 일부에 대한 디텍팅 정보를 획득할 수 있다.The detecting device 100 may obtain detecting information about the play space PA. For example, the sensing unit 120 of the detecting device 100 may obtain detection information on at least a part of the play space PA.

플레이 공간(PA)에 복수의 디텍팅 장치(100)가 제공되는 경우 제어 장치(200)는 복수의 디텍팅 장치(100)로부터 디텍팅 정보를 획득할 수 있으며, 획득한 디텍팅 정보들에 기초하여 대상체의 현재 위치 정보를 획득할 수 있다.When a plurality of detecting devices 100 are provided in the play space PA, the control device 200 may obtain detecting information from the plurality of detecting devices 100 and based on the obtained detecting information. Thus, current location information of the object may be obtained.

디텍팅 장치(100)는 지면으로부터 미리 정해진 높이만큼 이격 되어 배치될 수 있으며, 플레이 공간(PA)을 지향하도록 배치될 수도 있으며, 미리 설치된 프레임(frame)에 고정되어 설치될 수 있다.The detecting device 100 may be disposed apart from the ground by a predetermined height, may be disposed to face the play space PA, or may be fixed to and installed on a pre-installed frame.

제어 장치(200)는 디텍팅 장치(100)로부터 획득한 데이터에 기초하여 대상체들의 현실 위치 정보를 산출하고, 대상체들의 현실 위치 정보에 기초하여 그에 대응하는 가상 환경에서의 가상 위치 정보를 획득할 수 있다. 예를 들어, 제어 장치(200)는 디텍팅 장치(100)로부터 사용자가 착용하는 착용형 디스플레이 장치(400)에 대한 디텍팅 정보에 기초하여 플레이 공간(PA) 내 사용자의 위치 정보인 현실 위치 정보를 산출하고, 현실 위치 정보에 포함된 좌표에 대응하는 가상 환경에서의 좌표를 가상 환경 내 사용자의 캐릭터의 가상 위치 정보로 획득할 수 있다.The control device 200 may calculate real location information of objects based on data obtained from the detecting device 100 and obtain virtual location information in a virtual environment corresponding thereto based on the real location information of the objects. have. For example, the control device 200 is based on the detecting information about the wearable display device 400 worn by the user from the detecting device 100, the real location information that is the location information of the user in the play space PA. , and coordinates in the virtual environment corresponding to the coordinates included in the real location information may be obtained as virtual location information of the user's character in the virtual environment.

제어 장치(200)은 상술한 가상 위치 정보에 기초하여 가상 환경에 관한 이미지 또는 영상을 획득할 수 있다. 예를 들어, 제어 장치(200)는 가상 위치 정보에 기초하여 가상 환경에서의 캐릭터에 대응하며 미리 설정된 시야 범위를 가지는 가상 카메라를 특정하고, 가상 카메라의 시야 범위에 대응하는 가상 이미지 또는 영상을 획득할 수 있다. 이 때, 제어 장치(200)는 가상 이미지 또는 영상을 획득함에 있어 착용형 디스플레이 장치(400)의 동작 센서모듈(431)로부터 획득한 지향 방향 정보를 더 고려할 수 있다.The control device 200 may obtain an image or video related to the virtual environment based on the virtual location information described above. For example, the control device 200 specifies a virtual camera corresponding to a character in a virtual environment and having a preset field of view based on the virtual location information, and obtains a virtual image or video corresponding to the field of view of the virtual camera. can do. At this time, the control device 200 may further consider direction information acquired from the motion sensor module 431 of the wearable display device 400 when obtaining a virtual image or video.

제어 장치(200)는 가상 이미지 또는 영상을 착용형 디스플레이 장치(400)로 제공할 수 있다. 착용형 디스플레이 장치(400)는 가상 이미지 또는 영상을 사용자에게 출력할 수 있다.The control device 200 may provide a virtual image or video to the wearable display device 400 . The wearable display device 400 may output a virtual image or video to a user.

입력 장치(500)는 사용자가 소지하는 형태로 제공될 수 있다. 예를 들어, 사용자는 입력 장치(500)를 손에 휴대할 수 있다.The input device 500 may be provided in a form carried by a user. For example, a user may carry the input device 500 in his/her hand.

제어 장치(200)는 디텍팅 장치(100)로부터 획득한 디텍팅 정보에 기초하여 입력 장치(500)의 현실 위치 정보를 획득할 수 있다. 또한 입력 장치(500)는 제어 장치(200)에 사용자의 조작을 반영하는 모션 정보 또는 지향 정보 등을 제공할 수 있고, 제어 장치(200)는 입력 장치(500)의 현실 위치 정보, 모션 정보 및/또는 지향 정보를 이용하여 착용형 디스플레이 장치(400)에 출력되는 이미지 또는 영상을 제어할 수 있다.The control device 200 may obtain real location information of the input device 500 based on the detecting information obtained from the detecting device 100 . In addition, the input device 500 may provide the control device 200 with motion information or direction information reflecting a user's manipulation, and the control device 200 may provide the input device 500 with real location information, motion information, and the like. / Or, an image or video output to the wearable display device 400 may be controlled using orientation information.

한편, 이상에서는 사용자가 한 명인 경우에 대해 주로 서술하였으나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니며, 복수의 사용자에게 가상 환경 체험이 제공되는 경우에도 상술한 내용이 적용될 수 있다.Meanwhile, in the foregoing, the case where there is only one user has been mainly described, but the technical concept of the present specification is not limited thereto, and the above-described content may be applied even when a virtual environment experience is provided to a plurality of users.

일 예로, 제1 사용자 및 제2 사용자에게 가상 환경 체험이 제공되는 경우, 제1 사용자에 대응하는 제1 제어 장치, 제1 착용형 디스플레이 장치, 및 제1 입력 장치가 존재하고, 제2 사용자에 대응하는 제2 제어 장치, 제2 착용형 디스플레이 장치, 및 제2 입력 장치가 존재할 수 있다. For example, when a virtual environment experience is provided to a first user and a second user, a first control device, a first wearable display device, and a first input device corresponding to the first user exist, and the second user A corresponding second control device, a second wearable display device, and a second input device may exist.

이 때, 디텍팅 장치(100)는 플레이 공간(PA) 내 위치한 제1 사용자 및 제2 사용자의 움직임을 감지하여 제1 사용자 및 제2 사용자의 위치에 관한 디텍팅 신호를 제1 제어 장치 및 제2 제어 장치에 제공할 수 있다. At this time, the detecting device 100 detects motions of the first user and the second user located in the play space PA, and transmits a detection signal related to the location of the first user and the second user to the first control device and the second user. 2 can be provided to the control unit.

제1 제어 장치는 플레이 공간(PA) 내 제1 사용자 제1 현실 위치 정보 및 제2 사용자의 제2 현실 위치 정보를 산출하며, 제1 현실 위치 정보 및 제2 현실 위치 정보에 기초하여 제1 착용형 디스플레이 장치에 제1 영상이 출력되도록 제어할 수 있다. The first control device calculates first real location information of the first user and second real location information of the second user in the play space (PA), and based on the first real location information and the second real location information, the first wearer is first worn. It is possible to control the first image to be output to the type display device.

마찬가지로, 제2 제어 장치는 플레이 공간(PA) 내 제1 사용자 제1 현실 위치 정보 및 제2 사용자의 제2 현실 위치 정보를 산출하며, 제1 현실 위치 정보 및 제2 현실 위치 정보에 기초하여 제2 착용형 디스플레이 장치에 제2 영상이 출력되도록 제어할 수 있다.Similarly, the second control device calculates first user's first real location information and second user's second real location information in the play space PA, and based on the first real location information and the second real location information, the second real location information is calculated. 2 It is possible to control the second image to be output to the wearable display device.

또는, 제1 제어 장치 및 제2 제어 장치를 제어하는 메인 제어 장치가 존재하고, 메인 제어 장치가 디텍팅 장치(100)로부터 제1 사용자 및 제2 사용자의 위치에 관한 정보를 수신하여 제1 현실 위치 정보 및 제2 현실 위치 정보를 산출하고, 제1 현실 위치 정보 및 제2 현실 위치 정보를 제1 제어 장치 및 제2 제어 장치에 제공할 수 있다. Alternatively, there is a main control device that controls the first control device and the second control device, and the main control device receives information about the locations of the first user and the second user from the detecting device 100 to create a first reality. The location information and the second real location information may be calculated, and the first real location information and the second real location information may be provided to the first control device and the second control device.

또는, 제1 제어 장치 및 제2 제어 장치를 제어하는 메인 제어 장치가 존재하고, 메인 제어 장치가 디텍팅 장치(100)로부터 제1 사용자 및 제2 사용자의 위치에 관한 정보를 수신하여 제1 현실 위치 정보 및 제2 현실 위치 정보를 산출하되, 제1 현실 위치 정보 및 제2 현실 위치 정보를 반영하는 제1 영상 데이터를 제1 제어 장치에 제공하고, 제1 현실 위치 정보 및 제2 현실 위치 정보를 반영하는 제2 영상 데이터를 제2 제어 장치에 제공할 수도 있다.Alternatively, there is a main control device that controls the first control device and the second control device, and the main control device receives information about the locations of the first user and the second user from the detecting device 100 to create a first reality. Calculating location information and second real location information, providing first image data reflecting the first real location information and the second real location information to the first control device, the first real location information and the second real location information Second image data reflecting the may be provided to the second control device.

가상 환경 체험이 제공되는 사용자 수가 1명 또는 2명으로 한정되는 것은 아니며, 사용자 수는 3명 이상일 수 있고, 그 경우에도 상술한 내용이 동일하게 적용될 수 있음은 물론이다.The number of users provided with the virtual environment experience is not limited to one or two, and the number of users may be three or more, and the above-described content can be equally applied even in that case.

도 6은 본 명세서의 일 실시예에 따른 대상체 추적 방법을 나타내는 도면이다.6 is a diagram illustrating a method for tracking an object according to an embodiment of the present specification.

이하에서는 설명의 편의를 위해 도 6에 도시된 바와 같이 대상체가 착용형 디스플레이 장치(400)인 경우를 중심으로 서술하나, 대상체가 다른 구성인 경우도 마찬가지로 적용될 수 있음은 물론이다.Hereinafter, for convenience of description, a case in which the object is the wearable display device 400 as shown in FIG. 6 will be mainly described, but the case where the object has other configurations is also applicable as a matter of course.

대상체에는 마커(M)가 제공될 수 있다. 예를 들어, 적어도 하나 이상의 마커(M)가 대상체의 적어도 일부에 부착되어 대상체를 식별하거나 추적하는 기준을 제공할 수 있다. A marker M may be provided to the subject. For example, at least one marker M may be attached to at least a portion of an object to provide a criterion for identifying or tracking the object.

마커(M)는 상기 발광부(110)로부터 송출된 광 신호를 반사하거나 흡수하는 패시브(passive) 마커 및 자체적으로 광 신호를 송출할 수 있는 액티브(active) 마커 등으로 제공될 수 있다.The marker M may be provided as a passive marker that reflects or absorbs an optical signal transmitted from the light emitting unit 110 and an active marker that can itself transmit an optical signal.

일 예로, 패시브 마커는 광 반사 물질이 부착된 입체 모형, 인식 가능한 코드가 인쇄되어 있는 종이, 반사테이프 등을 포함할 수 있다.For example, the passive marker may include a three-dimensional model to which a light reflective material is attached, paper on which a recognizable code is printed, reflective tape, and the like.

다른 예로, 액티브 마커는 LED 모듈, 전파 발생기 등이 포함할 수 있다.As another example, the active marker may include an LED module, a radio wave generator, and the like.

플레이 공간(PA)에서 복수의 대상체를 추적해야 하는 경우, 각각의 대상체는 식별될 필요가 있으며, 이를 위해 서로 다른 대상체에 서로 다른 패턴으로 마커(M)가 부착될 수 있다.When a plurality of objects are to be tracked in the play space PA, each object needs to be identified. To this end, markers M may be attached to different objects in different patterns.

일 예로, 플레이 공간(PA)에서 위치를 추적하고자 하는 대상체가 착용형 디스플레이 장치(400) 및 입력 장치(500)인 경우, 착용형 디스플레이 장치(400)에는 제1 패턴으로 마커(M)가 제공되고, 입력 장치(500)에는 제2 패턴으로 마커(M)가 제공될 수 있다. 이 때, 제1 패턴 및 제2 패턴은 서로 상이한 패턴으로, 위치 추적 시 제1 패턴이 검출된 경우 대상체를 착용형 디스플레이 장치(400)로 식별할 수 있으며, 제2 패턴이 검출된 경우 대상체를 입력 장치(500)로 식별할 수 있다.For example, when objects whose positions are to be tracked in the play space PA are the wearable display device 400 and the input device 500, the wearable display device 400 provides the marker M in a first pattern. In addition, markers M may be provided to the input device 500 in a second pattern. In this case, the first pattern and the second pattern are different from each other. When the first pattern is detected during location tracking, the object may be identified as the wearable display device 400, and when the second pattern is detected, the object may be identified. It can be identified as the input device 500 .

다른 예로, 플레이 공간(PA)에서 검출되는 마커(M)의 패턴이 제1 패턴인 경우 제1 사용자의 제1 착용형 디스플레이 장치로 식별되고, 제2 패턴인 경우 제1 사용자의 제1 입력 장치로 식별되고, 제3 패턴인 경우 제2 사용자의 제2 착용형 디스플레이 장치로 식별될 수 있으며, 제4 패턴인 경우 제2 사용자의 제2 입력 장치로 식별될 수 있다. As another example, if the pattern of the marker M detected in the play space PA is the first pattern, it is identified as the first wearable display device of the first user, and if it is the second pattern, it is identified as the first input device of the first user. In the case of the third pattern, it may be identified as the second wearable display device of the second user, and in the case of the fourth pattern, it may be identified as the second input device of the second user.

이상에서는 복수의 대상체가 제공되는 경우 복수의 각각을 식별하기 위하여 복수의 대상체 각각에 제공되는 마커(M)들이 패턴을 형성하여 제공되는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 하나의 대상체가 제공되는 경우에도 대상체에 제공되는 마커(M)들이 패턴을 형성하여 제공될 수 있다.In the above, when a plurality of objects are provided, it has been described that the markers M provided to each of the plurality of objects are provided in a pattern in order to identify each of the plurality of objects, but it is not limited thereto, and one object is provided Even in this case, the markers M provided to the object may be provided in a pattern.

제어 장치(200)는 디텍팅 장치(100)로부터 획득한 정보에 기초하여 대상체의 위치를 판단할 수 있다. 예를 들어, 디텍팅 장치(100)는 발광부(110) 및 센싱부(120)를 이용하여 마커(M)에 대한 디텍팅 신호를 획득하고, 제어 장치(200)는 디텍팅 장치(100)로부터 디텍팅 신호를 수신하여 마커(M)에 대한 위치 정보를 획득할 수 있다. 도 6을 참조하면, 제어 장치(200)는 세 개의 마커(M)에 대해 제1 내지 제3 마커 위치 정보(MP1-1, MP1-2, MP1-3)를 획득하고, 이에 기초하여 대상체에 대한 대표 위치 정보(RP)을 설정할 수 있다. 제어 장치(200)는 나아가 대표 위치 정보를 해당 대상체의 현실 위치 정보로 획득하고 이에 기초하여 가상 환경에서 대상체에 대응하는 가상 오브젝트롤 표시하는 등의 처리를 수행할 수 있다.The control device 200 may determine the location of the object based on information obtained from the detecting device 100 . For example, the detecting device 100 obtains a detection signal for the marker M using the light emitting unit 110 and the sensing unit 120, and the control device 200 detects the detecting device 100 It is possible to obtain location information about the marker M by receiving a detecting signal from. Referring to FIG. 6 , the control device 200 obtains first to third marker position information (MP1-1, MP1-2, MP1-3) for the three markers M, and based on the obtained information, a target object is provided. It is possible to set representative location information (RP) for The control device 200 may further perform processing such as acquiring representative location information as real location information of the corresponding object and displaying a virtual object corresponding to the object in the virtual environment based on the acquired representative location information.

대상체의 위치 추적 방법이 상술한 방법으로 한정되는 것은 아니며, 필요에 따라 다양한 방식의 위치 추적 방법이 사용될 수 있다.The location tracking method of the object is not limited to the above-described method, and various types of location tracking methods may be used as needed.

가상 환경 제어 시스템(10)을 통해 사용자에게 가상 체험을 제공함에 있어서, 가상 환경에 대한 사용자의 몰입감과 편의성은 매우 중요한 요소이다. 가상 환경 제어 시스템(10)에서 사용자는 수시로 이동하는 경우가 많으며, 특히 직업 훈련과 같이 다양한 움직임이 요구되는 컨텐츠의 경우 가상 환경에서 사용자에게 다양한 기능 구현이 필요함에도 제한적인 입력 수단이나 인터페이스로 인해 충족되지 않는 경우가 발생한다.In providing a virtual experience to a user through the virtual environment control system 10, a user's immersion and convenience in the virtual environment are very important factors. In the virtual environment control system 10, users often move frequently. In particular, in the case of content that requires various movements such as job training, various functions are required for users in the virtual environment, but they are met due to limited input means or interfaces. There are cases in which this does not happen.

이러한 입력 수단 또는 인터페이스의 자유도를 증가시키기 위한 방법으로 음성인식 기능이 구비된 가상 환경 제어 시스템이 제안될 수 있다. 예를 들어, 음성인식 기능이 구비된 가상 환경 제어 시스템에서 사용자는 자신의 음성으로 가상 환경 내 다양한 기능을 활용할 수 있고, 이러한 음성인식은 직관적이고 별도의 조작이 필요하지 않은 점에서 사용자의 편의성을 크게 향상시킬 수 있다.As a method for increasing the degree of freedom of the input means or interface, a virtual environment control system equipped with a voice recognition function may be proposed. For example, in a virtual environment control system equipped with a voice recognition function, the user can utilize various functions in the virtual environment with his or her own voice, and such voice recognition is intuitive and does not require a separate operation, which increases user convenience. can be greatly improved.

이하에서는 도 7 내지 도 13을 참조하여 음성인식 기능이 구비된 가상 환경 제어 시스템에 대해서 서술한다. Hereinafter, a virtual environment control system equipped with a voice recognition function will be described with reference to FIGS. 7 to 13 .

도 7은 본 명세서의 일 실시예에 따른 음성인식 기능을 제공하기 위한 제어 장치의 구성들을 나타내는 도면이다.7 is a diagram showing configurations of a control device for providing a voice recognition function according to an embodiment of the present specification.

도 7을 참조하면, 음성인식 기능을 제공하기 위한 제어 장치(200)는 모션 인식부(260), 음성 인식부(270), 및 데이터베이스(280)를 포함할 수 있다. 여기서, 제어 장치(200)는 도 3에서 서술한 구성들을 포함할 수 있음은 물론이다.Referring to FIG. 7 , a control device 200 for providing a voice recognition function may include a motion recognition unit 260, a voice recognition unit 270, and a database 280. Here, of course, the control device 200 may include the components described in FIG. 3 .

모션 인식부(260)는 사용자의 움직임을 감지할 수 있다. 예를 들어, 모션 인식부(260)는 입력 장치(500)의 센서로부터 획득된 센서값 및 착용형 디스플레이 장치(400)의 센서로부터 획득한 센서값 중 적어도 하나를 이용하여 사용자의 움직임을 검출할 수 있다.The motion recognition unit 260 may detect a user's movement. For example, the motion recognition unit 260 detects a user's movement using at least one of a sensor value obtained from a sensor of the input device 500 and a sensor value obtained from a sensor of the wearable display device 400. can

여기서, 사용자의 움직임은 제스처(gesture) 및/또는 포스처(posture)를 포함하는 일련의 움직임을 의미할 수 있다. 다시 말해, 모션 인식부(260)는 사용자가 어떤 동작을 했는지 여부를 규명하고 해당 동작에 대한 모션 데이터를 제1 제어부(240)에 제공할 수 있다.Here, the user's movement may mean a series of movements including a gesture and/or a posture. In other words, the motion recognition unit 260 may determine whether the user performed a certain motion and provide motion data for the corresponding motion to the first control unit 240 .

모션 인식부(260)는 사용자의 움직임을 감지하는 데에 후술하는 모션 데이터베이스(281)를 활용할 수 있다. 예를 들어, 모션 인식부(260)는 획득한 센서값들과 모션 데이터베이스(281)에 저장된 모션 별 센서값들을 비교하고 가장 유사한 센서값을 가지는 모션을 사용자의 움직임으로 특정하고, 특정된 사용자의 움직임을 모션인식 데이터로 획득할 수 있다. 모션 인식부(260)는 모션인식 데이터를 제1 제어부(240)에 제공할 수 있다.The motion recognition unit 260 may utilize a motion database 281 to be described later to detect a user's motion. For example, the motion recognition unit 260 compares the acquired sensor values with sensor values for each motion stored in the motion database 281, specifies a motion having the most similar sensor value as the user's motion, and identifies the motion of the specified user. Movement can be acquired as motion recognition data. The motion recognition unit 260 may provide motion recognition data to the first controller 240 .

음성 인식부(270)는 사용자의 음성을 감지할 수 있다. 예를 들어, 음성 인식부(270)는 착용형 디스플레이 장치(400)로부터 음성 데이터를 획득하여 그 의미를 규명할 수 있다. 구체적으로, 음성 인식부(270)는 후술하는 음성 데이터베이스(282)를 이용하여 착용형 디스플레이 장치(400)로부터 획득한 음성 데이터를 텍스트로 변환하고 용어 데이터베이스(283)를 이용하여 텍스트의 의미를 특정하고 해당 텍스트의 의미를 음성인식 데이터로 획득할 수 있다. 음성 인식부(270)는 음성 데이터에 대응하는 음성인식 데이터를 제1 제어부(240)에 제공할 수 있다.The voice recognition unit 270 may detect a user's voice. For example, the voice recognition unit 270 may obtain voice data from the wearable display device 400 and identify its meaning. Specifically, the voice recognition unit 270 converts voice data acquired from the wearable display device 400 into text using a voice database 282 described below, and specifies the meaning of the text using a terminology database 283. And the meaning of the corresponding text can be obtained as voice recognition data. The voice recognition unit 270 may provide voice recognition data corresponding to the voice data to the first controller 240 .

데이터베이스(280)는 모션 인식 및/또는 음성 인식을 위한 데이터가 저장될 수 있다. 도 7을 참조하면, 데이터베이스(280)는 모션 인식을 위한 모션 데이터베이스(281), 및 음성 인식을 위한 음성 데이터베이스(282)와 용어 데이터베이스(283)을 포함할 수 있다.The database 280 may store data for motion recognition and/or voice recognition. Referring to FIG. 7 , the database 280 may include a motion database 281 for motion recognition, and a voice database 282 and terminology database 283 for voice recognition.

모션 데이터베이스(281)는 사용자의 움직임에 관한 데이터를 포함할 수 있다. 예를 들어, 모션 데이터베이스(281)는 원 운동, 직선 운동 등 특정 도형을 그리는 움직임, 미리 설정된 시간 동안 수행되는 제스처 및 포스처와 각 움직임이나 제스처 또는 포스처에 대응하는 센서값들을 포함할 수 있다. 나아가 모션 데이터베이스(281)는 한 손으로 수행되는 움직임 뿐만 아니라 양손으로 수행되는 움직임에 대응하는 센서값들을 포함할 수도 있다.The motion database 281 may include data about the user's motion. For example, the motion database 281 may include a motion of drawing a specific figure, such as a circular motion or a linear motion, gestures and postures performed for a preset period of time, and sensor values corresponding to each motion, gesture, or posture. . Furthermore, the motion database 281 may include sensor values corresponding to motions performed with both hands as well as motions performed with one hand.

음성 데이터베이스(282)는 사용자의 음성을 인식하기 위한 데이터를 포함할 수 있다. 예를 들어, 음성 데이터베이스(282)는 자음 및 모음, 형태소, 단어나 문장에 대한 음성 신호, 나아가 언어의 종류에 따른 음성 신호를 포함할 수 있다.The voice database 282 may include data for recognizing a user's voice. For example, the voice database 282 may include consonants and vowels, morphemes, voice signals for words or sentences, and voice signals according to language types.

용어 데이터베이스(283)는 단어나 문장에 대해 그 의미가 라벨링(labeling)된 데이터를 포함할 수 있다. 용어 데이터베이스(283)는 나아가 전문 용어, 암구호, 무전 용어에 대한 데이터를 포함할 수도 있다.The term database 283 may include data in which meanings of words or sentences are labeled. The terminology database 283 may further include data on technical terminology, password code, and radio terminology.

한편, 데이터베이스(280)는 제어 장치(200)에 포함되지 않고 외부에서 제공될 수도 있다. 예를 들어, 제어 장치(200)는 외부 서버에 위치한 데이터베이스(280)로부터 데이터를 획득하여 모션 인식 또는 음성 인식을 수행할 수 있다.Meanwhile, the database 280 may be provided externally without being included in the control device 200 . For example, the control device 200 may obtain data from a database 280 located in an external server and perform motion recognition or voice recognition.

또한, 제어 장치(200)는 모션 인식 또는 음성 인식을 수행함에 있어서 인공 신경망, 나아가 딥러닝(deep-learning) 기법을 이용할 수 있고, 이 때, 데이터베이스(280)는 생략될 수도 있다.In addition, the control device 200 may use an artificial neural network or a deep-learning technique in performing motion recognition or voice recognition, and in this case, the database 280 may be omitted.

이하에서는 도 8 내지 도 10을 참조하여 음성인식 기능이 구비된 가상 환경 제어 시스템이 구현되는 형태에 대해 서술한다.Hereinafter, a form in which a virtual environment control system equipped with a voice recognition function is implemented will be described with reference to FIGS. 8 to 10 .

도 8은 본 명세서의 일 실시예에 따른 가상 환경에서 음성인식 채널을 활성화하는 방법을 나타내는 도면이다. 아래에서 음성인식 기능이 수행되는 과정에 대해 순차적으로 서술한다.8 is a diagram illustrating a method of activating a voice recognition channel in a virtual environment according to an embodiment of the present specification. Below, the process of performing the voice recognition function will be sequentially described.

제어 장치(200)는 사용자의 특정 움직임을 감지할 수 있다. 예를 들어, 제어 장치(200)의 모션 인식부(260)는 입력 장치(500)로부터 사용자가 입력 장치(500)를 조작하는 움직임에 대응하는 모션 데이터를 획득하고, 모션 데이터로부터 사용자의 특정 모션을 지시하는 모션인식 데이터를 획득하여 제1 제어부(240)에 전달할 수 있다.The control device 200 may detect a specific movement of the user. For example, the motion recognition unit 260 of the control device 200 obtains motion data corresponding to a user's movement of manipulating the input device 500 from the input device 500, and obtains motion data corresponding to a user's specific motion from the motion data. Motion recognition data indicating may be obtained and transmitted to the first controller 240 .

제어 장치(200)는 감지된 사용자의 특정 움직임이 음성인식 기능 수행을 위한 음성인식 모션인지 여부를 판단할 수 있다. 예를 들어, 제어 장치(200)는 모션 인식부(260)로부터 획득한 모션인식 데이터가 지시하는 사용자의 특정 움직임이 음성인식 모션인 경우 음성인식 채널을 활성화할 수 있다. 이 때, 제어 장치(200)는 착용형 디스플레이 장치(400)를 통해 음성인식 채널이 형성됨을 지시하는 음성 인식 알림 아이콘(VI), 음성인식 채널이 활성화된 상태임을 알리거나 음성인식 채널의 활성화가 종료되는 시점을 나타내기 위한 채널 시간 알림 아이콘(CI)을 출력할 수 있다. 여기서, 음성인식 알림 아이콘(VI)은 마이크 형상으로 출력될 수 있으며, 채널 시간 알림 아이콘(CI)은 점진적으로 색상이 채워지는 막대 바(bar) 형상으로 출력될 수 있다.The control device 200 may determine whether the detected specific movement of the user is a voice recognition motion for performing a voice recognition function. For example, the control device 200 may activate a voice recognition channel when a user's specific movement indicated by the motion recognition data obtained from the motion recognition unit 260 is a voice recognition motion. At this time, the control device 200 displays a voice recognition notification icon (VI) indicating that the voice recognition channel is formed through the wearable display device 400, notifying that the voice recognition channel is activated, or indicating that the voice recognition channel is activated. A channel time notification icon (CI) may be output to indicate an end point. Here, the voice recognition notification icon VI may be output in the shape of a microphone, and the channel time notification icon CI may be output in the shape of a bar gradually filled with color.

한편, 음성인식 채널이 활성화되는 경우 사용자에게 제공되는 가상 환경 체험에 따라 사용자는 특정 미션(mission)을 수행하도록 유도될 수 있다. 예를 들어, 도 8을 참조하면 제어 장치(200)는 착용형 디스플레이 장치(400)를 통해 사용자에게 제공하는 이미지 또는 영상에 음성인식 채널 활성화에 대한 표시와 함께 전달 사항들이 포함된 미션 이미지를 함께 출력할 수 있다. 보다 구체적으로, 사용자에게 제공되는 가상 환경 체험이 경찰 직업 훈련에 관한 것이고, 그 중 무전 사용 방법에 관한 것인 경우, 제어 장치(200)는 착용형 디스플레이 장치(400)로 하여금 무전기를 사용하는 이미지 또는 영상을 출력하고, 무전으로 전달해야 하는 사항들이 기재된 리스트(IMG)를 함께 표시할 수 있다.Meanwhile, when the voice recognition channel is activated, the user may be guided to perform a specific mission according to the virtual environment experience provided to the user. For example, referring to FIG. 8 , the control device 200 displays an image or video provided to the user through the wearable display device 400 along with a display for activating a voice recognition channel and a mission image including delivery items. can be printed out. More specifically, when the virtual environment experience provided to the user relates to job training for police officers, and how to use a radio, the control device 200 causes the wearable display device 400 to use an image of a radio. Alternatively, an image may be output, and a list (IMG) in which items to be transmitted by radio are described may be displayed together.

제어 장치(200)는 사용자의 음성을 인식할 수 있다. 예를 들어, 착용형 디스플레이 장치(400)는 음성인식 채널이 활성화된 상태에서 사용자로부터 획득한 음성 데이터를 제어 장치(200)에 제공하고, 제어 장치(200)의 음성 인식부(270)는 획득한 음성 데이터에 대해 음성인식을 수행하여 음성인식 데이터를 획득할 수 있다.The control device 200 may recognize a user's voice. For example, the wearable display device 400 provides voice data acquired from the user to the control device 200 in a state where the voice recognition channel is activated, and the voice recognition unit 270 of the control device 200 obtains and Voice recognition may be performed on one voice data to obtain voice recognition data.

제어 장치(200)는 음성인식 데이터에 기초하여 착용형 디스플레이 장치(400)에 이미지 또는 영상을 출력할 수 있다. 예를 들어, 제어 장치(200)는 음성인식 데이터에 대응되는 텍스트를 착용형 디스플레이 장치(400)를 통해 출력할 수 있다. 다른 예를 들어, 제어 장치(200)는 음성인식 데이터를 사용자의 제1 착용형 디스플레이 장치에 출력하거나 사용자와 함께 가상 환경 체험을 제공받고 있는 다른 사용자의 제2 착용형 디스플레이 장치에 출력할 수도 있다. 출력되는 음성 데이터는 이미지, 영상 또는 음향 효과 등의 소리로 출력될 수 있다. The control device 200 may output an image or video to the wearable display device 400 based on voice recognition data. For example, the control device 200 may output text corresponding to voice recognition data through the wearable display device 400 . For another example, the control device 200 may output voice recognition data to the first wearable display device of the user or to the second wearable display device of another user who is being provided with a virtual environment experience with the user. . The output audio data may be output as an image, a video, or a sound such as a sound effect.

한편, 제어 장치(200)는 필요에 따라 음성인식 데이터에 대한 평가를 수행할 수 있다. 예를 들어, 사용자에게 제공되는 가상 환경 체험이 경찰 직업 훈련이고, 그 중 무전기 사용 훈련인 경우 제어 장치(200)는 음성인식 데이터에 기초하여 사용자가 전달 사항을 정확히 말했는지 여부를 평가할 수 있다. 구체적으로, 제어 장치(200)는 음성인식 데이터에 특정 단어들(ex. 제1 무전 용어, 제2 무전 용어 등)이 포함되어 있는 경우 전달 사항을 바람직하게 말한 것으로 평가할 수 있다. 제어 장치(200)는 상술한 평가에 기초하여 사용자의 가상 환경 체험 종료 후 평가 점수를 제공할 수 있다.Meanwhile, the control device 200 may evaluate voice recognition data as needed. For example, if the virtual environment experience provided to the user is job training for police officers, and training for using a walkie-talkie is among them, the control device 200 may evaluate whether the user accurately spoke the message based on voice recognition data. In detail, the control device 200 may evaluate the delivered item as being said preferably when specific words (eg, first radio term, second radio term, etc.) are included in the voice recognition data. The control device 200 may provide an evaluation score after the user experiences the virtual environment based on the above evaluation.

도 9 및 도 10은 본 명세서의 일 실시예에 따른 가상 환경에서 음성인식 기능이 제공되는 과정을 나타내는 순서도이다.9 and 10 are flowcharts illustrating a process of providing a voice recognition function in a virtual environment according to an embodiment of the present specification.

도 9 및 도 10을 참조하면, 가상 환경에서 음성인식 기능 제공하는 방법은 사용자 모션을 감지하는 단계(S1100), 모션 데이터베이스(281)에서 매칭되는 모션을 탐색하는 단계(S1200), 사용자 모션의 수행 시간을 측정하는 단계(S1300), 수행 시간에 기초하여 채널 활성화 시간을 설정하는 단계(S1400), 사용자 모션이 음성 인식 기능 수행을 위한 음성인식 모션인지 여부를 판단하는 단계(S1500), 채널 시간 동안 음성 인식 채널을 활성화하는 단계(S1600), 사용자 음성을 감지하는 단계(S1700), 음성 데이터베이스(282)를 이용하여 사용자 음성을 분석하는 단계(S1800), 및 분석 결과에 기초하여 커맨드 실행 및/또는 이미지를 출력하는 단계(S1900)를 포함할 수 있다.9 and 10, a method for providing a voice recognition function in a virtual environment includes detecting user motion (S1100), searching for a matched motion in a motion database 281 (S1200), and performing user motion. Measuring time (S1300), setting a channel activation time based on the execution time (S1400), determining whether the user motion is a voice recognition motion for performing a voice recognition function (S1500), during the channel time Activating a voice recognition channel (S1600), detecting a user's voice (S1700), analyzing a user's voice using the voice database 282 (S1800), and executing a command based on the analysis result and/or It may include outputting an image (S1900).

이하에서 각 단계에 대해서 구체적으로 서술하나, 전술한 내용과 중복되는 내용은 생략하도록 한다.In the following, each step is described in detail, but the overlapping content with the above will be omitted.

제어 장치(200)는 사용자의 모션을 감지할 수 있다(S1100). 제어 장치(200)는 착용형 디스플레이 장치(400) 및/또는 입력 장치(500)로부터 사용자의 모션에 관한 센서값들을 모션 데이터로 획득함으로써 사용자의 모션을 감지할 수 있다. The control device 200 may detect the user's motion (S1100). The control device 200 may detect the user's motion by acquiring sensor values related to the user's motion as motion data from the wearable display device 400 and/or the input device 500 .

제어 장치(200)는 모션 데이터베이스(281)에서 모션 데이터에 대응되는 모션을 탐색할 수 있다(S1200). 제어 장치(200)는 모션 데이터에 대응되는 모션을 모션인식 데이터로 획득할 수 있다.The control device 200 may search for motion corresponding to the motion data in the motion database 281 (S1200). The control device 200 may acquire motion corresponding to the motion data as motion recognition data.

제어 장치(200)는 모션 탐색 단계(S1200)와 병렬적으로 사용자 모션의 수행 시간을 측정할 수 있다(S1300). 제어 장치(200)는 모션 데이터에 기초하여 사용자가 모션을 수행한 시간을 측정하여 수행 시간 데이터를 획득할 수 있다. 여기서, 수행 시간은 사용자가 특정 모션을 수행하는 데에 소요된 시간을 나타내는 데이터로 해석될 수 있다.The control device 200 may measure the execution time of the user's motion in parallel with the motion search step (S1200) (S1300). The control device 200 may obtain execution time data by measuring a time when a user performs a motion based on motion data. Here, the execution time may be interpreted as data representing the time required for the user to perform a specific motion.

제어 장치(200)는 수행 시간에 기초하여 채널 시간을 설정할 수 있다(S1400). 제어 장치(200)는 수행 시간 측정 단계(S1300)에서 획득된 수행 시간 데이터에 기초하여 채널 시간을 설정할 수 있다. 여기서, 채널 시간은 음성인식 채널을 활성화하는 시간을 의미할 수 있다. 채널 시간이 수행 시간에 대응됨으로써, 사용자가 모션을 수행하는 빠르기에 따라 음성인식 채널이 활성화되는 시간이 조절될 수 있다. 채널 시간 설정 단계(S1400)는 모션 탐색 단계(S1200)에 대해 병렬적으로 또는 순차적으로 수행될 수 있다.The control device 200 may set the channel time based on the execution time (S1400). The control device 200 may set the channel time based on the execution time data obtained in the execution time measurement step ( S1300 ). Here, the channel time may mean a time for activating a voice recognition channel. Since the channel time corresponds to the execution time, the activation time of the voice recognition channel can be adjusted according to the speed at which the user performs the motion. The channel time setting step (S1400) may be performed in parallel or sequentially with respect to the motion search step (S1200).

제어 장치(200)는 사용자 모션이 음성 인식 기능 수행을 위한 음성인식 모션인지 여부를 판단할 수 있다(S1500). 제어 장치(200)는 모션 탐색 단계(S1200)에서 획득한 모션인식 데이터가 음성인식 모션을 지시하는지 여부를 판단할 수 있다. 모션인식 데이터가 음성인식 모션을 지시하는 경우 제어 장치(200)는 후술하는 바와 같이 음성 인식 채널을 활성화할 수 있다. 모션인식 데이터가 음성인식 모션을 지시하지 않는 경우 제어 장치(200)는 다시 사용자 모션을 감지하는 상태로 동작할 수 있다.The control device 200 may determine whether the user's motion is a voice recognition motion for performing a voice recognition function (S1500). The control device 200 may determine whether the motion recognition data acquired in the motion search step (S1200) indicates voice recognition motion. When the motion recognition data indicates voice recognition motion, the control device 200 may activate a voice recognition channel as will be described later. When the motion recognition data does not indicate voice recognition motion, the control device 200 may again operate in a state of detecting user motion.

제어 장치(200)는 채널 시간 동안 음성인식 채널을 활성화시킬 수 있다(S1600). 제어 장치(200)는 착용형 디스플레이 장치(400)의 음향 센서모듈(432)를 활성화시키거나 별도로 구비된 마이크를 활성화시켜 사용자로부터 음성 신호를 입력 받을 수 있다.The control device 200 may activate the voice recognition channel during the channel time (S1600). The control device 200 may activate the acoustic sensor module 432 of the wearable display device 400 or activate a separately provided microphone to receive a voice signal from the user.

제어 장치(200)는 사용자 음성을 감지할 수 있다(S2700). 제어 장치(200)는 착용형 디스플레이 장치(400) 또는 별도의 마이크를 통해 사용자의 음성에 대응하는 음성 데이터를 획득할 수 있다.The control device 200 may detect a user's voice (S2700). The control device 200 may obtain voice data corresponding to the user's voice through the wearable display device 400 or a separate microphone.

제어 장치(200)는 음성 데이터베이스(282)를 이용하여 사용자 음성을 분석할 수 있다(S1800). 제어 장치(200)는 음성 데이터를 음성 데이터베이스(282)를 통해 텍스트로 변환하고, 용어 데이터베이스(283)를 이용하여 변환된 텍스트의 의미를 나타내는 음성인식 데이터를 획득할 수 있다.The control device 200 may analyze the user's voice using the voice database 282 (S1800). The control device 200 may convert voice data into text through the voice database 282 and acquire voice recognition data representing the meaning of the converted text using the terminology database 283 .

제어 장치(200)는 사용자 음성 분석 결과에 기초하여 커맨드를 실행하거나 이미지를 출력할 수 있다(S1900). 제어 장치(200)는 사용자가 체험하고 있는 가상 환경에서 획득한 음성인식 데이터에 대응되는 기능을 구현할 수 있다. 예를 들어, 음성인식 데이터가 가상 환경 내 특정 NPC(non-player character)를 지시하는 경우 제어 장치(200)는 착용형 디스플레이 장치(400)를 통해 해당 NPC의 정보를 출력할 수 있다. 다른 예를 들어, 복수의 사용자가 함께 가상 환경을 체험하는 경우 제1 사용자에 대한 음성인식 데이터가 제2 사용자를 지시하면 제어 장치(200)는 제1 사용자와 제2 사용자가 가상 환경에서 의사소통할 수 있는 소통 채널을 활성화할 수 있다.The control device 200 may execute a command or output an image based on the user voice analysis result (S1900). The control device 200 may implement a function corresponding to voice recognition data acquired in a virtual environment experienced by a user. For example, when the voice recognition data indicates a specific non-player character (NPC) in the virtual environment, the control device 200 may output information of the corresponding NPC through the wearable display device 400 . As another example, when a plurality of users experience a virtual environment together and voice recognition data for the first user indicates a second user, the control device 200 communicates between the first user and the second user in the virtual environment. You can activate possible communication channels.

이상에서는 모션 인식이나 음성 인식 등이 제어 장치(200)에 의해 수행되는 경우를 주로 서술하였으나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니다. 예를 들어, 제어 장치(200)는 외부 서버에 모션 데이터 및 음성 데이터를 제공하고 외부 서버에서 모션 인식 및/또는 음성 인식이 수행되어 외부 서버가 모션인식 데이터 및/또는 음성인식 데이터를 획득하여 제어 장치(200)에 제공할 수도 있다.In the above, the case where motion recognition or voice recognition is performed by the control device 200 has been mainly described, but the technical concept of the present specification is not limited thereto. For example, the control device 200 provides motion data and voice data to an external server, motion recognition and/or voice recognition are performed in the external server, and the external server obtains the motion recognition data and/or voice recognition data for control. It may also be provided to the device 200.

한편, 상술한 음성인식 채널의 활성화는 경우에 따라 선택적으로 이루어질 수도 있다. 예를 들어, 사용자에게 제공되는 가상 환경이 경찰 직업 훈련이고 그 중 시위를 통제하거나 대규모 행사에서 질서를 정리하는 경우 가상 환경에는 다수의 경찰 그룹이 포함될 수 있고, 사용자는 그룹별로 의사소통을 수행할 필요가 있다. 이러한 경우, 선택적으로 의사소통을 하기 위한 방법으로 후술하는 바와 같이 모션인식 기능이 이용될 수 있다.Meanwhile, activation of the above-described voice recognition channel may be selectively performed according to circumstances. For example, if the virtual environment provided to the user is police vocational training, of which is to control demonstrations or put order in large-scale events, the virtual environment may contain multiple police groups, and the user may communicate group by group. There is a need. In this case, as a method for selectively communicating, a motion recognition function may be used as described later.

이하에서는 도 11 내지 13을 참조하여 가상 환경에서 모션인식 기능을 활용하여 선택적으로 의사소통 기능을 수행하는 방법에 대해 서술한다.Hereinafter, a method of selectively performing a communication function by utilizing a motion recognition function in a virtual environment will be described with reference to FIGS. 11 to 13 .

도 11 및 도 12는 본 명세서의 일 실시예에 따른 가상 환경에서 선택적 의사소통 기능이 제공되는 방법을 나타내는 도면이다. 이하에서는 설명의 편의를 위해 사용자에게 제공되는 가상 환경 체험이 경찰 직업 훈련에 관한 것이고, 복수의 사용자가 그룹 A와 그룹 B로 나누어진 상태로 함께 가상 환경 체험을 제공받고 있는 것을 전제로 설명한다. 11 and 12 are diagrams illustrating a method of providing a selective communication function in a virtual environment according to an embodiment of the present specification. Hereinafter, for convenience of description, it is assumed that the virtual environment experience provided to the user relates to police job training, and that a plurality of users are divided into groups A and B and are provided with the virtual environment experience together.

도 11을 참조하면, 사용자는 가상 환경 내 그룹 A 및 그룹 B 중 그룹 A와 의사소통할 수 있다. 구체적으로, 사용자는 입력 장치(500)로 원을 그리는 제1 모션을 수행하고, 제어 장치(200)는 사용자의 제1 모션을 감지하여 가상 환경 내에서 그룹 A에 속하는 다른 사용자들에 대한 제1 의사소통 채널을 활성화할 수 있다. 이 경우, 사용자가 착용형 디스플레이 장치(400)의 음향 센서모듈(432)을 통해 전달하는 음성 및/또는 입력 장치(500) 조작을 통해 전달하는 텍스트 등은 그룹 A에 속하는 다른 사용자들에게만 전달될 수 있다.Referring to FIG. 11 , a user may communicate with group A of group A and group B in a virtual environment. Specifically, the user performs a first motion of drawing a circle with the input device 500, and the control device 200 detects the user's first motion to create a first motion for other users belonging to group A in the virtual environment. Communication channels can be activated. In this case, the user's voice transmitted through the acoustic sensor module 432 of the wearable display device 400 and/or text transmitted through manipulation of the input device 500 may be transmitted only to other users belonging to group A. can

도 12를 참조하면, 사용자는 가상 환경 내 그룹 A 및 그룹 B 중 그룹 B와 의사소통할 수 있다. 구체적으로, 사용자는 입력 장치(500)로 직선을 그리는 제2 모션을 수행하고, 제어 장치(200)는 사용자의 제2 모션을 감지하여 가상 환경 내에서 그룹 B에 속하는 다른 사용자들에 대한 제2 의사소통 채널을 활성화할 수 있다. 이 경우, 사용자가 착용형 디스플레이 장치(400)의 음향 센서모듈(432)을 통해 전달하는 음성 및/또는 입력 장치(500) 조작을 통해 전달하는 텍스트 등은 그룹 B에 속하는 다른 사용자들에게만 전달될 수 있다.Referring to FIG. 12 , a user may communicate with group B of group A and group B in a virtual environment. Specifically, the user performs a second motion of drawing a straight line with the input device 500, and the control device 200 detects the user's second motion to create a second motion for other users belonging to group B in the virtual environment. Communication channels can be activated. In this case, the user's voice transmitted through the acoustic sensor module 432 of the wearable display device 400 and/or text transmitted through manipulation of the input device 500 may be transmitted only to other users belonging to group B. can

도 11 및 도 12에서 제어 장치(200)는 착용형 디스플레이 장치(400)를 통해 사용자와 현재 의사소통 채널이 활성화되어 의사소통이 가능한 대상들이 표시된 이미지 또는 영상을 출력할 수 있다.In FIGS. 11 and 12 , the control device 200 may output an image or video displaying subjects capable of communicating with the user through the wearable display device 400 when the current communication channel is activated.

이상에서는 서로 다른 두 그룹에 대해 모션인식 기능을 활용하여 선택적으로 의사소통 채널을 활성화하는 방법에 대해서 서술하였으나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니다. 예를 들어, 사용자는 가상 환경에서 특정 기관(ex. 경찰서, 파출소, 또는 지구대 등)과 사용자 그룹(ex. 경찰관 그룹) 사이에서 선택적으로 의사소통 채널을 활성화하는 경우나, 가상 환경 내 여러 지역 중 특정 지역에 위치한 다른 사용자에 대해 의사소통 채널을 활성화하는 경우에도 상술한 선택적 의사소통 채널 활성화 방법이 적용될 수 있다.In the above, a method of selectively activating a communication channel using a motion recognition function for two different groups has been described, but the technical idea of the present specification is not limited thereto. For example, when a user selectively activates a communication channel between a specific institution (ex. police station, police box, or police station) and a user group (ex. police officer group) in a virtual environment, or among various regions in the virtual environment. The aforementioned selective communication channel activating method can be applied even when a communication channel is activated for another user located in a specific area.

도 13은 본 명세서의 일 실시예에 따른 가상 환경에서 선택적 의사소통 기능이 제공되는 과정을 나타내는 순서도이다.13 is a flowchart illustrating a process of providing a selective communication function in a virtual environment according to an embodiment of the present specification.

도 13을 참조하면, 모션인식 기능을 활용한 선택적 의사소통 기능 제공 방법은 사용자 모션을 감지하는 단계(S2100), 모션 데이터베이스(281)에서 매칭되는 모션을 탐색하는 단계(S2200), 사용자 모션에 대응되는 소통 대상을 선택하는 단계(S2300), 사용자 모션의 수행 시간을 측정하는 단계(S2400), 수행 시간에 기초하여 소통 시간을 설정하는 단계(S2500), 소통 대상에 대해 소통 시간 동안 소통 채널을 활성화하는 단계(S2600), 및 소통 대상, 소통 시간, 및/또는 소통 채널을 출력하는 단계(S2700)를 포함할 수 있다.Referring to FIG. 13, a method for providing a selective communication function using a motion recognition function includes detecting a user's motion (S2100), searching for a matched motion in a motion database 281 (S2200), and responding to the user's motion. Selecting a communication target (S2300), measuring the execution time of the user's motion (S2400), setting a communication time based on the execution time (S2500), activating a communication channel for the communication target during the communication time It may include a step (S2600), and a step (S2700) of outputting a communication subject, a communication time, and/or a communication channel.

이하에서 각 단계에 대해 구체적으로 서술하나 전술한 내용과 중복되는 부분은 생략하도록 한다.In the following, each step is described in detail, but parts overlapping with the above are omitted.

제어 장치(200)는 사용자 모션을 감지할 수 있다(S2100). 제어 장치(200)는 착용형 디스플레이 장치(400) 및/또는 입력 장치(500)로부터 사용자의 모션에 관한 센서값들을 모션 데이터로 획득함으로써 사용자의 모션을 감지할 수 있다.The control device 200 may detect user motion (S2100). The control device 200 may detect the user's motion by acquiring sensor values related to the user's motion as motion data from the wearable display device 400 and/or the input device 500 .

제어 장치(200)는 모션 데이터베이스(281)에서 모션 데이터에 대응되는 모션을 탐색할 수 있다(S2200). 제어 장치(200)는 모션 데이터에 대응되는 모션을 모션인식 데이터로 획득할 수 있다.The control device 200 may search for motion corresponding to the motion data in the motion database 281 (S2200). The control device 200 may acquire motion corresponding to the motion data as motion recognition data.

제어 장치(200)는 사용자 모션에 대응되는 소통 대상을 선택할 수 있다(S2300). 예를 들어, 제어 장치(200)는 모션 탐색 단계(S2200)에서 획득한 모션인식 데이터가 제1 모션을 나타내는 경우 제1 소통 대상을 선택하고, 모션인식 데이터가 제2 모션을 나타내는 경우 제2 소통 대상을 선택할 수 있다. 여기서, 소통 대상은 개인, 그룹, 특정 기관 및 지역 내 다른 사용자 중 적어도 하나를 포함할 수 있다.The control device 200 may select a communication target corresponding to the user's motion (S2300). For example, the control device 200 selects a first communication target when the motion recognition data obtained in the motion search step S2200 indicates a first motion, and selects a second communication target when the motion recognition data indicates a second motion. target can be selected. Here, the communication target may include at least one of an individual, a group, a specific institution, and other users in a region.

제어 장치(200)는 사용자 모션의 수행 시간을 측정할 수 있다(S2400). 제어 장치(200)는 모션 데이터에 기초하여 사용자가 모션을 수행한 시간을 측정하여 수행 시간 데이터를 획득할 수 있다. 여기서, 수행 시간은 사용자가 특정 모션을 수행하는 데에 소요된 시간을 나타내는 데이터로 해석될 수 있다. 사용자 모션의 수행 시간을 측정하는 단계(S2400)는 모션 탐색 단계(S2200) 및/또는 소통 대상 선택 단계(S2300)와 병렬적으로 또는 순차적으로 수행될 수 있다.The control device 200 may measure the execution time of the user's motion (S2400). The control device 200 may obtain execution time data by measuring a time when a user performs a motion based on motion data. Here, the execution time may be interpreted as data representing the time required for the user to perform a specific motion. Measuring the execution time of the user's motion (S2400) may be performed in parallel or sequentially with the motion search step (S2200) and/or the communication target selection step (S2300).

제어 장치(200)는 수행 시간에 기초하여 소통 시간을 설정할 수 있다(S2500). 제어 장치(200)는 수행 시간 측정 단계(S2300)에서 획득된 수행 시간 데이터에 기초하여 소통 시간을 설정할 수 있다. 여기서, 소통 시간은 의사소통 채널을 활성화하는 시간을 의미할 수 있다. 소통 시간이 수행 시간에 대응됨으로써, 사용자가 모션을 수행하는 빠르기에 따라 의사소통 채널이 활성화되는 시간이 조절될 수 있다. 소통 시간 설정 단계(S2500)는 모션 탐색 단계(S2200) 및/또는 소통 대상 선택 단계(S2300)와 병렬적으로 또는 순차적으로 수행될 수 있다.The control device 200 may set the communication time based on the execution time (S2500). The control device 200 may set the communication time based on the execution time data obtained in the execution time measurement step ( S2300 ). Here, the communication time may mean a time for activating a communication channel. Since the communication time corresponds to the execution time, the activation time of the communication channel can be adjusted according to the speed at which the user performs the motion. The communication time setting step (S2500) may be performed in parallel or sequentially with the motion search step (S2200) and/or communication target selection step (S2300).

제어 장치(200)는 소통 대상에 대해 소통 시간 동안 소통 채널을 활성화할 수 있다(S2600). 제어 장치(200)는 이전 단계에서 설정된 소통 대상 및 소통 시간을 기초로 가상 환경 내 소통 대상에 대해 의사소통 채널을 활성화할 수 있다. 이 때, 전술한 음성인식 기능이 수행될 수도 있다. 예를 들어, 제어 장치(200)는 소통 대상에 대해 의사소통 채널을 활성화하되 음성인식 기능도 활성화하여 사용자의 음성을 입력 받아 분석하고 분석결과에 따라 특정 기능을 수행하거나 가상 환경 내 사용자의 행동을 평가하는 데에 이용할 수 있다.The control device 200 may activate a communication channel for a communication target during the communication time (S2600). The control device 200 may activate a communication channel for a communication target in the virtual environment based on the communication target and communication time set in the previous step. At this time, the above-described voice recognition function may be performed. For example, the control device 200 activates a communication channel for a communication target, but also activates a voice recognition function to receive and analyze a user's voice, perform a specific function according to the analysis result, or monitor the user's behavior in a virtual environment. can be used for evaluation.

제어 장치(200)는 소통 대상, 소통 시간, 및/또는 소통 채널을 출력할 수 있다(S2700). 제어 장치(200)는 착용형 디스플레이 장치(400)를 통해 사용자와 소통이 가능한 소통 대상에 대한 이미지나 소통 가능한 시간에 대한 이미지 등을 출력할 수 있다.The control device 200 may output a communication subject, a communication time, and/or a communication channel (S2700). The control device 200 may output an image of a communication subject capable of communicating with the user or an image of a communication time available through the wearable display device 400 .

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects, etc. described in the embodiments above are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified with respect to other embodiments by those skilled in the art in the field to which the embodiments belong. Therefore, contents related to these combinations and variations should be construed as being included in the scope of the present invention.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been described above, this is only an example and does not limit the present invention, and those skilled in the art to the present invention pertain to the above to the extent that does not deviate from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications not exemplified are possible. That is, each component specifically shown in the embodiment can be implemented by modifying it. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.

100: 디텍팅 장치 200: 제어 장치
400: 착용형 디스플레이 장치 500: 입력 장치100: detecting device 200: control device
400: wearable display device 500: input device

Claims

In the virtual environment control system,
a detecting device that detects a user's movement in a play space and obtains location information of the user;
a wearable display device that is worn by the user and outputs an image of a virtual environment;
an input device that is provided to the user and obtains motion information related to an action of the user; and
a control device that obtains the location information from the detecting device, obtains the motion information from the input device, and controls the image output to the wearable display device using the location information and the motion information; include,
The control device,
As the motion information is obtained, execution time data related to a time elapsed from the start of the user's motion to the end of the user's motion is obtained based on the motion information;
When the motion information indicates a preset gesture:
Determine a channel time for an activation time of a voice recognition channel for obtaining voice data from the user based on the execution time data;
Outputting a mission image including information to be delivered to other users in the virtual environment and a visual object for indicating the channel time through the wearable display device, and
obtaining the voice data from the user during the channel time;
Virtual environment control system.

According to claim 1,
The channel time is set in proportion to the time required for the user's operation,
Virtual environment control system.

According to claim 1,
The control device,
When the motion information indicates the preset gesture, outputting an image reflecting activation of a voice recognition channel during the channel time using the wearable display device,
Virtual environment control system.

According to claim 3,
The control device,
When the motion information indicates the preset gesture, outputting an image representing a time remaining until activation of the voice recognition channel ends using the wearable display device,
Virtual environment control system.

According to claim 1,
The control device,
Including a voice recognition unit,
determining whether the user speaks a preset word based on the voice data by using the voice recognition unit, and the preset word is based on the mission image;
Outputting the determined result through the wearable display device,
Virtual environment control system.

In the virtual environment control system,
The first location information for the first user, the second location information for the second user, and the third location information for the first user are obtained by detecting the movement of the first user, the movement of the second user, and the movement of the third user in the play space. a detecting device that obtains third location information about a user;
a first wearable display device worn by the first user to output a first image of a virtual environment;
a second wearable display device worn by the second user to output a second image of a virtual environment;
a third wearable display device worn by the third user to output a third image of a virtual environment;
a first input device that is provided to the first user and obtains first motion information related to a motion of the first user;
a first control device that obtains the first to third location information from the detecting device and controls the first image output to the first wearable display device using the first to third location information;
a second control device that obtains the first to third location information from the detecting device and controls the second image output to the second wearable display device using the first to third location information; and
a third control device that obtains the first to third location information from the detecting device and controls the third image output to the third wearable display device using the first to third location information; including,
The first control device,
As the first motion information is obtained, execution time data related to a time elapsed from the start of the first user's motion to the end of the first user's motion is obtained based on the first motion information;
When the first motion information indicates a preset gesture including a first gesture and a second gesture:
Determine a channel time for an activation time of a first voice recognition channel for acquiring first voice data from the first user based on the execution time data;
Outputting a mission image including information to be delivered to at least one of the second user or the third user and a visual object for indicating the channel time through the first wearable display device;
Obtaining first voice data from the first user during the channel time, the first voice data being based on a first voice signal obtained from the first user by the first wearable display device;
providing the first voice data to the second control device when the first motion information indicates a first gesture; and
providing the first voice data to the third control device when the first motion information indicates a second gesture;
Virtual environment control system.

According to claim 6,
When receiving the first voice data from the first control device, the second control device outputs a sound corresponding to the first voice data through the second wearable display device;
The third control device outputs a sound corresponding to the first voice data through the third wearable display device when receiving the first voice data from the first control device.
Virtual environment control system.

According to claim 6,
When receiving the first audio data from the first control device, the second control device outputs the second image including an image corresponding to the first audio data through the second wearable display device;
When receiving the first audio data from the first control device, the third control device outputs the third image including an image corresponding to the first audio data through the third wearable display device.
Virtual environment control system.

According to claim 6,
When the second control device receives the first audio data from the first control device, the second wearable display device acquires a second audio signal from the second user and provides it to the second control device, , the second control device acquires second voice data based on the second voice signal;
wherein the second control device provides the second voice data to the first control device;
Virtual environment control system.

According to claim 6,
wherein the first control device provides the first voice data to the second control device and the third control device when the first motion information indicates a third gesture;
Virtual environment control system.

According to claim 6,
When the first motion information is the first gesture or the second gesture, the first control device activates a sound sensor module of the first wearable display device to input the first voice signal from the first user. subject,
Virtual environment control system.

According to claim 6,
A main control device that communicates data with the first control device, the second control device, and the third control device; further comprising,
The first control device provides the first voice data to the second control device or the third control device through the main control device.
Virtual environment control system.