KR102108962B1 - Interraction device and method for navigating in virtual reality using walking in place - Google Patents

Interraction device and method for navigating in virtual reality using walking in place Download PDF

Info

Publication number
KR102108962B1
KR102108962B1 KR1020170100263A KR20170100263A KR102108962B1 KR 102108962 B1 KR102108962 B1 KR 102108962B1 KR 1020170100263 A KR1020170100263 A KR 1020170100263A KR 20170100263 A KR20170100263 A KR 20170100263A KR 102108962 B1 KR102108962 B1 KR 102108962B1
Authority
KR
South Korea
Prior art keywords
head
direction information
user
sensor
place
Prior art date
Application number
KR1020170100263A
Other languages
Korean (ko)
Other versions
KR20190016264A (en
Inventor
황재인
안상철
임화섭
김익재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170100263A priority Critical patent/KR102108962B1/en
Publication of KR20190016264A publication Critical patent/KR20190016264A/en
Application granted granted Critical
Publication of KR102108962B1 publication Critical patent/KR102108962B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들은 가상공간영상을 표시하는 표시장치, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 다리 움직임 센서, 상기 사용자의 머리 방향을 감지하는 머리방향 센서, 다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성하는 방향정보 생성부, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 제어부를 포함하는, 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치 및 이를 이용한 인터랙션 방법에 관한 것이다.Embodiments include a display device displaying a virtual space image, a leg motion sensor detecting a user's leg movement looking at the virtual space image, a head direction sensor detecting the user's head direction, and a head direction while the leg is moving. A direction information generating unit for generating direction information based on the basis, a control unit for controlling a movement of an object in the virtual space image or a viewpoint on the virtual space image based on the generated direction information, for omnidirectional virtual reality navigation The present invention relates to an interaction device using an in-place step and an interaction method using the same.

Description

전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치 및 방법{INTERRACTION DEVICE AND METHOD FOR NAVIGATING IN VIRTUAL REALITY USING WALKING IN PLACE}INTERRACTION DEVICE AND METHOD FOR NAVIGATING IN VIRTUAL REALITY USING WALKING IN PLACE}

본 발명은 가상현실 공간에 대한 인터랙션 장치 및 방법에 관한 것으로서, 더욱 구체적으로는 제자리 걸음을 이용한 인터랙션 장치 및 방법에 관한 것이다.The present invention relates to an interaction device and method for a virtual reality space, and more particularly, to an interaction device and method using a step in place.

종래 기술에 따르면 가상현실에서 네비게이션을 하는 방법은 다음과 같은 방법이 이용되고 있다. 1)실제 공간(real space)에서 이동하는 만큼 가상 공간(virtual space)에서 이동하는 방법이 있으나, 이 방법은 넓은 가상 공간을 이동하려면 넓은 실제 공간이 필요하다는 단점이 있다. 2) 트레드밀을 사용하는 방법은 VR 전용 트레드밀을 사용하여 방향 전환 및 걷기를 하는 것이나 트레드밀의 규모와 비용이 매우 높은 문제가 있고, 3) 콘트롤러 사용하는 방법은 손에 쥐는 콘트롤러를 사용하여 버튼 누름 등을 이용해서 VR 네비게이션을 진행하는 것이나, 사용자가 이용하기 어려운 문제가 있다.According to the prior art, the following method is used as a navigation method in virtual reality. 1) There is a method of moving in a virtual space as much as moving in a real space, but this method has a disadvantage that a large real space is required to move a wide virtual space. 2) The way to use the treadmill is to switch and walk using the VR-only treadmill, but there is a problem that the scale and cost of the treadmill are very high, and 3) How to use the controller is to press the button using the controller held in hand. There is a problem in that it is difficult to use the VR navigation by the user.

특허출원공개 제2002-0077617호Patent Application Publication No. 2002-0077617

위와 같은 문제를 해결하기 위해서, 본 발명은 제자리 걸음과 사용자의 머리방향을 이용하여 가상현실 공간상에서 객체 또는 사용자 시점을 이동시키는 방법을 제안한다.In order to solve the above problems, the present invention proposes a method of moving an object or a user's viewpoint in a virtual reality space using an in-place step and a user's head direction.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치는 가상공간영상을 표시하는 표시장치, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 다리 움직임 센서, 상기 사용자의 머리 방향을 감지하는 머리방향 센서, 다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성하는 방향정보 생성부, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 제어부를 포함할 수 있다.According to an embodiment of the present invention, an interaction device using in-situ steps for omnidirectional virtual reality navigation includes a display device displaying a virtual space image, a leg motion sensor detecting a user's leg movement viewing the virtual space image, and the A head direction sensor that detects a user's head direction, a direction information generation unit that generates direction information based on the head direction while the leg is moving, a viewpoint or the virtual space image for the virtual space image based on the generated direction information It may include a control unit for controlling the movement of my object.

바람직한 일 실시예에서, 표시장치는, 헤드마운티드디스플레이(HMD), 휴대용 디스플레이장치, 평면 또는 곡면 스크린 중 적어도 하나일 수 있다.In one preferred embodiment, the display device may be at least one of a head mounted display (HMD), a portable display device, or a flat or curved screen.

바람직한 일 실시예에서, 상기 다리 움직임 센서는, 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the leg motion sensor may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an Inertia Measurement Unit (IMU) sensor, and a vision sensor.

바람직한 일 실시예에서, 상기 머리방향 센서는, 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the head direction sensor may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an IMU (Inertia Measurement Unit) sensor, and a vision sensor.

바람직한 일 실시예에서, 상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the head direction of the user may include at least one of a pitch, a yaw, and a roll.

바람직한 일 실시예에서, 상기 방향정보 생성부는, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향 정보를 기초로 상기 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generation unit may generate the direction information based on head direction information during a user's walking or jumping operation in place.

바람직한 일 실시예에서, 상기 방향정보 생성부는, 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고, 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generation unit generates direction information toward the front when the head direction is toward the front, and generates direction information toward the back when the head direction is a predetermined angle back-pitch. Can be.

바람직한 일 실시예에서, 상기 방향정보 생성부는, 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하고, 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generating unit generates direction information that faces the front and moves to the left when the head direction is a left-roll, and the head direction is a right-roll. ), It is possible to generate direction information looking to the front and moving to the right.

바람직한 일 실시예에서, 상기 제어부는, 상기 방향정보가 앞을 향하는 것이면, 가상공간 내 시점을 앞으로 이동시키거나 상기 객체를 앞으로 이동시키고,In a preferred embodiment, if the direction information is directed forward, the control unit moves the viewpoint in the virtual space forward or moves the object forward,

상기 방향정보가 뒤를 향하는 것이면, 가상공간 내 시점을 뒤로 이동시키거나, 상기 객체를 뒤로 이동시킬 수 있다.If the direction information is directed backward, the viewpoint in the virtual space may be moved backward or the object may be moved backward.

바람직한 일 실시예에서, 상기 제어부는, 상기 방향정보가 좌측 또는 우측을 향하는 것이면, 가상공간 내 시점을 좌측 또는 우측으로 이동시키거나, 상기 객체를 좌측 또는 우측으로 이동시킬 수 있다.In a preferred embodiment, the control unit may move the viewpoint in the virtual space to the left or right, or move the object to the left or right if the direction information is directed to the left or right.

바람직한 일 실시예에서, 상기 제어부는, 상기 객체가 게걸음 걸음걸이로 이동하도록 객체를 제어할 수 있다.In one preferred embodiment, the control unit may control the object so that the object moves in a gait gait.

본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 표시장치 상에 가상공간영상을 표시하는 단계, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계, 상기 사용자의 머리 방향을 감지하는 단계, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향을 기초로 방향정보를 생성하는 단계, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계를 포함하되, 상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, an interaction method using in-situ steps for omnidirectional virtual reality navigation includes displaying a virtual space image on a display device, detecting a user's leg movement looking at the virtual space image, Detecting the direction of the user's head, generating direction information based on the direction of the head during a user's walking or running in place, a viewpoint or the virtual space image for the virtual space image based on the generated direction information Including the step of controlling the movement of the object, the user's head direction, may include at least one of a pitch (pitch), yaw (yaw), roll (roll).

바람직한 일 실시예에서, 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계 및 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함할 수 있다.In a preferred embodiment, the method further includes generating forward direction information when the head direction is toward the front and generating backward direction information when the head direction is a predetermined angle back-pitch. Can be.

바람직한 일 실시예에서, 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하는 단계 및 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 단계를 더 포함할 수 있다.In a preferred embodiment, if the head direction is left-roll, looking at the front and generating direction information moving to the left, and if the head direction is right-roll, look at the front. It may further include the step of generating direction information to move to the right.

본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상술한 방법을 실행하기 위한 명령을 저장할 수 있다.The computer-readable recording medium according to an embodiment of the present invention may store instructions for executing the above-described method.

본 발명의 일 실시예에 따르면 제자리에서 걷거나 뛰는 동작과 사용자의 머리방향을 기초로 가상현실 공간상에서 게걸음으로 좌우 이동할 수 있고, 또는 사용자 시점을 방향을 정면을 유지한 채 뒷걸음 또는 좌우로 이동할 수 있는 이점이 있다. 즉 사람이 게 걸음하는 경우 이에 대응되도록 가상현실에서도 게걸음 효과를 구현하거나 뒷걸음질 치는 효과를 구현할 수 있다. According to an embodiment of the present invention, it is possible to move left and right in a virtual reality space on the basis of the user's head movement and walking or running in place, or to move the user's point of view backward or left and right while maintaining the front direction. There is an advantage. That is, in a virtual reality, a gait effect may be implemented or a stepping effect may be implemented in response to a person walking.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 표시장치(100)의 다양한 예시이다. 표시장치(100)는 가상공간영상을 표시할 수 있다.
도 3은 사용자의 머리 방향을 설명하기 위한 도이다.
도 4a 및 도 4b는 HMD를 착용한 사용자가 정면을 보거나 뒤로 머리를 젖히는 상태를 각각 나타낸다.
도 5a 및 도 5b는 HMD를 착용한 사용자가 오른쪽과 왼쪽으로 머리를 기울이는 상태를 각각 나타낸다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 사용자가 우측 및 좌측을 바라보고 제자리 걸음하는 경우 표시장치 상에 표시되는 내용을 각각 나타낸다.
도 7은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법의 순서도이다.
도 8은 본 발명의 개념을 설명하기 위한 상태-변화 다이어그램이다.1 is a block diagram of an interaction device using in-place steps for omnidirectional virtual reality navigation according to an embodiment of the present invention.
2 is a variety of examples of the display device 100 according to an embodiment of the present invention. The display device 100 may display a virtual space image.
3 is a view for explaining the direction of the user's head.
4A and 4B show a state in which the user wearing the HMD looks at the front or flips his head back, respectively.
5A and 5B show a state in which the user wearing the HMD tilts his head to the right and left, respectively.
6A and 6B illustrate contents displayed on a display device, respectively, when a user looks to the right and left and walks in place, according to an embodiment of the present invention.
7 is a flowchart of an interaction method using in-situ steps for omnidirectional virtual reality navigation according to an embodiment of the present invention.
8 is a state-change diagram for illustrating the concept of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, the terms "include" or "have" are intended to indicate that a feature, number, step, action, component, part, or combination thereof described is present, and one or more other features or numbers. It should be understood that it does not preclude the existence or addability of, steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as meanings consistent with meanings in the context of related technologies, and are not to be interpreted as ideal or excessively formal meanings unless explicitly defined herein. . The same reference numbers in the drawings indicate the same members. However, in describing the embodiments, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for explanation, and does not mean the size actually applied.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다. Embodiments described herein can have aspects that are entirely hardware, partly hardware and partly software, or entirely software. In the present specification, “unit”, “module”, “device”, or “system” refers to hardware, a combination of hardware and software, or computer-related entities such as software. For example, in this specification, a part, module, device or system, etc. may be a running process, processor, object, executable, thread of execution, program, and / or computer (computer), but is not limited thereto. For example, both an application running on a computer and a computer may correspond to a part, module, device, or system of the present specification.

실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.Embodiments have been described with reference to flowcharts presented in the drawings. For simplicity, the method is shown and described in a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks may occur in different orders or concurrently with other blocks than those shown and described herein. It may be, and various other branches, flow paths, and sequences of blocks that achieve the same or similar results may be implemented. Also, not all blocks shown may be required for the implementation of the method described herein. Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, and the computer program may be recorded on a computer-readable recording medium.

이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다. Hereinafter, the configuration and characteristics of the present invention will be described using examples, but these examples are only intended to illustrate the present invention and are not limiting.

도 1은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 블록도이다. 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치(1000)는 표시장치(100), 센서(200), 방향정보 생성부(300) 및 제어부(400)를 포함할 수 있다. 센서(200)는 다리움직임 센서(210) 및 머리방향 센서(220)를 포함할 수 있다.1 is a block diagram of an interaction device using in-place steps for omnidirectional virtual reality navigation according to an embodiment of the present invention. The interaction device 1000 using in-situ steps for omni-directional virtual reality navigation may include a display device 100, a sensor 200, a direction information generating unit 300, and a control unit 400. The sensor 200 may include a leg movement sensor 210 and a head direction sensor 220.

도 2는 본 발명의 일 실시예에 따른 표시장치(100)의 다양한 예시이다. 표시장치(100)는 가상공간영상을 표시할 수 있다. 예컨대 표시장치(100)는 헤드마운티드디스플레이 장치(HMD)(도 2의 (a) 참조), 휴대용 디스플레이 장치(도 2의 (b)참조) 이거나 평면 또는 곡면 스크린(도 2의 (c)참조)일 수 있다. 도 2의 (c)는 곡면 스크린으로 가정용 TV만하거나 더 크도록 대형 스크린일 수 있다. 본 명세서에서는 설명의 명료화를 위해서 표시장치(100)가 HMD인 경우를 예로 들어 설명하나 다른 형태의 표시장치에도 동일하게 적용될 수 있음이 이해되어야 한다.2 is a variety of examples of the display device 100 according to an embodiment of the present invention. The display device 100 may display a virtual space image. For example, the display device 100 may be a head mounted display device (HMD) (see FIG. 2 (a)), a portable display device (see FIG. 2 (b)), or a flat or curved screen (see FIG. 2 (c)). Can be 2 (c) is a curved screen, and may be a home TV or a large screen to be larger. In this specification, for clarity of description, it is understood that the display device 100 is an HMD as an example, but it should be understood that the same can be applied to other types of display devices.

센서(200)는 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit) 센서, 비전센서 중 적어도 하나를 포함할 수 있다. 센서(200)는 사용자의 신체에 부착되는 방식, 사용자가 타는 방식, 파지하는 방식 또는 신체에 부착되지 않는 방식(예컨대 비전센서) 등이 이용될 수 있다.The sensor 200 may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an Inertia Measurement Unit (IMU) sensor, and a vision sensor. The sensor 200 may be a method attached to the user's body, a user riding method, a gripping method, or a method not attached to the body (for example, a vision sensor).

다리 움직임 센서(210) 또는 머리방향 센서(220)는 상술한 센서의 종류 중 어느 하나 이상으로 구성될 수 있다. 또한 일 실시예에서 다리 움직임 센서와 머리방향 센서는 하나의 센서로 구현되거나 서로 다른 센서로 구현될 수도 있다.The leg motion sensor 210 or the head direction sensor 220 may be configured with any one or more of the above-described types of sensors. Also, in one embodiment, the leg motion sensor and the head direction sensor may be implemented as one sensor or may be implemented as different sensors.

일 실시예에서 머리방향 센서(220)는 헤드마운티드디스플레이 장치와 함께 하나의 제품 내 구성될 수도 있다. 즉 머리방향 센서(220)도 사용자의 머리에 부착되어 사용자의 머리 방향을 감지할 수 있다.In one embodiment, the head direction sensor 220 may be configured in one product together with the head mounted display device. That is, the head direction sensor 220 is also attached to the user's head to detect the user's head direction.

다리 움직임 센서(210)는 가상공간영상을 바라보는 사용자의 다리 움직임을 감지할 수 있다. 예컨대 다리움직임 센서(210)는 사용자의 다리가 움직이는지 여부, 다리가 움직이는 동작의 형태 및 속도 등을 감지할 수 있다. 또한 다리움직임 센서(210)는 사용자가 걷는지, 뛰는지 제자리에서 뛰는지, 제자리에서 걷는지 등을 감지할 수 있다. 이를 위해서 다리 움직임 정보와 동작의 형태에 대한 정보를 저장하는 데이터베이스(미도시)가 장치(1000)에 더 포함될 수도 있다.The leg motion sensor 210 may detect a user's leg motion looking at a virtual space image. For example, the leg movement sensor 210 may detect whether the user's leg is moving, the type and speed of the motion of the leg. In addition, the leg movement sensor 210 may detect whether the user is walking, running, jumping in place, walking in place, or the like. To this end, a database (not shown) that stores information about leg motion information and motion type may be further included in the apparatus 1000.

머리방향 센서(220)는 사용자의 머리가 향하는 방향과 사용자의 머리가 향하는 방향의 변화를 감지할 수 있다. The head direction sensor 220 may detect a change in the direction the user's head is facing and the direction the user's head is facing.

도 3은 사용자의 머리 방향을 설명하기 위한 도이다. 도 3을 참조하면, 사용자의 머리방향은 안면이 향하는 방향을 정면으로 보았을 때, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다. 보다 구체적으로 롤의 방향에 따라서 우측-롤, 좌측-롤로 머리방향 회전이 정의될 수 있고, 이와 같은 방식으로 앞면-피치, 후면-피치, 우측-요, 좌측-요 등으로 머리방향 회전이 정의될 수 있다. 3 is a view for explaining the direction of the user's head. Referring to FIG. 3, when the user's head direction sees the direction facing the face from the front, at least one of a pitch, a yaw, and a roll may be included. More specifically, according to the direction of the roll, the head rotation can be defined as right-roll, left-roll, and in this way, head-direction rotation is defined as front-pitch, back-pitch, right-yaw, left-yaw, etc. Can be.

방향정보 생성부(300)는 다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성할 수 있다. 예컨대 방향정보 생성부(300)는 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향에 대한 머리방향 정보를 생성할 수 있다.The direction information generating unit 300 may generate direction information based on the head direction while the leg is moving. For example, the direction information generation unit 300 may generate head direction information for the head direction during a user's walking or running motion in place.

도 4a 및 도 4b는 HMD를 착용한 사용자가 정면을 보거나 뒤로 머리를 젖히는 상태를 각각 나타낸다. 도 4a 및 도 4b를 참조하면, 상기 방향정보 생성부(300)는, 도 4a에서와 같이 사용자의 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고, 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성할 수 있다. 또한 도 4b에서와 같이 사용자의 머리방향이 소정 각도 백-피치이면, 뒤를 향하는 방향정보가 생성될 수 있다. 4A and 4B show a state in which the user wearing the HMD looks at the front or flips his head back, respectively. 4A and 4B, the direction information generating unit 300 generates direction information toward the front when the user's head direction faces the front, as shown in FIG. 4A, and the head direction has a predetermined angle back-pitch ( If it is a back-pitch), it is possible to generate direction information directed to the back. In addition, if the user's head direction is a predetermined angle back-pitch as in FIG. 4B, direction information directed toward the back may be generated.

도 5a 및 도 5b는 HMD를 착용한 사용자가 오른쪽과 왼쪽으로 머리를 기울이는 상태를 각각 나타낸다. 도 5a 및 도 5b를 참조하면, 방향정보 생성부(300)는 도 5a에서와 같이 사용자의 머리방향이 좌측-롤(left-roll)되면 정면을 바라보고 좌측으로 이동하는 방향정보(좌측으로 이동하는 게걸음)를 생성하고, 사용자의 머리방향이 좌측-요이면 좌측을 바라보는 방향정보를 생성하고, 도 5b에서와 같이 사용자의 머리방향이 우측-롤(right-roll)되면 정면을 바라보고 우측으로 이동하는 방향정보(우측으로 이동하는 게걸음)를 생성하고 우측-요 이면 우측을 바라보는 방향정보를 생성할 수 있다. 즉 좌측 및 우측 롤과 좌측-요(left-yaw) 및 우측-요(right-yaw)는 서로 다른 방향정보를 생성할 수 있다.5A and 5B show a state in which the user wearing the HMD tilts his head to the right and left, respectively. 5A and 5B, the direction information generation unit 300 looks at the front and moves to the left when the user's head is left-rolled as shown in FIG. 5A (moves to the left) If the user's head direction is left-yield, direction information looking to the left is generated, and when the user's head direction is right-rolled, as shown in FIG. You can generate direction information that moves to (right step to move to the right) and direction information that looks to the right if it is right-yield. That is, the left and right rolls and the left-yaw and right-yaw may generate different direction information.

제어부(400)는 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 시선 또는 이동을 제어할 수 있다.The controller 400 may control a viewpoint or movement of an object in the virtual space image or a viewpoint for the virtual space image based on the generated direction information.

통상적으로 뒤로 걷는 경우 머리가 뒤로 젖혀지므로 사용자가 뒤로 걷는 경우 제어부(400)는 가상공간 상에서도 "뒤로 이동"이라는 명령을 생성할 수 있고, 다시 머리가 정면을 향하면 "정지"라는 명령을 생성할 수 있다. 따라서 뒤로 이동하던 가상객체 또는 시점이 멈출 수 있다.Normally, when walking backward, the head is tilted back, so if the user walks backward, the control unit 400 may generate a command “move back” even in the virtual space, and generate a command “stop” when the head faces again. have. Therefore, the virtual object or viewpoint moving back may stop.

또한 제자리 걸음 하면서 머리가 좌 또는 우 방향으로 기울어지면(롤), 가상공간에 대하여 제어부(400)는 "정면을 바라보고 옆으로 이동"이라는 게걸음 과 같은 걸음걸이 이동 명령을 생성할 수 있다.In addition, when the head is tilted in the left or right direction (roll) while walking, the control unit 400 may generate a gait movement command such as a gait of "looking at the front and moving sideways" with respect to the virtual space.

또한 제자리 걸음 하면서 머리가 좌 또는 우 방향으로 고개가 돌아가면(요), 가상공간에 대하여 제어부(400)는 "해당 방향으로 시선을 변경"이라는 명령을 생성할 수도 있다.In addition, if the head is turned in the left or right direction while walking (Yoah), the controller 400 may generate a command to “change the gaze in the corresponding direction” with respect to the virtual space.

예컨대 사용자의 머리 방향이 소정각도 좌측-롤 또는 우측-롤 인 경우 제어부(400)는 좌측 또는 우측으로 각각 게걸음 이동 명령을 생성할 수 있다. 이와 달리 사용자의 머리 방향이 소정각도 좌측-요 또는 우측-요 인 경우, 제어부(400)는 좌측 또는 우측으로 사용자의 시선 또는 가상객체의 방향이 회전하도록 방향전환 명령을 생성할 수 있다. For example, when the user's head direction is a predetermined angle left-roll or right-roll, the control unit 400 may generate a gait movement command to the left or right, respectively. On the other hand, when the user's head direction is left-yaw or right-yaw at a predetermined angle, the control unit 400 may generate a direction change command to rotate the user's gaze or the direction of the virtual object to the left or right.

또한 제어부(400)는 사용자가 제자리 걸음을 멈추면 가상공간에 대한 이동명령도 멈출 수 있고, 사용자가 제자리 걸음을 하면서 머리방향을 동적으로 변화시키는 경우 변화되는 머리방향에 대응되도록 가상공간 내 가상객체 또는 시선을 변경할 수 있다. In addition, the control unit 400 may stop the movement command for the virtual space when the user stops walking in place, and if the user dynamically changes the head direction while walking, the virtual object in the virtual space corresponds to the changed head direction. Or you can change your gaze.

본 명세서에서 X방향으로 향하는 방향정보는 X방향으로 '가상객체를 이동'시키거나 디스플레이 상에 '표시되는 영상의 시점을 변화'시키는 명령일 수 있다. 예컨대 사용자가 정면을 향하는 경우 가상공간 내 가상객체가 앞으로 이동하거나, 표시화면이 줌인 될 수 있다. 또한 사용자가 머리를 뒤로 젖히고(백-피치) 걷는 경우 가상공간 내 가상객체가 뒤로 이동하거나, 표시화면이 줌 아웃 되어 표시될 수 있다.In the present specification, the direction information directed in the X direction may be a command to 'move a virtual object' in the X direction or 'change the viewpoint of the displayed image' on the display. For example, when the user faces the front, the virtual object in the virtual space may move forward or the display screen may be zoomed in. In addition, when the user walks with his head tilted back (back-pitch), the virtual object in the virtual space may move backward, or the display screen may be zoomed out and displayed.

도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 사용자가 머리를 우측-롤 및 좌측-롤 하고 제자리 걸음하는 경우 표시장치 상에 표시되는 내용을 각각 나타낸다. 6A and 6B show contents displayed on a display device, respectively, when a user right-rolls and left-rolls a head and walks in place according to an embodiment of the present invention.

도 6a는 도 5b에서와 같이 사용자가 우측으로 고개를 기울이고 제자리 걸음하는 경우의 표시장치 상에 나타난 영상을 나타낸다. 이 경우 제어부(400)는 사용자의 시점을 우측으로 이동시키므로, 객체(OB1)는 표시장치(100)상에서 우측 가장자리에서 좌측 가장자리로 이동되어 표시된다.FIG. 6A shows an image displayed on the display device when the user tilts his head to the right and walks in place as in FIG. 5B. In this case, since the control unit 400 moves the user's viewpoint to the right, the object OB1 is displayed on the display device 100 by moving from the right edge to the left edge.

도 6b는 도 5a에서와 같이 사용자가 좌측으로 고개를 기울이고 제자리 걸음하는 경우 표시장치 상에 나타난 가상객체(OB2)의 이동을 나타낸다. 이 경우 제어부(400)는 사용자가 좌측으로 고개를 기울이고 제자리 걸음 하고 있으므로, 이에 대응되도록 가상객체(OB2)가 좌측으로 이동하도록 가상객체(OB2)를 제어할 수 있다. 일 실시예에서 제어부(400)는 가상객체를 좌로 이동시키는 경우, 가상객체가 다리를 가진 사람, 동물 또는 이와 유사한 것이라면 도 6b에서와 같이 게걸음 걸음걸이로 이동하도록 제어할 수도 있다.FIG. 6B shows the movement of the virtual object OB2 displayed on the display device when the user tilts his head to the left and walks in place as in FIG. 5A. In this case, the control unit 400 may control the virtual object OB2 so that the virtual object OB2 moves to the left so that the user tilts his head to the left and walks in place. In one embodiment, when the virtual object is moved to the left, the control unit 400 may control the virtual object to move to the gait as shown in FIG. 6B if the virtual object is a person with a leg, an animal, or the like.

여기서 설명된 '이동'은 걷는 것, 달리는 것, 기는 것 및 점프 중 적어도 하나를 포함할 수 있다.The 'move' described herein may include at least one of walking, running, creeping, and jumping.

도 7은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법의 순서도이다. 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상술한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 적어도 하나의 구성요소들에 의해 구현될 수 있다. 예컨대 장치(1000) 중 센서를 제외한 나머지 구성요소들에 의해 구현될 수도 있다. 이 경우 센서는 타 장치로서 센서로부터 각 머리방향 및 다리이동에 관한 센싱정보를 제어부가 획득하여 본 방법에 이용할 수 있다. 7 is a flowchart of an interaction method using in-situ steps for omnidirectional virtual reality navigation according to an embodiment of the present invention. The interaction method using in-situ steps for omni-directional virtual reality navigation may be implemented by at least one component of the interaction apparatus using in-situ steps for omni-directional virtual reality navigation. For example, the device 1000 may be implemented by components other than the sensor. In this case, the sensor can be used in the present method by obtaining a sensing information regarding each head direction and leg movement from the sensor as another device.

도 7을 참조하면 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 표시장치 상에 가상공간영상을 표시하는 단계(S100), 센서가, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계(S200), 센서가, 상기 사용자의 머리 방향을 감지하는 단계(S300), 제어부가, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향을 기초로 방향정보를 생성하는 단계(S400) 및 제어부가, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계(S500)를 포함할 수 있다. 여기서 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 7, an interaction method using in-situ steps for omnidirectional virtual reality navigation includes displaying a virtual space image on a display device (S100), and a sensor detects a user's leg movement looking at the virtual space image. Step (S200), the sensor, the step of detecting the user's head direction (S300), the control unit, the step of generating direction information based on the head direction during the user walking or running in place (S400) and the control unit The method may include controlling a viewpoint of the virtual space image or movement of an object in the virtual space image based on the generated direction information (S500). Here, the direction of the user's head may include at least one of a pitch, a yaw, and a roll.

일 실시예에서 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계; 및 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함할 수 있다. 또한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하는 단계 및 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 단계를 더 포함할 수도 있다. In one embodiment, an interaction method using in-situ steps for omni-directional virtual reality navigation includes generating direction information when the head direction is toward the front; And generating heading direction information when the head direction is a predetermined angle back-pitch. In addition, the interaction method using in-situ steps for omni-directional virtual reality navigation includes generating a direction information looking to the front and moving to the left when the head direction is a left-roll and the head direction is a right-roll If it is (right-roll), the method may further include generating direction information facing the front and moving to the right.

본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는, 상술한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법을 실행하기 위한 명령을 저장하고 있을 수 있다. The computer-readable recording medium according to an embodiment of the present invention may store instructions for executing an interaction method using in-situ steps for omni-directional virtual reality navigation.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described by specific matters such as specific components and limited embodiments and drawings, but this is provided only to help a more comprehensive understanding of the present invention, and the present invention is not limited to the above embodiments , Those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions.

도 8은 본 발명의 개념을 설명하기 위한 상태-변화 다이어그램이다. 도 8을 참조하면 본 발명은 머리의 각도로 걷는 방향을 정하므로 앞으로 걸으며 위를 쳐다보는 동작과 뒤로 걷는 동작과 구별이 되지 않을 수 있다. 따라서 멈춤 상태에서 사용자가 머리를 위로 향하고 걸으면 가상 공간에서 뒤로 걷는 상태가 된다. 다시 앞으로 가기 위해서는 잠시 멈추었다가 고개를 앞으로 향하고 걷기 시작하면 가상 공간에서 앞으로 걷게 된다. 또한 앞으로 걷다가 좌우로 고개를 기울이면(롤) 그 방향으로 게걸음을 하게 된다. 한편 앞으로 걷다가 좌우로 고개를 돌리면(요) 그 방향으로 몸과 시선을 틀어 이동하게 된다.8 is a state-change diagram for illustrating the concept of the present invention. Referring to FIG. 8, the present invention determines a walking direction at an angle of the head, so it may not be distinguishable from a walking gaze upward and a walking gaze backward. Therefore, when the user walks with his head up in the paused state, he or she walks back in the virtual space. In order to go forward again, if you pause for a while and start walking with your head forward, you will walk forward in the virtual space. Also, when you walk forward and tilt your head from side to side (roll), you will walk in that direction. On the other hand, if you walk forward and turn your head from side to side (Yo), you will move your body and gaze in that direction.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is not limited to the above-described embodiment, and should not be determined, and all claims that are equally or equivalently modified with the claims as described below belong to the scope of the spirit of the present invention. Would say

Claims (15)

가상공간영상을 표시하는 표시장치;
상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 다리 움직임 센서;
상기 사용자의 머리 방향을 감지하는 머리방향 센서;
사용자가 제자리에서 걷거나 뛰는 동작을 수행하는 동안 감지된 머리방향을 기초로 방향정보를 생성하는 방향정보 생성부;
생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 제어부를 포함하되,
상기 사용자의 머리 방향은 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함하며,
상기 방향정보 생성부는,
상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보는 시점을 유지한 채 좌측으로 이동하는 방향정보를 생성하고, 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보는 시점을 유지한 채 우측으로 이동하는 방향정보를 생성하며,
상기 머리방향이 좌측-요(yaw) 또는 우측-요(yaw)인 경우, 좌측 또는 우측으로 사용자의 시선 또는 상기 객체의 방향이 회전하도록 방향전환 명령을 생성하는 것을 특징으로 하는, 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
A display device for displaying a virtual space image;
A leg motion sensor that detects a user's leg motion looking at the virtual space image;
A head direction sensor detecting the head direction of the user;
A direction information generation unit that generates direction information based on the detected head direction while the user performs an operation for walking or jumping in place;
It includes a control unit for controlling the movement of the object in the viewpoint or the virtual space image on the basis of the generated direction information, the virtual space image,
The direction of the user's head includes at least one of a pitch, a yaw, and a roll,
The direction information generating unit,
When the head direction is left-roll, direction information moving to the left is maintained while maintaining a point of view facing the front, and when the head direction is right-roll, the point of view facing the front is generated. Creates direction information that moves to the right while holding,
When the head direction is left-yaw or right-yaw, generating a direction changing command to rotate the user's gaze or the direction of the object to the left or right, omni-directional virtual reality An interaction device using in-place steps for navigation.
제1항에 있어서,
상기 표시장치는,
헤드마운티드디스플레이(HMD), 휴대용 디스플레이장치, 평면 또는 곡면 스크린 중 적어도 하나인 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The display device,
An interaction device using in-place walking for omni-directional virtual reality navigation, characterized in that it is at least one of a head mounted display (HMD), a portable display device, or a flat or curved screen.
제1항에 있어서,
상기 다리 움직임 센서는,
가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The leg motion sensor,
An interaction device using in-place walking for omni-directional virtual reality navigation, comprising at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an IMU (Inertia Measurement Unit) sensor, and a vision sensor.
제1항에 있어서,
상기 머리방향 센서는,
가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The head direction sensor,
An interaction device using in-place walking for omni-directional virtual reality navigation, comprising at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an IMU (Inertia Measurement Unit) sensor, and a vision sensor.
제1항에 있어서,
상기 사용자의 머리 방향은,
피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The head direction of the user,
An interaction device using in-place walking for omni-directional virtual reality navigation, comprising at least one of a pitch, a yaw, and a roll.
삭제delete 제1항에 있어서,
상기 방향정보 생성부는,
상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고,
상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The direction information generating unit,
When the head direction is toward the front, direction information toward the front is generated,
If the head direction is a predetermined angle back-pitch (back-pitch), the interaction device using the step in place for omni-directional virtual reality navigation, characterized in that to generate direction information toward the back.
삭제delete 제7항에 있어서,
상기 제어부는,
상기 방향정보가 앞을 향하는 것이면, 가상공간 내 시점을 앞으로 이동시키거나 상기 객체를 앞으로 이동시키고,
상기 방향정보가 뒤를 향하는 것이면, 가상공간 내 시점을 뒤로 이동시키거나, 상기 객체를 뒤로 이동시키는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method of claim 7,
The control unit,
If the direction information is toward the front, move the viewpoint in the virtual space forward or move the object forward,
If the direction information is directed backward, an interaction device using a step in place for omnidirectional virtual reality navigation, characterized in that the viewpoint in the virtual space is moved backward or the object is moved backward.
제1항에 있어서,
상기 제어부는,
상기 방향정보가 좌측 또는 우측을 향하는 것이면, 가상공간 내 시점을 좌측 또는 우측으로 이동시키거나, 상기 객체를 좌측 또는 우측으로 이동시키는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
According to claim 1,
The control unit,
If the direction information is directed to the left or the right, an interaction device using in-place steps for omnidirectional virtual reality navigation, characterized in that the viewpoint in the virtual space is moved to the left or right, or the object is moved to the left or right. .
제10항에 있어서,
상기 제어부는,
상기 객체가 게걸음 걸음걸이로 이동하도록 객체를 제어하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method of claim 10,
The control unit,
An interaction device using in-place gait for omni-directional virtual reality navigation, characterized in that the object is controlled to move the gait gait.
표시장치 상에 가상공간영상을 표시하는 단계;
상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계;
상기 사용자의 머리 방향을 감지하는 단계;
사용자가 제자리에서 걷거나 뛰는 동작을 수행하는 동안 감지된 머리방향을 기초로 방향정보를 생성하는 단계;
생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계를 포함하되,
상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함하며,
상기 방향정보를 생성하는 단계는,
상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보는 시점을 유지한 채 좌측으로 이동하는 방향정보를 생성하고, 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보는 시점을 유지한 채 우측으로 이동하는 방향정보를 생성하는 단계; 및
상기 머리방향이 좌측-요(yaw) 또는 우측-요(yaw)인 경우, 좌측 또는 우측으로 사용자의 시선 또는 상기 객체의 방향이 회전하도록 방향전환 명령을 생성하는 단계를 포함하는 것을 특징으로 하는, 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법.
Displaying a virtual space image on the display device;
Detecting a user's leg movement looking at the virtual space image;
Sensing the direction of the user's head;
Generating direction information based on the detected head direction while the user performs a walking or running motion in place;
And controlling a viewpoint of the virtual space image or movement of an object in the virtual space image based on the generated direction information.
The head direction of the user includes at least one of a pitch, a yaw, and a roll,
The step of generating the direction information,
When the head direction is left-roll, direction information moving to the left is maintained while maintaining a point of view facing the front, and when the head direction is right-roll, the point of view facing the front is generated. Generating direction information moving to the right while maintaining the; And
If the head direction is left-yaw (yaw) or right-yaw (yaw), characterized in that it comprises the step of generating a direction change command to rotate the user's gaze or the direction of the object to the left or right, Interaction method using in-place steps for omnidirectional virtual reality navigation.
제12항에 있어서,
상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계; 및
상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법.
The method of claim 12,
Generating direction information toward the front when the head direction is toward the front; And
If the head direction is a predetermined angle back-pitch (back-pitch), the interaction method using the step in place for omni-directional virtual reality navigation further comprising the step of generating direction information toward the back.
삭제delete 제12항에 따른 방법을 실행하기 위한 명령이 저장된, 컴퓨터로 판독 가능한 기록매체.
A computer-readable recording medium storing instructions for executing the method according to claim 12.
KR1020170100263A 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place KR102108962B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Publications (2)

Publication Number Publication Date
KR20190016264A KR20190016264A (en) 2019-02-18
KR102108962B1 true KR102108962B1 (en) 2020-05-12

Family

ID=65561375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Country Status (1)

Country Link
KR (1) KR102108962B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269760B1 (en) * 2019-11-26 2021-06-29 서울과학기술대학교 산학협력단 Apparatus for correcting multi-video viewpoint
CN117234340A (en) * 2023-11-14 2023-12-15 荣耀终端有限公司 Method and device for displaying user interface of head-mounted XR device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
KR101650820B1 (en) * 2015-06-10 2016-08-24 (주)굿게이트 Display apparatus and method for controlling display using gyro sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020077617A (en) 2001-04-02 2002-10-12 조종학 Training machine based on virtual reality
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
KR101650820B1 (en) * 2015-06-10 2016-08-24 (주)굿게이트 Display apparatus and method for controlling display using gyro sensor

Also Published As

Publication number Publication date
KR20190016264A (en) 2019-02-18

Similar Documents

Publication Publication Date Title
JP6554631B2 (en) Method, system, and apparatus for navigating in a virtual reality environment
CN110476168B (en) Method and system for hand tracking
EP3411777B1 (en) Method of object motion tracking with remote device for mixed reality system, mixed reality system and computer readable medium
KR102347249B1 (en) Method and device to display screen in response to event related to external obejct
CN106796452B (en) Head-mounted display apparatus and its control method, computer-readable medium
JP5655674B2 (en) Head mounted display and program used therefor
KR20160013906A (en) Perception based predictive tracking for head mounted displays
US20210052984A1 (en) Program, electronic device, and method
KR102108962B1 (en) Interraction device and method for navigating in virtual reality using walking in place
JP2017004356A (en) Method of specifying position in virtual space, program, recording medium with program recorded therein, and device
JP2021009673A (en) Virtual reality system, program, and computer-readable storage medium
US20190019308A1 (en) Image display device
WO2016121883A1 (en) Electronic device
JP2021193613A (en) Animation creation method
JP2017059196A5 (en)
CN107957781B (en) Information display method and device
EP3702008A1 (en) Displaying a viewport of a virtual space
US11262854B2 (en) Sensing movement of a hand-held controller
JP6964302B2 (en) Animation production method
WO2020154971A1 (en) Electronic device and control method therefor
JP2746251B2 (en) Experience input device
KR101587263B1 (en) Sensing device and screen shooting simulation system having thesame
WO2021166717A1 (en) Display control device, display control method, and recording medium
WO2021059356A1 (en) Animation production system
KR102596487B1 (en) Display Control System, Method and Computer Readable Record Medium Thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant