KR102433084B1 - 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템 - Google Patents

가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템 Download PDF

Info

Publication number
KR102433084B1
KR102433084B1 KR1020200077788A KR20200077788A KR102433084B1 KR 102433084 B1 KR102433084 B1 KR 102433084B1 KR 1020200077788 A KR1020200077788 A KR 1020200077788A KR 20200077788 A KR20200077788 A KR 20200077788A KR 102433084 B1 KR102433084 B1 KR 102433084B1
Authority
KR
South Korea
Prior art keywords
player
virtual reality
game
information
emotion
Prior art date
Application number
KR1020200077788A
Other languages
English (en)
Other versions
KR20220000164A (ko
Inventor
김성균
Original Assignee
주식회사 리얼리티매직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼리티매직 filed Critical 주식회사 리얼리티매직
Priority to KR1020200077788A priority Critical patent/KR102433084B1/ko
Publication of KR20220000164A publication Critical patent/KR20220000164A/ko
Application granted granted Critical
Publication of KR102433084B1 publication Critical patent/KR102433084B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원은 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것으로, 본 출원의 일 양상에 따른 가상 현실 게임용 플레이어 감정 분석 방법은, VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계; 및 감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함할 수 있다.

Description

가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템{PLAYER EMOTION ANALYSIS METHOD FOR VIRTUAL REALITY GAME, PLAYER EMOTION-BASED VIRTUAL REALITY SERVICE MANAGEMENT METHOD AND VIRTUAL REALITY SYSTEM}
본 출원은 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것으로, 보다 상세하게는 가상 현실 게임을 수행하는 플레이어의 흥분도나 몰입도, 난처함 등과 같은 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템에 관한 것이다.
실제와 유사한 환경을 갖는 컴퓨터 그래픽으로 만들어진 가상 현실(VR: Virtual Reality) 서비스는 최근 대규모 투자가 진행됨에 따라 차세대 대표 서비스로 각광받고 있다. 가상 현실 기술의 적용 분야는 교육, 의료, 국방, 교통 등의 다양한 분야에 걸쳐 있으나, 사용자에게 높은 몰입도와 체험감을 제공할 수 있어 특히 게임 및 엔터테인먼트 분야에서 가장 두각을 보이고 있다.
초기 가상 현실 게임은 주로 개인용 플랫폼을 중심으로 개발이 이루어졌으나, 최근에는 테마 파크 등을 중심으로 하는 장소 기반 엔터테인먼트(Location-Based Entertainment) 형태로 발전하고 있다.
장소 기반 VR 플랫폼은 개인용 VR 플랫폼이 게임에 익숙한 게이머를 주고객층으로 하는 것과 달리 다양한 고객층을 대상으로 하는데, VR 게임을 처음 접하거나 VR에 익숙하지 않은 초심자의 경우에는 압도적으로 높은 몰입감을 제공하는 VR 서비스의 장점으로 인해 오히려 멀미나 공포심 등이 유발될 수 있어 이에 대한 대응 방안이 요청되고 있다.
본 출원의 일 과제는, VR 게임이 진행되는 중 이를 수행하는 플레이어의 감정을 분석하는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템을 제공하는 것이다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 양상에 따르면, VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계; 및 감정 강도를 반영하는 생체 정보 및 상기 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계;를 포함하는 가상 현실 게임용 감정 분석 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 실시예에 따르면, 플레이어의 자세나 움직임에 따라 플레이어가 VR 게임에 몰입하고 있는지 아니면 공포감이나 멀미 등과 같은 불편함을 느끼고 있는지 등과 같은 플레이어의 다양한 감정 상태를 알 수 있다.
또 본 출원의 실시예에 따르면, 몰입도나 흥분도와 같은 플레이어의 감정 상태를 검출함으로써, VR 게임의 난이도를 조절하는 등을 통해 플레이어의 보다 향상된 가상 현실 경험을 제공할 수 있다.
또 본 출원의 실시예에 따르면, 공포감이나 불안감, 메스꺼움 등과 같은 플레이어의 감정 상태를 검출함으로써, VR 게임 내의 환경을 조절하거나 VR 진행 요원이 조치를 취할 수 있도록 알람을 제공하여 플레이어에게 보다 개선된 VR 서비스를 제공할 수 있다.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서의 실시예에 따른 가상 현실 시스템의 블록도이다.
도 2는 본 명세서의 실시예에 따른 가상 현실 시스템의 개략도이다.
도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다.
도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다.
도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이다.
도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 명세서는 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템(1000)에 관한 것이다.
이하에서는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)에 관하여 도 1 및 도 2를 참조하여 설명하기로 한다.
가상 현실 시스템(1000)은 사용자에게 가상 현실을 제공하는 시스템이다. 여기서, 가상 현실(VR: Virtual Reality)이라 현실 세계와 달리 컴퓨터 프로그램에 의해 만들어진 시각 및 청각 정보 등을 이용하여 제공되는 인공 환경을 의미할 수 있다.
가상 현실은 주로 프로그램에 의해 현실과 분리된　가상　공간을 생성하여 이에 대한 이미지를 제공하는　협의의 가상 현실, 현실 세계를 기반으로　가상의 이미지를 겹쳐 하나의 이미지로 제공하는 증강 현실(AR: Augmented Reality) 및 현실 세계와　가상　현실을 융합하여　가상　공간을 제공하고 이에 대한 이미지를 제공하는 혼합 현실(MR: Mixed Reality)로 구분될 수 있으나, 본 명세서에서 '가상 현실'이라는 용어는 별도의 언급이 없는 한 광의의 가상 현실로 해석될 수 있다.
본 명세서에서는 가상 현실 시스템(1000)은 예를 들어 가상 현실로 만들어진 비디오 게임(이하 'VR 게임'이라 함)을 사용자(이하 '플레이어(3)'라 함)에게 제공할 수 있다.
도 1은 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 블록도이고, 도 2는 본 명세서의 실시예에 따른 가상 현실 시스템(1000)의 개략도이다.
도 1 및 도 2를 참조하면, 가상 현실 시스템(1000)은 헤드 마운트 디스플레이(HMD(1100): Head-Mounted Display), 게임 콘트롤러(1200), 보조 컴퓨팅 장치(1300), 측위 모듈(1400), 모니터링 모듈(1500) 및 서버(1600)를 포함할 수 있다.
HMD(1100)는 플레이어(3)의 두부에 착용되는 기기로서, 가상 현실 서비스의 사용자에 대한 출력 인터페이스로의 기능을 수행할 수 있다.
주로 HMD(1100)는 플레이어(3)에게 가상 환경에 관한 시각적 정보, 즉 가상 이미지를 출력할 수 있다. 예시적으로 HMD(1100)는 착용자의 양 눈에 서로 격리된 두 개의 이미지를 출력하는 스테레오스코픽 디스플레이를 통해 플레이어(3)에게 3차원 영상을 제공할 수 있다.
또 HMD(1100)는 선택적으로 음성을 출력하는 스피커를 포함하여 착용자에게 가상 환경에 관한 음성 출력을 할 수도 있다.
HMD(1100)는 상술한 출력 인터페이스로서의 역할 이외에도 착용자에 대한 센서로서 기능할 수도 있다. 예를 들어, HMD(1100)에는 자이로 센서나 가속도 센서 등이 탑재되고, HMD(1100)는 이를 이용해 사용자의 두부의 움직임이나 두부의 자세를 감지할 수 있다.
이외에도 HMD(1100)에는 가상 현실 시스템(1000)의 측위 모델이 착용자의 두부의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.
게임 콘트롤러(1200)는 가상 현실 서비스의 사용자에 대한 입력 인터페이스로의 기능을 수행한다.
게임 콘트롤러(1200)는 주로 스틱 형상이나 도 2에 도시된 바와 같은 총(gun) 형상으로 제공되며 플레이어(3)에 의해 파지될 수 있다.
게임 콘트롤러(1200)는 플레이어(3)의 조작을 입력받는 조작 버튼을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 조작 버튼을 통해 가상 공간 상에서 총을 발사할 수 있다.
또 게임 콘트롤러(1200)는 플레이어(3)의 조작에 따라 조정되는 게임 콘트롤러(1200)의 자세를 감지하는 자이로 센서나 가속도 센서 등을 포함할 수 있다. 예를 들어, 플레이어(3)는 게임 콘트롤러(1200)의 자세를 조절하여 가상 공간 상에서 총의 발사 방향을 조정할 수 있다.
이외에도 게임 콘틀롤러(1200)에는 가상 현실 시스템(1000)의 측위 모델이 게임 콘트롤러(1200)의 위치나 자세, 모션 등을 추적하는데 이용되는 마커 등이 그 외관에 설치될 수 있다.
측위 모듈(1400)은 현실 공간 상에서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측정할 수 있다.
VR 게임 내의 가상 공간은 VR 게임이 수행되는 현실 공간인 플레이그라운드(1)와 매칭될 수 있는데, 예를 들어 플레이어(3)가 현실 공간에서는 도 2에 도시된 바와 같이 플레이그라운드(1) 상에 위치할 때 가상 현실 시스템(1000)은 플레이어(3)가 조종하는 캐릭터(이하 '플레이어(3) 캐릭터' 또는 '아바타'라고 함)를 가상 공간에서는 플레이그라운드(1) 상의 위치에 대응하는 가상 위치에 배치하거나, 플레이어(3)가 플레이그라운드(1) 상에 이동하면 아바타 역시 가상 공간 내에서 이동시킬 수 있다.
측위 모듈(1400)은 이처럼 가상 현실 시스템(1000)이 가상 공간 내의 아바타를 처리하기 위한 기초 정보로서 플레이어(3)나 게임 콘트롤러(1200)의 위치를 측위할 수 있다.
측위 모듈(1400)은 예시적으로 플레이그라운드(1) 내의 플레이어(3)나 HMD(1100)나 게임 콘트롤러(1200)에 설치된 마커를 추적하는 카메라일 수 있다. 여기서, 카메라는 RGB 카메라를 비롯한 적외선 카메라나 열상 카메라를 모두 포함하는 개념이며, 측위 모듈(1400)은 카메라 이외에도 다양한 형태로 구현될 수 있다.
측위 모듈(1400)은 플레이그라운드(1) 내의 플레이어(3)를 촬상하기 적절한 각도를 갖도록 플레이그라운드(1)이 주변에 배치되는 구조물(2)에 설치될 수 있다.
보조 컴퓨팅 장치(1300)와 서버(1600)는 가상 현실을 구현하기 위한 각종 연산 및 정보 처리를 수행할 수 있다. 예를 들어, 이들은 측위 모듈(1400)이나 HMD(1100), 게임 콘트롤러(1200)에서 검출된 각종 정보를 처리하여 플레이어(3)나 게임 콘트롤러(1200)의 위치나 자세, 모션, 플레이어(3)의 시야각 등을 산출하고, 산출된 정보를 이용하여 가상 현실을 형성하는 시각적/청각적 정보를 생성한다.
도 1 및 도 2에는 보조 컴퓨팅 장치(1300)와 서버(1600)가 별개의 구성인 것으로 도시하고 있으나, 가상 현실 시스템(1000)에서 보조 컴퓨팅 장치(1300)가 생략되고 보조 컴퓨팅 장치(1300)의 기능이 서버(1600)나 HMD(1100)로 통합될 수도 있다.
다만, VR 게임 서비스에서는 몰입도의 향상을 위해 시청각적 피드백의 실시간성이 중요할 수 있는데, 서버(1600)와 HMD(1100) 간의 무선 통신을 이용하는 경우 지연 시간이 발생할 수 있는 반면, 플레이어(3)에 의해 소지되어 HMD(1100)와 유선으로 연결이 가능한 보조 컴퓨팅 장치(1300)가 VR 이미지나 음성을 생성하여 이를 HMD(1100)로 유선 전송하면 저지연 시청각 피드백이 가능한 장점이 있을 수 있다.
여기서, 보조 컴퓨팅 장치(1300)나, 서버(1600) 또는 연산 기능을 갖는 HMD(1100)는 제어기를 포함할 수 있으며, 본 명세서에서 제어기는 컴퓨터 프로그램을 수행하는 칩이나 프로세서, 각종 연산 및 정보 처리를 수행할 수 있는 전기적 회로와 같은 하드웨어적 형태는 물론 소프트웨어적 형태 내지는 하드웨어와 소프트웨어가 결합된 형태를 포괄하는 것으로 해석될 수 있다.
한편, 후술되는 본 명세서의 실시예에 따른 방법들에서 가상 현실 시스템(1000)이 수행하는 동작들은 특별한 언급이 없는한 상술한 제어기의 제어에 따라 수행되는 것으로 이해될 수 있음을 밝혀둔다.
모니터링 모듈(1500)은 VR 게임의 관리자에게 정보를 제공할 수 있다.
여기서, 관리자는 테마 파크 등의 장소 기반 VR 플랫폼에서 VR 서비스의 운영을 담당하는 인력을 의미할 수 있다. 일반적으로 장소 기반 VR 플랫폼 운영시에는 플레이어(3) 중 VR에 익숙치 못한 초심자가 있을 수 있으며, 이들이 VR 서비스를 즐길 수 있도록 관리자는 VR과 관련된 각종 장비의 착용이나 VR 서비스의 진행 방법 등을 안내하는 등의 부수적인 서비스를 제공할 수 있다.
특히, 어린이나 게임에 익숙치 못한 노약자나 고소 공포증이나 폐쇄 공포증이 있는 이용자들의 경우에는 VR의 몰입감으로 인해 VR 서비스를 즐기지 못하거나 심한 경우에는 불안감이나 공포감을 느끼고, 멀미나 구토감을 일으키기도 하므로, 관리자가 이러한 VR 서비스의 이용자의 상태를 신속하게 파악하여 그에 따른 고객 응대를 하는 것은 VR 서비스에서 매우 중요한 요소 중 하나로 볼 수 있다.
모니터링 모듈(1500)은 관리자에게 현재 VR 서비스를 이용하는 플레이어(3)의 상태나 플레이어(3)에게 필요한 조치에 대한 정보나 지시를 제공할 수 있다. 예시적으로 모니터링 모듈(1500)은 디스플레이나 스피커 또는 이들이 조합된 기기로 제공될 수 있으며, 상술한 정보들을 관리자에게 출력할 수 있다. 물론, 모니터링 모듈(1500)은 이외에도 주변 관람객에게 VR의 가상 공간 내에서 진행되는 상황을 표시하는 중계 방송을 하거나, VR 게임 내의 정보를 표시하는 전광판으로 기능하거나 또는 VR 게임에 대해 홍보하는 영상을 출력하는 광고판으로써의 역할을 겸하는 것도 가능하다. 모니터링 모듈(1500)은 디스플레이 형태 이외에도 조치가 필요한 이용자에게 조명을 조사하는 조명 라이팅 형태로 제공되는 것도 가능할 수 있다.
이상에서 언급한 가상 현실 시스템(1000)의 구성 요소들은 서로 통신 유닛을 통해 데이터를 송수신할 수 있음을 밝혀둔다.
이하에서는 본 명세서의 실시예에 따른 감정 분석 방법에 관하여 설명한다. 여기서, 플레이어(3)의 감정이란 즐거움, 흥미도, 흥분도, 몰입도, 공포감, 불안감, 지루함 등과 같은 인간의 감정을 포괄하는 의미로 이해될 수 있다. 또한, 본 명세서에서는 플레이어(3)의 감정 대신 플레이어(3)의 상태를 분석하는 것으로 이해하여도 전체적인 취지 상 무방함을 미리 밝혀둔다.
또한, 본 방법은 주로 가상 현실 게임용 감정 분석 방법으로 해석될 수 있으나, 반드시 게임용이어야만 하는 것은 아님을 미리 밝혀둔다.
한편, 이하의 설명에서 수행되는 동작들은 다른 구성 요소가 수행하는 것으로 별도로 언급하거나 문맥상 그러한 것이 분명한 경우를 제외하고는 가상 현실 시스템(1000), 특히 서버(1600)에 의해 수행되는 것으로 이해되어야 할 것이다.
도 3은 본 명세서의 실시예에 따른 감정 분석 방법의 일 예의 순서도이다.
도 3을 참조하면, 본 명세서의 실시예에 따른 감정 분석 방법은 플레이어(3)의 현실 공간 정보를 획득하는 단계(S1100), 플레이어(3)의 가상 공간 정보를 획득하는 단계(S1200) 및 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석하는 단계(S1300)를 포함할 수 있다.
이하에서는 상술한 감정 분석 방법의 일 예의 각 단계들에 관하여 도 4를 참조하여 설명한다.
도 4는 본 명세서의 실시예에 따른 감정 분석을 수행하는 인공 신경망의 예시에 관한 도면이다.
먼저 가상 현실 시스템(1000)은 플레이어(3)의 현실 공간 정보를 획득할 수 있다(S1100). 여기서, 현실 공간 정보는, 현실 세계에서 플레이어(3)가 플레이그라운드(1) 상 위치하는 위치, 플레이어(3)의 자세, 플레이어(3)의 움직임이나 동작, 플레이어(3)의 표정, 플레이어(3)의 동공의 상태나 움직임과 같이 플레이어(3)의 현실 공간에서의 신체 반응적인 모든 것을 포함하는 포괄적인 개념이다. 이러한 현실 공간 정보는 가상 현실 시스템(1000)에서 다양한 방식으로 획득될 수 있으며, 이하는 그 몇몇 대표적인 예시들에 대한 언급이다.
일 예로, 가상 현실 시스템(1000)은 플레이어(3)의 위치를 획득할 수 있다.
카메라로 제공되는 측위 모듈(1400)이 플레이어(3)가 위치하는 플레이그라운드(1)를 촬상하고 이를 서버(1600)로 전송하고, 서버(1600)는 카메라가 촬상한 이미지로부터 플레이그라운드(1) 상의 플레이어(3)의 위치를 판단할 수 있다. 이때 서버(1600)는 전통적인 객체 인식 알고리즘이나 딥 러닝 등의 기계학습 알고리즘을 이용하여 이미지로부터 사람 형태를 인식함으로써 플레이어 위치를 산출할 수 있다. 예시적으로, 서버(1600)는 사람 형태의 오브젝트에 대한 바운딩 박스를 생성하는 인공 신경망 모델을 통해 이미지 중 플레이어(3) 영역에 대해 바운딩 박스를 검출하고, 플레이어(3)의 발에 해당하는 바운딩 박스의 밑면이 플레이그라운드(1)의 지면과 동일한 높이인 점을 이용해 카메라의 자세 및 위치를 고려해 촬상 이미지를 플레이그라운드(1)를 기준면으로 하는 탑뷰로 변환하여 플레이그라운드(1) 상에서 플레이어(3)가 위치하는 지점을 산출할 수 있을 것이다.
또는 HMD(1100)나 게임 콘트롤러(1200)를 비롯해 플레이어(3)에 착용되는 장비에 마커를 준비하고, 이미지로부터 마커를 검출하고, 마커의 크기, 위치 관계, 배열 패턴 등을 통해 플레이그라운드(1) 상에 플레이어(3)가 위치하는 위치를 검출하는 것도 가능하다.
그 밖에도 능동형 소자를 플레이어(3)에 착용되는 장비에 준비하고, 그 신호를 검출하는 방식으로 플레이어(3)의 위치를 산출하거나 플레이어(3)에 착용되는 장비에 설치되는 가속도계나 자이로센서 등의 센싱값을 서버(1600)가 수신하고 이를 통해 플레이어(3)의 위치를 검출하는 것도 가능하다.
다른 예로, 가상 현실 시스템(1000)은 플레이어(3)의 자세를 획득할 수 있다. 자세의 획득은 위치의 획득과 유사하게, 플레이어(3)가 촬상된 이미지로부터의 자세 인식 알고리즘을 통하거나 각종 마커를 통한 관절 각도나 위치를 통한 자세 인식 알고리즘 등을 통해 수행될 수 있다.
또 다른 예로, 가상 현실 시스템(1000)은 움직임이나 모션을 획득할 수 있다. 움직임은 획득 역시 위치나 자세의 획득과 유사하게 획득될 수 있다. 구체적으로는 연속 촬상된 이미지 간의 차이나 마커의 위치 변화의 분석을 통해 시간 축 상에서 플레이어(3)의 자세나 위치의 변화를 통해 움직임이나 모션을 획득할 수 있다. 물론, 각종 장비에 탑재된 가속도계나 자이로 센서의 신호값을 이용하여 움직임의 속도나 방향, 자세의 변화 등을 직접 측정하는 것도 가능할 수 있다.
다시 또 다른 예로, HMD(1200)에 탑재된 동공 트래킹 수단을 통해 플레이어(3)의 동공의 상태나 움직임, 이동 경로, 시야 방향, 시야 전환 속도 등을 획득할 수도 있다.
또 다시 또 다른 예로는, 사용자의 신체에 각종 바이오 센서(예를 들면, 맥박 센서 등)을 부착하여 이에 기초하여 현실 공간 정보를 획득하는 것도 가능하다.
다음으로 가상 현실 시스템(1000)은 플레이어(3)의 가상 공간 정보를 획득할 수 있다(S1200). 여기서, 가상 공간 정보는 가상 세계에서 플레이어(3)가 수행하는 각종 조작, 조작에 따른 결과, 아바타의 위치, 게임 스코어, 게임 수행 속도, 플레이어의 게임 세션으로의 진입 여부, 게임 클리어 여부, 게임 스코어, 아바타의 사망율, 아바타의 타격/피격 빈도, 적 캐릭터의 타격/피격 빈도, 게임의 승률 등과 같이, VR 게임과 관련된 모든 기초 정보(raw information)은 물론 이들을 통계적으로 처리한 가공 정보를 모두 포괄하는 포괄적인 개념이다.
가상 공간 정보는 서버(1600)에 의해 획득될 수 있으며, 이러한 정보의 처리에는 측위 모듈(1400)에 의해 감지되는 플레이어(3)의 움직임이나 게임 콘트롤러(1200)를 통한 사용자 조작, HMD(1100)를 통한 두부의 움직임 등을 추가로 고려할 수 있다.
상술한 정보들을 획득하면, 가상 현실 시스템(1000)은 현실 공간 정보 및 가상 공간 정보에 기초하여 플레이어(3)의 감정을 분석할 수 있다(S1300).
구체적으로 서버(1600)는 딥 러닝을 비롯한 다양한 기계 학습 알고리즘을 이용하여 현실 공간 정보나 가상 공간 정보 또는 이 둘을 모두 이용하여 플레이어(3)의 감정이나 감정 상태 또는 상태를 분석/예상할 수 있다. 예를 들면, 서버(1600)는 장기간 동안 정지 자세로 있거나 동공 트래킹 결과 눈을 감고 있는 것을 감지하면, 플레이어(3)가 공포나 불안, 지루함 등의 부정적인 감정을 갖는 것으로 분석할 수 있다. 다른 예를 들어, 서버(1600)는 플레이어(3)의 동공이 매우 빠른 속도로 움직이고 있다면, 플레이어(3)가 흥분, 즐거움, 재미 등의 긍정적 감정을 갖는 것으로 분석할 수 있다. 또 다른 예를 들어, 가상 공간 상에서 아바타가 자주 사망하는 것이 확인되면, 서버(1600)는 이를 기초로 플레이어(1600)가 짜증을 갖는 것으로 예측할 수 있으며, 반대로 아바타가 전혀 사망하지 않거나 모든 목표를 빠른 시간 안에 달성한다면 지루함을 느낄 것으로 예측할 수 있다.
다만, 상술한 현실/가상 공간 정보를 이용한 감정 분석은 대단히 복잡한 분야이며, 본 명세서에서는 인공 신경망 기법을 활용해 비교적 정확한 감정 분석을 수행할 수 있다.
도 4는 감정 분석을 수행하는 인공 신경망의 구조를 도시한 것으로, 인공 신경망은 현실 공간 정보 및 가상 공간 정보 중 적어도 일부를 입력받는 입력 레이어와 감정 분석 결과를 출력하는 출력 레이어를 가질 수 있다. 또 인공 신경망의 입력 레이어와 출력 레이어 사이에는 출력 레이어에 의해 도출된 감정 분석 결과와 실제의 감정 간의 오차를 역전시킴으로써 웨이트와 바이어스가 조정되는 은닉 레이어가 배치될 수 있다. 이러한 인공 신경망은 감정 분석 결과의 참값이 라벨링된 입력 데이터로 구성되는 학습 자료인 러닝 셋을 통해 그 모델이 점차로 정밀해지는 방향으로 학습될 수 있으며, 충분한 정확도를 갖도록 학습된 인공 신경망 모델은 하드웨어적으로 또는 소프트웨어적으로 또는 이 둘이 조합된 형태로 서버(1600)에 저장될 수 있다.
따라서, 서버(1600)는 상술한 현실 공간 정보나 가상 공간 정보로부터 인공 신경망 모델을 이용해 플레이어(3)의 감정에 관한 분석 결과를 획득할 수 있게 된다. 물론, 해당 인공 신경망 모델은 서버(1600)가 아닌 원격지에 별도로 준비되고, 서버(1600)는 원격지 컴퓨터와의 통신을 통해 감정 분석을 수행하는 것도 가능할 수 있다.
다만, 이처럼 구성된 인공 신경망의 고도화에는 수많은 러닝 셋 데이터를 통한 학습이 필수적으로 요청되며, 다시 말해 인공 신경망의 정확도는 러닝 셋의 수집에 크게 의존되는 것이다.
그런데, 본 명세서에서 말하고 있는 플레이어(3)의 감정은 수치화시켜 표현하기 쉽지 않기 때문에 러닝 셋의 데이터 라벨링이 어려울 수 있으므로, 본 명세서에서는 인공 신경망의 분석 결과가 직접적인 감정 카테고리인 대신 비교적 감정 상태를 투명하게 반영하는 현실 공간 정보를 감정 정보로 정의할 수 있다. 다시 말해, 입력 레이어로 입력되는 다양한 정보들 중 일부를 인공 신경망의 결과값으로 라벨링함으로써 비교적 학습 데이터의 확보가 용이해질 수 있는 것이다.
구체적인 예시를 들면, 플레이어(3)의 심박수나 호흡수 등과 같이 감정에 따라 비교적 적은 레이턴시를 가지고 직접적으로 변화하는 생체 수치를 감정 정보로 이용할 수 있는 것이다. 예를 들면, 심박수가 빨라질수록 플레이어(3)의 흥분도가 상승되거나 불안감/공포감이 상승하는 것으로 이해될 수 있으며, 심박수가 느려질수록 플레이어(3)가 지루함을 크게 느끼고 흥미를 잃는 것으로 이해할 수 있을 것이다. 이는 동공의 움직임 등에도 유사하게 적용될 수 있다.
다만, 상술한 바와 같이 심박수나 동공의 움직임 등의 상승은 흥분도나 불안감의 상승을 의미하지만 양자에 함께 적용될 수 있어, 조금더 세밀한 감정 상태를 구분하기 위해 현실 공간 정보를 감정 정보로 이용함에 있어 추가적인 현실 공간 정보나 가상 공간 정보를 함께 이용할 수 있다.
조금 더 구체적으로 설명하면, 심박수나 동공 움직임 등과 같은 직관적인 현실 공간 정보와 게임 내의 스코어 등과 같이 게임이 잘 진행되고 있는지를 직관적으로 반영하는 가상 공간 정보를 주요 변수로 하는 감정 인덱스를 정의하고, 이를 감정 분석 결과물로써 이용할 수 있는 것이다. 이때 감정 인덱스는 부정적인 감정으로부터 긍정적인 감정으로부터 갈수록 수치가 증감하는 형태로 마련될 수 있을 것이다. 여기서, 생체 정보는 감정의 강도를 반영하고, 감정 종류는 VR 게임 내의 게임 진행 상황에 따라 반영되는 것으로 해석될 수도 있다.
이러한 학습 데이터 셋은 플레이어(3)의 VR 게임 플레이로부터 자연스럽게 확보될 수 있으므로, 비교적 인공 신경망의 학습과 고도화가 용이할 것이다.
결과적으로 위의 예시적 언급과 같이 학습된 인공 신경망 모델을 이용하면 서버(3)는 현실/가상 공간 정보로부터 플레이어(3)의 감정 상태를 반영하는 수치 범위에서 결정되는 감정 인덱스를 획득할 수 있다.
상술한 바와 같이 가상 현실 시스템(1000)이 VR 체험 중인 플레이어(3)의 감정을 분석하게 되면, VR 서비스의 운용에 플레이어(3)의 감정 정보를 다양한 형태로 활용할 수 있다.
이하에서는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 예시들에 관해 도 5 및 도 6을 참조하여 설명하기로 한다.
도 5는 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 일 예에 관한 순서도이고, 도 6은 본 명세서의 실시예에 따른 가상 현실 서비스 운용 방법의 다른 예에 관한 순서도이다.
도 5를 참조하면, 가상 현실 서비스 운용 방법의 일 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S2100), 플레이어(3)의 감정을 분석하는 단계(S2200) 및 분석된 감정에 기초하여 게임 난이도를 조정하는 단계(S2300)를 포함할 수 있다.
도 6을 참조하면, 가상 현실 서비스 운용 방법의 다른 예는, 플레이어(3)의 현실 및/또는 가상 공간 정보를 획득하는 단계(S3100), 플레이어(3)의 감정을 분석하는 단계(S3200) 및 분석된 감정에 기초하여 현장 요원에게 플레이어 가이드를 지시하는 단계(S3300)를 포함할 수 있다.
여기서, 단계 S2100과 S3100, 그리고 단계 S2200과 S3200에 관해서는 이미 자세히 설명한 바 있으므로 이에 대한 설명은 생략하기로 한다.
가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 VR 게임의 난이도를 조절할 수 있다(S2300).
구체적으로 서버(1600)는 흥분도를 표현하는 값을 갖는 감정 인덱스 형태로 감정 분석 결과를 얻을 수 있으며, 플레이어의 흥분도가 낮은 경우에 난이도를 변경할 수 있다. 보다 구체적으로는, 심박수나 맥박수가 낮으면 흥미가 없는 것으로 이해될 수 있고, 반대로 높으면 흥미가 있는 것으로 이해될 수 있으므로, 서버(1600)는 흥미가 없는 것으로 해석되는 결과값이 획득되면 난이도를 변경할 수 있다. 이‹š 인-게임 정보에 기초하여 플레이어(3)가 게임에 곤람함을 겪고 있다면 난이도를 낮추는 방향으로, 반대의 경우에는 난이도를 높이는 방향으로 난이도를 변경할 수 있을 것이다.
또 가상 현실 시스템(1000)은 플레이어(3)의 감정을 분석한 결과를 이용해 현장 요원에게 플레이어 가이드를 지시할 수 있다(S2300).
구체적으로 서버(1600)는 플레이어(3)의 공포감이나 불안감, 메스꺼움 등이 높은 감정이 검출되면, 현장 요원에게 해당 플레이어(3)를 돕거나 해당 플레이어(3)에 대한 VR 서비스 중단을 지시할 수 있다. 이러한 지시는 모니터링 모듈(1500)을 통해 출력되는 것도 가능하다.
이상의 다양한 예시들을 수행하기 위해 서버(1600)에는 인-게임 정보와 조명 속성 간의 매칭 테이블이 저장되어 있을 수 있으며, 서버(1600)는 조명 속상과 매칭되는 인-게임 정보를 획득하면, 매칭 테이블을 참조하여 조명 속성을 결정하고, 이에 따라 해당 인-게임 정보와 관련된 플레이어(3)를 결정한 뒤, 해당 플레이어(3)에게 결정된 조명 속성에 따라 조명 연출을 수행할 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 방법들은 단독으로 또는 서로 조합되어 이용될 수 있다. 본 발명의 실시예에 따른 방법에서 설명된 각 단계들은 모두 필수적인 것은 아니므로 각 방법들이 그 단계들을 전부 포함하는 것은 물론 일부만 포함하여 수행되는 것도 가능하다. 또 각 단계들이 설명된 순서는 설명의 편의를 위한 것에 불과하므로, 본 발명에서 설명된 방법에서 각 단계들이 반드시 설명된 순서대로 진행되어야 하는 것은 아니다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 이상에서 설명한 본 발명의 실시예들은 서로 별개로 또는 조합되어 구현되는 것도 가능하다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 플레이그라운드 2: 구조물
3: 플레이어 1000: 가상 현실 시스템
1100: HMD 1200: 게임 콘트롤러
1300: 보조 컴퓨팅 장치 1400: 측위 모듈
1500: 모니터링 모듈 1600: 서버

Claims (7)

  1. VR 게임을 수행하는 플레이어에 관한 현실 공간 정보를 획득하는 단계;
    감정 강도를 반영하는 생체 정보 및 감정 종류를 반영하는 상기 VR 게임 내의 게임 진행 정보를 이용하여 정의되는 감정 인덱스가 상기 현실 공간 정보에 라벨링된 학습 데이터를 이용하여 학습된 인공 신경망을 이용하여 상기 현실 공간 정보로부터 상기 플레이어의 감정 정보를 획득하는 단계; 및
    상기 감정 정보에 기초하여 현장 요원에 대한 플레이어 가이드를 지시하는 단계;를 포함하는
    가상 현실 게임용 감정 분석 방법.
  2. 제1 항에 있어서,
    상기 생체 정보는, 호흡수, 맥박수, 심박수 및 혈압 중 적어도 하나를 포함하는
    가상 현실 게임용 감정 분석 방법.
  3. 제1 항에 있어서,
    상기 게임 진행 정보는, 게임 내의 스코어의 변화율을 포함하는
    가상 현실 게임용 감정 분석 방법.
  4. 제1 항에 있어서,
    상기 감정 정보에 기초하여 상기 VR 게임의 난이도를 조정하는 단계;를 더 포함하는
    가상 현실 게임용 감정 분석 방법.
  5. 삭제
  6. 제1 항에 있어서,
    상기 현실 공간 정보는, 상기 플레이어의 위치, 움직임, 속도, 자세 및 시선 중 적어도 하나를 포함하는
    가상 현실 게임용 감정 분석 방법.
  7. 삭제
KR1020200077788A 2020-06-25 2020-06-25 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템 KR102433084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077788A KR102433084B1 (ko) 2020-06-25 2020-06-25 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077788A KR102433084B1 (ko) 2020-06-25 2020-06-25 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템

Publications (2)

Publication Number Publication Date
KR20220000164A KR20220000164A (ko) 2022-01-03
KR102433084B1 true KR102433084B1 (ko) 2022-08-17

Family

ID=79348390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077788A KR102433084B1 (ko) 2020-06-25 2020-06-25 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템

Country Status (1)

Country Link
KR (1) KR102433084B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116603232A (zh) * 2023-05-30 2023-08-18 深圳市德尔凯科技有限公司 一种基于三维vr和实体反馈互助游戏娱乐系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10285634B2 (en) * 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
KR20190020418A (ko) * 2017-08-21 2019-03-04 주식회사 엠투에스 가상현실을 이용한 심리 모니터링 시스템 및 이를 이용한 심리치료 시스템

Also Published As

Publication number Publication date
KR20220000164A (ko) 2022-01-03

Similar Documents

Publication Publication Date Title
US11947719B2 (en) Building saccade models for predicting a landing point of a saccade experienced by a player
JP7041763B2 (ja) ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
TWI786701B (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
US9345957B2 (en) Enhancing a sport using an augmented reality display
US9498720B2 (en) Sharing games using personal audio/visual apparatus
US8956227B2 (en) Storage medium recording image processing program, image processing device, image processing system and image processing method
Shaw et al. Challenges in virtual reality exergame design
US10328339B2 (en) Input controller and corresponding game mechanics for virtual reality systems
KR102530747B1 (ko) 챌린지 게임 시스템
EP4316618A1 (en) Program, method, and information processing device
JP2020107123A (ja) プログラム、情報処理装置、および方法
KR102433084B1 (ko) 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
Dabnichki Computers in sport
US11975268B2 (en) User input method and apparatus
CN114025854A (zh) 程序、方法以及终端装置
Katz et al. Virtual reality
EP2560382A2 (en) Game apparatus, control method for game apparatus, information recording medium, and program
KR102433085B1 (ko) 가상 현실 게임용 중계 화면 생성 방법 및 이를 수행하는 가상 현실 시스템
KR102433082B1 (ko) 가상 현실 게임용 인-게임 이벤트 기반 조명 연출 방법 및 이를 수행하는 가상 현실 시스템
Miura et al. Bird’s-eye view provided in real-time via drone improves spatial perception for team sports
Genay et al. What Can I Do There? Controlling AR Self-Avatars to Better Perceive Affordances of the Real World
JP2024018447A (ja) 仮想空間移動装置、仮想空間移動方法、及び仮想空間移動プログラム
Christou An affective gaming scenario using the Kinect Sensors
Katz et al. Sport Technology Research Laboratory, University of Calgary

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant