KR101386649B1 - Game Apparatus Applying User state And Method Providing Thereof - Google Patents
Game Apparatus Applying User state And Method Providing Thereof Download PDFInfo
- Publication number
- KR101386649B1 KR101386649B1 KR1020110142528A KR20110142528A KR101386649B1 KR 101386649 B1 KR101386649 B1 KR 101386649B1 KR 1020110142528 A KR1020110142528 A KR 1020110142528A KR 20110142528 A KR20110142528 A KR 20110142528A KR 101386649 B1 KR101386649 B1 KR 101386649B1
- Authority
- KR
- South Korea
- Prior art keywords
- game
- user
- signal
- ppg
- gsr
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
Abstract
본 발명은 사용자의 상태 적용 게임 장치 및 그 게임 제공 방법에 관한 것으로서, 본 발명에 따른 사용자의 상태 적용 게임 장치는 사용자의 자율 신경계 변화를 측정하여 집중도를 추출하고, 추출된 집중도를 기반으로 판단된 사용자의 상태를 게임 내용에 적용하는 것을 특징으로 한다. 본 발명에 따르면, 사용자의 집중상태에 따라 게임 인센티브를 받도록 할 수 있고 게임의 난이도를 변경할 수 있어서 사용자에게 지능적인 게임을 제공할 수 있고, 특히 게임 사용자의 신체정보를 실시간으로 측정하여 사용자의 상태에 따라 좀더 흥미로운 게임 컨텐츠를 제공할 수 있다.The present invention relates to a game device for a state application of a user and a game providing method thereof, wherein the game device for applying a state of the user according to the present invention measures autonomic nervous system changes of a user and extracts the concentration, And the state of the user is applied to the contents of the game. According to the present invention, it is possible to receive a game incentive according to a concentration state of a user and to change a degree of difficulty of a game, thereby providing an intelligent game to a user. In particular, To provide more interesting game content.
Description
본 발명은 사용자의 상태 적용 게임 장치 및 그 게임 제공 방법에 관한 것으로서, 보다 구체적으로는 사용자의 자율 신경계 변화를 측정하여 사용자의 상태를 반영하는 게임 장치 및 그 게임 제공 방법에 관한 것이다.BACKGROUND OF THE
종래의 다이어트 프로그램이나 건강 관리 프로그램은 식사량 조절, 운동 등을 사용자가 자율적으로 실시한 후, 그 결과를 개인 컴퓨터 등을 이용한 관리 프로그램에 직접 입력하거나 건강 관리 노트에 직접 기재하는 방법으로 구성되었다.Conventional diet programs and health care programs consist of a method in which the user voluntarily carries out diet adjustment and exercise and then inputs the results directly into a management program using a personal computer or the like or directly describes the results in a health care notebook.
이러한 종래의 방법에서 사용자는 자신의 키, 몸무게 및 성별 등과 같은 기본적인 신체 지수들에 근거하여 산출된 표준적인 칼로리량이나 운동량에 맞춰 사용자 자신의 의지로 건강을 관리하고, 이렇게 실시한 결과를 관리 프로그램에 스스로 반영하였다.In this conventional method, the user manages his / her own health according to the standard calorie amount or exercise amount calculated based on basic body indexes such as his / her key, weight and sex, Self-reflection.
따라서, 다이어트나 건강 관리가 전적으로 사용자 자신의 자발적인 노력에만 달려 있어서, 종래의 다이어트 프로그램이나 건강 관리 프로그램은 사용자에게 지속적인 동기 유발과 자극을 주지 못하며, 그 결과 흥미 감소에 따른 실패로 이어지는 경우가 많았다.Thus, diet or health care is entirely dependent on the user's voluntary efforts, and conventional diet programs or health care programs often do not give the user a sustained incentive and stimulation, resulting in a failure due to a decrease in interest.
더불어, 종래의 다이어트 프로그램이나 건강 관리 프로그램은 그 과정에 주목하는 것이 아니라, 최초에 설정한 목표치의 달성에만 주목하기 때문에 사용자의 신체적인 변화나 상황 변화에 능동적으로 대처하지 못하고, 지속적인 신체 관리에 실패하는 원인이 되었다.In addition, the conventional diet program or health care program does not pay attention to the process, but focuses only on the attainment of the target value set at the beginning, so that the user can not actively cope with physical changes or changes in conditions of the user, .
또한, 종래의 측정 장치를 이용한 다이어트 프로그램의 경우에도 지속적인 측정 책임이 사용자에게 있어 꾸준한 건강 관리에 어려움이 있으며, 반드시 측정 장치가 있는 장소에 가서 측정해야 하는 번거로움이 있었다.In addition, even in the case of a diet program using a conventional measuring device, continuous measurement responsibility is difficult for a user to maintain a steady health, and the user has to go to a place where the measuring device is located.
전술한 바와 같은 종래의 사용자 자신의 자발적인 노력에만 의존한 흥미 저하의 문제점과, 운동량 평가 및 사용자의 임의적인 수기 입력의 불편함, 운동 장소 및 시간의 제한을 극복하기 위해, 바이오 센서를 이용하여 사용자의 생체 신호를 객관적으로 측정하고, 측정한 생체 신호를 통신 단말기를 통해 실시간 서버에 전송함으로써 시간과 장소에 구애받지 않는 지속적인 건강 관리가 가능하고, 사용자의 생체 신호 분석 결과에 기초한 수행 과제를 부여하여 사용자의 신체적 변화 및 상황 변화에 맞는 유연한 건강 관리 서비스를 제공하며, 수행 과제 달성도에 기초하여 승패를 결정하는 게임 요소를 도입함으로써 흥미와 동기를 유발하는 실시간 게임 시스템 및 서비스 방법이 제공되었다.In order to overcome the problems of interest deterioration depending on the voluntary effort of the user himself or herself as described above and the limitation of the exercise amount and the inconvenience of arbitrary manual input of the user and the limitation of the exercise place and time, And transmits the measured bio-signals to the real-time server through the communication terminal. Thus, it is possible to perform continuous health management regardless of time and place, and to perform tasks based on the result of analyzing the user's bio-signal Providing a flexible healthcare service suited to physical change of the user and change of situation, and providing a game element that determines win / loss based on achievement task achievement, provides a real time game system and a service method that generate interest and motivation.
또한, 사용자에게 수행 과제를 부여함에 있어서, 게임 참가자들의 신체적 능력 차이를 반영함으로써 흥미와 동기가 유지되는 실시간 게임 시스템 및 서비스 방법이 제공되었다.In addition, a real time game system and a service method in which interest and motivation are maintained by reflecting a difference in physical ability of game participants in assigning tasks to users have been provided.
본 발명은 종래에 제공된 게임 시스템 및 서비스 방법을 개선한 것으로서, 사용자의 자율 신경계 변화를 측정하여 집중도를 추출하고, 추출된 집중도를 기반으로 판단된 사용자의 상태를 게임 내용에 적용하는 사용자의 상태 적용 게임 장치 및 그 게임 제공 방법을 제공하는 데 목적이 있다.The present invention is an improvement of a game system and a service method which are conventionally provided. The present invention provides a game system and a service method of the present invention, which can measure the autonomic nervous system change of a user and extract the concentration, A game device and a game providing method thereof are provided.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 사용자의 상태 적용 게임 장치는 감지된 게임 사용자의 자율 신경계 변화 정보를 토대로 상기 게임 사용자의 게임 집중도를 판단하여 게임에 기설정된 강화 모드 제공 여부를 결정하는 게임 모듈로서, 상기 게임 모듈은, 감지된 상기 게임 사용자의 자율 신경계 변화 정보를 무선으로 수신하는 통신부; 및 상기 통신부로부터 전달된 상기 게임 사용자의 자율 신경계 변화 정보를 토대로 상기 게임 사용자의 집중도가 기설정된 수치보다 높을 경우 기설정된 상기 게임 강화 모드를 제공하고, 상기 게임 사용자의 집중도가 기설정된 수치 이하로 떨어질 경우 기설정된 상기 게임 강화 모드 제공을 해지하는 판단부를 포함하고, 수신된 상기 게임 사용자의 자율 신경계 변화 정보인 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호에 대해 이동 평균을 실시하여 노이즈를 제거하고, 노이즈가 제거된 PPG 신호로부터 PPG Frequency, PPG Amplitude, 노이즈가 제거된 GSR 신호로부터 GSR Mean, 노이즈가 제거된 SKT 신호로부터 SKT Mean을 추출하며, 추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean을 1개의 set로, 기설정된 특정 갯수(k개, 여기서 k는 2보다 큰 짝수)만큼 set를 추출하고, 추출된 상기 k개 set의 데이터를 이용하여 상기 게임 사용자의 집중도(Attention)를 판단하는 것을 특징으로 한다. In order to achieve the above object, according to one aspect of the present invention, a game device for applying state to a user determines whether a game is concentrated in a game based on autonomic nervous system change information of a detected game user, Wherein the game module comprises: a communication unit for wirelessly receiving the detected autonomic nervous system change information of the game user; And a game intensifying unit for providing the predetermined game intensifying mode when the concentration of the game user is higher than a predetermined value based on the autonomic nervous system change information of the game user transmitted from the communication unit, A GSR (Galvanic Response) signal, and a SKT (Skin Temperature) signal, which are autonomic nervous system change information of the game user received, And extracts the SKT mean from the PPG frequency, the PPG amplitude, the GSR mean from the noise-removed GSR signal, and the SKT mean from the noise-removed PPG signal. The extracted PPG frequency, PPG Amplitude, GSR Mean, and SKT Mean are set as one set, and a predetermined number (k, where k is an even number greater than 2) And extracts a set of large k sets, and determines an attitude of the game user using the extracted k sets of data.
본 발명의 다른 면에 따른 사용자의 상태 적용 게임 방법은 게임 사용자의 손에 부착된 센서에 의해 감지된 상기 게임 사용자의 자율 신경계 변화 정보를 토대로 상기 게임 사용자의 게임 집중도를 판단하는 단계; 및 판단된 결과를 토대로 게임에 기설정된 강화 모드 제공 여부를 결정하는 단계를 포함하고, 상기 판단하는 단계는, 상기 게임 사용자의 자율 신경계 변화 정보인 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호에 대해 이동 평균을 실시하여 노이즈를 제거하는 단계; 노이즈가 제거된 PPG신호로부터 PPG Frequency, PPG Amplitude, 노이즈가 제거된 GSR 신호로부터 GSR Mean, 노이즈가 제거된 SKT 신호로부터 SKT Mean을 추출하는 단계; 및 추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean을 1개의 set로 기설정된 특정 갯수(k개, 여기서 k는 2보다 큰 짝수)만큼 set를 추출하고, 추출된 상기 k개 set의 데이터를 이용하여 상기 게임 사용자의 집중도(Attention)를 판단하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of applying a state application of a user, the method comprising: determining game concentration of the game user based on autonomic nervous system change information of the game user sensed by a sensor attached to a hand of a game user; And determining whether to provide a predetermined strengthening mode to the game, based on the determined result, wherein the determining step includes determining whether or not to provide a PPG (Photoplethysmogram) signal, a GSR (Galvanic Response) Performing a moving average on SKT (Skin Temperature) signals to remove noise; Extracting a PPG Frequency, a PPG Amplitude, a GSR Mean from the noise-removed GSR signal, and a SKT Mean from the noise-removed PPG signal; And extracts a set of a predetermined number (k, where k is an even number greater than 2) of the extracted PPG Frequency, PPG Amplitude, GSR Mean, and SKT Mean by one set, And determining an attitude of the game user using the game information.
본 발명에 따르면, 사용자의 집중상태에 따라 게임 인센티브를 받도록 할 수 있고 게임의 난이도를 변경할 수 있어서 사용자에게 지능적인 게임을 제공할 수 있다.According to the present invention, it is possible to receive a game incentive according to a concentration state of a user, change the difficulty level of the game, and provide an intelligent game to a user.
특히 게임 사용자의 신체정보를 실시간으로 측정하여 사용자의 상태에 따라 좀더 흥미로운 게임 컨텐츠를 제공할 수 있다.Particularly, it is possible to provide more interesting game contents according to the user's state by measuring the body information of the game user in real time.
도 1은 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치를 설명하기 위한 블럭도.
도 2는 사용자의 센서 착용을 설명하기 위한 예시도.
도 3은 화면 구성을 설명하기 위한 예시도.
도 4는 각 센서에 의해 감지된 정보에 따른 집중도 판단을 설명하기 위한 도면.
도 5는 Rule을 설명하기 위한 예시도.
도 6은 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치의 게임 제공 방법을 설명하기 위한 흐름도.1 is a block diagram for explaining a state application game device of a user according to an embodiment of the present invention;
2 is an exemplary view for explaining wearing of a sensor by a user;
3 is an exemplary diagram for explaining a screen configuration;
4 is a view for explaining concentration determination according to information sensed by each sensor;
5 is an exemplary diagram for explaining Rule;
6 is a flowchart illustrating a method of providing a game of a state application game apparatus of a user according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. And is intended to enable a person skilled in the art to readily understand the scope of the invention, and the invention is defined by the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.
이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치를 설명하기 위한 블럭도이고, 도 2는 사용자의 센서 착용을 설명하기 위한 예시도이며, 도 3은 화면 구성을 설명하기 위한 예시도이고, 도 4는 각 센서에 의해 감지된 정보에 따른 집중도 판단을 설명하기 위한 도면이며, 도 5는 Rule을 설명하기 위한 예시도이다.Hereinafter, a state application game device according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5. FIG. FIG. 1 is a block diagram for explaining a state-applied game apparatus of a user according to an embodiment of the present invention, FIG. 2 is an exemplary view for explaining wear of a user, FIG. 3 is an example FIG. 4 is a view for explaining concentration determination according to information sensed by each sensor, and FIG. 5 is an exemplary diagram for explaining Rule.
도 1에 도시된 바와 같이, 본 발명의 사용자의 상태 적용 게임 장치는 감지부(110), 통신부(120) 및 게임모듈(200)을 포함한다.As shown in FIG. 1, the state application game device of the present invention includes a
감지부(110)는 심박 센서(111), 혈류 센서(112) 및 피부 온도 센서(113)를 포함하고, 각 센서(111,112,113)는 도 2에 도시된 바와 같이, 게임 사용자의 손에 부착된다.The
심박 센서(111)는 게임 사용자의 심박수 변화를 감지한다.The
혈류 센서(112)는 게임 사용자의 혈류량 변화를 감지한다.The
피부 온도 센서(113)는 게임 사용자의 피부 온도 변화를 감지한다.The
감지부(110)는 각 센서(111,112,113)에 의해 감지된 정보, 즉 게임 사용자의 자율 신경계 변화 정보를 통신부(120)에 전달한다.The
통신부(120)는 감지부(110)로부터 전달받은 게임 사용자의 자율 신경계 변화 정보를 무선(블루투스, 지그비 등)으로 게임 모듈(200)에 전송한다.The
게임 모듈(200)은 통신부(210), 판단부(220) 및 저장부(230)를 포함한다.The
게임 모듈(200)의 통신부(210)는 사용자의 손에 부착된 각 센서(111,112,113)에 의해 감지된 게임 사용자의 자율 신경계 변화 정보를 무선(블루투스, 지그비 등)으로 수신하고, 수신된 게임 사용자의 자율 신경계 변화 정보를 판단부(220)에 전달한다.The
판단부(220)는 통신부(210)로부터 전달된 사용자의 자율 신경계 변화 정보를 토대로 사용자의 상태를 분석하여 사용자의 게임 집중도를 판정하고, 판정된 결과를 토대로 게임 내의 강화 모드 제공 여부를 결정한다.The
예컨대, 판단부(220)는 사용자가 1인칭 슈팅 게임을 하는 경우, 게임 사용자의 집중도가 기설정된 수치보다 높으면 도 3에 도시된 바와 같이, 화면을 슈팅 모드 줌이 가능한 스나이퍼 모드로 제공하거나 사격시 살상 범위를 기설정된 기본 제공 범위보다 넓게 제공하는 등 통신부(210)로부터 전달된 사용자의 자율 신경계 변화 정보를 토대로 게임 내 강화 모드를 제공한다.For example, when the user is in the first person shooting game, the
또한, 판단부(220)는 사용자가 RPG 게임으로 몹(몬스터를 줄여서 부르는 말, Mobile Character) 또는 타 사용자와 대결시 사용자의 집중도에 따라 상대에게 가하는 데미지의 크기를 증가시켜주거나, 게임 사용자의 집중도가 기설정된 수치 이하로 떨어질 경우 상대로부터 입는 피해가 감소하도록 게임의 강화 모드를 설정하여 게임 사용자에게 제공할 수 있다.In addition, the
이하에서는 판단부(220)의 동작을 보다 구체적으로 설명한다.Hereinafter, the operation of the
판단부(220)는 도 4에 도시된 바와 같이, 각 센서(111,112,113)를 통해 감지된 게임 사용자의 생리 신호, 즉 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호를 샘플링부(미도시)로부터 입력받는다.4, the
예컨대, 통신부(210)에 의해 수신된 게임 사용자의 생리 신호는 판단부(220)를 통해 샘플링부(미도시)로 전달될 수 있고, 바로 샘플링부(미도시)로 전달될 수 있다.For example, the physiological signal of the game user received by the
샘플링부(미도시)는 200Hz의 샘플링 속도(Sampling Rate)로, 생리 신호를 샘플링하고, 즉 생리 신호를 1초에 200개의 데이터로 샘플링하여 판단부(220)에 전달한다.The sampling unit (not shown) samples the physiological signal at a sampling rate of 200 Hz, that is, samples the physiological signal with 200 data per second, and transmits the sampled data to the
판단부(220)는 이동평균 계산을 위해 샘플링부(미도시)로부터 전달된 데이터를 2초간 400개씩 저장부(230)에 저장하고, 데이터의 노이즈를 제거하기 위해 수학식 1을 이용하여 평균을 계산한다.The
판단부(220)는 이동평균을 윈도우 크기(n) 400에 0.25초의 시간간격(s)으로 실시하고, 이동평균을 거쳐 노이즈가 제거된 PPG, GSR, SKT 신호들을 계산한다. The
예컨대, 판단부(220)는 심혈관 반응의 맥파 반응인 PPG 신호의 경우, 주파수 분석과 진폭 분석이 필요하기 때문에 PPG Frequency, PPG Amplitude를 추출하고, 피부 전기 반응인 GSR 신호의 경우 GSR 신호의 평균값을 계산하여 GSR Mean을 추출하며, 피부 온도 반응인 SKT 신호의 경우 SKT 신호의 평균값을 계산하여 SKT Mean 값으로 추출하고, 추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean 값은 1개의 Set으로 저장부(230), 즉 데이터베이스에 저장한다.For example, since the PPG signal, which is a pulse wave response of a cardiovascular response, requires a frequency analysis and an amplitude analysis, the
판단부(220)는 최초 16Set를 저장할 때까지 다음 과정을 진행하지 않고, 16Set가 저장된 이후부터는 1Set의 데이터를 추가로 저장할 때마다 다음 과정을 진행하며, 추출된 16set의 데이터를 이용하여 집중도(Attention)를 판단한다.The
예컨대, 판단부(220)는 16set 중 (n)Set부터 (n-7)Set까지의 평균값은 현재 상태를 나타내는 값으로 사용하고, (n-8)Set부터 (n-16)Set까지의 평균값은 Reference값으로 사용하며, 계산된 현재 상태 값과 Reference 값을 비교하여, 도 5에 도시된 바와 같은 기설정된 Rule에 따라 사용자의 집중도를 판단한다.For example, the
판단부(220)는 생리 신호(Physiological Signal) 중 우선순위가 가장 높게 설정된 GSR 신호의 GSR Mean에서 나타나는 신호 패턴을 가장 먼저 판단한다. 예컨대, 판단부(220)는 GSR 신호의 GSR Mean에서 나타나는 신호 패턴과 기설정된 Rule의 GSR Mean에서 나타나는 신호 패턴이 다를 경우, 우선순위가 그 다음 높은 PPG 신호의 PPG Fre, PPG Amp에 나타나는 신호 패턴을 판단한다.The
판단부(220)는 PPG 신호의 PPG Fre, PPG Amp에서 나타나는 신호 패턴과 기설정된 Rule의 PPG Fre, PPG Amp에서 나타나는 신호 패턴을 비교하고, 비교결과 PPG Fre나 PPG Amp 중 한 가지라도 신호 패턴이 일치하면 사용자가 게임에 집중한 것으로 판단하며, 그렇지 않으면 그 다음 우선순위인 SKT 신호의 SKT Mean에 나타나는 신호 팬턴을 판단하여 사용자의 집중도를 게임에 반영한다.The
전술한 바와 같이, 본 발명에 따르면, 사용자의 집중상태에 따라 게임 인센티브를 받도록 할 수 있고 게임의 난이도를 변경할 수 있어서 사용자에게 지능적인 게임을 제공할 수 있고, 특히 게임 사용자의 신체정보를 실시간으로 측정하여 사용자의 상태에 따라 좀더 흥미로운 게임 컨텐츠를 제공할 수 있다.As described above, according to the present invention, it is possible to receive a game incentive according to a user's concentration state and to change the degree of difficulty of a game, thereby providing an intelligent game to a user, So that it is possible to provide more interesting game contents depending on the state of the user.
이상, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치를 설명하였고, 이하에서는 도 6을 참조하여 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치의 게임 제공 방법을 설명한다. 도 6은 본 발명의 일 실시예에 따른 사용자의 상태 적용 게임 장치의 게임 제공 방법을 설명하기 위한 흐름도이다.1 to 5, a state application game device according to an embodiment of the present invention has been described. Hereinafter, a state application game device according to an embodiment of the present invention will be described with reference to FIG. Explain how to provide the game. 6 is a flowchart illustrating a method of providing a game of a state application game device according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 게임 사용자의 손에 부착된 각 센서(111,112,113)에 의해 게임 사용자의 생리 신호, 즉 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호가 감지되고, 감지된 생리 신호가 200Hz의 샘플링 속도(Sampling Rate)로 샘플링되면, 즉 생리 신호가 1초에 200개의 데이터로 샘플링되면, 이동평균 계산을 위해 샘플링된 데이터를 2초간 400개씩 저장한다(S600).6, a physiological signal of a game user, that is, a PPG (Photoplethysmogram) signal, a GSR (Galvanic Response) signal, and a SKT (Skin Temperature) signal are detected by the
데이터의 노이즈를 제거하기 위해 수학식 1을 이용하여 이동평균을 윈도우 크기(n) 400에 0.25초의 시간간격(s)으로 계산한다(S601).In order to remove the noise of the data, the moving average is calculated using the equation (1) as the time interval (s) of 0.25 seconds in the window size (n) 400 (S601).
이동평균을 거쳐 노이즈가 제거된 PPG, GSR, SKT 신호들을 계산한다(S602). The PPG, GSR, and SKT signals from which the noise has been removed are calculated through the moving average (S602).
예컨대, 심혈관 반응의 맥파 반응인 PPG 신호의 경우 PPG Frequency, PPG Amplitude를 추출하고, 피부 전기 반응인 GSR 신호의 경우 GSR 신호의 평균값을 계산하여 GSR Mean을 추출하며, 피부 온도 반응인 SKT 신호의 경우 SKT 신호의 평균값을 계산하여 SKT Mean 값으로 추출하고, 추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean 값은 1개의 Set으로 저장한다.For example, the PPG frequency and the PPG amplitude of the PPG signal, which is a pulse wave response of the cardiovascular response, are extracted. The GSR mean is calculated by calculating the average value of the GSR signal in case of the GSR signal, The average value of the SKT signal is extracted and extracted as the SKT mean value, and the extracted PPG frequency, PPG amplitude, GSR mean, and SKT mean values are stored as one set.
최초 16Set를 저장할 때까지 다음 과정을 진행하지 않고, 16Set가 저장된 이후부터는 1Set의 데이터를 추가로 저장할 때마다 다음 과정을 진행하며, 추출된 16set의 데이터를 이용하여 집중도(Attention)를 판단한다.After 16 sets are stored, the following process is performed every time one set of data is additionally stored. The 16 sets of data are used to determine the concentration.
예컨대, 16set 중 (n)Set부터 (n-7)Set까지의 평균값은 현재 상태를 나타내는 값으로 사용하고, (n-8)Set부터 (n-16)Set까지의 평균값은 Reference값으로 사용하며, 계산된 현재 상태 값과 Reference 값을 비교하여 기설정된 Rule에 따라 사용자의 집중도를 판단한다(S603).For example, an average value from (n) set to (n-7) set in 16 sets is used as a value indicating the current state, and an average value from (n-8) Set to (n-16) Set is used as a reference value , Compares the calculated current state value with the reference value, and determines the user's concentration according to a predetermined rule (S603).
생리 신호(Physiological Signal) 중 우선순위가 가장 높게 설정된 GSR 신호의 GSR Mean에서 나타나는 신호 패턴을 가장 먼저 판단한다. 예컨대, GSR 신호의 GSR Mean에서 나타나는 신호 패턴과 기설정된 Rule의 GSR Mean에서 나타나는 신호 패턴이 다를 경우, 우선순위가 그 다음 높은 PPG 신호의 PPG Fre, PPG Amp에 나타나는 신호 패턴을 판단하고, PPG 신호의 PPG Fre, PPG Amp에서 나타나는 신호 패턴과 기설정된 Rule의 PPG Fre, PPG Amp에서 나타나는 신호 패턴을 비교하여 PPG Fre나 PPG Amp 중 한 가지라도 신호 패턴이 일치하면 사용자가 게임에 집중한 것으로 판단하며, 그렇지 않으면 그 다음 우선순위인 SKT 신호의 SKT Mean에 나타나는 신호 팬턴을 판단하여 사용자의 집중도를 게임에 반영한다(S604).First, the signal pattern that appears in the GSR mean of the GSR signal having the highest priority among physiological signals is determined first. For example, if the signal pattern represented by the GSR Mean of the GSR signal differs from the signal pattern represented by the GSR Mean of the predetermined Rule, the signal pattern represented by the PPG Fre and PPG Amp of the next higher priority PPG signal is determined, Of PPG Fre and PPG Amp and the signal pattern of PPG Fre and PPG Amp of the predetermined rule are compared with each other, it is judged that the user concentrates on the game if one of the signals of PPG Fre or PPG Amp matches the signal pattern (Step S604). If it is determined that the signal pendant appears in the SKT mean of the next SKT signal, the user's concentration is reflected in the game (S604).
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.
110 : 감지부 120 : 통신부
200 : 게임모듈 210 : 통신부
220 : 판단부 230 : 저장부110: sensing unit 120: communication unit
200: game module 210:
220: determination unit 230: storage unit
Claims (8)
상기 게임 모듈은,
감지된 상기 게임 사용자의 자율 신경계 변화 정보를 무선으로 수신하는 통신부; 및
상기 통신부로부터 전달된 상기 게임 사용자의 자율 신경계 변화 정보를 토대로 상기 게임 사용자의 집중도가 기설정된 수치보다 높을 경우 기설정된 상기 게임 강화 모드를 제공하고, 상기 게임 사용자의 집중도가 기설정된 수치 이하로 떨어질 경우 기설정된 상기 게임 강화 모드 제공을 해지하는 판단부를 포함하고,
수신된 상기 게임 사용자의 자율 신경계 변화 정보인 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호에 대해 이동 평균을 실시하여 노이즈를 제거하고, 노이즈가 제거된 PPG 신호로부터 PPG Frequency, PPG Amplitude, 노이즈가 제거된 GSR 신호로부터 GSR Mean, 노이즈가 제거된 SKT 신호로부터 SKT Mean을 추출하며, 추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean을 1개의 set로, 기설정된 특정 갯수(k개, 여기서 k는 2보다 큰 짝수)만큼 set를 추출하고, 추출된 상기 k개 set의 데이터를 이용하여 상기 게임 사용자의 집중도(Attention)를 판단하는 것
인 사용자의 상태 적용 게임 장치.A game module for determining whether to provide a predetermined strengthening mode in the game by determining the game concentration of the game user based on the detected autonomic nervous system change information of the game user,
The game module includes:
A communication unit for wirelessly receiving the detected autonomic nervous system change information of the game user; And
When the degree of concentration of the game user is higher than a predetermined value based on the autonomic nervous system change information of the game user transmitted from the communication unit, the predetermined game enhancing mode is provided. If the concentration of the game user falls below a predetermined value And a determination unit for canceling the provision of the predetermined game strengthening mode,
A moving average is applied to a PPG (Photoplethysmogram) signal, a Galvanic Response (GSR) signal, and a SKT (Skin Temperature) signal, which are information of autonomic nervous system change information of the game user received to remove noise, The extracted SKG mean is extracted from the GSR Mean, the noise-canceled SKT signal from the noise-removed GSR signal, and the extracted PPG Frequency, PPG Amplitude, GSR Mean, and SKT Mean are set as one set, Extracting a set as many as the number (k, where k is an even number greater than 2), and determining the game user's attention using the extracted k sets of data
The state application game device.
상기 게임 모듈은 추출된 상기 k개 set 중 n번 set부터 n-(k/2-1)번 set까지의 평균값을 현재 상태 값으로 사용하고, n-k/2번 set부터 n-(k-1)번 set까지의 평균값을 Reference값으로 사용하며, 계산된 현재 상태 값과 Reference 값을 비교하여 기설정된 Rule에 따라 사용자의 집중도를 판단하는 것
인 사용자의 상태 적용 게임 장치.The method according to claim 1,
Wherein the game module uses an average value from a set n to (n- 1) to a set n (k-1) out of the extracted k sets as a current state value, The average value up to the set value is used as the reference value, and the calculated current state value is compared with the reference value to determine the user's concentration according to the predetermined rule
The state application game device.
상기 게임 사용자의 손에 부착되어 상기 게임 사용자의 자율 신경계 변화 정보를 감지하는 감지부; 및
감지된 상기 게임 사용자의 자율 신경계 변화 정보를 무선으로 상기 게임 모듈에 전송하는 통신부
를 더 포함하는 사용자의 상태 적용 게임 장치.The method according to claim 1,
A sensing unit attached to a hand of the game user to sense autonomic nervous system change information of the game user; And
And a communication unit for wirelessly transmitting the detected autonomic nervous system change information of the game user to the game module
Wherein the state application game device further comprises:
판단된 결과를 토대로 게임에 기설정된 강화 모드 제공 여부를 결정하는 단계를 포함하고,
상기 판단하는 단계는,
상기 게임 사용자의 자율 신경계 변화 정보인 PPG(Photoplethysmogram) 신호, GSR(Galvanic Response) 신호, SKT(Skin Temperature) 신호에 대해 이동 평균을 실시하여 노이즈를 제거하는 단계;
노이즈가 제거된 PPG신호로부터 PPG Frequency, PPG Amplitude, 노이즈가 제거된 GSR 신호로부터 GSR Mean, 노이즈가 제거된 SKT 신호로부터 SKT Mean을 추출하는 단계; 및
추출된 PPG Frequency, PPG Amplitude, GSR Mean, SKT Mean을 1개의 set로 기설정된 특정 갯수(k개, 여기서 k는 2보다 큰 짝수)만큼 set를 추출하고, 추출된 상기 k개 set의 데이터를 이용하여 상기 게임 사용자의 집중도(Attention)를 판단하는 단계를 포함하는 것
인 사용자의 상태 적용 게임 방법.Determining a game concentration of the game user based on the autonomic nervous system change information of the game user sensed by a sensor attached to a hand of the game user; And
And determining whether to provide a predetermined strengthening mode to the game based on the determined result,
Wherein the determining step comprises:
Performing a moving average on a PPG (Photoplethysmogram) signal, a Galvanic Response (GSR) signal, and a SKT (Skin Temperature) signal, which are autonomic nervous system change information of the game user, to remove noise;
Extracting a PPG Frequency, a PPG Amplitude, a GSR Mean from the noise-removed GSR signal, and a SKT Mean from the noise-removed PPG signal; And
Extracts a set of a predetermined number (k, where k is an even number greater than 2) of the extracted PPG Frequency, PPG Amplitude, GSR Mean, and SKT Mean as one set, and uses the extracted k sets of data And determining the concentration of the game user
How to Apply the Status of a User.
상기 게임 사용자의 자율 신경계 변화 정보를 토대로 상기 게임 사용자의 집중도가 기설정된 수치보다 높을 경우 기본 제공 모드보다 사용자에 의한 게임 환경 설정 범위가 넓은 게임 강화 모드가 제공되도록 결정하는 단계; 및
상기 게임 사용자의 집중도가 기설정된 수치 이하로 떨어질 경우 상기 게임 강화 모드 제공이 해지되도록 결정하는 단계를 포함하는 것
인 사용자의 상태 적용 게임 방법.6. The method of claim 5,
Determining that a game enrichment mode having a larger game environment setting range by the user than the basic providing mode is provided if the concentration of the game user is higher than a predetermined value based on the autonomic nervous system change information of the game user; And
And determining that the game intensifying mode provision is canceled when the concentration of the game user falls below a predetermined value
How to Apply the Status of a User.
추출된 상기 k개 set 중 n번 set부터 n-(k/2-1)번 set까지의 평균값을 현재 상태 값으로 사용하고, n-k/2번 set부터 n-(k-1)번 set까지의 평균값을 Reference값으로 사용하며, 계산된 현재 상태 값과 Reference 값을 비교하여 기설정된 Rule에 따라 사용자의 집중도를 판단하는 단계인 것
인 사용자의 상태 적용 게임 방법.6. The method of claim 5,
(K-1) sets from nk / 2 sets to n - (k-1) sets are used as the current state values, The average value is used as the reference value, and the calculated current state value is compared with the reference value to determine the user's concentration according to the predetermined rule
How to Apply the Status of a User.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110142528A KR101386649B1 (en) | 2011-12-26 | 2011-12-26 | Game Apparatus Applying User state And Method Providing Thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110142528A KR101386649B1 (en) | 2011-12-26 | 2011-12-26 | Game Apparatus Applying User state And Method Providing Thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130074459A KR20130074459A (en) | 2013-07-04 |
| KR101386649B1 true KR101386649B1 (en) | 2014-09-23 |
Family
ID=48988550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110142528A KR101386649B1 (en) | 2011-12-26 | 2011-12-26 | Game Apparatus Applying User state And Method Providing Thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101386649B1 (en) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9293500B2 (en) | 2013-03-01 | 2016-03-22 | Apple Inc. | Exposure control for image sensors |
| US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| US9549099B2 (en) | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
| US9319611B2 (en) | 2013-03-14 | 2016-04-19 | Apple Inc. | Image sensor with flexible pixel summing |
| US9596423B1 (en) | 2013-11-21 | 2017-03-14 | Apple Inc. | Charge summing in an image sensor |
| US9596420B2 (en) | 2013-12-05 | 2017-03-14 | Apple Inc. | Image sensor having pixels with different integration periods |
| US9473706B2 (en) | 2013-12-09 | 2016-10-18 | Apple Inc. | Image sensor flicker detection |
| US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
| US9232150B2 (en) | 2014-03-12 | 2016-01-05 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor |
| US9277144B2 (en) | 2014-03-12 | 2016-03-01 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor and field-of-view compensation |
| US9584743B1 (en) | 2014-03-13 | 2017-02-28 | Apple Inc. | Image sensor with auto-focus and pixel cross-talk compensation |
| US9497397B1 (en) | 2014-04-08 | 2016-11-15 | Apple Inc. | Image sensor with auto-focus and color ratio cross-talk comparison |
| US9538106B2 (en) | 2014-04-25 | 2017-01-03 | Apple Inc. | Image sensor having a uniform digital power signature |
| US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
| US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
| CN111682039B (en) | 2016-09-23 | 2021-08-03 | 苹果公司 | Stacked back side illumination SPAD array |
| US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
| EP3574344A2 (en) | 2017-01-25 | 2019-12-04 | Apple Inc. | Spad detector having modulated sensitivity |
| US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
| US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
| US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
| US20230381649A1 (en) * | 2022-05-27 | 2023-11-30 | Sony Interactive Entertainment LLC | Method and system for automatically controlling user interruption during game play of a video game |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0922314A (en) * | 1995-07-05 | 1997-01-21 | Sanyo Electric Co Ltd | Stress-adaptive controller |
| JPH09135826A (en) * | 1995-11-15 | 1997-05-27 | Omron Corp | Judgement method for concentration degree, eye fatigue judgement method and control method for difficulty |
| JP2005013385A (en) | 2003-06-25 | 2005-01-20 | Sony Corp | Bioinformation adaptive control device, bioinformation adaptive control method, program and recording medium |
| JP2007130212A (en) * | 2005-11-10 | 2007-05-31 | Sharp Corp | Psychological state amplifying apparatus and computer program |
-
2011
- 2011-12-26 KR KR1020110142528A patent/KR101386649B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0922314A (en) * | 1995-07-05 | 1997-01-21 | Sanyo Electric Co Ltd | Stress-adaptive controller |
| JPH09135826A (en) * | 1995-11-15 | 1997-05-27 | Omron Corp | Judgement method for concentration degree, eye fatigue judgement method and control method for difficulty |
| JP2005013385A (en) | 2003-06-25 | 2005-01-20 | Sony Corp | Bioinformation adaptive control device, bioinformation adaptive control method, program and recording medium |
| JP2007130212A (en) * | 2005-11-10 | 2007-05-31 | Sharp Corp | Psychological state amplifying apparatus and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130074459A (en) | 2013-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101386649B1 (en) | Game Apparatus Applying User state And Method Providing Thereof | |
| US10327674B2 (en) | Biometric monitoring device with immersion sensor and swim stroke detection and related methods | |
| US10194836B2 (en) | GPS accuracy refinement using external sensors | |
| US9750977B2 (en) | Hybrid angular motion sensors | |
| US10178973B2 (en) | Wearable heart rate monitor | |
| US20170188864A1 (en) | Spherical handheld biosensor array device for physiological status monitoring | |
| RU2616764C2 (en) | Device and method for evaluation of heart rate while moving | |
| CN105210067B (en) | Computing a physiological state of a user related to physical exercise | |
| US7953477B2 (en) | Determination of sympathetic activity | |
| US20140135592A1 (en) | Health band | |
| US10264971B1 (en) | System and methods for integrating feedback from multiple wearable sensors | |
| US20170351825A1 (en) | Method and apparatus for quantifying and monitoring the frailty of a subject | |
| JP2017158999A (en) | Method for real-time monitoring maximal oxygen consumption | |
| US11699524B2 (en) | System for continuous detection and monitoring of symptoms of Parkinson's disease | |
| WO2016110895A1 (en) | Biological information analysis device, biological information analysis system, pulsation information measurement system, and biological information analysis program | |
| RU2677061C1 (en) | Monitoring system of athlete physiological parameters | |
| JP5807700B2 (en) | Calorie consumption calculation device and calorie consumption calculation method | |
| KR20230073680A (en) | User's health condition-based exercise intensity setting device and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |