KR102155777B1

KR102155777B1 - method for determining competition and cooperation by social interaction based on body movement by non-contact sensing technique

Info

Publication number: KR102155777B1
Application number: KR1020180048478A
Authority: KR
Inventors: 황성택; 이동원; 박상인; 문성철; 원명주; 황민철
Original assignee: 상명대학교산학협력단; 재단법인 실감교류인체감응솔루션연구단
Priority date: 2018-04-26
Filing date: 2018-04-26
Publication date: 2020-09-15
Also published as: KR20190124470A

Abstract

사회적 관계성인 협력-경쟁 관계를 평가하는 방법 및 장치가 개시된다. 평가 방법:은 동영상 카메라를 이용해 교감이 가능한 상태에 있는 두 피험자의 안면을 촬영하는 단계; 상기 안면 영상에서 프레임간 변화량을 검출하여 피험자의 미세 움직임 데이터를 추출하는 단계; 상기 미세 움직임 데이터로부터 상기 피험자의 미세 움직임의 크기 별로 소정 주파수 밴드 별로 미동 데이터를 검출하는 단계; 그리고 상기 주파수 밴드 별 미동 데이터를 이용하여 상기 두 피험자 간의 협력-경쟁 관계성을 평가하는 단계;를 포함한다.Disclosed is a method and apparatus for evaluating a social relationship, a partnership-competitive relationship. Evaluation method: photographing the faces of two subjects in a state in which rapport is possible using a video camera; Extracting fine motion data of the subject by detecting the amount of change between frames in the facial image; Detecting fine movement data for each predetermined frequency band according to the magnitude of the fine movement of the subject from the fine movement data; And evaluating the cooperation-competition relationship between the two subjects using the fine motion data for each frequency band.

Description

Method for determining competition and cooperation by social interaction based on body movement by non-contact sensing technique

본 발명은 비접촉 센싱 기술에 의해 사회적 상호작용에 따른 경쟁과 협력을 평가하는 방법에 관한 것으로, 상세하게는 인체 미동을 이용하여 사회적 상호작용에 따른 경쟁과 협력을 평가하는 방법에 관한 것이다.The present invention relates to a method of evaluating competition and cooperation according to social interaction by non-contact sensing technology, and more particularly, to a method of evaluating competition and cooperation according to social interaction using human body fine movement.

IT　기술 발전에 따라 사용자는 다양한 정보와 콘텐츠를 쉽게 접근하여 사용하고 있다. 과거에는 신문, 책 등의 오프라인 콘텐츠를 이용했다면 현재는 IT기기를 활용한 온라인 콘텐츠가 그 자리를 대신하고 있다. 이와 마찬가지로 사람들 사이에서 발생 되는 커뮤니케이션의 형태도 오프라인뿐 만 아니라 온라인으로 확장되고 있다. With the development of IT　 technology, users are easily accessing and using various information and contents. In the past, offline content such as newspapers and books was used, but now online content using IT devices is taking its place. Likewise, the form of communication that occurs between people is expanding not only offline but also online.

사람이 행하는 커뮤니케이션 활동은 주로 단순 정보 전달과 감성적 교류의 정보전달로 나뉠 수 있다. 또한 과거에는 전달하고자 하는 정보는 수동적이고 표시 가능한 정보를 전달했다면, 현재는 양방향의 상호적인 교감, 느낌의 정서적 정보를 포함시켜 전달하고 있다. 특히 온라인에서도 정서적 감성적인 정보를 주고받으며 이를 인식하고 평가하려는 연구가 증가하고 있다. 기존 감성인식 연구는 단순히 현재 자신의 감성을 인식하는 연구로 진행 되어왔다. 하지만 사회적 관계가 온라인을 통해 관계성이 넓어지고 이슈화 되면서 사회적 관계에 따른 감성 인식 연구가 증가되고 있다. Communication activities performed by humans can be mainly divided into simple information transfer and information transfer through emotional exchange. In addition, in the past, the information to be conveyed was passive and displayable information, but now, it includes two-way interactive communication and emotional information of feeling. In particular, there is an increasing number of studies that attempt to recognize and evaluate emotional and emotional information, even online. Existing emotion recognition research has been conducted simply as a study that recognizes one's emotions. However, as social relations expand and become an issue through online, research on sensibility recognition according to social relations is increasing.

최근에는 타인과 자신의 상호작용 속에서 유발되는 사회감성(Social Emotion) 인식에 대한 연구가 진행되고 있다. 사회감성은 두 사람 사이에서 다양한 상호작용 활동을 통해 형성되며, 관계 속에서 유발되는 고차원 감성을 의미한다. 이러한 사회감성은 두 사람의 친밀도, 공감도, 참여도 등이 그 대표적인 예이다[11,12]. 감성인식 방법은 정량적 생체 반응 데이터를 수집하기 위해 접촉식 센서를 이용해 추론했다. 그러나 센서를 착용하면 자유로운 상호작용과 의사소통을 할 수 없기 때문에 생체 반응의 정량적인 데이터를 수집하는데 한계가 있다. 이를 해결하기 위해 비접촉 센싱 기술을 활용한 감성인식 방법이 연구되고 있다. Recently, research is being conducted on the perception of social emotion caused by one's interaction with others. Social sensibility is formed through various interaction activities between two people, and refers to a high-level sensibility that is evoked in a relationship. Representative examples of such social sensibility are the intimacy, empathy, and participation of the two [11,12]. The emotional recognition method was inferred using a contact sensor to collect quantitative biometric response data. However, there is a limit in collecting quantitative data on the biological response because it is not possible to freely interact and communicate when wearing a sensor. To solve this problem, a method of sensibility recognition using non-contact sensing technology is being studied.

현재까지는 주로 얼굴 표정의 외현적 반응을 이용한 감성인식 기술이 대표적이다. 그러나 얼굴 표정만을 이용한 감성 인식은 Ekman의 6가지 기본 감성만 인식 가능하며, 복합적인 사회감성을 인식하기에는 다소 한계점이 있다. 따라서 내적인 생체 반응을 기반으로 한 비접촉 센싱 기술이 필요하다. Up to now, the technology of sensibility recognition mainly using the external reaction of facial expressions is representative. However, emotion recognition using only facial expressions can recognize only Ekman's six basic emotions, and it has some limitations in recognizing complex social emotions. Therefore, there is a need for a non-contact sensing technology based on an internal biological response.

최근 생체 반응을 비접촉 형태로 센싱하는 기술이 연구되고 있다. 선행 연구에 따르면 얼굴의 피부 변화나 머리의 움직임을 통한 심장반응 추론 연구가 보고 되었다. 이와 같이 비접촉 형태로 생체 반응을 추론 가능한 이유는 인체가 가지고 있는 해부학적 원리 때문이다. 신경공학 관점에서 심장과 뇌는 연결성을 가지고 있다. 심장의 반응은 사람이 제어 할 수 없는 인체의 반응으로 구심성(Afferent)을 통해 뇌로 전달하고 뇌의 반응은 반대로 원심성(Efferent)을 통해 제어 가능한 인지적 정보를 인체에 전달하는 역할을 하며 상호유기적인 관계를 유지한다. 이러한 관점에서 해부학적으로 전정기관(Vestibular organ)은 내적인 생리적 변화를 외적인 인체의 움직임 반응이 나타나도록 관여한다. Recently, a technology for sensing a biological reaction in a non-contact form is being studied. According to previous studies, a study on inference of heart response through facial skin changes or head movements was reported. The reason why it is possible to infer the biological response in a non-contact form is because of the anatomical principle of the human body. From a neuroengineering point of view, the heart and brain have connectivity. The reaction of the heart is a reaction of the human body that cannot be controlled by humans. The reaction of the brain is transmitted to the brain through afferent, and the reaction of the brain plays a role of transmitting controllable cognitive information to the human body through efferent. Maintain a relationship. From this point of view, anatomically, the vestibular organ is involved in internal physiological changes to the external body movement response.

구체적으로 전정기관은 인체의 균형감각을 조절한다. 방향전환, 서있기 등 인체 상황에 따라 모든 신체 기관에 정보를 유기적으로 전달하여 인체가 균형을 잡을 수 있도록 유지하는 기관이다. 이 기관은 자율 및 중추 신경계 정보를 주고받는 신경로에 위치하고 있으며 심혈관계와 호흡계에 영향을 직접적으로 미치는 기관으로 전정반사(Vestibular reflexes)를 이용해 각종 신경계의 정보를 주고받는다. 이 때 생리적 반응을 포함한 인체의 균형감각을 유지함에 따라 미세한 움직임이 발생되고 감정, 심리 상태에 따라 그 움직임이 다르게 표현된다. 이와 같은 움직임은 사람의 눈에 보이지 않는 매우 작은 떨림으로 표현 된다. Specifically, the vestibular organ regulates the sense of balance in the human body. It is an organ that keeps the human body in balance by transmitting information organically to all body organs according to the human body situation such as turning or standing. This organ is located in the neurological pathway that transmits and receives information from the autonomic and central nervous system. It is an organ that directly affects the cardiovascular and respiratory systems. It uses vestibular reflexes to exchange information of various nervous systems. At this time, as the human body maintains a sense of balance including physiological reactions, minute movements are generated, and the movements are expressed differently according to emotions and mental states. This movement is expressed as a very small tremor that is invisible to the human eye.

<선행기술문헌><Prior technical literature>

[1] Y. S. Cha, J. H. Kim, J. H. Kim, S. Y. Kim, D. K.Kim ＆ M. Whang, “Validity analysis of the social emotion model based on relation types in SNS”, J.of the Korea Emotion and Sensibility, Vol. 15, No. 2, pp. 283-296, 2012.[1] Y. S. Cha, J. H. Kim, J. H. Kim, S. Y. Kim, D. K.Kim & M. Whang, “Validity analysis of the social emotion model based on relation types in SNS”, J.of the Korea Emotion and Sensibility, Vol. 15, No. 2, pp. 283-296, 2012.

[2] S. Shin, M. Shin, Y. Jeong ＆ J. Lee, “An investigation of Social Commerce Service Quality on Consumer's Satisfaction”, J of IT Convergence Society for SMB, Vol. 5, No. 2, pp. 27-32, 2015.[2] S. Shin, M. Shin, Y. Jeong & J. Lee, “An investigation of Social Commerce Service Quality on Consumer's Satisfaction”, J of IT Convergence Society for SMB, Vol. 5, No. 2, pp. 27-32, 2015.

[3] H. Kim ＆ P. Jang, “Differences in Sentiment on SNS: Comparison among Six Languages", J of the Digital Convergence, Vol. 14, No. 3, pp. 165-170, 2016.[4] E. Jung, J. Kim, H. J ＆ K. Chung, Social Network based Sensibility Design Recommendation using {User?Associative Design} Matrix", J of the Digital Convergence, Vol. 14, No. 8, pp. 313-318,2016.[3] H. Kim & P. Jang, “Differences in Sentiment on SNS: Comparison among Six Languages”, J of the Digital Convergence, Vol. 14, No. 3, pp. 165-170, 2016.[4] E Jung, J. Kim, H. J ＆ K. Chung, Social Network based Sensibility Design Recommendation using {User?Associative Design} Matrix", J of the Digital Convergence, Vol. 14, No. 8, pp. 313-318, 2016.

[5] J. Ahn ＆ S. Kim, “Comparison the Difference of User Experience for Mobile Facebook and Instagram Using Nonparametric Statistics Methods -Focused on Emotional Interface Model-", J of the Digital Convergence, Vol. 14, No. 11, pp. 481-488,2016.[5] J. Ahn & S. Kim, “Comparison the Difference of User Experience for Mobile Facebook and Instagram Using Nonparametric Statistics Methods -Focused on Emotional Interface Model-”, J of the Digital Convergence, Vol. 14, No. 11, pp. 481-488, 2016.

[6] D. K. Lee ＆ Y. D. Yoon, “Study of Emotional Communication Strategy of Storytelling through Social Media - Based on the "Bear and Hare" Commercial of John lewis”, J of the Korea Contents Association, Vol. 16, No. 11, pp. 29-37, 2016.[6] D. K. Lee & Y. D. Yoon, “Study of Emotional Communication Strategy of Storytelling through Social Media-Based on the "Bear and Hare" Commercial of John Lewis", J of the Korea Contents Association, Vol. 16, No. 11, pp. 29-37, 2016.

[7] Y. J. Kim, Motivation to use according to the relationship formation of social network service : focusing on Twitter and Me2DAY. Hongik University, Master. thesis, 2010.[7] Y. J. Kim, Motivation to use according to the relationship formation of social network service: focusing on Twitter and Me2DAY. Hongik University, Master. thesis, 2010.

[8] Y. J. Kim,“A Study of Online Relationship”, J. of the Broadcasting and Telecommunication Studies, Vol. 23, No. 5, pp. 45-82, 2009.[8] Y. J. Kim, “A Study of Online Relationship”, J. of the Broadcasting and Telecommunication Studies, Vol. 23, No. 5, pp. 45-82, 2009.

[9] Y. Bae,“Social Relation in Cyberspace-Focused on the Making and Maintenance of Relation with Personal Media”, J. of the Korea Socialogy, Vol. 39, No. 5, pp. 55-82, 2005.[9] Y. Bae, “Social Relation in Cyberspace-Focused on the Making and Maintenance of Relation with Personal Media”, J. of the Korea Socialogy, Vol. 39, No. 5, pp. 55-82, 2005.

[10] J. H. Park,“Exploring Factors Influencing User’s Continuance Intention in Social Networking Sites”, J. of the Korea Society for Information Management, Vol. 25, No. 4, pp. 205-226, 2008.[11] S. J. Lim, The Integrated Model of Social Emotion Based on Both Emotional Adjectives and Face Expression. Sangmyung University, MS. thesis,2015.[10] J. H. Park, “Exploring Factors Influencing User's Continuance Intention in Social Networking Sites”, J. of the Korea Society for Information Management, Vol. 25, No. 4, pp. 205-226, 2008.[11] S. J. Lim, The Integrated Model of Social Emotion Based on Both Emotional Adjectives and Face Expression. Sangmyung University, MS. thesis, 2015.

[12] J. E. Cho, S. Park, M. J. Won, M. J. Park ＆ M. Whang,“Research on Micro-Movement Responses of Facial, Muscles by Intimacy, Empathy, Valence”, J. of the Korea Contents Association, Vol. 17, No. 2, pp. 439-448, 2017.[12] J. E. Cho, S. Park, M. J. Won, M. J. Park & M. Whang, “Research on Micro-Movement Responses of Facial, Muscles by Intimacy, Empathy, Valence”, J. of the Korea Contents Association, Vol. 17, No. 2, pp. 439-448, 2017.

[13] J. H. Park, A Study on Emotion Evaluation by Change of the Facial Micromobility, Sangmyung University, MS. thesis, 2012.[13] J. H. Park, A Study on Emotion Evaluation by Change of the Facial Micromobility, Sangmyung University, MS. thesis, 2012.

[14] K. Scherer ＆ P. Ekman, Expression and the natureof emotion, Approaches to Emotion, 1984.[14] K. Scherer & P. Ekman, Expression and the nature of emotion, Approaches to Emotion, 1984.

[15] Wu. H. Y, Rubinstein. M, Shih. E, Guttag. J. V, Durand. F ＆ Freeman. W. T, "Eulerian video magnification for revealing subtle changes in the world", J of the ACM Transactions on Graphics, Vol. 31, No. 4, pp. 1-8, 2012.[15] Wu. H. Y, Rubinstein. M, Shih. E, Guttag. J. V, Durand. F & Freeman. W. T, "Eulerian video magnification for revealing subtle changes in the world", J of the ACM Transactions on Graphics, Vol. 31, No. 4, pp. 1-8, 2012.

[16] Poh. M. Z, McDuff. D. J ＆ Picard. R. W, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", J. of the Optics express, Vol. 18, No. 10, pp. 10762-10774, 2010.[16] Poh. M. Z, McDuff. D. J & Picard. R. W, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", J. of the Optics express, Vol. 18, No. 10, pp. 10762-10774, 2010.

[17] M. Whang ＆ S. Park, "Brain-Heart Neural Connectivity and Emotion" J. of the Architecture and Building Science, Vol. 58, No. 9, pp. 59-62, 2014.[17] M. Whang & S. Park, "Brain-Heart Neural Connectivity and Emotion" J. of the Architecture and Building Science, Vol. 58, No. 9, pp. 59-62, 2014.

[18] T. K. Lee ＆ W. H. Chung, "Vestibular Influences on Autonomic Regulation", J. of the Korea Balance Society, Vol. 5, No. 2, pp. 329-335, 2006.[18] T. K. Lee & W. H. Chung, "Vestibular Influences on Autonomic Regulation", J. of the Korea Balance Society, Vol. 5, No. 2, pp. 329-335, 2006.

[19] E. C. Lee, M. Whang, D. Ko, S. Park ＆ S. T. Hwang, A New Social Emotion Estimating Method by Measuring Micro-Movement of Human Bust, In Industrial Application of Affective Engineering, 2014.[19] E. C. Lee, M. Whang, D. Ko, S. Park & S. T. Hwang, A New Social Emotion Estimating Method by Measuring Micro-Movement of Human Bust, In Industrial Application of Affective Engineering, 2014.

[20] S. Park, M. J. Won, S. Mun, E. C. Lee and M. Whang, "Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?", J. of the Psychophysiology, Vol. 92, No. 1, pp. 42-48, 2011.[20] S. Park, M. J. Won, S. Mun, E. C. Lee and M. Whang, "Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?", J. of the Psychophysiology, Vol. 92, No. 1, pp. 42-48, 2011.

[21] V. Muller ＆ U. Lindenbeerger, "Cardiac and Respiratory Patterns Synchronize between Persons during Choir Singing", J. of the PloS one, Vol. 6, No. 9, pp. e24893, 2011.[21] V. Muller & U. Lindenbeerger, "Cardiac and Respiratory Patterns Synchronize between Persons during Choir Singing", J. of the PloS one, Vol. 6, No. 9, pp. e24893, 2011.

[22] D. Tag, "A Study on The Influence of Convergence Benefit of Facebook Fan Page in Brand Attachment and Brand Commitment", J. of the Korea Convergence Society, Vol. 6, No. 5, pp.199-206, 2015.[22] D. Tag, "A Study on The Influence of Convergence Benefit of Facebook Fan Page in Brand Attachment and Brand Commitment", J. of the Korea Convergence Society, Vol. 6, No. 5, pp. 199-206, 2015.

[23] L. S. Kim, "Convergence of Information Technology and Corporate Strategy", J. of the Korea Convergence Society, Vol. 6, No. 6, pp. 18-26, 2015.[23] L. S. Kim, "Convergence of Information Technology and Corporate Strategy", J. of the Korea Convergence Society, Vol. 6, No. 6, pp. 18-26, 2015.

[24] M. Lee, "A Game Design for IoT environment", J. of the Korea Convergence Society, Vol. 6, No. 4, pp. 134-137, 2015[24] M. Lee, "A Game Design for IoT environment", J. of the Korea Convergence Society, Vol. 6, No. 4, pp. 134-137, 2015

본 발명은 인체 미동(MM, Micro-movement 을 비접촉 영상처리 기술을 이용해 생체 반응 정보로서 추출하며, 이를 이용해 사회적 상호작용에 유발 될 수 있는 감성인 경쟁(Competition)과 협력(Cooperation)에 대한 사회감성인식을 평가하는 방법을 제시한다.The present invention extracts human body micro-movement (MM, micro-movement) as biometric reaction information using non-contact image processing technology, and uses this to create a social sensibility for competition and cooperation, which are sensations that can be induced in social interaction. Provides a way to evaluate perception.

본 발명에 따른 방법:은Method according to the invention:

동영상 카메라를 이용해 교감이 가능한 상태에 있는 두 피험자의 안면을 촬영하는 단계;Photographing the faces of two subjects in a state in which rapport is possible using a video camera;

상기 안면 영상에서 프레임간 변화량을 검출하여 피험자의 미세 움직임 데이터를 추출하는 단계;Extracting fine motion data of the subject by detecting the amount of change between frames in the facial image;

상기 미세 움직임 데이터로부터 상기 피험자의 미세 움직임의 크기 별로 소정 주파수 밴드 별로 미동 데이터를 검출하는 단계; 그리고Detecting fine movement data for each predetermined frequency band according to the magnitude of the fine movement of the subject from the fine movement data; And

상기 주파수 밴드 별 미동 데이터를 이용하여 상기 두 피험자 간의 협력-경쟁 관계성을 평가하는 단계;를 포함한다.And evaluating the cooperation-competition relationship between the two subjects using the fine motion data for each frequency band.

본 발명의 구체적인 실시 예에 따르면, 상기 협력-경쟁 관계성의 평가는 상기 주파수 밴드 별 움직임 양, 움직임 변화량 또는 움직임의 동기화 중의 어느 하나를 이용할 수 있다.According to a specific embodiment of the present invention, the evaluation of the cooperative-competition relationship may use any one of a motion amount, a motion change amount, or motion synchronization for each frequency band.

본 발명의 구체적인 실시 예에 따르면, 상기 주파수 밴드는 0.5Hz, 1Hz, 3Hz, 5Hz 또는 15Hz 중의 적어도 어느 하나의 밴드를 포함할 수 있다.According to a specific embodiment of the present invention, the frequency band may include at least one of 0.5Hz, 1Hz, 3Hz, 5Hz, or 15Hz.

본 발명의 구체적인 실시 예에 따르면, 상기 움직임 변화량은 아래의 <식>에서 정의되는 미동량(O_FHZ)이다.According to a specific embodiment of the present invention, the amount of motion change is a fine movement amount (O _FHZ ) defined in the following <Equation>.

<식><expression>

상기 식에서, W와 H는 미동량 측정 대상이 되는 영역, 즉 ROI(Region of interest)에서 상체 미동의 수평 및 수직 길이(크기 또는 거리), In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값, R은 사용된 카메라의 프레임 레이트(Frame rate)이다.In the above equation, W and H are the regions to be measured for the amount of micromovement, that is, the horizontal and vertical lengths (size or distance) of the upper body micromotion in the ROI (Region of interest), In ( i, j ) is the i-th image frame The pixel values of the column and the J-th row, R are the frame rate of the camera used.

본 발명의 구체적인 실시 예에 따르면, 상기 두 피험자는 온라인 또는 오프라인 상에서 상호 마주대할 수 있다.According to a specific embodiment of the present invention, the two subjects may face each other online or offline.

상기 방법을 수행하는 본 발명에 따른 경쟁-협력 관계성 평가장치:는 Competition-cooperation relationship evaluation apparatus according to the present invention for performing the above method:

상기 피험자를 촬영하는 동영상 카메라;A video camera photographing the subject;

상기 동영상 카메라로부터의 영상을 처리하는 영상 처리부; 그리고An image processing unit processing an image from the video camera; And

상기 영상 처리부로 부터의 정보를 이용해 피험자간의 협력-경쟁 관계성을 평가하는 분석부;를 포함할 수 있다.It may include; an analysis unit for evaluating the cooperation-competitive relationship between the subjects using the information from the image processing unit.

도1은 본 발명에 따른 실험환경을 보인다.
도2는 본 발명에 따른 실험에 사용되는 키보드의 키 배열을 보인다.
도3은 본 발명에 따른 협력-경쟁 실험에서 제시되는 화면을 보인다.
도4는 본 발명에 따른 협력-경쟁 실험에서 인체 미동 추출에 사용되는 인터페이스 화면이다.
도5는 본 발명의 실험에 의해 얻어진 주파수 밴드 별 미동을 도시한다.
도6은 본 발명의 실험 절차를 보이는 흐름도이다.
도7은 본 발명의 실험 절차에서의 태스크 흐름을 보인다.
도8은 본 발명에 따른 실험 결과로서 미동량의 패턴을 보인다.
도9은 본 발명에 따른 실험 결과로서 미동량 통계분석 결과를 보인다.
도10은 본 발명에 따른 실험 결과로서 미동 변화 패턴을 보인다.
도11은 본 발명에 따른 실험 결과로서 미동 변화의 통계 분석결과를 보인다.
도12는 본 발명에 따른 실험 결과로서 그룹 동기화 상관성 분석 결과를 보인다.
도13은 본 발명에 따른 실험 결과로서 그룹 동기화 패턴을 보인다.
도14는 본 발명의 실험에 사용되는 시스템의 블록다이어그램이다.
도15는 본 발명의 실험에 의해 획득된 룰베이스를 보이는 그래프이다.1 shows an experimental environment according to the present invention.
2 shows an arrangement of keys of a keyboard used in an experiment according to the present invention.
3 shows a screen presented in a cooperation-competition experiment according to the present invention.
4 is an interface screen used for extracting fine motion of a human body in a cooperation-competition experiment according to the present invention.
5 shows fine motion for each frequency band obtained by the experiment of the present invention.
6 is a flow chart showing the experimental procedure of the present invention.
7 shows the task flow in the experimental procedure of the present invention.
Fig. 8 shows a pattern of a small amount as an experimental result according to the present invention.
9 shows the results of statistical analysis of small amounts as experimental results according to the present invention.
Fig. 10 shows a pattern of fine movement as an experiment result according to the present invention.
11 shows statistical analysis results of fine movement changes as experimental results according to the present invention.
12 shows the results of group synchronization correlation analysis as experimental results according to the present invention.
13 shows a group synchronization pattern as an experimental result according to the present invention.
14 is a block diagram of a system used in the experiment of the present invention.
15 is a graph showing the rule base obtained by the experiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 인체 미세 움직임을 이용한 피험자간 협력/경쟁 관계성을 평가하는 방법 및 장치의 구체적인 실시 예에 대해 상세히 설명한다.Hereinafter, specific embodiments of a method and apparatus for evaluating cooperation/competition relations between subjects using microscopic movements of the human body according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 본 발명에 따른 협력/경쟁 관계성 평가 방법을 검증하기 위한 실험에 대해 설명한다.First, an experiment for verifying the cooperative/competitive relationship evaluation method according to the present invention will be described.

<피험자><Subject>

피험자는 태스크(Task)를 수행하기 위해 한 쌍이 될 수 있도록 하며 성별에 따른 차이를 고려해 남녀 비율을 맞춰 모집 하였다. 두 피험자 간에는 어색함을 배제하기 위해 서로 안면이 있는 피험자로 선정하였으며 적극적인 태스크를 수행 할 수 있도록 하였다. 이 실험에 대학생 12명(남자6명, 여자6명, 평균나이: 25.72 ±1.26)이 피험자로 참여하였다. 이러한 피험자는 심혈 및 신경계에 병력이 없는 자를 모집하였다. 실험 전 수면 및 심혈관계에 미칠 수 있는 카페인, 흡연, 음주 등에 섭취는 금하도록 권고하였다. 피험자로부터 연구 목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의사에 대한 피험자 동의서를 받았다. 실험에 참여한 대가로 소정의 금액을 지불하여 실험 참여의사를 높였다.Subjects were recruited according to the male and female ratio in consideration of differences according to gender, allowing them to become a pair to perform the task. In order to exclude the awkwardness between the two subjects, the subjects were selected as having faces and were allowed to perform active tasks. Twelve college students (6 males, 6 females, average age: 25.72 ±1.26) participated in this experiment. These subjects were recruited with no history of cardiovascular and nervous system. Before the experiment, it was recommended not to consume caffeine, smoking, or alcohol, which may affect sleep and cardiovascular system. After explaining the general information about the experiment except for the purpose of the study, the subject consented to voluntary participation. In exchange for participating in the experiment, a small amount was paid to increase the intention to participate in the experiment.

<실험환경><Experimental environment>

실험 환경에는 패턴 맞추기 태스크를 수행 할 수 있는 시스템과 자극 화면을 볼 수 있는 42인치 대형 모니터, 태스크 수행을 위한 키보드, 피험자를 동시에 영상 촬영할 수 있는 웹 카메라가 배치되었다. In the experimental environment, a system capable of performing a pattern matching task, a 42-inch large monitor capable of viewing the stimulus screen, a keyboard for performing the task, and a web camera capable of simultaneously capturing images of subjects were placed.

두 명의 피험자는, 도1에 도시된 비와 같이 피험자 1(S1)과 피험자 2(S2)의 자리에 앉아 시스템에서 제공되는 경쟁과 협력 태스크를 수행 할 수 있도록 하였다.Two subjects were allowed to sit in the seats of Subject 1 (S1) and Subject 2 (S2) as shown in FIG. 1 to perform competition and cooperation tasks provided by the system.

실험은 이성간 차이를 없애기 위해 동성 간에 진행 하였으며 피험자는 리더(Leader)와 팔로워(Follower)로 분류하였다. 리더(Leader)는 상대방 뒤편에 있는 자극시스템의 모니터에 나타나는 제시 된 얼굴 표정을 직접 보고 태스크(Task)를 수행하였고 팔로워(Follower)는 리더(Leader)의 얼굴을 직접보고 얼굴 표정 실험을 진행 하였다. 두 피험자는 서로 역할을 바꿔 4번의 반복을 진행 하였다. 리더(Leader)와 팔로워(Follower)의 역할 진행시 순서에 따른 효과를 제거하기 위해 무작위적(Random)으로 수행 하였다. 태스크(Task) 수행은 제시 된 표정을 따라 하였으며 실험 절차는 도1에 도시된 바와 같다.The experiment was conducted between the same sex in order to eliminate the difference between the opposite sexes, and the subjects were classified into a leader and a follower. The leader directly saw the facial expressions presented on the monitor of the stimulus system behind the other party and performed the task, and the follower directly saw the leader's face and conducted facial expression experiments. The two subjects switched roles and performed 4 repetitions. In order to remove the effect according to the order when the role of the leader and follower progressed, it was performed randomly. The task was performed according to the presented expression, and the experimental procedure is as shown in FIG. 1.

<실험자극><Experimental stimulation>

패턴 맞추기 태스크 수행에 필요한 실험 자극은 3 가지색의 동전(금색, 은색, 동색)으로 구성했다. The experimental stimulus required to perform the pattern matching task consisted of three colors of coins (gold, silver, and the same color).

중앙에 제시된 (Target)은 상기 3 가지 동전을 조합하여 랜덤 하게 패턴을 제작 후 디스플레이 하였다. (Target) presented in the center was displayed after randomly producing a pattern by combining the three coins.

움직임에 대한 영향을 최소화하기 위해 태스크 수행은 오른손으로만 제어할 수 있도록 키보드를 배치하였으며 배치 된 키 배열은 도2에 도시된 바와 같다.In order to minimize the influence on movement, the keyboard is arranged so that task execution can be controlled only with the right hand, and the arrangement of the arranged keys is as shown in FIG. 2.

경쟁 시 자극은 패턴을 맞출 수 있는 각 화면을 피험자 별로 제시하고 화면 중앙에 맞춰야 하는 타겟 패턴(Target Pattern)을 제시하여 제한된 3분 동안 무제한으로 패턴을 맞춰 각 피험자 별로 점수(Score)를 누적 하였다. 협력 시 자극은 경쟁과 동일 한 방법으로 패턴 맞추기 태스크를 수행하는데 좌측에는 컴퓨터의 화면을 제시하고 우측에는 팀 화면에 피험자 1(Subject 1)과 피험자 2(subject 2)의 커서를 제시하여 컴퓨터와 팀이 경쟁하여 실제로 팀은 협력이 유발 되도록 태스크를 제시했다. During competition, each subject presented each screen that can match the pattern, and presented a target pattern that should be aligned to the center of the screen.The score was accumulated for each subject by matching the pattern unlimitedly for a limited 3 minutes. When cooperating, stimulus performs a pattern matching task in the same way as competition. The computer and the team are presented with the computer screen on the left and the cursors of Subject 1 and Subject 2 on the team screen on the right. In this competition, the team actually presented a task to trigger cooperation.

최종 3분이 지난 후에는 경쟁 시에는 많은 점수를 획득한 피험자에게 추가 보상을 협력 시에는 컴퓨터 보다 많은 점수를 획득 시에 팀에게 추가 보상을 태스크가 끝나자마자 바로 지급하였으며 제시된 화면은 도3에 도시된 바와 같다. After the final 3 minutes elapsed, additional rewards were given to the subjects who scored more points during the competition, and additional rewards were given to the team immediately after the task was completed when they obtained more points than the computer when cooperating.The presented screen is shown in FIG. As shown.

<데이터 수집 및 처리><Data collection and processing>

영상 데이터 수집은 두 피험자 모두 정면에서 상반신을 촬영 할 수 있도록 하였다. 웹 카메라는 Logitech사의C920을 사용하였다. 카메라 설정은 해상도 1280×720,30fps와 화이트 밸런스 및 포커스 등 영상 데이터 취득 시 데이터에 오차를 줄이기 위해 각 자동 조절 기능들은 모두 OFF 상태로 유지하였다. Image data collection was performed so that both subjects could photograph the upper body from the front. The web camera was C920 from Logitech. The camera settings are 1280x720, 30fps, and all of the automatic adjustment functions are kept OFF to reduce errors in data when acquiring image data such as white balance and focus.

도14은 본 발명에서 적용하는 시스템의 개략적 구성도이다.14 is a schematic configuration diagram of a system applied in the present invention.

두 피험자(S1, S2)를 각각 촬영하는 카메라는 동영상 카메라, 예를 들어 웹캠 또는 소형 동영상 카메라(110a, 110b)이다. 카메라(110a, 110b)로부터의 동영상은 영상 처리부(120)를 거쳐서 특정의 영상이 추출되고 이것은 프로세싱 장치(130)에 의해 처리된다. 프로세싱 장치(130)는 전술한 바와 같은 방법을 수행하는 소프트웨어 및 이를 지원하는 하드웨어 시스템을 가진다. 도14에서는 피험자별로 카메라가 배치되는 것으로 표현되어 있으나, 본 발명의 다른 실시 예에 따르면, 도1에 도시된 바와 같이 하나의 카메라에 두 피험자를 촬영하게 할 수 도 있다.The cameras respectively photographing the two subjects S1 and S2 are a video camera, for example, a webcam or a small video camera 110a and 110b. The video from the cameras 110a and 110b passes through the image processing unit 120 to extract a specific image, which is processed by the processing device 130. The processing device 130 has software for performing the method as described above and a hardware system supporting the same. In FIG. 14, the cameras are arranged for each subject, but according to another embodiment of the present invention, as shown in FIG. 1, two subjects may be photographed by one camera.

이러한 프로세싱 장치(130)는 컴퓨터 기반의 장치, 예를 들어 전술한 바와 같은 방법 또는 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다. 상기와 같은 프로세싱 장치(130)로부터의 처리 결과는 디스플레이 장치(130)에 의해 표시된다. 위와 같인 시스템은 일반적인 입력 장치를 포함하는 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.The processing device 130 may be a computer-based device, for example, a general-purpose computer or a dedicated device including software containing the method or algorithm as described above and hardware that can run the software. The processing result from the processing device 130 as described above is displayed by the display device 130. The above system may further include a general external interface device including a general input device, for example, a keyboard and a mouse.

이러한 시스템을 이용함에 있어서, OpenCV와 Visual C++를 이용해 얼굴의 중심부를 기준으로 ROI(Region of Interest) 설정 후 움직임 차이 값의 정보를 평균으로 하여 주파수 대역의 파워값을 추출 하도록 구현 하였으며 도4에 도시된 바와 같다.In using such a system, after setting the ROI (Region of Interest) based on the center of the face using OpenCV and Visual C++, the power value of the frequency band was extracted by using the information of the motion difference value as an average. As it is.

이하에서 구체적인 데이터 처리방법을 살펴본다.Hereinafter, a detailed data processing method will be described.

영상 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenC를 이용한 안면인식을 통해 영상 정보를 분리한다. Image information is separated through facial recognition using OpenC in order to extract minute movements of the human body from the head using the image data input using the image camera.

OpenCV(Open Computer Vision)은 C 이다. 원래는 이 개발하였으며, , 등의 여러 플랫폼에서 사용할 수 있다. 이러한 OpenCV는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다. OpenCV (Open Computer Vision) is C. It was originally developed and can be used on several platforms such as, and so on. This OpenCV is a library focused on real-time image processing.

상기 OpenCV에 기반을 둔 안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다. The OpenCV-based facial recognition system refers to a computer-assisted application program that automatically identifies each person through digital images. This is done by comparing the facial database with the selected facial features appearing in the live image.

Adaboost 방법을 적용한 안면 인식 시스템 또는 검출기(프로그램)을 이용하여 상체 이미지의 첫 번째 프레임에서 얼굴 영역을 검출한다. 이때에, 모든 프레임들에서 얼굴 영역의 검출은 필요하지 않다. 이는, 본 발명에 따라서, 인접한 두 프레임에서 동일한 위치의 픽셀의 (휘도)값의 차를 구하여 미세 움직임의 양을 추출하기 때문이다.The face area is detected in the first frame of the upper body image using a face recognition system or detector (program) to which the Adaboost method is applied. At this time, detection of the face area in all frames is not necessary. This is because, according to the present invention, the amount of fine motion is extracted by obtaining the difference between the (luminance) value of the pixel at the same position in two adjacent frames.

Adaboost 방법은, 입력 이미지에서 안면을 검출하기 위하여 많은 약한 분류기(Simple Weak Classifier)를 결합(combining)하는 것에 의해 생성된 강한 분류기(Strong Classifier)를 사용한다. 알고리즘은 많은 학습 시간을 요구하지만, 이것은 검출에 요구되는 짧은 시간과 양질의 검출 결과의 이점(Advantage) 등을 가진다. 이것은, 1/4로 데시메이션된(decimated) 이미지에서 안면 영역을 검출하는데 한 이미지 당 평균 29msec(밀리초)가 소요되었다.The Adaboost method uses a Strong Classifier created by combining many Simple Weak Classifiers to detect a face in an input image. The algorithm requires a lot of learning time, but it has the advantage of short time required for detection and good quality detection results. It took an average of 29 msec (millisecond) per image to detect the facial area in the image decimated by 1/4.

안면 영역 검출 이후, 상체 미세 움직임을 계산하기 위하여 이미지를 빼기(Subtracting) 위한 선택된 영역(Candidate region, 도2에서 녹색 사각형)은 안면 영역의 수평 방향으로 소정 수의 픽셀, 예를 들어 160 픽셀로 확장시켰다After the facial region is detected, the selected region (Candidate region, green square in Fig. 2) for subtracting the image in order to calculate the fine movement of the upper body is extended to a predetermined number of pixels, for example, 160 pixels in the horizontal direction of the facial region. Let

안면 인식 프로그램은 각 영상의 프레임별 차이 값을 계산하여 한 프레임 간 변화 된 움직임의 양을 계산하는 것으로 현재와 이전의 움직임 정보를 추출하여 초당 30 Hz의 Raw 데이터가 된다. 여기에서 Raw 데이터로부터 통해 움직임의 크기에 따라 주파수 성분으로 추출한다. The facial recognition program calculates the amount of motion changed between one frame by calculating the difference value for each frame of each image. It extracts the current and previous motion information and becomes raw data of 30 Hz per second. Here, the frequency component is extracted from the raw data according to the size of the motion.

구체적으로 30 Hz의 미동 데이터는 초당 0.5 Hz, 1 Hz, 3 Hz, 5 Hz, 15 Hz 주파수밴드별로 평균 미동량(O_FHZ)를 추출하였다.Specifically, for fine motion data of 30 Hz, the average fine motion amount (O _FHZ ) was extracted for each frequency band of 0.5 Hz, 1 Hz, 3 Hz, 5 Hz, and 15 Hz per second.

구체적으로 주파수 밴드 별로 평균 미동량을 측정하기 위하여, 카메라 영상 분석 프로그램이 분석에 적용되었다. 캡쳐된 칼라 이미지는 흑백의 그레이 스케일로 변환되었다. 이는 이미지의 색상 정보는 거동 분석에 있어서 중요하지 않기 때문이다. 미동 평균량 "O"을 계산함에 있어서, 주파수가 임의 값 "F" 인 대역에서의 평균 미동량(O_FHz,Average amount of micro movement at Frequency "F" Band)은 아래의 식으로 계산될 수 있다 Specifically, in order to measure the average amount of motion for each frequency band, a camera image analysis program was applied to the analysis. The captured color image was converted to black and white gray scale. This is because the color information of the image is not important for behavior analysis. In calculating the average amount of fine movement "O _{", the} average amount of micro movement at frequency "F" band (O _FHz ) can be calculated by the following equation.

<식1><Equation 1>

상기 식1에서, W와 H는 미동량 측정 대상이 되는 영역, 즉 ROI(Region of interest)에서 상체 미동의 수평 및 수직 길이(크기 또는 거리)이다. 그리고, In(i, j) 는 n 번째 이미지 프레임의 i 번째 칼럼(Column)과 J 번째 로(Row)의 픽셀 값이다. R은 사용된 카메라의 프레임 레이트(Frame rate)이다.In Equation 1, W and H are the horizontal and vertical lengths (size or distance) of the fine movements of the upper body in the region to be measured for the amount of fine movement, that is, the region of interest (ROI). In addition , In ( i, j ) is the pixel value of the i-th column and J-th row of the n-th image frame. R is the frame rate of the camera used.

도4에서, (1)의 화면은 피험자의 실시간 얼굴 영상을 표시하는 화면이며, (2)의 화면은 실제 피험자의 움직임이 발생한 정보만 표시하는 영역으로 그 데이터는 (4)화면과 같이 나타나게 된다. (3)화면의 경우 잘 보이지 않는 미세한 움직임의 데이터를 실시간으로 추출 할 때 나타나는 움직임 양의 원형 데이터(Raw data)를 표시하는 화면이다.In Fig. 4, the screen (1) is a screen that displays the real-time face image of the subject, and the screen (2) is an area that displays only the information on which the subject's movement has occurred, and the data is displayed like the screen (4). . (3) In the case of the screen, it is a screen that displays raw data of the amount of movement that appears when data of fine movements that are hard to see are extracted in real time.

도5는 위와 같은 데이터 처리에 얻어진 미동에 대한 그래프이다.5 is a graph of fine motion obtained in the above data processing.

사람 눈에 보이는 큰 움직임의 경우 저주파 성분의 속성에서 나타나고 눈에 보이지 않는 작은 움직임은 고주파 성분에서의 매우 작게 나타나는 움직임 성분을 가지고 있게 된다.In the case of a large motion visible to the human eye, it appears in the property of the low-frequency component, and the small motion invisible to the human eye has a motion component that appears very small in the high-frequency component.

따라서, 본 발명의 실험에서는 가장 많은 샘플링(Sampling)이 가능하고 가장 작은 데이터를 볼 수 있는 고주파인 15Hz 대역을 선정하여 해당 주파수 성분의 데이터를 추출할 수 있도록 선행 연구에서 제시하는 주파수 성분 추출방법과 평균값 도출 알고리즘을 적용하였다. Therefore, in the experiment of the present invention, the frequency component extraction method proposed in previous studies and the frequency component extraction method suggested in the previous study to select the 15Hz band, which is the high frequency band in which the most sampling is possible and the smallest data can be seen, can be extracted. The average value derivation algorithm was applied.

해당 주파수 성분의 움직임 데이터를 추출하였고 프레임 내의 전체 움직임을 평균으로 변환해 저장하여 데이터를 수집하였다. The motion data of the corresponding frequency component was extracted, and the data was collected by converting and storing the total motion in the frame into an average.

실험 절차는 도6에 도시된 바와 같은 순서로 진행되었는데, 태스크를 수행 할 수 있는 자극 시스템 앞에 두 피험자가 앉은 상태에서 진행되었다.The experimental procedure was carried out in the order shown in Fig. 6, with two subjects sitting in front of a stimulation system capable of performing a task.

(1) 피험자에게 카메라 및 키보드 위치를 실험에 맞춰 설정 후 진행 할 수 있도록 하였다. (1) The subject was allowed to proceed after setting the camera and keyboard positions according to the experiment.

(2) 태스크 수행에 이해를 돕기 위해 사전에 경쟁과 협력에 대한 설명을 진행하였다. (2) Competition and cooperation were explained in advance to help understand the task.

(3) 조작 실수에 대한 오류를 최소화하기 위해 태스크의 사전 테스트를 통해 충분히 익힌 후 실험을 진행하도록 하였다. (3) In order to minimize errors due to manipulation mistakes, the experiment was conducted after learning sufficiently through the pre-test of the task.

(4) 조작패널에 대한 숙지가 완료 되면 실험에 관한 태스크를 수행하였다. (4) When familiarity with the operation panel was completed, the task related to the experiment was performed.

(5) 실험이 완료되면 측정 및 설정을 종료 하였다.(5) When the experiment was completed, measurement and setting were completed.

실험의 태스크 수행은 경쟁과 협력으로 구분되어 두 피험자가 서로 경쟁을 하고 협력을 하는 태스크를 하여 2회 반복 수행 하였다. The task performance of the experiment was divided into competition and cooperation, and the two subjects competed and cooperated with each other, and the task was repeated twice.

또한 반복되는 실험에 따른 생리반응의 지속효과(Running effect)를 최소화하기 위해 태스크 시작 전과 후에 레퍼런스(Reference)와 휴식(Rest 타임)을3분과 5분을 주었으며 실제 수행 된 태스크는 3분간 진행되었고 절차는 도7에 도시된 바와 같다. In addition, in order to minimize the running effect of the physiological response from repeated experiments, 3 minutes and 5 minutes were given for reference and rest (rest time) before and after the start of the task, and the actual task was carried out for 3 minutes. Is as shown in FIG. 7.

<데이터 분석><Data Analysis>

경쟁과 협력의 태스크 수행 시 측정 된 영상 데이터로부터 전술한 방법에 의해 미동 데이터를 추출하여 분석하였으며 미동 양, 미동의 변화량, 미동의 동조성 3가지의 지표(Indicator)를 도출하여 분석하였다. Fine motion data was extracted and analyzed by the method described above from the image data measured when performing the task of competition and cooperation, and three indicators were derived and analyzed: the amount of fine movement, the amount of change of the fine movement, and the consistency of the fine movement.

본 발명에서 추출한 지표(Indicator)들로서, 미동 양은 각 피험자의 태스크 수행 시 발생되는 미세 움직임의 양을 뜻한다. 그리고, 미동의 변화량은 발생된 미세 움직임의 정규화 과정을 수행한 변화 정도를 뜻한다. 또한, 미동의 동조성은 두 피험자의 움직임에 대한 일치성을 분석하는 지표이다. As indicators extracted from the present invention, the amount of fine movement refers to the amount of fine movement that occurs when each subject performs a task. In addition, the amount of change in fine movement refers to the degree of change performed by the normalization process of the generated fine movement. In addition, the coordination of fine movement is an index that analyzes the correspondence between the two subjects' movements.

이와 같은 지표는 HRC(Heart rhythm coherence)나 HRP(Heart rhythm pattern)와 같은 생리반응을 분석하는 방법론과 개념을 미동 지표에 반영하여 분석을 진행 하였다. 미동 양과 변화량 데이터는 정규성을 만족하지 못하여 비모수 검정(Mann-whitney)을 수행하였다. These indicators were analyzed by reflecting the methodology and concept of analyzing physiological responses such as heart rhythm coherence (HRC) or heart rhythm pattern (HRP) in fine movement indicators. The undong amount and variance data did not satisfy the normality, so a nonparametric test (Mann-whitney) was performed.

동조성은 상관분석(Correlation) 후 도출 된 상관계수를 통해 정규성을 확인 후 모수 검정인 독립표본검정 (IndependentT-test)을 진행하였다. For coherence, the Independent T-test, a parameter test, was conducted after confirming the normality through the correlation coefficient derived after correlation analysis.

통계적 유의성을 확보하기 위한 샘플은 G Power(ver 3.1.7)를 이용해 샘플 수 충족 여부를 확인 후 SPSS ver 17k를 사용하여 통계 데이터 분석을 진행하였다.For samples to secure statistical significance, after checking whether the number of samples was satisfied using G Power (ver 3.1.7), statistical data analysis was performed using SPSS ver 17k.

<미동량 분석><Analysis of microscopic quantities>

경쟁과 협력의 태스크를 수행한 구간에 15 Hz 성분의 움직임 데이터를 추출하였다. Motion data of 15 Hz component was extracted in the section where the task of competition and cooperation was performed.

추출된 데이터의 미동 양에 따른 패턴을 비교 해본 결과 경쟁일 때가 협력일 때보다 높은 패턴을 보였으며 도8에 도시된 바와 같다.As a result of comparing the patterns according to the amount of unmoved data of the extracted data, the pattern of competition was higher than that of cooperation, as shown in FIG.

미동 양의 평균값을 비교 결과 도9에 도시된 바와 같이 경쟁(M = 0.656, SE =0.020)과 협력(M = 0.602, SE = 0.020)이 통계적으로 유의한 차이를 보였다(Z(40) = -2.272, p < 0.05).As a result of comparing the average value of the undong amount, as shown in Fig. 9, there was a statistically significant difference between competition ( M = 0.656, SE = 0.020) and cooperation ( M = 0.602, SE = 0.020) ( Z (40) =- 2.272, p <0.05).

<미동 변화량 분석><Analysis of fine movement change>

동일 구간에서 추출된 15 Hz의 주파수 성분을 통해 미동 양의 변화량 패턴을 비교하였다. Through the frequency component of 15 Hz extracted from the same section, the pattern of the amount of change in the amount of fine movement was compared.

그 결과 거의 모든 피험자가 협력 태스크를 수행 할 때보다 경쟁 태스크를 수행 시 더 높은 패턴을 보였으며 도10에 도시된 바와 같다.As a result, almost all subjects showed a higher pattern when performing the competing task than when performing the cooperative task, as shown in FIG. 10.

미동 양의 변화량 평균값을 비교 결과 도11에 도시된 바와 같이, 경쟁(M =0.278, SE = 0.015)과 협력(M = 0.149, SE = 0.018)이 통계적으로 유의한 차이를 보였다(Z(40) = -4.680, p < 0.001)As a result of comparing the mean value of the amount of change in the amount of undong, as shown in Fig.11, there was a statistically significant difference between competition ( M =0.278, SE = 0.015) and cooperation ( M = 0.149, SE = 0.018) ( Z (40) = -4.680, p <0.001)

<경쟁/협력 평가 룰-베이스 설정><Competition/cooperation evaluation rule-base setting>

경쟁/협력 평가 평가 룰-베이스는 미세 움직임 변화량 분석 결과를 기준으로 설정 하였다. 각 피험자의 변화량 분석 결과를 변화율(Micro Movement rate of change, Variation)과 움직임 거리(Micro-movement of distance, Amount))를 조건에 따라 플로팅한 결과는 도15에 도시된 바와 같다. The competition/cooperation evaluation evaluation rule-base was set based on the analysis result of the amount of fine movement change. The result of plotting the analysis result of the amount of change of each subject according to the conditions of the micro-movement rate of change (variation) and the movement distance (micro-movement of distance, amount) is shown in FIG. 15.

이러한 플로팅 결과를 토대로 협력 및 경쟁을 구분하는 아래와 같은 1차 방정식의 룰-베이스를 구하였는데, 아래의 룰 베이스는 통계적으로 유의한 차이를 보인 미동의 양(micro-movement of distance, amount)과 변화량(micro-movement rate of change, variation)의 두 변수를 이용해 아래와 같은 2차원의 평가 룰-베이스(rule base)를 도출하였다.Based on this plotting result, the rule-base of the following linear equation that divides cooperation and competition was obtained.The rule base below is the micro-movement of distance, amount and amount of change that showed statistically significant differences. Using two variables of (micro-movement rate of change, variation), the following two-dimensional evaluation rule-base was derived.

Y=0.15909X + 0.11239Y=0.15909X + 0.11239

각 피험자의 데이터 중에서 변화율(Variation)과 움직임 거리(Amount)를 구분할 수 있는 가장 큰 분별력을 갖는 지점을 임계값 (threshold)으로 설정하였다. 이에 따라, 움직임 거리(Amount)에 상응하는 Variation의 기준값(reference, Y) 대비 실제 변화량(Variation)이 대략 10~15 % 보다 크게 증가하는 경우를 경쟁(Competition), 반대의 경우를 협력(Cooperation)로 판단하는 룰-베이스로 설정하였다.Among the data of each subject, the point with the greatest discrimination power to distinguish between the variation and the amount of movement was set as the threshold. Accordingly, if the actual variation (Variation) increases by about 10 to 15% relative to the reference value (Y) of the variation corresponding to the movement distance (Amount), competition (Competition), and vice versa (Cooperation) It was set as a rule-based judged by.

즉, 어느 한 피험자의 움직임 거리(Amount)를 위의 1차 방정식의 룰베이스에 X 값으로 대입했을 때 그 값이 X 값에 상응하는 Y 값에 비해 크면 경쟁적 관계, 그 반대이면 협력적 관계로 판단하며, 이때에 위와 같은 임계값을 Y에 대해 20~25%를 기준으로 경쟁적 관계 또는 협력적 관계를 판단하며, 그 중간인 경우 중립적 관계인 것으로 볼 수 있다.In other words, when a subject's movement distance (Amount) is substituted with the X value in the rule base of the linear equation above, if the value is larger than the Y value corresponding to the X value, it becomes a competitive relationship, and vice versa. At this time, a competitive relationship or a cooperative relationship is judged based on 20-25% of Y with the above threshold value, and in the middle, it can be regarded as a neutral relationship.

상기한 바와 같은 본 발명은 가상공간 속에서 감성 상호작용에 중요한 경쟁과 협력의 사회감성을 비접촉 센싱 기법인 인체 미동을 이용하여 확인하였다. The present invention as described above confirmed the social sensibility of competition and cooperation, which is important for emotional interaction in a virtual space, by using a non-contact sensing technique, the human body fine motion.

실험은 남녀 대학생 12명을 대상으로 경쟁과 협력을 유발 할 수 있는 태스 수행을 통해 실험을 진행하였다. 남녀 대학생 12명으로 구성되는 피험자 그룹은 전술한 바와 같은 조건으로 선발되었다.The experiment was conducted on 12 male and female college students by performing tasks that can induce competition and cooperation. A group of subjects consisting of 12 male and female college students was selected under the conditions described above.

서로 경쟁 및 협업 태스크를 수행한 후 각 게임에 승리하여 추가 보상을 줌으로써 경쟁과 협력의 적극적인 참여를 통한 감성적 반응을 유도 하였다. 데이터 분석은 인체 미동으로부터 얻어진 15 Hz 주파수 성분의 데이터를 각 경쟁과 협력 태스크 별로 분류 하였다. After performing each other's competition and collaboration tasks, each game was won and given additional rewards to induce emotional reactions through active participation in competition and cooperation. In the data analysis, the 15 Hz frequency component data obtained from the human body was classified for each competition and cooperation task.

수집된 데이터는 미동 양과 미동 양의 변화량 그리고 두 피험자들 간의 미동의 동조성 분석하였다.분석 결과 미동에 양의 평균, 변화량 모두 경쟁 할 때가 협력 할 때보다 높은 패턴을 보였으며 통계적으로 유의한 차이를 보였다. The collected data were analyzed for the amount of change in the amount of fine movement and the amount of fine movement, and the consistency of the amount of movement between the two subjects. As a result of the analysis, both the average and the amount of change in the fine movement showed a higher pattern when competing than when cooperating, showing a statistically significant difference. .

또한 두 피험자들이 태스크 수행 시 발생되는 미동의 동조성에는 경쟁 할 때보다 협력 할 때가 동조성이 더 높았으며 통계적으로 유의한 차이를 확인했다. In addition, when the two subjects cooperate with each other than when competing, the difference between them is statistically significant.

이는 피험자들 간에 경쟁 상태일 때는 상대를 이기기 위해 각성 및 긴장도가 높아지면서 무의식적으로 미세 움직임 양과 변화 정도가 급격하게 향상 되는 것으로 볼 수 있으며 반대로 협력 상황일 때는 상대방과의 호흡을 맞추기 위해 개인의 변화보다 상대방에게 호흡을 맞추는 것에 집중하는 것으로 두 피험자의 움직임이 서로 일치고 있는 것으로 해석 할 수 있다. It can be seen that when the subjects are in a competitive state, the amount of fine movement and the degree of change involuntarily increase as the arousal and tension increase in order to win the opponent. On the contrary, in a cooperative situation, in order to match the breath with the other person, rather than the individual change. It can be interpreted that the movements of the two subjects are consistent with each other by focusing on matching the breath with the other.

따라서 팀이 승리하기 위해 집중과 호흡을 맞추는 것이 움직임에 대한동조성이 높게 나타나는 것으로 생각된다. Therefore, it is thought that synchronicity with movement appears high when the team concentrates and breathes in order to win.

본 발명의 실험 결과는 선행 연구에서 제시하는 것과 같이 태스크 수행 시 호흡과 심박에 대한 동조성이 일어나는 것과 같이 움직임에 대한 동조성도 동일하게 유발 된다고 해석 할 수 있다. 센서 착용의 부담감 및 불편함을 최소화한 비접촉 센싱 방법인 인체 미동을 이용해 경쟁과 협력에 대하여 감성융합기술의 가능함을 평가하였다. The experimental results of the present invention can be interpreted as the same as the synchronization between the breath and the heart rate occurs when the task is performed, as suggested in the previous study. Using the human body fine motion, a non-contact sensing method that minimizes the burden and discomfort of wearing a sensor, the possibility of emotional fusion technology was evaluated for competition and cooperation.

비접촉 방식 방법으로 Ekman의 6가지 기본감성에서 인식 할 수 없는 사회감성의 인식 가능함을 확인하였다. It was confirmed that social sensibility that cannot be recognized in Ekman's six basic sensations can be recognized by the non-contact method.

또한 인위적인 얼굴 표정 등으로 인식하는 방법이 아닌 해부학적 원리와 생리적 반응에 의거한 인식 기술로써 감성인식에 있어 새로운 지표를 통한 평가 방법을 확인하였다. In addition, as a recognition technology based on anatomical principles and physiological responses, not a method of recognizing by artificial facial expressions, etc., the evaluation method through new indicators in emotional recognition was confirmed.

이는 원격 사용자 간의 간단한 웹캠을 통해 동영상 촬영만으로 가상공간에서 사용자들이 상호작용으로 일어나는 반응을 이용해 쉽게 경쟁과 협력을 평가 할 수 있다. This allows users to easily evaluate competition and cooperation using the reactions that occur through interactions between users in a virtual space simply by shooting a video through a simple webcam between remote users.

현재 온라인 게임 등에서 주로 사용하는 커뮤니케이션 수단은 채팅이나 음성 대화를 통한 언어적 수단을 통해 주로 이루어지고 있다. 하지만 선행 연구에 따르면 SNS상에서 브랜드 평가에 있어 단순 정보로 제공되는 기능적 편익보다 감성적 애착 현상이 브랜드에 영향을 더 많이 미치는 것으로 나타났으며 이는 언어적 커뮤니케이션 방법보다 감성적인 비언어 커뮤니케이션 수단이 매우 중하다는 것을 나타내고 있다. 또한 기업전략에 있어 정보기술은 기업이 경쟁력을 갖추기 위해 매우 중요한 요소로 보고 있다. Currently, communication means mainly used in online games, etc. are mainly made through verbal means through chat or voice conversation. However, according to previous research, it was found that emotional attachment affects the brand more than the functional benefits provided as simple information in evaluating the brand on SNS, and this indicates that the emotional non-verbal communication method is very important than the verbal communication method. Shows that. In addition, in corporate strategy, information technology is viewed as a very important factor for a company to be competitive.

이에 따라 경쟁과 협력과 같은 감성정보는 기업전략에 주요 정보기술의 한 요소로 활용 할 수 있을 것으로 예상된다. 최근 IoT를 기반으로한 게임 컨텐츠 개발에 있어 빅테이터 및 인간에 대한 정보를 포함하려 하고있다. 현재는 인간의 습관적이나 사고의 패턴 등을 정보로 사용하지만 미래에는 인간의 감성적 사고에 관한 정보도 반영 할 수 있을 것으로 예상되며 미동과 같은 비언어적 커뮤니케이션 방법은 감성인식 및 기타 관련 분야에 활용 가지나 적용 범위가 높을 것으로 예상된다. 본 발명의 실험은 비접촉 센싱 기술인 인체 미동 기술을 이용하여 경쟁과 협력에 대한 평가를 확인하였다. Accordingly, it is expected that emotional information such as competition and cooperation can be used as an element of major information technology in corporate strategy. Recently, in the development of IoT-based game contents, it is trying to include information on big data and humans. Currently, human habits and patterns of thinking are used as information, but in the future, information on human emotional thinking is expected to be reflected. Non-verbal communication methods such as Midong are used in emotional recognition and other related fields, but the scope of application Is expected to be high. The experiment of the present invention confirmed the evaluation of competition and cooperation using the non-contact sensing technology, the human body fine movement technology.

이러한 발명은 비접촉 형태의 센싱 방법을 통한 초기 연구 중 하나로 주변 환경이나 빛 등 외부요인에 따른 영향에 관한 연구와 정량적 지표를 통해 시스템화 및 생체신호와 상호 비교를 통하여 새로운 지표에 정확도를 검증 및 향상과 안정화에 관련된 추가 연구가 필요하다. This invention is one of the earliest researches through the non-contact sensing method. It is possible to verify and improve the accuracy of new indicators through systematization through quantitative indicators and mutual comparisons with bio-signals, research on the effects of external factors such as surrounding environment or light. Further studies on stabilization are needed.

가상 및 공존현실 등 기술이 발전하고 그에 따른 시공간 제약이 사라져 가상공간에서의 활동이 넓어지고 있다. 또한 커뮤니케이션 도구 및 감성인식 기술에 대한 연구들도 증가하고 있다. 따라서 비접촉 센싱 방법과 경쟁과 협력에 대한정량적인 사회감성 인식 방법을 제시하는데 의의가 있다.As technologies such as virtual and coexistence reality have been developed and space-time constraints have disappeared, activities in virtual space are expanding. In addition, researches on communication tools and emotional recognition technology are increasing. Therefore, it is meaningful to suggest a non-contact sensing method and a quantitative social sensibility recognition method for competition and cooperation.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true scope of protection of the present invention should be determined only by the appended claims.

Claims

Photographing the faces of two subjects in a state in which rapport is possible using a video camera;
Extracting fine motion data of the subject by detecting the amount of change between frames in the facial image;
Detecting fine movement data including a fine movement change amount (X) and a fine movement change rate (y) for each frequency band of the subject from the fine movement data; And
Comprising the step of evaluating the cooperation-competitive relationship between the two subjects by the following <Equation> using the fine motion data; phosphorus, cooperation-competitive relationship evaluation method.
<expression>
Y=0.15909X + 0.11239
X is the subject's fine movement amount, and Y is the reference value for the subject's actual variation (y).
at X,
if y> Y then competition
if y <Y then partnership

delete

The method of claim 1,
The frequency band comprises at least one of 0.5Hz, 1Hz, 3Hz, 5Hz, or 15Hz of cooperation-competition relationship evaluation method

The method of claim 4,
The amount of motion change is a cooperative-competitive relationship evaluation method, characterized in that the amount of motion change (O _FHZ ) is defined in the following <Equation>.
<expression>

Here, W and H are the horizontal and vertical lengths (size or distance) of the upper body fine movement in the area to be measured for the amount of fine movement, and In ( i, j ) is the i-th column and the J-th column of the n-th image frame. The pixel value of (Row), R is the frame rate of the camera used.

The method of claim 1,
The amount of motion change is a cooperative-competitive relationship determination method, characterized in that the amount of motion change (O _FHZ ) is defined in the following <Equation>.
<expression>

Here, W and H are the horizontal and vertical lengths (size or distance) of the fine movement of the upper body in the area to be measured for the amount of movement, and In ( i, j ) is the i-th column and the J-th of the n-th image frame. The pixel value of (Row), R is the frame rate of the camera used.

The method of claim 6,
The frequency band comprises at least one of 0.5Hz, 1Hz, 3Hz, 5Hz, or 15Hz of cooperation-competition relationship determination method

In the competition-cooperation relationship evaluation apparatus for performing the method according to claim 1,
A video camera photographing the subject;
An image processing unit processing an image from the video camera; And
Competition-cooperation relationship evaluation apparatus comprising; an analysis unit for evaluating the cooperation-competitive relationship between subjects using the information from the image processing unit.

The method of claim 8,
The cooperative-competition relationship evaluation apparatus, wherein the fine motion data for each frequency band is any one of a motion amount, a motion change amount, or a motion synchronization for each frequency band.

The method according to claim 8 or 9,
The frequency band is a cooperation-competition relationship evaluation apparatus, characterized in that it comprises at least one of the bands of 0.5Hz, 1Hz, 3Hz, 5Hz or 15Hz.

The method of claim 10,
The motion change amount is a cooperative-competitive relationship evaluation apparatus, characterized in that the amount of movement (O _FHZ ) defined in the following <Equation>.
<expression>

The method of claim 9,
The amount of motion change is a cooperative-competitive relationship evaluation method, characterized in that the amount of motion change (O _FHZ ) is defined in the following <Equation>.
<expression>