KR102549453B1

KR102549453B1 - Method for Providing Conversation with Baby using Augmented Reality by Baby's Emotional Sate

Info

Publication number: KR102549453B1
Application number: KR1020180106247A
Authority: KR
Inventors: 김재형; 이경재; 권봉기
Original assignee: 주식회사 아이앤나
Priority date: 2018-09-06
Filing date: 2018-09-06
Publication date: 2023-07-03
Also published as: KR20200028522A

Abstract

본 발명은 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법에 관한 것으로, 본 발명에 따른 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법은, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계와, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계와, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계와, 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 제4 단계와, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계와, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하는 제6 단계와, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하는 제7 단계와, 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하는 제8 단계와, 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제9 단계와, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제10 단계와, 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제11 단계와, 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제12 단계를 포함한다.The present invention relates to a method of providing a conversation with a baby using the enhancement of the baby's emotional state. In a method executed through an operation server communicating with a camera device provided at a base, E (E ( Matching relationship information between E≥2) baby expression pattern information and N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among the designated N (N≥2) baby emotion items, and the E Register and store facial expression-based emotional state discrimination information, including facial expression-based correlation numerical relationship information that digitizes the correlation between the baby's facial expression pattern information and N1 baby emotion items, in the operation D/B, and specify P (P≥2) Register and store R (R≥2) virtual object data corresponding to the baby's response to the dog's conversation intention in the operation D/B, and based on the baby's emotional state information for each designated emotion item, the P conversation intentions and R A first step of storing virtual object matching information for matching two virtual object data; video data encoded in a designated method by photographing a specific baby in the base through a camera module of the camera device; and a sound input unit of the camera device. A second step of receiving audio data input through and encoded in a designated manner and storing and managing it in a specific storage area of a designated storage medium; A third step of performing or maintaining a procedure for providing transmission data including, checking and reading a character string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal, so that the user communicates with the baby A fourth step of recognizing one dialogue string; a fifth step of analyzing the recognized dialogue string and determining a user dialogue intention corresponding to at least one of P designated dialogue intentions; before or after determining the user dialogue intention; While recognizing f (1 ≤ f ≤ F) feature points of a specific baby's facial region within the base by reading designated video data at a point in time during or after, among the recognized f feature points, between feature points related to the baby's emotional expression A sixth step of recognizing i (i≥1) pieces of baby facial expression recognition information corresponding to a geometric relationship, and matching the recognized i pieces of baby facial expression recognition information based on the facial expression-based emotional state discrimination information to a predetermined criterion similarity or higher. a seventh step of identifying e (1≤e≤E) pieces of baby expression pattern information and determining n1 (1≤n1≤N1) number of baby emotion items having a matching relationship with the e pieces of baby expression pattern information; Based on the matching ratio between the recognized i baby expression recognition information and the e baby expression pattern information, a numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items is read, and the recognized i number of baby expression patterns are read. An eighth step of calculating the baby's emotional state value for each n1 emotion item, which digitizes the baby's emotional state for each n1 emotion item corresponding to the recognition information; A ninth step of generating baby emotional state information for each (1≤n≤N) number of emotion items; A 10th step of checking r (1≤r≤R) virtual object data that match the video data; An 11th step of superimposing and displaying data to augment a response to the determined user conversation intention based on the baby's emotional state from the baby's point of view through a designated area within the baby's face area or a region around the baby's face; and A twelfth step of providing transmission data including augmented video data to the app or IPTV of the user's wireless terminal for a specified period of time in response to the video data.

Description

Method for Providing Conversation with Baby using Augmented Reality by Baby's Emotional Sate}

본 발명은 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 것이다.In the present invention, transmission data including video data of a specific baby in the base is provided to an app or IPTV of a designated user's wireless terminal through a camera device provided at a designated base through the app or IPTV of the user's wireless terminal. When a dialogue string corresponding to a voice or text spoken by the user to the baby is recognized, the user's dialogue intention for the dialogue string is determined, and each emotional item designated for the specific baby is determined based on one or more data including the video data. After generating each baby's emotional state information, based on this, virtual object data matching the determined user's conversational intention is checked, and a designated part in the baby's facial area or baby on the designated video data to be provided to the app or IPTV of the user's wireless terminal By augmenting and providing the area around the face, the baby is processed to respond to the determined user conversation intention based on the baby's emotional state.

종래에 다수개의 웹 PC 카메라가 설치된 병원 또는 조산원 또는 산후 조리원에서 회원으로 가입된 아기의 동영상이나 정지 화상 및 신생아 정보(예컨대, 태몽, 초음파 진단 사진 등)를 인터넷을 통해 회원에게 제공하는 서비스가 제안된 바 있다(특허공개번호 특2001-0091236(2001년10월23일)).A service that provides video or still images of a baby registered as a member and newborn information (eg, prenatal dream, ultrasound diagnosis picture, etc.) to members through the Internet at a hospital, midwifery center, or postpartum care center where a plurality of web PC cameras are installed is proposed. (Patent Publication No. 2001-0091236 (October 23, 2001)).

그러나 종래의 서비스는 단순히 아기의 동영상이나 정지 화상 및 신생아 정보를 인터넷을 통해 제공하는 것으로, 기본 제공되는 아기의 동영상이나 정지 화상 및 신생아 정보 외에 아기의 현재 상태와 관련된 실시간 정보를 자동 파악하거나 아기와 상호 작용하기에는 기술적으로 난해한 문제점을 지니고 있다.However, the conventional service simply provides the baby's video or still image and newborn information through the Internet. It has technically difficult problems to interact with.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한 후, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하고, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하고 이에 대응하는 사용자 대화 의도를 판별하고, 상기 사용자 무선단말의 앱이나 IPTV로 제공할 비디오 데이터를 포함하는 하나 이상의 데이터를 판독하여 아기의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하고, 지정된 인식 대상 별 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 아기 감정 항목을 판별하고, 상기 인식 대상의 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 아기 감정 상태를 수치화한 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 산출된 하나 이상의 아기 감정 상태 정보를 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 중첩 표시함으로써 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법을 제공함에 있다.An object of the present invention to solve the above problems is to identify matching relationship information between pattern information of a recognition target designated to be recognized to determine a baby's emotional state and each baby emotion item, and pattern information of the designated recognition target and each Registers and stores emotional state determination information for each designated recognition target, including correlation numerical correlation information that digitizes the correlation between baby emotion items, in the designated operation D/B, and baby's position for the designated P(P≥2) conversation intentions Registering and storing R (R≥2) virtual object data corresponding to the response of the operation D/B, and matching the P conversation intentions with the R virtual object data based on the baby emotional state information for each designated emotion item. After storing the virtual object matching information, acquisition data including video data obtained by photographing a specific baby in the base through the camera module of the camera device is received and stored in a specific storage area of a designated storage medium, and the designated user While providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV of the wireless terminal, check the string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal. and reads it to recognize the conversation string that the user talked to the baby, determine the user's conversation intention corresponding thereto, and read one or more data including video data to be provided to the app or IPTV of the user's wireless terminal to recognize the baby's emotion Recognize the recognition information of the designated recognition target to determine the recognition information, check the pattern information of the designated recognition target matched with the recognized recognition information based on the emotional state determination information for each designated recognition target, and match the predetermined criterion similarity, and check the identified recognition information. One or more baby emotion items having a matching relationship with pattern information are discriminated, and based on a matching ratio between the recognition information of the recognition object and the pattern information, a numerical relationship of correlation between the pattern information and the baby emotion items is read to determine the recognition information. Calculate a baby emotional state value for each emotion item, which digitizes the baby's emotional state for each corresponding one or more emotion items, and generate baby emotional state information for each designated emotion item using the calculated one or more baby emotional state information; Based on the virtual object matching information and the baby's emotional state information for each of the generated n emotion items, virtual object data that matches the determined user's conversational intention is checked, and the virtual object data matched to the baby's facial area on the video data or the area around the baby's face is identified. By overlapping displaying, transmission data including augmented video data to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view through a designated area within the baby's face area or a region around the baby's face is transmitted to the user for a specified period of time. An object of the present invention is to provide a method of providing a conversation with a baby using the baby's emotional state enhancement provided by an app of a wireless terminal or an IPTV.

본 발명에 따른 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법은, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계와, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계와, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계와, 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 제4 단계와, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계와, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하는 제6 단계와, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하는 제7 단계와, 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하는 제8 단계와, 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제9 단계와, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제10 단계와, 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제11 단계와, 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제12 단계를 포함한다.The method of providing a conversation with a baby using the baby's emotional state augmentation according to the present invention is a method executed through an operating server that has a sound input unit, a sound output unit, and a camera module and communicates with a camera device provided at a designated base, Among the F (F≥2) feature points existing in the baby's facial area, E (E≥2) baby expression pattern information corresponding to the geometric relationship between feature points related to the baby's emotional expression and designated N (N≥2) baby Matching relation information among N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among emotion items and expression based on digitizing the correlation between the E number of baby expression pattern information and N1 baby emotion items Register and store expression-based emotional state determination information including correlation numerical relationship information in the operation D/B, and R (R≥2) number corresponding to the baby's response to the designated P (P≥2) number of conversational intentions. A first step of registering and storing virtual object data in the operation D/B and storing virtual object matching information for matching the P conversation intentions and R virtual object data based on baby emotional state information for each designated emotion item; Through the camera module of the camera device, a specific baby in the base is photographed and video data encoded in a designated method and audio data input through a sound input unit of the camera device and encoded in a designated method are received and stored in a designated storage medium. A second step of managing storage in an area; a third step of performing or maintaining a procedure of providing transmission data including video data stored in a specific storage area of the storage medium to an app or IPTV of a designated user wireless terminal; A fourth step of identifying and reading a string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal and recognizing a conversation string the user has spoken to the baby, and analyzing the recognized conversation string A fifth step of determining a user conversation intention corresponding to at least one of the designated P conversation intentions, and reading the designated video data at a point in time before, during, or after determining the user conversation intention to see the face of a specific baby in the base. Recognizing i (i≥1) baby expression recognition information corresponding to geometric relationships between feature points associated with baby's emotional expression among the recognized f feature points while recognizing f (1≤f≤F) feature points for the region In a sixth step, based on the facial expression-based emotional state determination information, the recognized i pieces of baby facial expression recognition information and e (1≤e≤E) pieces of baby expression pattern information matched with a predetermined criterion similarity or higher are checked, and the e A seventh step of determining n1 (1≤n1≤N1) baby emotion items having a matching relationship with the baby expression pattern information, and a matching ratio between the recognized i baby expression recognition information and the e baby expression pattern information Based on this, n1 emotions obtained by reading the numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items and digitizing the baby's emotional state for each n1 emotion item corresponding to the recognized i number of baby expression recognition information An eighth step of calculating baby emotional state values for each item, and a step of generating baby emotional state information for designated n (1≤n≤N) emotion items using the calculated baby emotional state values for each n1 emotion items. In step 9, based on the virtual object matching information and the baby emotional state information for each of the generated n emotion items, r (1≤r≤R) virtual object data matching the determined user conversation intention are identified; Step 10, overlapping and displaying q (1≤q≤r) virtual object data specified in a designated area within the baby's face area or in the area around the baby's face on the video data, and displaying the data through the designated area in the baby's facial area or the area around the baby's face. An 11th step of augmenting to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view, transmitting data including augmented video data to respond to the determined user conversation intention to the user wirelessly for a specified period of time. A twelfth step of providing the information to the terminal's app or IPTV is included.

본 발명에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다.According to the present invention, the E pieces of baby expression pattern information may include range information of a geometric relationship between feature points corresponding to each baby expression pattern associated with the baby's emotional expression.

본 발명에 따르면, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다.According to the present invention, the geometric relationship between feature points may include one or more of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points.

본 발명에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the expression-based correlation numerical relationship information may include numerical correlation information calculated through a relational expression proportional to a matching ratio between baby expression recognition information obtained by recognizing the baby's facial expression and pre-registered baby expression pattern information. can

본 발명에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the expression-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between baby expression recognition information obtained by recognizing the baby's facial expression and pre-registered baby expression pattern information.

본 발명에 따르면, 상기 P개의 대화 의도는 아기의 상태를 질의하는 대화 카테고리에 대응하는 대화 의도, 아기의 감정 표현을 유도하는 대화 카테고리에 대응하는 대화 의도, 아기의 반응을 유발하는 대화 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함할 수 있다.According to the present invention, the P number of conversation intentions correspond to a conversation category inquiring about a baby's status, a conversation intention corresponding to a conversation category inducing a baby's emotional expression, and a conversation category inducing a baby's reaction. It may include at least one conversation intention among the conversation intentions.

본 발명에 따르면, 상기 R개의 가상객체 데이터는 지정된 대화 의도에 대한 아기 입장의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다.According to the present invention, the R number of virtual object data includes virtual object data overlapped and displayed on a designated part in the baby's facial area as a baby's response to a designated conversation intention, and a character string corresponding to a baby's response to a designated conversation intention. It may include at least one virtual object data among virtual object data displayed in the form of a speech bubble and superimposed on the area around the baby's face.

본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함할 수 있다.According to the present invention, the second step may include receiving moving picture data including the video data and audio data from the camera device and storing and managing the moving picture data in a specific storage area of a designated storage medium.

본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함할 수 있다.According to the present invention, the second step may include receiving the video data and audio data from the camera device and storing and managing them in a specific storage area of a designated storage medium.

본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함할 수 있다.According to the present invention, the second step may further include synchronizing the times of the video data and audio data received from the camera device and storing them in a specific storage area of a designated storage medium.

본 발명에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함할 수 있다.According to the present invention, the transmission data may further include audio data stored in a specific storage area of the storage medium.

본 발명에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the present invention, the specified video data may include at least one of video data periodically selected for each specified playback time unit and video data periodically selected for each specified playback frame number.

본 발명에 따르면, 상기 제4 단계는 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 획득된 오디오 데이터를 수신하는 단계와, 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하는 단계를포함할 수 있다. 한편 상기 오디오 데이터를 상기 카메라장치로 전송하여 상기 카메라장치의 사운드 출력부를 통해 출력하도록 처리하는 단계를 더 포함할 수 있다.According to the present invention, the fourth step includes receiving audio data obtained through an app or IPTV of a user wireless terminal that receives and outputs the transmission data, and attempts voice recognition for the received audio data to A step of checking a character string corresponding to content uttered by a user watching the transmission data may be included. Meanwhile, the method may further include transmitting the audio data to the camera device and outputting the audio data through a sound output unit of the camera device.

본 발명에 따르면, 상기 제4 단계는 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신하는 단계를 포함할 수 있다.According to the present invention, the fourth step may include receiving a character string recognizing a voice uttered by a user watching the transmission data through an app or IPTV of a user wireless terminal that receives and outputs the transmission data. there is.

본 발명에 따르면, 상기 제4 단계는 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 입력된 문자열을 수신하는 단계를 포함할 수 있다.According to the present invention, the fourth step may include receiving a string input through an app or IPTV of a user wireless terminal that receives and outputs the transmission data.

본 발명에 따르면, 상기 제1 단계는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제6 단계는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식하는 단계를 더 포함하며, 상기 제7 단계는 상기 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인하고 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하는 단계를 더 포함하고, 상기 제8 단계는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하며, 상기 제9 단계는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함할 수 있다.According to the present invention, the first step is to discriminate based on C (C≥2) pieces of baby crying pattern information associated with emotional expression of a baby among baby crying patterns and baby crying patterns among designated N baby emotion items. Matching relationship information between possible N2 (1≤N2≤N) baby emotion items and cry-based correlation numerical relationship information digitizing the correlation between the C number of baby crying pattern information and the N2 number of baby emotion items Further comprising the step of registering and storing crying sound-based emotional state determination information in the operating D/B, wherein the sixth step reads the audio data of a certain period associated with the video data and reads the j(j Further comprising recognizing ≥1) pieces of baby crying recognition information, wherein the seventh step is based on the crying sound-based emotional state determination information, and the recognized j pieces of baby crying sound recognition information have a similarity higher than or equal to a preset standard. Identifying c (1≤c≤C) pieces of matched baby crying pattern information and determining n2 (1≤n2≤N2) number of baby emotion items having a matching relationship with the identified c pieces of baby crying pattern information and wherein the eighth step is performed between the c pieces of baby crying pattern information and the n2 pieces of baby emotion items based on a matching ratio between the recognized j pieces of baby crying sound recognition information and the c pieces of baby crying pattern information. Further comprising the step of reading the correlation numerical relationship and calculating baby emotional state values for each n2 emotion items by digitizing the baby emotional states for each n2 emotion items corresponding to the recognized j number of baby crying sound recognition information, wherein the The ninth step may further include generating baby emotional state information for designated n emotional items by additionally using the calculated baby emotional state values for each n2 emotional items.

본 발명에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함할 수 있다.According to the present invention, the C pieces of baby crying pattern information may include information about a range of features of a crying sound constituting each crying pattern associated with a baby's emotional expression.

본 발명에 따르면, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다.According to the present invention, the cry feature is a frequency band feature, a disposition relation feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a disposition relation feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band It may include at least one feature of a combination of features and sound intensity features, a feature of an arrangement relationship between frequency band features and sound intensity features, and a periodicity feature of frequency band features and sound intensity features.

본 발명에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the cry-based correlation numerical relationship information is a correlation value calculated through a relational expression proportional to a matching ratio between the baby crying recognition information obtained by recognizing the baby's crying and the pre-registered baby crying pattern information. information may be included.

본 발명에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the cry-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between the baby crying recognition information for recognizing the baby's crying and the pre-registered baby crying pattern information. can

본 발명에 따르면, 상기 제1 단계는 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제2 단계는 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며, 상기 제6 단계는 상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하는 단계를 더 포함하고, 상기 제7 단계는 상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하는 단계를 더 포함하며, 상기 제8 단계는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하고, 상기 제9 단계는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함할 수 있다.According to the present invention, in the first step, S (S≥2) sensed values for the sensing data of a designated sensing target related to the baby's emotional expression among the sensing data sensed through the sensor module provided in or linked to the camera device. Matching relationship information between N3 (1≤N3≤N) baby emotion items that can be distinguished based on the pattern information and the sensing value pattern of the designated sensing target among the designated N baby emotion items and the S sensed value pattern information and the N3 The step of registering and storing sensing-based emotional state determination information including numerical relationship information of a sensing-based correlation obtained by digitizing the degree of correlation between the baby's emotional items in an operation D/B, wherein the second step is provided in the camera device. The method further includes receiving sensing data sensed through a sensor module connected to or associated with the video data and storing and managing the sensing data in a specific storage area of a designated storage medium in association with the video data, wherein the sixth step is the sensing data associated with the video data. and recognizing k (k≥1) pieces of sensing value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific baby, wherein the seventh step is the sensing-based emotional state determination. Based on the information, check the recognized k sensing value recognition information and s (1≤s≤S) pieces of sensing value pattern information that are matched with a preset criterion similarity or higher, and establish a matching relationship with the identified s sensing value pattern information The method further includes determining n3 (1≤n3≤N3) number of baby emotion items, and the eighth step is based on a matching ratio between the recognized k sensed value recognition information and the s sensed value pattern information. The baby for each n3 emotion items obtained by reading the correlation numerical relationship between the s sensed value pattern information and the n3 baby emotion items and digitizing the baby's emotional state for each n3 emotion items corresponding to the recognized k sensed value recognition information. The ninth step further includes the step of generating baby emotional state information for each designated n number of emotion items by additionally using the calculated emotional state values for each n3 number of emotion items of the baby. can do.

본 발명에 따르면, 상기 센서모듈은 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있다.According to the present invention, the sensor module is at least one of a wearable sensor module that senses a designated sensing target worn on the baby's body and a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves It may include a sensor module of.

본 발명에 따르면, 상기 센싱 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the present invention, the sensing target may include at least one of the baby's heartbeat, the baby's body temperature, the ambient humidity around the baby, and whether or not the baby is not breathing.

본 발명에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다.According to the present invention, the S pieces of sensing value pattern information may include range information of sensing value characteristics constituting each sensing value pattern for sensing data of a designated sensing target associated with a baby's emotional expression.

본 발명에 따르면, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.According to the present invention, the sensing value characteristics may include at least one or a combination of two or more of a sensing value variation rule characteristic, a sensing value variation characteristic, a sensing value change rate characteristic, and a periodic characteristic of sensing value change.

본 발명에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the sensing-based correlation numerical relationship information is a correlation numerical value calculated through a relational expression proportional to a matching ratio between the sensing value recognition information recognized through the sensing data of the designated sensing target and the previously registered sensing value pattern information. information may be included.

본 발명에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the sensing-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and previously registered sensing value pattern information. can

본 발명에 따르면, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 n개의 감정 항목 정보와 각 감정 항목 별 아기 감정 상태의 수치정보를 포함할 수 있다.According to the present invention, the baby's emotional state information for each of the n emotional items may include n emotional item information and numerical information of the baby's emotional state for each of the emotional items.

본 발명에 따르면, 상기 r개의 가상객체 데이터는 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다.According to the present invention, the r virtual object data is virtual object data overlapping and displayed on a designated part in the baby's facial area as a response to the baby's emotional state criteria for the determined user's conversation intention, and the baby for the determined user's conversation intention. A character string corresponding to the emotional state reference response may be displayed in the form of a speech bubble, and may include at least one virtual object data among virtual object data overlapped and displayed on the area around the baby's face.

본 발명에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터를 포함할 수 있다.According to the present invention, the q number of virtual object data may include the r number of virtual object data.

본 발명에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함할 수 있다.According to the present invention, the q virtual object data may include virtual object data selected as the most suitable for the determined user conversation intention among the r virtual object data.

본 발명에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the present invention, the q virtual object data may include virtual object data selected to overlap and display one virtual object data on the same part in the baby's facial area among the r virtual object data.

본 발명에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the present invention, the q virtual object data may include virtual object data selected to overlap and display one virtual object data in the same area around the baby's face among the r virtual object data.

본 발명에 따르면, 상기 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법은, 상기 q개의 가상객체 데이터가 아기 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향을 인식하는 단계를 더 포함하며, 상기 제11 단계는 상기 아기 안면의 지향 방향에 대응하는 아기 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시하는 단계를 포함할 수 있다.According to the present invention, the method for providing a conversation with a baby using the baby's emotional state augmentation includes the baby's face on the video data, when the q virtual object data includes virtual object data designated to be overlapped and displayed in an area around the baby's face. The method may further include recognizing an orientation direction of the baby face, and the eleventh step may include overlapping and displaying the specified virtual object data in an area around the baby's face corresponding to the orientation direction of the baby's face.

본 발명에 따르면, 상기 아기 안면 영역 내의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the present invention, the designated parts in the baby's face area are the baby's hair, the baby's forehead, the baby's temple, the baby's eyebrows, the baby's both eyes and the area between the eyebrows, the baby's both eyes, and the baby The area between the inside and outside of the baby, the inside and outside of the baby, the lower inside of the baby, the cheek area of the baby, the cheek of the baby, the bridge of the nose of the baby, the nose of the baby, the philtrum of the baby, and the baby's cheeks It may include at least one or a combination of two or more of a mouth area, a baby's lip area, an area outside the baby's mouth, a area below the baby's mouth, a baby's chin area, and a baby's neck area.

본 발명에 따르면, 상기 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법은, 상기 q개의 가상객체 데이터가 아기 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며, 상기 제11 단계는 상기 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함할 수 있다.According to the present invention, the method for providing a conversation with a baby using the baby's emotional state augmentation, when the q virtual object data includes virtual object data designated to be overlapped and displayed on a designated part in the baby's facial area, on the video data The method further includes calculating angle information on a 3D coordinate system between the orientation direction of the baby's face and the camera photographing direction, wherein the eleventh step is such that, based on the angle information, the overlapping display direction of the specified virtual object data is set to the baby's face area. A step of overlapping display by converting coordinates to correspond to directions for each designated part within the body may be included.

본 발명에 따르면, 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리함으로써, 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자는 상기 송신 데이터의 비디오 데이터에 대응하는 아기의 영상 화면을 보고 상기 송신 데이터의 오디오 데이터에 대응하는 아기의 소리를 듣는 것 이외에 상기 송신 데이터를 시청하면서 상기 아기와 상호 작용하거나 대화할 수 있는 이점이 있다.According to the present invention, while providing transmission data including video data of a specific baby in a designated base through a camera device provided at a designated base to an app or IPTV of a designated user's wireless terminal, the app or IPTV of the user's wireless terminal When a conversation string corresponding to a voice or text spoken by the user to the baby is recognized through the above, the user's conversation intention for the conversation string is determined, and the user's conversation intention for the baby is determined based on one or more data including the video data. After generating baby emotional state information for each emotion item, based on this, virtual object data matching the determined user conversation intention is checked, and a designated part within the baby's facial area on the designated video data to be provided to the app or IPTV of the user's wireless terminal. By augmenting and providing the area around the baby's face, the user viewing the transmitted data through the app or IPTV of the wireless terminal can respond to the determined user's conversational intention based on the baby's emotional state from the baby's point of view. In addition to seeing the video screen of the baby corresponding to the video data of the transmission data and hearing the sound of the baby corresponding to the audio data of the transmission data, there is an advantage of being able to interact or talk with the baby while watching the transmission data.

도 1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 증강하여 아기와 대화하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.
도 5는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.
도 6은 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.
도 7은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.1 is a diagram showing the configuration of a system that communicates with a baby by augmenting the baby's emotional state according to the implementation method of the present invention.
2 is a diagram illustrating a process of storing/registering information according to an implementation method of the present invention.
3 is a diagram illustrating how to transmit acquired data obtained through a camera device of a designated base according to an embodiment of the present invention and store and manage the data in a designated storage medium.
FIG. 4 is a diagram illustrating a process of determining a user's conversational intention in which a user communicates with a baby while providing transmission data including video data to the user according to an embodiment of the present invention.
5 is a diagram illustrating a process of responding to a user's conversation intention based on a baby's emotional state according to the first embodiment of the present invention.
6 is a diagram illustrating a process of responding to a user conversation intention based on a baby's emotional state according to a second embodiment of the present invention.
7 is a diagram illustrating a process of responding to a user conversation intention based on a baby's emotional state according to a third embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the operating principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the description below relate to preferred implementation methods among various methods for effectively explaining the features of the present invention, and the present invention is not limited to only the drawings and description below.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to examples of preferred union types among numerous embodiments of the present invention, and examples in which specific components (or steps) are omitted or specific configurations (or steps) are omitted in the following embodiments. Embodiments in which functions implemented in are divided into specific configurations (or steps), or embodiments in which functions implemented in two or more configurations (or steps) are integrated into any one configuration (or steps), specific configurations (or steps) It is clearly stated that the embodiments in which the operation sequence of is replaced are all within the scope of the present invention, even if not separately mentioned in the following embodiments. Therefore, it is clearly stated that various examples corresponding to subsets or complements can be divided retroactively from the filing date of the present invention based on the following examples.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following embodiments are a means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention belongs. only

도면1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 증강하여 아기와 대화하는 시스템의 구성을 도시한 도면이다.Figure 1 is a diagram showing the configuration of a system that communicates with a baby by augmenting the baby's emotional state according to the implementation method of the present invention.

보다 상세하게 본 도면1은 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 1 shows transmission data including video data taken of a specific baby in the designated base through the camera device 195 provided at the designated base to the app or IPTV 190 of the designated user wireless terminal 185. If a conversation string corresponding to a voice or text that the user talked to the baby through the app of the user wireless terminal 185 or the IPTV 190 is recognized during the service, the user's conversation intention for the conversation string is determined and the video After generating baby emotional state information for each designated emotion item for the specific baby based on one or more data including data, based on this, virtual object data matching the determined user conversation intention is checked, and the user wireless terminal Responding to the determined user conversation intention based on the baby's emotional state from the baby's point of view by augmenting and providing a designated area within the baby's face area or a region around the baby's face on the designated video data to be provided to the app of (185) or the IPTV (190) As it shows the configuration of a system that processes to do so, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this Figure 1 in various implementation methods for the configuration of the system (e.g., some configurations However, the present invention includes all the inferred implementation methods, and its technical characteristics are not limited only to the implementation method shown in FIG. 1. No.

본 발명의 시스템은, 지정된 거점에 구비되어 피사체를 찰영하고 통신망에 접속 가능한 카메라장치(195)와, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능, 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 생성된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 하나 이상의 기능을 수행하는 운영서버(100)를 포함하여 이루어진다. 상기 운영서버(100)는 독립된 서버 형태, 둘 이상의 서버 조합 형태, 기 구비된 서버를 통해 실행되는 소프트웨어 형태 중 적어도 하나 또는 둘 이상의 조합 형태로 구현될 수 있으며, 상기 운영서버(100)를 구현하는 실시예나 상기 운영서버(100)의 명칭에 의해 본 발명이 한정되지 아니한다.The system of the present invention, through a camera device 195 provided at a designated base and capable of photographing a subject and connecting to a communication network, and a camera module of the camera device 195, a video signal obtained by photographing a specific baby in the base A function of receiving acquired data including video data encoded in a designated manner and storing it in a specific storage area of a designated storage medium, and transmitting data including video data stored in a specific storage area of the storage medium to a designated user wireless terminal (185). ) function provided to the app or IPTV 190, while the transmission data is provided to the app or IPTV 190 of the designated user wireless terminal 185, the app of the user wireless terminal 185 or the IPTV 190 A function of recognizing a dialogue string corresponding to a voice or text spoken by the user to the baby through a function, a function of determining the user's conversational intention for the recognized dialogue string, and based on one or more data acquired through the camera device 195. A function of generating baby emotional state information for each designated emotional item for the specific baby, a designated part within the baby's face area on the designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190, or the baby's face Operation of performing at least one function among augmenting functions to respond to the determined user conversation intention by overlapping and displaying virtual object data responding to the user conversation intention based on the baby emotional state information for each emotion item generated in the surrounding area. It is made including the server 100. The operation server 100 may be implemented in the form of at least one or a combination of two or more of an independent server type, a combination of two or more servers, and a software type executed through a pre-installed server, which implements the operation server 100. The present invention is not limited by the embodiment or the name of the operation server 100.

상기 카메라장치(195)는 지정된 거점에 구비되어 피사체를 촬영하는 카메라를 구비한 단말이나 장치의 총칭으로서, 바람직하게 산후조리원이나 가정집의 아기가 기거하는 공간에 구비되어 상기 공간에 존재하는 특정 아기를 촬영하는 카메라를 구비한 단말이나 장치를 포함할 수 있다. The camera device 195 is a general term for a terminal or device equipped with a camera that is provided at a designated base and takes pictures of a subject, and is preferably provided in a postpartum care center or a space where a baby in a home lives, to capture a specific baby existing in the space. It may include a terminal or device equipped with a camera for taking pictures.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 지정된 피사체를 촬영하는 카메라모듈과, 지정된 통신망에 연결하는 통신모듈 및 상기 카메라모듈을 통해 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행하는 제어모듈을 구비한다. According to the implementation method of the present invention, the camera device 195 includes a camera module for photographing a designated subject within a base, a communication module for connecting to a designated communication network, and a video obtained by encoding an image signal acquired through the camera module in a designated manner. Equipped with a control module that performs a procedure of generating acquired data including data and transmitting the data to a designated operation server 100 through the communication module.

상기 카메라모듈은 피사체로부터 반사된 광신호를 입력받는 하나 이상의 렌즈부와, 상기 렌즈부를 통해 입력되는 광신호를 검지하여 전기적 영상 신호로 변환하는 이미지 센서부 및 상기 렌즈부와 이미지 센서부 사이에서 자동초점 기능이나 줌 기능 등을 포함하는 지정된 기능 동작을 구현하는 액츄에이터부(Actuator)를 포함하여 이루어진다. 한편 실시 방법에 따라 상기 카메라모듈은상기 렌즈부와 이미지 센서부 사이에는 야간에도 피사체를 촬영하기 위한 적외선 필터를 포함하는 이상의 필터부를 더 구비할 수 있다. 한편 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호를 제어모듈로 제공하기 위한 PCB를 구비한다. 한편 실시 방법에 따라 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호의 품질 향상을 위해 지정된 절차에 따라 상기 영상 신호를 가공하는 이미지 신호처리 프로세서(Image Signal Processor; ISP)를 더 구비할 수 있다.The camera module includes at least one lens unit that receives an optical signal reflected from a subject, an image sensor unit that detects an optical signal input through the lens unit and converts it into an electrical image signal, and an automatic communication between the lens unit and the image sensor unit. It includes an actuator that implements a designated functional operation including a focus function or a zoom function. Meanwhile, according to the implementation method, the camera module may further include an infrared filter including an infrared filter for photographing a subject even at night between the lens unit and the image sensor unit. Meanwhile, the camera module includes a PCB for providing an image signal generated through the image sensor unit to a control module. Meanwhile, according to the implementation method, the camera module may further include an Image Signal Processor (ISP) that processes the image signal according to a specified procedure to improve the quality of the image signal generated through the image sensor unit. .

상기 통신모듈은 패킷 기반의 통신망에 연결하는 모듈의 총칭으로서, 바람직하게 UTP 케이블 등의 유선을 이용하여 통신망에 연결하는 통신모듈과 무선랜을 통해 통신망에 연결하는 통신모듈 중 적어도 하나 또는 둘을 모두 포함할 수 있다. 한편 실시 방법에 따라 상기 통신모듈은 무선랜 이외에 이동통신망이나 별도의 지정된 무선 통신을 통해 통신망에 연결하는 통신모듈을 더(또는 대체) 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The communication module is a generic term for modules connected to a packet-based communication network, and preferably includes at least one or both of a communication module connected to a communication network using a wire such as a UTP cable and a communication module connected to a communication network through a wireless LAN. can include Meanwhile, according to the implementation method, the communication module may further (or replace) a communication module connected to a communication network through a mobile communication network or a separately designated wireless communication other than a wireless LAN, and the present invention is not limited thereby.

상기 제어모듈은 상기 카메라모듈을 통해 생성된 영상 신호를 지정된 방식으로 엔코딩하여 비디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 비디오 데이터는 상기 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 비디오 데이터는 상기 영상 신호를 촬영한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The control module may generate video data by encoding the video signal generated through the camera module in a designated manner. Meanwhile, according to the implementation method, the video data may be generated through the camera module and transmitted to the control module. Meanwhile, the video data may further include a time value (or timestamp) at a point in time at which the video signal was captured.

상기 제어모듈은 상기 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 한편 실시 방법에 따라 상기 획득 데이터는 상기 비디오 데이터 이외에 오디오 데이터를 더 포함하거나 및/또는 지정된 센서모듈을 통해 센싱된 센싱 데이터를 더 포함할 수 있다. The control module may perform a procedure of generating acquisition data including the video data and transmitting the acquired data to the designated operation server 100 through the communication module. Meanwhile, according to the implementation method, the obtained data may further include audio data in addition to the video data and/or sensing data sensed through a designated sensor module.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 사운드 신호를 입력받는 사운드 입력부를 더 구비하며, 이 경우 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 방식으로 엔코딩한 오디오 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 195 further includes a sound input unit for receiving a sound signal within the base, and in this case, the control module encodes the sound signal acquired through the sound input unit in a designated manner. A procedure of generating acquired data further including audio data and transmitting it to the designated operation server 100 through the communication module may be performed.

상기 사운드 입력부는 공기의 진동을 전기적 신호 형태의 사운드 신호로 변환하는 마이크로폰 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 지정된 방식으로 엔코딩하여 오디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 사운드 입력부가 별도의 모듈 형태로 구현되는 겨우, 상기 오디오 데이터는 상기 사운드 입력부를 통해 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 오디오 데이터는 상기 사운드 신호를 입력받은 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The sound input unit includes a microphone that converts air vibration into a sound signal in the form of an electrical signal and an interface unit that interfaces the microphone with a control module, and the control module converts the sound signal acquired through the sound input unit into a designated method. Audio data can be generated by encoding. Meanwhile, when the sound input unit is implemented in the form of a separate module according to the implementation method, the audio data may be generated through the camera module through the sound input unit and transmitted to the control module. Meanwhile, the audio data may further include a time value (or timestamp) at the time of receiving the sound signal.

상기 카메라장치(195)에 상기 사운드 입력부를 구비하여 상기 사운드 입력부를 통해 획득된 사운드 신호를 엔코딩한 오디오 데이터가 생성되는 경우, 상기 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. When the camera device 195 has the sound input unit and audio data encoding the sound signal obtained through the sound input unit is generated, the control module generates acquisition data including the video data and audio data, A procedure for transmitting to the designated operation server 100 through the communication module may be performed.

본 발명의 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 데이터 포맷에 포함하는 동영상 데이터(또는 멀티미디어 데이터) 형태로 생성될 수 있다.According to one embodiment of the present invention, the obtained data may be generated in the form of video data (or multimedia data) including the video data and audio data in a designated data format.

본 발명의 다른 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 각각의 데이터 포맷에 포함하되, 상기 비디오 데이터와 오디오 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 각각의 데이터 형태로 생성될 수 있다.According to another embodiment of the present invention, the acquisition data includes the video data and audio data in designated data formats, and the time value (or timestamp) included in the video data and audio data determines the time point. It can be created in each data type that can be synchronized.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 사운드 신호를 지정된 신호 강도로 출력하는 사운드 출력부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 수신하고, 상기 생성/추출/수신된 오디오 데이터에 대응하는 사운드 신호를 상기 사운드 출력부를 통해 출력하도록 처리하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 195 may further include a sound output unit for outputting a designated sound signal with a designated signal strength. In this case, the control module outputs the sound through the sound output unit according to a designated procedure. Audio data corresponding to the sound signal to be generated and/or extracted from the designated storage area and/or audio data corresponding to the sound signal to be output through the sound output unit from the operating server 100 designated through the communication module A process of receiving and outputting a sound signal corresponding to the generated/extracted/received audio data through the sound output unit may be performed.

상기 사운드 출력부는 오디오 데이터를 디코딩한 전기적 신호 형태의 사운드 신호를 출력하는 스피커 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 출력부를 통해 출력할 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 수신하고, 상기 사운드 출력부를 통해 상기 오디오 데이터에 대응하는 사운드 신호를 지정된 신호 강도(예컨대, 카메라장치(195)의 스피커를 통해 출력된 사운드 신호가 지정된 거리 내외로 이격된 아기에게 지정된 소리 크기로 전달되도록 설정된 신호 강도)로 출력할 수 있다. The sound output unit includes a speaker for outputting a sound signal in the form of an electrical signal obtained by decoding audio data and an interface unit for interfacing the same with a control module, wherein the control module generates audio data to be output through the sound output unit, and / or extracted from a designated storage area and / or received from a designated operation server 100 through the communication module, and a sound signal corresponding to the audio data through the sound output unit with a designated signal strength (eg, camera device 195 ) can be output with a set signal strength) so that the sound signal output through the speaker is delivered to the baby at a specified sound volume within a specified distance.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 센서를 통해 아기의 지정된 센싱 대상을 센싱하는 센서모듈을 구비하거나 연계될 수 있으며, 상기 제어모듈은 상기 센서모듈을 통해 센싱하여 획득된 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센서모듈을 통해 센싱하는 아기의 지정된 센신 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the camera device 195 may include or be connected to a sensor module that senses a designated sensing target of the baby through a designated sensor, and the control module senses the obtained information through the sensor module. A procedure of generating acquired data further including sensing data obtained by encoding a sensing signal in a designated manner and transmitting the obtained data to the designated operation server 100 through the communication module may be performed. Preferably, the baby's designated sensing target sensed through the sensor module may include at least one of the baby's heartbeat, baby's body temperature, ambient humidity around the baby, and whether or not the baby is not breathing.

상기 센서모듈은 아기의 신체 중 지정된 부위에 착용하여 아기의 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 지정된 근거리 통신(예컨대, 블루투스 등)을 통해 상기 웨어러블 센서모듈과 연계하여 상기 센서모듈을 통해 센싱된 센싱 값에 대응하는 센싱 신호를 수신하거나 또는 상기 센서모듈을 통해 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 수신할 수 있다. The sensor module may include a wearable sensor module that is worn on a designated part of the baby's body and senses a designated sensing target of the baby. In connection with the wearable sensor module, a sensing signal corresponding to a sensing value sensed through the sensor module may be received, or sensing data obtained by encoding the sensing signal in a designated manner may be received through the sensor module.

한편 상기 센서모듈은 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈을 통해 싱된 센싱 값에 대응하는 센싱 신호를 확인하고 지정된 방식으로 엔코딩하여 센싱 데이터를 생성할 수 있다. 한편 상기 레이더 센서모듈은 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 생성하여 상기 제어모듈로 제공할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈로부터 상기 센싱 데이터를 제공받을 수 있다. Meanwhile, the sensor module may include a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves, and in this case, the control module generates a sensing signal corresponding to a sensing value obtained through the radar sensor module. It is possible to generate sensing data by checking and encoding in a designated method. Meanwhile, the radar sensor module may generate sensing data obtained by encoding the sensing signal in a designated manner and provide the sensing data to the control module. In this case, the control module may receive the sensing data from the radar sensor module.

본 발명의 실시 방법에 따르면, 상기 센싱 데이터는 상기 센서모듈을 통해 지정된 센싱 대상을 센싱한 센싱 값을 포함하며, 바람직하게 상기 센서모듈을 통해 상기 센싱 값을 센싱한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. According to the implementation method of the present invention, the sensing data includes a sensing value obtained by sensing a designated sensing target through the sensor module, and preferably a time value (or timestamp) at a point in time when the sensing value is sensed through the sensor module. ) may further include.

상기 카메라장치(195)에 상기 센서모듈을 구비하거나 연계시켜 아기의 지정된 센싱 대상을 센싱한 센싱 데이터가 생성되는 경우, 상기 제어모듈은 상기 획득 데이터에 상기 센싱 데이터를 추가하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센싱 데이터는 지정된 데이터 포맷에 포함된 형태로 상기 획득 데이터에 포함될 수 있으며, 상기 비디오 데이터와 센싱 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 데이터 형태로 생성될 수 있다.When sensing data obtained by sensing a designated sensing target of a baby is generated by providing or linking the sensor module to the camera device 195, the control module adds the sensing data to the acquired data to be designated through the communication module. A procedure for transmitting to the operating server 100 may be performed. Preferably, the sensing data may be included in the acquired data in a form included in a designated data format, and may be generated in a data form capable of synchronizing viewpoints through a time value (or timestamp) included in the video data and the sensing data. can

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 상기 카메라모듈의 촬영 방향을 상/하/좌/우 방향으로 지정된 각도 범위 내로 구동하는 구동모듈을 더 구비하며, 상기 제어모듈은 상기 카메라모듈을 통해 촬영되는 비디오 데이터를 판독하여 아기(또는 아기의 안면)에 대응하거나 아기가 누워 있는 요람이나 이불에 대응하는 객체를 인식하는 과정을 시도할 수 있다. 만약 상기 객체가 인식되지 않는 경우, 상기 제어모듈은 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 지정된 방향으로 지정된 각도 범위만큼 이격하면서 상기 객체가 인식하는 과정을 전 각도 범위에 도달할 때까지 반복할 수 있다. 만약 상기의 인식 과정을 통해 상기 객체가 인식되면, 상기 카메라장치(195)는 상기 인식된 아기의 안면 영역을 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 촬영방향을 제어하고, 상기 아기의 안면 영역의 움직임이나 이동에 반응하여 상기 아기의 안면 영역을 추적하여 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 상기 카메라모듈의 촬영방향을 제어할 수 있다. 한편 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 제어하거나 상기 객체를 인식하는 과정은 상기 서버를 통해 실행될 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the camera device 195 further includes a driving module for driving the photographing direction of the camera module within a designated angular range in up/down/left/right directions, and the control module comprises the camera A process of recognizing an object corresponding to a baby (or baby's face) or a cradle or blanket in which a baby is lying may be attempted by reading video data captured through the module. If the object is not recognized, the control module repeats the process of recognizing the object until it reaches the entire angular range while spaced apart by a designated angular range in a designated direction of the photographing direction of the camera module through the driving module. can do. If the object is recognized through the above recognition process, the camera device 195 controls the photographing direction so that the recognized baby's face area exists within a designated area on the video data, and the movement of the baby's face area It is possible to control the photographing direction of the camera module so that the face area of the baby is tracked in response to the baby's movement or to exist within a designated area on the video data. Meanwhile, the process of controlling the photographing direction of the camera module or recognizing the object through the driving module may be executed through the server, and the present invention is not limited thereto.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 램프를 통해 지정된 형상이나 영상을 천정이나 벽면에 투영하는 프로젝터부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 복수의 필름 중 어느 한 필름으로 선택하여 투영할 형상이나 영상을 선택 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 전자적 형상이나 전자적 영상을 투영 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 지정된 저장영역에 저장된 전자적 형상이나 전자적 영상을 추출하여 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 저장된 전자적 형상이나 전자적 영상을 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 수신된 전자적 형상이나 전자적 영상을 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있다. According to the implementation method of the present invention, the camera device 195 may further include a projector unit for projecting a designated shape or image onto a ceiling or a wall surface through a lamp. In this case, the control module may operate the projector unit according to a designated procedure. The lamp can be turned on/off, or the control module can receive control information for turning on/off the lamp of the projector unit from the operation server 100 designated through the communication module, and the control information Based on this, it is possible to turn on/off the lamp of the projector unit. Meanwhile, when a shape or image to be projected can be selected by selecting one of a plurality of films through the projector unit, the control module selects a film of the projector unit and/or turns on/off the lamp according to a designated procedure. Alternatively, the control module may receive control information for selecting a film of the projector unit and/or turning on/off a lamp from the operation server 100 designated through the communication module, and the control information Based on this, a film of the projector unit may be selected and/or a lamp may be turned on/off. On the other hand, when an electronic shape or electronic image can be projected through the projector unit, the control module extracts the electronic shape or electronic image stored in a designated storage area according to a designated procedure and processes it into a shape or image to be projected through the projector unit, and/or Alternatively, the lamp can be turned on/off, or the control module receives stored electronic shapes or electronic images and/or control information for turning on/off the lamp from the operation server 100 designated through the communication module. Based on the control information, the received electronic shape or electronic image may be processed into a shape or image to be projected through the projector unit and/or a lamp may be turned on/off.

상기 사용자 무선단말(185)은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 사용자가 사용하는 무선통신기기의 총칭으로서, 사용자가 사용하는 휴대폰, 스마트폰, 태블릿PC 등의 각종 무선통신기기를 포함할 수 있다. The user wireless terminal 185 is a general term for a wireless communication device used by a user to receive transmission data including video data photographed through the camera device 195, and is a mobile phone, smart phone, or tablet PC used by the user. It may include various wireless communication devices such as

본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)은 운영서버(100)에 지정된 정보를 등록하고, 상기 운영서버(100)로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받기 위해 앱(Application)이 설치 실행된다. 이하, 별도의 언급이 없더라도 상기 사용자 무선단말(185)을 주체 또는 객체로 하여 구현되는 기능의 설명은 상기 앱을 통해 구현되는 기능임을 밝혀두는 바이다.According to the implementation method of the present invention, the user wireless terminal 185 registers designated information in the operation server 100, and includes video data taken through the camera device 195 from the operation server 100. To receive transmission data, an application is installed and executed. Hereinafter, even if there is no separate mention, it should be noted that the description of functions implemented using the user wireless terminal 185 as a subject or object is a function implemented through the app.

상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)와 통신하고 지정된 앱을 설치 실행한 사용자 무선단말(185)의 앱과 통신 가능한 서버의 총칭으로서, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능 중 적어도 하나의 기능을 수행하며, 본 발명에 따라 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 생성된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 적어도 하나의 기능을 수행한다.The operation server 100 is a generic term for a server capable of communicating with a camera device 195 provided at a designated base and communicating with an app of a user wireless terminal 185 that has installed and executed a designated app, and is a camera of the camera device 195. A function of receiving acquired data including video data encoded in a designated manner by photographing a specific baby in the base through the module and storing the acquired data in a specific storage area of a designated storage medium; It performs at least one function of providing the transmission data including the transmission data to the app of the designated user wireless terminal 185 or the IPTV 190, and according to the present invention, the transmission data to the application of the designated user wireless terminal 185 or the IPTV 190. A function of recognizing a conversation string corresponding to a voice or text spoken by the user to the baby through the app of the user wireless terminal 185 or the IPTV 190 while being provided to the IPTV 190, and information about the recognized conversation string A function of determining a user's conversation intention, a function of generating baby emotional state information for each emotional item designated for the specific baby based on one or more data acquired through the camera device 195, and the user wireless terminal 185 Virtual object data that responds to the user's conversation intention based on the baby's emotional state information for each emotion item generated in a designated area within the baby's face area or in the area around the baby's face on designated video data to be provided to the app or IPTV 190 At least one function of augmenting to respond to the determined user conversation intention by displaying an overlapping function is performed.

본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터 외에, 상기 비디오 데이터와 연계되어 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터, 또는 상기 비디오 데이터를 포함하는 동영상 데이터의 오디오 데이터를 더 포함할 수 있다.According to the implementation method of the present invention, the transmission data includes, in addition to video data stored in a specific storage area of the storage medium, audio data stored in a specific storage area of the storage medium in association with the video data, or the video data. Audio data of video data may be further included.

도면1을 참조하면, 상기 운영서버(100)는, 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리하는 정보 관리부(105)를 포함한다. Referring to Figure 1, the operation server 100, matching relationship information between the pattern information of the recognition target designated to be recognized to determine the baby's emotional state and each baby emotion item, and the pattern information of the designated recognition target and each and an information management unit 105 for registering, storing, and managing emotional state determination information for each designated recognition target, including numerical correlation information obtained by digitizing correlations between baby emotion items, in a designated operation DB.

상기 정보 관리부(105)는 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. The information management unit 105 includes E (E≥2) pieces of baby expression pattern information corresponding to geometric relationships between feature points associated with emotional expression of the baby among F (F≥2) feature points existing in the baby's facial area and designated N It includes matching relationship information between N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among (N≥2) baby emotion items, and includes the E baby expression pattern information and N1 baby emotion items. Register and store facial expression-based emotional state determination information including numerical relationship information based on facial expression-based correlations obtained by digitizing correlations between items in the designated operation D/B.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 안면 영역에 존재하는 F개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 아기 표정 패턴 정보를 등록받고, 상기 E개의 아기 표정 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 상기 표정 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀(Cell)의 정보로 포함하는 테이블 형태의 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 receives E pieces of baby expression pattern information corresponding to a geometric relationship between feature points associated with emotional expressions of the baby among F feature points existing in the baby's facial area from a designated operating terminal. registration, matching relationship information matching the E number of baby expression pattern information with N1 baby emotion items that can be distinguished based on the baby expression pattern among the designated N baby emotion items is registered, and the E number of baby expression pattern information and N1 baby expression pattern information are registered Expression-based correlation numerical relationship information obtained by digitizing the correlation between the dog's baby emotion items can be registered and stored in a designated operation D/B. For example, the information management unit 105 includes the E number of baby expression pattern information and N1 number of baby emotion items as row or column titles, and the expression-based correlation numerical relationship information in a cell corresponding to each row or column. Expression-based emotional state determination information in the form of a table including information of can be registered and stored in a designated operation D/B.

본 발명의 실시 방법에 따르면, 상기 N개의 아기 감정 항목은 '기쁨(喜)', '노여움(怒)', '슬픔(哀)', '즐거움(樂)', '사랑(愛)', '미움(惡)', '욕심(欲)' 등의 기본 감정 중에서 사회화가 진행되지 않거나 성인보다 덜 진행된 아기라도 느낄 수 있는 하나 이상의 감정(예컨대, '기쁨', '노여움', '슬픔', '즐거움' 등)에 대응하는 감정 항목을 포함할 수 있으며, 상기 기본 감정 외에 아기가 느낄 수 있는 다양한 감정(예컨대, '짜증', '외로움', '답답함', '불쾌', '두려움' 등)에 대한 감정 항목을 더 포함하거나 및/또는 상기 기본 감정 중 적어도 하나를 아기의 상황에 맞게 구체화한 감정(예컨대, '욕심' 중 수면욕에 해당하는 '졸림'이나 식욕에 해당하는 '배고픔' 등)에 대응하는 감정 항목을 더 포함할 수 있다. According to the implementation method of the present invention, the N baby emotion items include 'joy', 'anger', 'sadness', 'joy', 'love', Among the basic emotions such as 'hate' and 'greed', one or more emotions (e.g., 'joy', 'anger', 'sadness', It may include emotion items corresponding to 'joy', etc.), and may include various emotions that the baby may feel in addition to the basic emotions (eg, 'annoyed', 'lonely', 'stuffy', 'unpleasant', 'fear', etc. ) and/or emotions that embody at least one of the basic emotions according to the baby's situation (e.g., 'sleepiness' corresponding to sleep desire among 'greed' or 'hunger' corresponding to appetite, etc.) ) may further include an emotion item corresponding to.

본 발명의 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치, 각 특징점 간 각도 수치, 각 특징점 간 거리 수치와 각도 수치의 조합 중 하나 이상의 수치를 포함할 수 있다. According to one implementation method of the present invention, the E pieces of baby expression pattern information may include geometric relationship information between feature points corresponding to each baby expression pattern associated with the baby's emotional expression. Preferably, the geometric relationship between feature points may include at least one of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points. For example, the geometric relationship information between feature points may include one or more of a distance value between each feature point based on a specified distance value between reference feature points, an angle value between each feature point, and a combination of a distance value and an angle value between each feature point. can

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계의 범위 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치 범위, 각 특징점 간 각도 수치 범위, 각 특징점 간 거리 수치 범위와 각도 수치 범위의 조합 중 하나 이상의 수치 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the E pieces of baby expression pattern information may include range information of a geometric relationship between feature points corresponding to each baby expression pattern associated with the baby's emotional expression. Preferably, the geometric relationship between feature points may include at least one of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points. For example, the range information of the geometric relation between the feature points may be selected from a combination of a distance numerical range between each feature point based on a designated reference feature point distance value, an angle numerical range between each feature point, and a combination of a distance numerical range and an angle numerical range between each feature point. One or more numerical ranges may be included.

본 발명의 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one implementation method of the present invention, the expression-based correlation numerical relationship information is a correlation value calculated through a relational expression proportional to a matching ratio between baby facial expression recognition information obtained by recognizing a baby's facial expression and pre-registered baby facial expression pattern information. information may be included. For example, the expression-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between baby expression recognition information and pre-registered baby expression pattern information is smaller, and as the matching ratio is larger, larger numerical information is calculated. It can be.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. On the other hand, according to another implementation method of the present invention, the expression-based correlation numerical relationship information includes correlation numerical information for each matching ratio section between the baby expression recognition information for recognizing the baby's facial expression and the previously registered baby expression pattern information. can include For example, the expression-based correlation numerical relationship information may be calculated as '0' or numerical information of a specified minimum value when a matching ratio between baby expression recognition information and pre-registered baby expression pattern information is a preset minimum ratio interval, , When the matching ratio is a preset maximum ratio interval, it can be calculated as numerical information of a designated maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 표정 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 아기 표정 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 표정 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 표정 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 표정 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 표정 인식 정보를 패턴화한 아기 표정 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 표정 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.On the other hand, according to the implementation method of the present invention, after the facial expression-based emotional state discrimination information is registered and stored in the operating D/B through a designated operating terminal, when designated baby facial expression recognition information is recognized through the following information recognizing unit 155 After the baby expression recognition information is recognized, the information management unit 105 reads video data received from the camera device 195 and stored in a specific storage area of a designated storage medium to recognize an object corresponding to the guardian of the baby. At the same time, by reading the audio data associated with the video data, among the voices spoken by the guardian of the baby to the baby, the voice related to the recognition of the baby's emotion (eg, 'My baby is hungry', 'My baby's poop? 'My baby is sleepy', etc.) can be performed. If the voice related to the baby's emotion recognition is recognized after the baby's expression recognition information is recognized, the information management unit 105 patterns the recognized baby's expression recognition information and simultaneously responds to the voice related to the baby's emotion recognition. By repeating the process of identifying a baby emotion item based on voice recognition and learning a combination of baby expression pattern information patterned with the recognized baby expression recognition information and the identified baby emotion item based on voice recognition, the process is repeated. The big data-based accuracy and reliability of emotional state discrimination information can be continuously improved.

한편 본 발명의 확장 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보 외에 상기 카메라장치(195)의 사운드 입력부를 통해 획득된 오디오 데이터를 근거로 아기 울음소리를 인식하여 아기의 감정 상태를 판별하기 위한 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하거나, 및/또는 상기 카메라장치(195)에 아기의 감정 표현과 연관된 지정된 센싱 대상을 센싱하는 센서모듈이 구비되거나 연계되고 상기 카메라장치(195)로부터 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱하여 획득된 센싱 데이터가 수신되는 경우 상기 센싱 데이터를 이용하여 아기의 감정 상태를 판별하기 위한 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. Meanwhile, according to an extended embodiment of the present invention, the information management unit 105 recognizes the baby's crying based on the audio data obtained through the sound input unit of the camera device 195 in addition to the facial expression-based emotional state determination information. A sensor module is provided to register and store crying-based emotional state determination information in the operation D/B, and/or to sense a designated sensing target associated with the baby's emotional expression in the camera device 195. Sensing-based emotional state determination for determining the baby's emotional state using the sensing data when sensing data acquired by sensing a designated sensing target of the baby through the sensor module is received from the camera device 195. Information can be registered and stored in the operation D/B.

한편 본 발명의 다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보를 대신(또는 대체)하여 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. 이하, 편의 상 표정 기반 감정상태 판별 정보를 기본 감정상태 판별 정보로 이용하고 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 부 감정상태 판별 정보로 이용하는 실시예를 통해 본 발명의 특징을 설명할 것이나, 본 발명의 기술적 특징이 이에 한정되는 것은 아니며, 본 발명의 실시예와 청구범위의 기재에 따라 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보도 기본 감정상태 판별 정보로 이용될 수 있음을 명백하게 밝혀두는 바이다.Meanwhile, according to another embodiment of the present invention, the information management unit 105 operates the crying-based emotional state determination information and/or the sensing-based emotional state determination information in place of (or replacing) the facial expression-based emotional state determination information. It can be registered and stored in D/B, and the present invention is not limited thereby. Hereinafter, for convenience, the present invention uses facial expression-based emotional state determination information as basic emotional state determination information and uses the crying-based emotional state determination information and/or sensing-based emotional state determination information as sub-emotional state determination information. The characteristics of will be described, but the technical features of the present invention are not limited thereto. It is clearly stated that it can be used as emotional state discrimination information.

본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the information management unit 105 includes C (C≥2) pieces of baby crying pattern information related to emotional expressions of the baby and designated N baby emotion items among the baby crying patterns. Crying containing matching relationship information between N2 (1≤N2≤N) number of baby emotion items that can be distinguished based on the baby crying pattern and digitizing the correlation between the C number of baby crying pattern information and N2 number of baby emotion items Crying-based emotional state discrimination information including sound-based correlation numerical relationship information may be registered and stored in the operation D/B.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C개의 아기 울음소리 패턴 정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목를 행 또는 열의 타이틀로 포함하며 상기 울음소리 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다According to the implementation method of the present invention, the information management unit 105 receives C pieces of baby crying pattern information associated with emotional expression of a baby among baby crying patterns from a designated operating terminal, and the C pieces of baby crying pattern information. is registered with matching relationship information that matches N2 baby emotion items that can be distinguished based on baby crying patterns among the designated N baby emotion items, and the correlation between the C baby crying pattern information and the N2 baby emotion items is calculated. Numerical crying sound-based correlation can be registered and stored in a designated operation D/B after receiving registration of numerical relationship information. For example, the information management unit 105 includes C pieces of baby crying pattern information and N2 pieces of baby emotion items as row or column titles, and the crying sound-based correlation numerical relationship information as cell information corresponding to each matrix. Crying-based emotional state determination information in the form of a table containing can be registered and stored in the operating D/B.

본 발명의 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. According to one embodiment of the present invention, the C pieces of baby crying pattern information may include crying feature information constituting each baby crying pattern associated with the baby's emotional expression. Preferably, the crying feature is a frequency band feature, a disposition relationship feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a placement relationship feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band feature It may include at least one feature of a combination of sound intensity features, a feature of an arrangement relationship between a frequency band feature and a sound intensity feature, and a periodicity feature between a frequency band feature and a sound intensity feature.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. 예를들어, 상기 울음소리 특징의 범위 정보는 각 특징 별 주파수 대역의 허용 범위 및/또는 각 특징 별 소리 강도의 허용 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the C pieces of baby crying pattern information may include range information of crying sound characteristics constituting each baby crying pattern associated with the baby's emotional expression. Preferably, the crying feature is a frequency band feature, a disposition relationship feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a placement relationship feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band feature It may include at least one feature of a combination of sound intensity features, a feature of an arrangement relationship between a frequency band feature and a sound intensity feature, and a periodicity feature between a frequency band feature and a sound intensity feature. For example, the range information of the characteristics of crying sound may include an allowable range of a frequency band for each characteristic and/or an allowable range of sound intensity for each characteristic.

본 발명의 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one embodiment of the present invention, the numerical relationship information based on the crying sound is calculated through a relational expression proportional to a matching ratio between the crying sound recognition information obtained by recognizing the baby crying sound and the pre-registered baby crying pattern information. Correlations may also include numerical information. For example, the cry-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the crying sound recognition information and pre-registered baby crying pattern information is smaller, and the larger the matching ratio, the larger the numerical value. information can be calculated.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another embodiment of the present invention, the cry-based correlation numerical relationship information is a correlation for each matching ratio interval between the baby crying recognition information obtained by recognizing the baby's crying and the pre-registered baby crying pattern information. It may also contain numerical information. For example, the cry-based correlation numerical relationship information is calculated as '0' or numerical information of a designated minimum value when the matching ratio between the baby crying sound recognition information and the previously registered baby crying pattern information is a preset minimum ratio interval. It can be, and if the matching ratio is a preset maximum ratio section, it can be calculated as numerical information of the designated maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 울음소리 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 아기 울음소리 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 울음소리 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 울음소리 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 울음소리 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 울음소리 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 울음소리 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.On the other hand, according to the implementation method of the present invention, after the crying sound-based emotional state discrimination information is registered and stored in the operating D/B through a designated operating terminal, the designated baby crying sound recognition information is recognized through the following information recognizing unit 155 In this case, the information management unit 105 reads the video data received from the camera device 195 and stored in a specific storage area of a designated storage medium after the baby cry recognition information is recognized to correspond to the guardian of the baby. At the same time as recognizing the object, the audio data associated with the video data is read, and among the voices spoken by the baby's guardian to the baby, the voice related to the baby's emotion recognition (eg, 'My baby is hungry', 'My baby's poop? ?', 'My baby is sleepy', etc.) can be performed. If the voice related to the recognition of the baby's emotion is recognized after the baby's cry recognition information is recognized, the information management unit 105 patterns the recognized baby's cry recognition information and at the same time, the voice related to the baby's emotion is recognized. A process of identifying a baby emotion item based on voice recognition corresponding to and learning a combination of baby crying pattern information patterned from the recognized baby crying sound recognition information and the identified baby emotion item based on voice recognition is repeated. By doing so, it is possible to continuously improve the big data-based accuracy and reliability of the crying-based emotional state determination information.

한편 본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extension/another embodiment of the present invention, the information management unit 105 senses a designated sensing target related to the baby's emotional expression among the sensing data provided in the camera device 195 or sensed through a linked sensor module. Matching relationship between S (S≥2) sensed value pattern information for data and N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensed value pattern of the designated sensing target among the designated N baby emotion items Sensing-based emotional state determination information including information and sensing-based correlation numerical relationship information obtained by digitizing correlations between the S sensed value pattern information and the N3 baby emotion items may be registered and stored in the operation D/B.

본 발명의 실시 방법에 따르면, 상기 센서모듈은 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있으며, 상기 지정된 센싱 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the sensor module is a wearable sensor module that senses a designated sensing target worn on the baby's body, and a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves The designated sensing target may include at least one of the baby's heartbeat, the baby's body temperature, the ambient humidity around the baby, and whether the baby is not breathing.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보를 등록받고, 상기 S개의 센싱 값 패턴 정보를 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 아기 감정 항목 사이의 매칭 관계정보를 등록받고, 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 센싱 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 senses a designated sensing target related to the baby's emotional expression among sensing data provided in or connected to the camera device 195 from a designated operating terminal through a sensor module. Matching relationship information between N3 baby emotion items that can be registered based on the sensed value pattern of the designated sensing target among the N baby emotion items that receive S sensed value pattern information for data and assign the S sensed value pattern information. is registered, and sensing-based correlation numerical relationship information obtained by digitizing the correlation between the S sensed value pattern information and the N3 baby emotion items can be registered and registered and stored in a designated operation D/B. For example, the information management unit 105 includes the S sensed value pattern information and the N3 baby emotion items as row or column titles, and includes sensing-based correlation numerical relationship information as cell information corresponding to each row or matrix. Sensing-based emotional state determination information in the form of a table may be registered and stored in the operation D/B.

본 발명의 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. According to one implementation method of the present invention, the S pieces of sensing value pattern information may include sensing value characteristic information constituting each sensing value pattern for sensing data of a designated sensing target associated with a baby's emotional expression. Preferably, the sensed value feature may include at least one or a combination of two or more of a sensing value change rule feature, a sensed value change rate feature, a sensed value change rate feature, and a sensed value change periodic feature.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예를들어, 상기 센싱 값 특징의 범위 정보는 각 특징 별 변화 규칙의 허용 범위, 각 특징 별 센싱 값 변화량의 허용 범위, 각 특징 별 센싱 값 변화율의 허용 범위를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the S pieces of sensing value pattern information may include range information of sensing value characteristics constituting each sensing value pattern for the sensing data of a designated sensing target associated with the baby's emotional expression. can Preferably, the sensed value feature may include at least one or a combination of two or more of a sensing value change rule feature, a sensed value change rate feature, a sensed value change rate feature, and a sensed value change periodic feature. For example, the range information of the sensing value characteristics may include an allowable range of a change rule for each feature, an allowable range for a sensing value change amount for each feature, and an allowable range for a sensing value change rate for each feature.

본 발명의 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one embodiment of the present invention, the sensing-based correlation numerical relationship information is calculated through a relational expression proportional to a matching ratio between sensing value recognition information recognized through sensing data of a designated sensing target and previously registered sensing value pattern information. Correlations may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the sensing value recognition information and pre-registered sensing value pattern information is smaller, and as the matching ratio is larger, larger numerical information may be calculated. It can be.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another implementation method of the present invention, the sensing-based correlation numerical relationship information is a correlation for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. It may also contain numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as '0' or numerical information of a specified minimum value when a matching ratio between sensing value recognition information and pre-registered sensing value pattern information is a preset minimum ratio interval, , When the matching ratio is a preset maximum ratio interval, it can be calculated as numerical information of a designated maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 센싱 값 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 센싱 값 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 센싱 값 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 센싱 값 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 센싱 값 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 센싱 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the sensing-based emotional state determination information is registered and stored in the operating D/B through a designated operating terminal, when the designated sensing value recognition information is recognized through the following information recognizing unit 155 After the sensing value recognition information is recognized, the information management unit 105 reads video data received from the camera device 195 and stored in a specific storage area of a designated storage medium to recognize an object corresponding to the guardian of the baby. At the same time, by reading the audio data associated with the video data, among the voices spoken by the guardian of the baby to the baby, the voice related to the recognition of the baby's emotion (eg, 'My baby is hungry', 'My baby's poop? 'My baby is sleepy', etc.) can be performed. If, after the sensing value recognition information is recognized, if the guardian's voice related to recognizing the baby's emotion is recognized, the information management unit 105 patterns the recognized sensing value recognition information and simultaneously responds to the voice related to the baby's emotion recognition. By repeating the process of identifying a baby emotion item based on voice recognition and learning a combination of the baby crying pattern information patterned with the recognized sensing value recognition information and the identified voice recognition based baby emotion item, the sensing The big data-based accuracy and reliability of the based emotional state discrimination information can be continuously improved.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하는 가상객체 관리부(110)와, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 정보 매칭부(115)를 포함한다. Referring to Figure 1, the operation server 100 registers R (R ≥ 2) virtual object data corresponding to the baby's response to the designated P (P ≥ 2) conversation intentions in the operation D/B. virtual object management unit 110 that stores virtual object management unit 110 and information matching unit 115 that stores virtual object matching information for matching the P conversation intentions and R virtual object data based on baby emotional state information for each designated emotion item do.

상기 가상객체 관리부(110)는 아기의 부모나 친인척 또는 보호자 등이 아기에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 P개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R개의 가상객체 데이터를 운영D/B에 등록 저장한다. 예를들어, 상기 P개의 대화 의도는 아기의 상태를 질의하는 대화(예컨대, '우리 애기 졸려?', '배고프니?' 등) 카테고리에 대응하는 대화 의도, 아기의 감정 표현을 유도하는 대화(예컨대, '까꿍~', '도리도리', '잼잼' 등) 카테고리에 대응하는 대화 의도, 아기의 반응을 유발하는 대화(예컨대, '엄마야~', '엄마 어디 있어?' 등) 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함할 수 있다.The virtual object management unit 110 provides R virtual object data corresponding to the baby's response to P conversation intentions in which the baby's parents, relatives, or guardians attempt to communicate with the baby by designated categories. is registered and stored in the operation D/B. For example, the P conversation intentions include a conversation intention corresponding to a category of a conversation querying the baby's condition (eg, 'Is my baby sleepy?', 'Are you hungry?', etc.), a conversation inducing the baby's emotional expression ( For example, 'Peek-a-boo', 'Dori Dori', 'Jam Jam', etc.) corresponding to the conversation intention, and the conversation that triggers the baby's reaction (eg, 'Mom ~', 'Where is mom?') corresponding to the category At least one of the dialogue intentions may be included.

본 발명의 실시 방법에 따르면, 상기 R개의 가상객체 데이터는 지정된 대화 의도에 대한 아기 입장의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 아기 안면 영역 내의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the implementation method of the present invention, the R number of virtual object data corresponds to virtual object data overlapping and displayed on a designated part in the baby's facial area as a baby's response to a designated conversation intention, and a baby's response to a designated conversation intention. may include at least one virtual object data among virtual object data overlapped and displayed on the area around the baby's face by displaying a character string in the form of a speech bubble. On the other hand, the designated parts in the baby's face area are the baby's hair, the baby's forehead, the baby's temple, the baby's eyebrows, the baby's both eyes and both eyebrows, the baby's both eyes, and the baby's both eyes. Area, baby's inside and outside of the sheep, baby's inner and lower parts, baby's cheeks, baby's both cheeks, baby's nose, baby's nose, baby's philtrum, baby's mouth, baby It may include at least one or a combination of two or more of the lips, the outer part of the baby's mouth, the lower part of the baby's mouth, the baby's chin, and the baby's neck.

상기 정보 매칭부(115)는 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다. 예를들어, 상기 정보 매칭부(115)는 운영D/B 상에 상기 가상객체 매칭 정보를 저장하거나 및/또는 프로그램코드 상에 조건문의 형태로 상기 가상객체 매칭 정보를 저장할 수 있다. The information matching unit 115 is the emotional state of the baby for each designated emotion item generated based on at least one emotional state determination information among the facial expression-based emotional state determination information, crying-based emotional state determination information, and sensing-based emotional state determination information. Based on the information, virtual object matching information for matching the P conversation intentions and the R virtual object data is stored. For example, the information matching unit 115 may store the virtual object matching information on the operating D/B and/or store the virtual object matching information in the form of conditional sentences on program code.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 정보 등록부(120)를 포함한다. Referring to Figure 1, the operation server 100, through the camera device 195 provided in the designated base, the camera device ( 195) and an information registration unit 120 for receiving registration information and storing it in a designated management D/B.

상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말을 통해 가입신청정보를 입력하거나 종이 형태의 가입신청서(예컨대, 카메라장치(195)를 이용한 서비스와 IPTV(190)를 결합하는 신청서, 카메라장치(195)를 이용한 서비스와 사용자 무선단말(185)을 결합하는 신청서 등)를 작성한 경우, 상기 정보 등록부(120)는 사용자 단말이나 지정된 등록단말을 통해 상기 가입신청정보나 가입신청서에 대응하는 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 단말이나 지정된 등록단말을 통해 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. A user who purchases or receives the camera device 195 inputs subscription application information through a user terminal or forms a paper subscription application form (e.g., an application for combining a service using the camera device 195 and the IPTV 190, When an application for combining a service using the camera device 195 and the user wireless terminal 185 is created, the information registration unit 120 responds to the subscription application information or subscription application through the user terminal or a designated registration terminal. User information and camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user may be registered and stored in the management D/B. Meanwhile, the information registration unit 120 provides ID/PW information for providing transmission data including video data photographed through the camera device 195 to the IPTV 190 used by the user through the user terminal or a designated registration terminal. may be registered and stored in the management D/B in association with the user information and/or camera device 195 information. On the other hand, according to the implementation method of the present invention, the ID/PW information is used to provide transmission data including video data captured through the camera device 195 to the wired terminal or wireless terminal 185 used by the user through the web. can be used, and the present invention may also include these embodiments within the scope of rights.

한편 상기 사용자가 본인이 사용하는 사용자 무선단말(185)에 지정된 앱을 설치하고 최초(또는 가입 전) 구동 시, 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자에 대한 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱으로 제공하기 위해 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 사용자 무선단말(185)의 앱으로부터 제공받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있으며, 상기 고유식별정보를 생성한 경우 상기 사용자 무선단말(185)의 앱으로 제공하여 지정된 저장영역에 저장하도록 처리할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. On the other hand, when the user installs a designated app on the user wireless terminal 185 used by the user and runs it for the first time (or before joining), the information register 120 registers information about the user from the app of the user wireless terminal 185. User information and camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user may be registered and stored in the management D/B. Meanwhile, the information registration unit 120 uniquely identifies the app of the user wireless terminal 185 in order to provide transmission data including video data captured through the camera device 195 to the app of the user wireless terminal 185. Generates unique identification information for identification or receives it from the app of the user wireless terminal 185 and stores it in the management D/B in association with the user information and/or camera device 195 information, and generates the unique identification information In one case, it can be processed to be provided to the app of the user wireless terminal 185 and stored in a designated storage area. Meanwhile, the information registration unit 120 provides an ID/PW for providing transmission data including video data photographed through the camera device 195 from the app of the user wireless terminal 185 to the IPTV 190 used by the user. Information may be registered and stored in the management D/B in association with the user information and/or camera device 195 information. On the other hand, according to the implementation method of the present invention, the ID/PW information is used to provide transmission data including video data captured through the camera device 195 to the wired terminal or wireless terminal 185 used by the user through the web. can be used, and the present invention may also include these embodiments within the scope of rights.

한편 본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)의 앱은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 다른 무선단말(185)의 고유정보(예컨대, 휴대폰번호 등)를 입력/등록할 수 있으며, 이 경우 상기 정보 등록부(120)는 상기 다른 무선단말(185)의 고유정보를 관리D/B에 저장하고, 상기 다른 무선단말(185)의 고유정보를 통해 상기 다른 무선단말(185)에 지정된 앱이 설치되도록 유도하거나 및/또는 상기 다른 무선단말(185)에 설치 실행된 앱을 확인하고, 상기 다른 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 다른 무선단말(185)의 앱으로부터 제공받고 상기 등록되어 있는 카메라장치(195)정보와 연계하여 관리D/B에 저장함으로써, 상기 사용자 무선단말(185)의 앱 이외에 상기 사용자 무선단말(185)의 앱을 통해 지정된 다른 무선단말(185)의 앱을 통해서도 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 수 있도록 처리할 수 있다.On the other hand, according to the implementation method of the present invention, the app of the user wireless terminal 185 is provided with unique information (e.g., , mobile phone number, etc.), and in this case, the information registration unit 120 stores the unique information of the other wireless terminal 185 in the management D/B, and the unique information of the other wireless terminal 185 Inducing the installation of a designated app in the other wireless terminal 185 through information and/or confirming the installed and executed app in the other wireless terminal 185, and uniquely identifying the app of the other wireless terminal 185 In addition to the app of the user wireless terminal 185, by generating unique identification information or receiving it from the app of the other wireless terminal 185 and storing it in the management D/B in association with the registered camera device 195 information. Through an app of another wireless terminal 185 designated through an app of the user wireless terminal 185, transmission data including video data taken through the camera device 195 may be provided.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)와의 통신 연결을 관리하는 통신 관리부(125)와, 상기 카메라장치(195)의 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하는 데이터 수신부(130)와, 상기 수신된 획득 데이터를 지정된 저장매체의 특정 저장영역에 저장하여 관리하는 데이터 저장부(135)를 포함한다. Referring to Figure 1, the operation server 100 is obtained through a communication management unit 125 that manages a communication connection with a camera device 195 provided in a designated base and a camera module of the camera device 195 It includes a data receiving unit 130 that receives acquired data including video data encoded in a designated manner, and a data storage unit 135 that stores and manages the received acquired data in a specific storage area of a designated storage medium.

지정된 거점에 구비된 카메라장치(195)에 전원이 입력되면, 상기 카메라장치(195)의 제어모듈은 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며, 상기 통신 관리부(125)는 상기 지정된 정보의 교환을 근거로 상기 카메라장치(195)의 유효성을 인증하여 상기 카메라장치(195)와 통신을 연결한다. When power is input to the camera device 195 provided at the designated base, the control module of the camera device 195 exchanges one or more designated information with the designated operation server 100 through the communication module according to the designated procedure to establish a communication connection. request, the communication management unit 125 authenticates the validity of the camera device 195 based on the exchange of the specified information and connects communication with the camera device 195 .

상기 카메라장치(195)와 통신이 연결되면, 상기 통신 관리부(125)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공하며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 일회용주소정보를 수신하고, 상기 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정한 후, 상기 획득된 획득 데이터를 상기 일회용주소에 대응하는 목적지 주소로 전송할 수 있다. 여기서, 상기 일회용주소정보는 주소도메인정보는 동일하되 도메인 이후의 파라미터값이 중복되지 않게 동적 생성된 파라미터값으로 이루어진 주소정보를 포함할 수 있다.When communication with the camera device 195 is connected, the communication management unit 125 dynamically generates one-time address information for receiving the acquired data acquired through the camera device 195 and provides it to the camera device 195. In this case, the control module of the camera device 195 receives the one-time address information, sets the one-time address information as a destination address to which the obtained data is transmitted, and then corresponds the acquired data to the one-time address. can be sent to the destination address. Here, the disposable address information may include address information composed of dynamically generated parameter values so that address domain information is the same but parameter values subsequent to the domain do not overlap.

본 발명의 실시 방법에 따르면, 상기 통신 관리부(125)는 주기적으로 상기 카메라장치(195)에 대한 신규 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공할 수 있으며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 신규 일회용주소정보를 수신하고, 이전 일회용주소에 대응하는 목적지 주소로 상기 획득 데이터를 전송하는 과정을 인터럽트함과 동시에 이전 일회용주소로 획득 데이터를 전송한 이전 전송 정보를 확인하고, 상기 신규 일회용주소정보를 상기 획득 데이터를 이어서 전송할 신규 목적지 주소로 설정한 후, 상기 이전 전송 정보를 근거로 이전 일회용주소로 전송하던 획득 데이터를 상기 신규 일회용주소에 대응하는 신규 목적지 주소로 이어서 전송할 수 있으며, 상기의 과정은 주기적으로 반복될 수 있다. 이하, 별도의 언급이 없더라도 상기 카메라장치(195)는 상기 일회용주소로 획득 데이터를 전송할 수 있음을 명기하는 바이다. 한편 본 발명의 다른 실시 방법에 따르면, 상기 통신 관리부(125)의 일회용주소정보 생성 내지 적용 과정은 생략 가능하며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the communication management unit 125 may periodically dynamically generate new one-time address information for the camera device 195 and provide the information to the camera device 195, in which case the camera device The control module at 195 receives the new one-time address information, interrupts the process of transmitting the acquired data to the destination address corresponding to the previous one-time address, and at the same time retrieves the previous transmission information for transmitting the acquired data to the previous one-time address. and after setting the new one-time address information as a new destination address to which the obtained data will be subsequently transmitted, the acquired data transmitted to the previous one-time address based on the previous transmission information is transferred to a new destination address corresponding to the new one-time address. It can then be transmitted, and the above process can be repeated periodically. Hereinafter, it is stipulated that the camera device 195 may transmit acquired data to the disposable address even if there is no separate mention. Meanwhile, according to another implementation method of the present invention, the process of generating or applying the one-time address information of the communication management unit 125 can be omitted, and the present invention is not limited thereby.

본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터를 저장하여 일정 기간 동안 관리할 수 있다.According to the embodiment of the present invention, when the control module of the camera device 195 transmits acquired data including video data acquired through the camera module and encoded in a designated manner, the data receiving unit 130 transmits the camera module Acquisition data including video data obtained through and encoded in a designated manner is received, and the data storage unit 135 stores the video data of the received acquired data in a specific storage area of a designated storage medium for a certain period of time. can manage

한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터와 오디오 데이터를 연계 저장하여 일정 기간 동안 관리한다.On the other hand, according to the embodiment of the present invention, the control module of the camera device 195 includes video data acquired through the camera module and encoded in a designated manner and audio data acquired through the sound input unit and encoded in a designated manner When the acquired data is transmitted, the data receiving unit 130 receives the acquired data including video data obtained through the camera module and encoded in a designated manner and audio data acquired through the sound input unit and encoded in a designated manner, and , The data storage unit 135 links and stores video data and audio data of the received acquired data in a specific storage area of a designated storage medium and manages them for a certain period of time.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터 형태의 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 동영상 데이터 형태의 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 동영상 데이터를 저장하여 관리할 수 있다.According to the implementation method of the present invention, the control module of the camera device 195 may transmit acquired data in the form of video data including the video data and audio data, in which case the data receiving unit 130 may transmit the camera device Acquisition data in the form of video data is received from (195), and the data storage unit 135 can store and manage the received video data in a specific storage area of a designated storage medium.

한편 본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 상기 오디오 데이터를 각각의 데이터 형태로 포함하는 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 비디오 데이터와 오디오 데이터를 제각기 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 상기 카메라장치(195)로부터 각기 수신된 상기 비디오 데이터와 오디오 데이터를 연계하여 지정된 저장매체의 특정 저장영역에 저장하여 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터와 오디오 데이터의 시간 값(또는 타임스탬프)를 기준으로 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the implementation method of the present invention, the control module of the camera device 195 may transmit acquired data including the video data and the audio data in their respective data forms, in which case the data receiving unit 130 may Receives acquired data including the video data and audio data respectively from the camera device 195, and the data storage unit 135 links the video data and audio data received from the camera device 195 It can be managed by storing in a specific storage area of a designated storage medium. Preferably, the data storage unit 135 synchronizes the times of the video data and audio data based on time values (or timestamps) of the video data and audio data, and stores them in a specific storage area of a designated storage medium. .

한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터 및/또는 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터 외에, 지정된 센서모듈을 통해 센싱되어 지정된 방식으로 엔코딩된 센싱 데이터를 더 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 센싱 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터 및/또는 오디오 데이터와 상기 센싱 데이터를 연계 저장하여 일정 기간 동안 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터 및/또는 오디오 데이터의 시간 값(또는 타임스탬프)과 상기 센싱 데이터의 시간 값(또는 타임스탬프)을 기준으로 상기 비디오 데이터 및/또는 오디오 데이터의 시간과 상기 센싱 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the embodiment of the present invention, the control module of the camera device 195 may perform other than video data acquired through the camera module and encoded in a designated manner and/or audio data obtained through the sound input unit and encoded in a designated manner. , when transmitting acquired data further including sensing data sensed through a designated sensor module and encoded in a designated manner, the data receiving unit 130 receives the acquired data including the sensing data, and the data storage unit 135 ) may store video data and/or audio data of the received acquired data and the sensing data in a specific storage area of a designated storage medium and manage them for a certain period of time. Preferably, the data storage unit 135 stores the video data and/or audio data based on a time value (or timestamp) of the video data and/or audio data and a time value (or timestamp) of the sensing data. The time of and the time of the sensing data may be synchronized and stored in a specific storage area of a designated storage medium.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 데이터 제공부(140)와, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 대화 인식부(145)와, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 대화 의도 판별부(150)를 포함한다.Referring to Figure 1, the operation server 100, a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV 190 of the designated user wireless terminal 185 The data providing unit 140, which is performed or maintained, checks and reads a character string corresponding to the user's voice or text obtained through the app of the user's wireless terminal 185 or the IPTV 190, and reads it so that the user communicates with the baby. It includes a dialog recognition unit 145 that recognizes one dialog string, and a dialog intention determination unit 150 that analyzes the recognized dialog string and determines a user's dialog intention corresponding to at least one of P designated conversation intentions.

상기 데이터 제공부(140)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱으로부터의 송신 데이터 요청이나 상기 관리D/B에 저장된 ID/PW정보를 이용한 송신 데이터 요청을 근거로 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터 제공의 종료/중지에 대응하는 정보가 수신되기 전(또는 지정된 규칙에 따라 종료/중지하기 전)까지 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 유지할 수 있다. The data provider 140 transmits data request from the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or transmits data using the ID/PW information stored in the management D/B. Based on the request, a procedure of providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV 190 of the user wireless terminal 185 is performed, and the user wireless terminal 185 Includes video data stored in a specific storage area of the storage medium until information corresponding to termination/stop of providing the transmission data is received from the app or IPTV 190 of (or before termination/stop according to a designated rule) It is possible to maintain a procedure for providing transmitted data to

본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함할 수 있다.According to the implementation method of the present invention, the transmission data may further include audio data stored in a specific storage area of the storage medium.

상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 중에, 상기 대화 인식부(145)는 상기 송신 데이터를 수신하여 출력 중인 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식한다. While providing the transmission data to the application of the user wireless terminal 185 or the IPTV 190, the conversation recognition unit 145 receives the transmission data and outputs the application or IPTV of the user wireless terminal 185. A character string corresponding to the user's voice or text obtained through step 190 is identified and read to recognize a conversation character string that the user communicated with the baby.

본 발명의 제1 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하여 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고, 상기 확인된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the first string confirmation embodiment of the present invention, the app or IPTV 190 of the user wireless terminal 185 is provided in the user wireless terminal 185 or IPTV 190 while receiving and outputting the transmission data. The audio data corresponding to the sound signal input through the sound input unit may be acquired and transmitted to the operation server 100, and the conversation recognition unit 145 may be used for the app or IPTV 190 of the user wireless terminal 185. The audio data may be received from In this case, the conversation recognition unit 145 attempts voice recognition for the received audio data, checks a character string corresponding to the content uttered by the user watching the transmission data, reads the identified character string, and reads the user can recognize the conversation string that the baby talked to.

한편 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 수신하고, 상기 카메라장치(195)에 사운드 출력부가 구비된 경우, 상기 운영서버(100)는 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 상기 카메라장치(195)로 전송하여 상기 카메라장치(195)의 사운드 출력부를 통해 출력하도록 처리하는 대화 처리부(도시생략)를 더 구비할 수 있다. On the other hand, when the audio data acquired through the app or IPTV 190 of the user wireless terminal 185 receiving and outputting the transmission data is received, and the camera device 195 has a sound output unit, the operation server ( 100) transmits the audio data obtained through the app or IPTV 190 of the user's wireless terminal 185 receiving and outputting the transmission data to the camera device 195, and outputting the sound of the camera device 195. It may further include a dialog processing unit (not shown) that processes to output through.

본 발명의 제2 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하고 음성 인식을 시도하여 사용자가 발화한 내용에 대응하는 문자열을 확인한 후, 상기 음성 인식한 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the second string confirmation embodiment of the present invention, the app or IPTV 190 of the user wireless terminal 185 is provided in the user wireless terminal 185 or IPTV 190 while receiving and outputting the transmission data. Acquire audio data corresponding to the sound signal input through the sound input unit, attempt voice recognition, check a string corresponding to the content uttered by the user, and transmit the voice-recognized string to the operation server 100. The conversation recognition unit 145 may receive a character string recognized by a voice uttered by a user watching the transmission data from an app of the user wireless terminal 185 or the IPTV 190 . In this case, the conversation recognition unit 145 may read the received character string and recognize the conversation character string that the user talked to the baby.

본 발명의 제3 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)의 입력수단을 통해 입력된 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the third string confirmation embodiment of the present invention, while the app or IPTV 190 of the user wireless terminal 185 receives and outputs the transmission data, input of the user wireless terminal 185 or IPTV 190 The character string input through the means can be transmitted to the operation server 100, and the conversation recognition unit 145 can receive the character string from the app of the user wireless terminal 185 or the IPTV 190. In this case, the conversation recognition unit 145 may read the received character string and recognize the conversation character string that the user talked to the baby.

상기 대화 인식부(145)를 통해 상기 송신 데이터를 시청 중인 사용자가 아기에게 대화한 대화 문자열을 인식한 경우, 상기 대화 의도 판별부(150)는 상기 인식된 대화 문자열을 자연어 처리하고 형태소 또는 구문 별로 분석하여 기 지정된 P개의 대화 의도 중 적어도 하나의 대화 의도에 대응하는 사용자 대화 의도를 판별한다.When the conversation recognition unit 145 recognizes a conversation string that the user who is watching the transmission data had a conversation with the baby, the conversation intention determination unit 150 processes the recognized conversation string in natural language and morphemes or phrases by syntax. By analyzing, a user's conversation intention corresponding to at least one conversation intention among P pre-specified conversation intentions is determined.

도면1을 참조하면, 상기 운영서버(100)는, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 거점의 카메라장치(195)를 통해 획득된 획득 데이터 중 적어도 하나의 데이터를 판독하여 아기의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하는 정보 인식부(155)와, 지정된 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 아기 감정 항목을 판별하는 정보 판별부(160)와, 상기 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 아기 감정 상태를 수치화한 감정 항목 별 아기 감정 상태 값을 산출하는 감정 상태 산출부(165)와, 상기 산출된 하나 이상의 아기 감정 상태 값을 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 정보 생성부(170)를 포함한다. Referring to Figure 1, the operation server 100 reads at least one of the acquired data obtained through the camera device 195 of the designated base at a point in time before, during, or after determining the user conversation intention. an information recognizing unit 155 for recognizing recognition information of a designated recognition target for discriminating a baby's emotion, and a designated recognition target that matches the recognized recognition information with a predetermined criterion similarity or higher based on the designated emotional state discrimination information An information determination unit 160 that identifies pattern information and determines one or more baby emotion items having a matching relationship with the identified pattern information, and the pattern information and baby emotion items based on a matching ratio between the recognition information and the pattern information an emotional state calculation unit 165 that reads a numerical relationship between the correlations and calculates a baby's emotional state value for each emotion item by digitizing the baby's emotional state for each one or more emotion items corresponding to the recognition information; and an information generating unit 170 that generates baby emotional state information for each designated emotional item by using the emotional state value.

상기 정보 인식부(155)는 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식한다. The information recognizing unit 155 reads designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190 at a point before, during, or after determining the user's conversation intention, and the specific baby in the base. While recognizing f (1≤f≤F) number of feature points for the facial region of the recognized f number of feature points, i (i≥1) pieces of baby expression recognition information corresponding to the geometric relationship between feature points associated with the emotional expression of the baby are recognized. Recognize.

본 발명의 실시 방법에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the implementation method of the present invention, the designated video data may include at least one of video data periodically selected for each designated playback time unit and video data periodically selected for each designated playback frame number.

상기 정보 인식부(155)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인한다. 만약 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 경우, 상기 정보 인식부(155)는 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식할 수 있다. The information recognizing unit 155 identifies/authenticates the IPTV 190 through the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or the ID/PW information stored in the management D/B. ), it is checked whether transmission data including video data stored in a specific storage area of the storage medium is provided. If the transmission data is provided to the app of the user wireless terminal 185 or the IPTV 190, the information recognizing unit 155 reads designated video data among video data of the transmission data and reads the specific baby within the base. While recognizing the f number of key points of the facial area of the baby, it is possible to recognize i pieces of baby facial expression recognition information corresponding to a geometric relationship between the key points associated with the emotional expression of the baby among the recognized f key points.

상기 정보 인식부(155)를 통해 i개의 아기 표정 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인한다. 만약 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별한다. When the i baby facial expression recognition information is recognized through the information recognizing unit 155, the information determining unit 160 determines the recognized i baby facial expressions based on the facial expression-based emotional state determination information stored in the operation D/B. E (1 ≤ e ≤ E) pieces of baby expression pattern information matched with the recognition information by a predetermined criterion similarity or higher are checked. If e pieces of baby expression pattern information matched with the recognized i pieces of baby expression recognition information and a preset criterion similarity or higher are identified, the information determining unit 160 has a matching relationship with the identified e pieces of baby expression pattern information. n1 (1≤n1≤N1) number of baby emotion items are determined.

상기 정보 판별부(160)를 통해 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성한다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n1 baby emotion items corresponding to the i baby facial expression recognition information are determined through the information determining unit 160, the emotional state calculating unit 165 determines the i baby facial expression recognition information and the e baby facial expression recognition information. Based on the matching ratio between the expression pattern information, the numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items is read, and the baby's emotional state for each n1 number of emotion items corresponding to the recognized i number of baby expression recognition information , and calculates baby emotional state values for each n1 emotion item, and the information generating unit 170 uses the calculated baby emotional state value for each n1 emotion item to display a designated n (1≤ Baby emotional state information for each n≤N) emotion items is generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.

본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 울음소리 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터와 오디오 데이터가 연계 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식할 수 있다.According to an extended/another embodiment of the present invention, when the cry-based emotional state determination information is stored in the operation D/B and video data and audio data are linked and stored in a specific storage area of the storage medium, the information recognizing unit 155 may read audio data of a certain period associated with the video data to recognize j(j≥1) pieces of baby cry recognition information for the specific baby.

한편 상기 정보 인식부(155)를 통해 j개의 아기 울음소리 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인한다. 만약 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별한다. Meanwhile, when j pieces of baby crying recognition information are recognized through the information recognition unit 155, the information determination unit 160 determines the recognized j based on the emotional state determination information stored in the operation D/B. C (1 ≤ c ≤ C) pieces of baby crying pattern information matched with the dog's crying sound recognition information and a predetermined criterion similarity or higher are checked. If c pieces of baby crying pattern information that are matched with the recognized j pieces of baby crying recognition information and a preset criterion similarity or higher are identified, the information determining unit 160 matches the identified c pieces of baby crying pattern information. Determine n2 (1≤n2≤N2) baby emotion items having a relationship.

상기 정보 판별부(160)를 통해 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n2 number of baby emotion items corresponding to the j number of baby crying sound recognition information are determined through the information determining unit 160, the emotional state calculating unit 165 determines the recognized j number of baby crying sound recognition information and the c Based on the matching ratio between the pieces of baby crying pattern information, the numerical relationship between the c pieces of baby crying pattern information and the n2 baby emotion items is read, and the n2 emotions corresponding to the recognized j pieces of baby crying sound recognition information are read. Calculate the baby's emotional state values for each n2 emotion items by digitizing the baby's emotional state for each item, and the information generating unit 170 (additionally) uses the calculated baby's emotional state values for each n2 emotional items to designate n values. Baby emotional state information for each emotion item may be generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.

본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the baby's emotional state values for each n1 emotion item are previously calculated based on the i facial expression recognition information of the baby, the information generating unit 170 determines the baby's facial expression recognition information based on the i facial expression recognition information. Baby emotional state information for each n number of designated emotion items is generated by combining the baby's emotional state values for each n1 emotion item calculated as above and the baby's emotional state value for each n2 emotion items calculated based on the j number of baby cry recognition information. can do. Preferably, the emotional state information of the baby for each n emotional items may be a union relation of 'baby emotional state values for n1 emotional items ∩ baby emotional state values for n2 emotional items', or may be a subset relation of the union. .

한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating baby emotional state information for each n emotion item by combining the baby's emotional state value for each n1 emotion item and the baby's emotional state value for each n2 emotion item, the information generating unit 170 determines the baby's emotional state value for each n1 emotion item. For the overlapping emotion items among the n2 emotion items, a specified statistical operation (eg, average value calculation operation) for each baby emotional state value or a specified recognition target according to the correlation between the corresponding emotion item and facial expression or cry The baby's emotional state information of the overlapping emotional items may be generated through a statistical operation to which a weight is assigned.

본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터 및/또는 오디오 데이터와 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터가 연계 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터 ??/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식할 수 있다.According to an extended/another embodiment of the present invention, the sensing-based emotional state determination information is stored in the operation D/B, and video data and/or audio data are stored in a specific storage area of the storage medium and the camera device 195 When sensing data sensed through a provided or linked sensor module is linked and stored, the information recognizing unit 155 reads the sensing data associated with the video data ??/or audio data to obtain information associated with the emotional expression of the specific baby. It is possible to recognize k (k≧1) pieces of sensing value recognition information for the sensing data of the designated sensing target.

한편 상기 정보 인식부(155)를 통해 k개의 센싱 값 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인한다. 만약 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보가 화긴되면, 상기 정보 판별부(160)는 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별한다. Meanwhile, when k sensing value recognition information is recognized through the information recognition unit 155, the information determination unit 160 determines the recognized k sensing values based on the sensing-based emotional state determination information stored in the operation D/B. s (1≤s≤S) pieces of sensed value pattern information matched with the value recognition information and a preset criterion similarity or higher are checked. If the recognized k sensed value recognition information and the s sensed value pattern information matched with the preset criterion similarity or more are matched, the information determining unit 160 has a matching relationship with the identified s sensed value pattern information. n3 (1≤n3≤N3) baby emotion items are discriminated.

상기 정보 판별부(160)를 통해 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n3 baby emotion items corresponding to the k sensing value recognition information are determined through the information determination unit 160, the emotional state calculation unit 165 calculates the recognized k sensing value recognition information and the s sensing value recognition information. Based on the matching ratio between the value pattern information, the numerical relationship between the s sensed value pattern information and the n3 baby emotion items is read, and the emotional state of the baby for each of the n3 emotion items corresponding to the k sensed value recognition information is recognized. , and calculates baby emotional state values for each n3 emotion items, and the information generating unit 170 uses (adds) the calculated baby emotional state values for each n3 emotion items to determine the baby's emotion for each designated n emotion items. status information can be generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.

본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the baby's emotional state values for each n1 emotion item are previously calculated based on the i facial expression recognition information of the baby, the information generating unit 170 determines the baby's facial expression recognition information based on the i facial expression recognition information. Baby emotional state information for each n number of designated emotion items may be generated by combining the baby's emotional state values for each n1 emotion items calculated as above and the baby's emotional state values for each n3 emotion items calculated based on the k sensing value recognition information. can Preferably, the emotional state information of the baby for each n emotional items may be a union relation of 'baby emotional state values for each n1 emotional items ∩ baby emotional state values for each n3 emotional items', or may be a subset relation of the union. .

한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating baby emotional state information for each n emotion item by combining the baby's emotional state value for each n1 emotion item and the baby's emotional state value for each n3 emotion item, the information generating unit 170 determines the baby's emotional state value for each n1 emotion item. And for the overlapping emotion items among the n3 emotion items, designated according to a specified statistical operation (eg, average value calculation operation) for each baby's emotional state value or a correlation between the corresponding emotion item and the sensed value of the facial expression or designated sensing target The baby's emotional state information of the overlapping emotional items may be generated through a statistical operation in which a designated weight is assigned to a recognition target.

한편 본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 n2개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. On the other hand, according to the implementation method of the present invention, based on the i facial expression recognition information of the baby, the baby emotional state value for each n1 emotion item and the j number of baby crying sound recognition information are calculated based on the baby's emotional state value for each n2 emotion item. , the information generating unit 170 calculates the baby's emotional state values for each n1 emotion item calculated based on the i number of baby facial expression recognition information and the n2 emotion items calculated based on the j number of baby cry recognition information. Emotional state information of the baby for each n number of designated emotion items may be generated by combining each baby's emotional state value and the baby's emotional state value for each n3 emotion items calculated based on the k number of sensed value recognition information. Preferably, the baby's emotional state information for each n emotion item is a union relation of 'baby's emotional state value for n1 emotion items ∩ baby's emotional state value for n2 emotion items ∩ baby's emotional state value for n3 emotion items'; Alternatively, it may be a subset relationship of the union.

한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 n3개의 감정 항목 별 아기 감정 상태 값 등을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 및 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when the baby's emotional state information for each n emotion item is generated by combining the baby's emotional state value for each n1 emotion item, the baby's emotional state value for each n2 emotion item, and the baby's emotional state value for each n3 emotion item, the information The generation unit 170 performs a designated statistical calculation (eg, average value calculation operation) or a corresponding emotion item for each emotional state value of the baby with respect to the overlapping emotion items among the n1 emotion items, the n2 emotion items, and the n3 emotion items. The baby's emotional state information of the overlapping emotion items may be generated through a statistical operation in which a specified weight is assigned to a designated recognition target according to a correlation between facial expressions, crying sounds, or sensed values of a designated sensing target.

도면1을 참조하면, 상기 운영서버(100)는, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 가상객체 확인부(175)와, 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 대화 응답 증강부(180)와, 아기 입장에서 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 데이터 제공부(140)를 포함한다.Referring to Figure 1, the operation server 100 matches r (1≤r≤ The virtual object confirmation unit 175 that checks R) number of virtual object data, and q (1≤q≤r) virtual object data specified in a designated area in the baby's face area or in the area around the baby's face on the video data are overlapped and displayed A dialog response enhancer 180 augmenting a response to the determined user's conversation intention based on the baby's emotional state from the baby's point of view through a designated area within the baby's face area or a region around the baby's face; and the determined user from the baby's point of view. and a data providing unit 140 that provides transmitted data including augmented video data to respond to a conversation intention to the app or IPTV 190 of the user's wireless terminal 185 for a specified period of time.

상기 정보 생성부(170)를 통해 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함하는 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 가상객체 확인부(175)는 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인한다. When the information generation unit 170 generates baby emotional state information for each n number of emotion items including numerical information (or rating information) on the baby's emotional state for each emotion item, the virtual object confirmation unit 175 checks r (1≤r≤R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the baby's emotional state information for each of the generated n emotion items.

본 발명의 실시 방법에 따르면, 상기 r개의 가상객체 데이터는 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 아기 안면 영역 내의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the implementation method of the present invention, the r pieces of virtual object data are virtual object data overlapping and displayed on a designated part in the baby's facial area as a response to the baby's emotional state criteria for the determined user's conversational intention, and the determined user's conversational intention. A character string corresponding to the baby's emotional state criterion response may be displayed in the form of a speech bubble and include at least one virtual object data among virtual object data overlapped and displayed on the area around the baby's face. On the other hand, the designated parts in the baby's face area are the baby's hair, the baby's forehead, the baby's temple, the baby's eyebrows, the baby's both eyes and both eyebrows, the baby's both eyes, and the baby's both eyes. Area, baby's inside and outside of the sheep, baby's inner and lower parts, baby's cheeks, baby's both cheeks, baby's nose, baby's nose, baby's philtrum, baby's mouth, baby It may include at least one or a combination of two or more of the lips, the outer part of the baby's mouth, the lower part of the baby's mouth, the baby's chin, and the baby's neck.

상기 가상객체 확인부(175)를 통해 상기 가상객체 매칭 정보와 상기 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r개의 가상객체 데이터가 확인되면, 상기 대화 응답 증강부(180)는 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 중첩 표시할 q개의 가상객체 데이터를 확인 또는 선별한다. If r virtual object data matching the determined user conversation intention are confirmed based on the virtual object matching information and the baby emotional state information for each of the n emotion items through the virtual object checker 175, the conversation response The augmentation unit 180 checks or selects q virtual object data to be overlapped and displayed on a designated area within the baby's face area on the video data or an area around the baby's face.

본 발명의 제1 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터를 그대로 포함할 수 있다.According to the first virtual object embodiment of the present invention, the q number of virtual object data may include the r number of virtual object data as it is.

본 발명의 제2 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함할 수 있다.According to the second virtual object embodiment of the present invention, the q virtual object data may include virtual object data selected as the most suitable for the determined user conversation intention among the r virtual object data.

본 발명의 제3 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the third virtual object embodiment of the present invention, the q virtual object data may include selected virtual object data among the r virtual object data such that one virtual object data is overlapped and displayed on the same part in the baby's face area. can

본 발명의 제4 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the fourth virtual object embodiment of the present invention, the q virtual object data may include selected virtual object data among the r virtual object data such that one virtual object data is overlapped and displayed in the same area around the baby's face. can

상기 대화 응답 증강부(180)는 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 제1 내지 제4 가상객체 실시예 중 적어도 하나 또는 둘 이상의 조합에 대응하는 q개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강한다. The dialogue response augmenting unit 180 provides q pieces of virtual object data corresponding to at least one or a combination of two or more of the first to fourth virtual object embodiments to a designated area within the baby's face area or to an area around the baby's face on the video data. The overlapping display is performed so as to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view through a designated area in the baby's face area or an area around the baby's face.

본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 아기 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 아기 안면의 지향 방향을 인식하며, 이 경우 상기 대화 응답 증강부(180)는 상기 아기 안면의 지향 방향에 대응하는 아기 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q virtual object data includes virtual object data designated to be overlapped and displayed in the area around the baby's face, the dialogue response augmenting unit 180 determines the orientation direction of the baby's face on the video data. In this case, the dialogue response augmenting unit 180 may overlap and display the designated virtual object data on an area around the baby's face corresponding to the orientation direction of the baby's face.

본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 아기 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출할 수 있으며, 이 경우 상기 대화 응답 증강부(180)는 상기 산출된 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q virtual object data includes virtual object data designated to be overlapped and displayed on a designated part within the baby's face area, the dialogue response augmenting unit 180 determines the quality of the baby's face on the video data. Angle information on a 3D coordinate system between the orientation direction and the camera photographing direction may be calculated, and in this case, the dialogue response augmentation unit 180 determines the overlapping display direction of the designated virtual object data based on the calculated angle information. Coordinates may be converted to correspond to directions for each designated part within the facial area, and overlapped display may be performed.

상기 데이터 제공부(140)는 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 q개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력할 수 있다. 바람직하게, 상기 송신 데이터는 상기 비디오 데이터 외에 오디오 데이터를 더 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The data providing unit 140 overlaps and displays q pieces of virtual object data on a designated area within the baby's facial area or on the area around the baby's face, and displays the baby's emotional state from the baby's point of view through the designated area within the baby's facial area or the area around the baby's face. Based on this, transmission data including video data augmented to respond to the determined user conversation intention is provided to the app or IPTV 190 of the user wireless terminal 185 for a specified period of time, and the user wireless terminal 185 The app of or IPTV 190 may receive and output the transmission data. Preferably, the transmission data may further include audio data in addition to the video data, and the present invention is not limited thereby.

도면2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.Figure 2 is a diagram illustrating an information storage/registration process according to an embodiment of the present invention.

보다 상세하게 본 도면2는 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하기 위한 지정된 인식 대상(예컨대, 아기 표정, 아기 울음소리, 지정된 센서모듈을 통해 아깅의 지정된 센싱 대사을 센싱한 센싱 값 등) 별 감정상태 판별 정보를 운영D/B에 저장하거나, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 가상객체 데이터를 운영D/B에 저장하고 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 대화 의도와 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하거나, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, this drawing 2 shows each designated recognition target (eg, baby facial expression, baby crying sound, sensing value obtained by sensing a designated sensing line of Aging through a designated sensor module, etc.) for generating baby emotional state information for each designated emotion item. Emotional state identification information is stored in the operation D/B, or virtual object data corresponding to the baby's response to the designated conversation intention is stored in the operation D/B, and based on the baby's emotional state information for each designated emotion item, the conversation intention and Virtual object matching information for matching virtual object data is stored, or a camera device 195 provided in a designated base to receive transmission data including video data of a specific baby in the base is provided and the camera device ( 195) is registered and stored in the designated management D/B, and those skilled in the art will refer to and/or modify this figure 2 to perform the above process Various implementation methods (eg, implementation methods in which some steps are omitted or the order is changed) may be inferred, but the present invention includes all implementation methods inferred above, and the implementation shown in FIG. 2 The technical characteristics are not limited only by the method.

도면2를 참조하면, 상기 운영서버(100)는 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리한다(200).Referring to Figure 2, the operation server 100 is configured to recognize the pattern information of the designated recognition target to determine the baby's emotional state and the matching relationship information between each baby's emotional item and the pattern information of the designated recognition target and each baby. Emotional state discrimination information for each designated recognition target, including numerical correlation information obtained by digitizing the correlation between emotion items, is registered, stored, and managed in a designated operation D/B (200).

본 발명의 실시 방법에 따르면, 상기 운영서버(100)는 아기의 안면 영역에 존재하는 F개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 아기 표정 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. According to the implementation method of the present invention, the operation server 100 includes E pieces of baby expression pattern information corresponding to a geometric relationship between feature points associated with emotional expression of the baby among F feature points existing in the baby's facial area and designated N baby expression pattern information. Expression-based correlation numerical relationship information including matching relationship information between N1 baby emotion items that can be distinguished based on baby expression patterns among emotion items and digitizing the correlation between the E number of baby expression pattern information and N1 baby emotion items Register and store facial expression-based emotional state discrimination information including .

본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the operation server 100 includes C pieces of baby crying pattern information associated with emotional expressions of a baby among baby crying patterns and baby crying patterns among designated N baby emotion items. Crying sound including matching relationship information between N2 baby emotion items that can be distinguished based on a basis and numerical relationship information of cry-based correlation between the C crying pattern information and the N2 baby emotion items. Based emotional state determination information can be registered and stored in the operation D/B.

한편 본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extended/another embodiment of the present invention, the operation server 100 senses a designated sensing target related to the baby's emotional expression among the sensing data provided in the camera device 195 or sensed through a linked sensor module. It includes S sensed value pattern information for data and matching relationship information between N3 baby emotion items that can be distinguished based on the sensing value pattern of the designated sensing target among the designated N baby emotion items, and the S sensed value pattern information and Sensing-based emotional state determination information including numerical relationship information of a sensing-based correlation obtained by quantifying the correlation between N3 baby emotion items may be registered and stored in the operation D/B.

도면2를 참조하면, 상기 운영서버(100)는 아기의 부모나 친인척 또는 보호자 등이 아기에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 지정된 P개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고(205), 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다(210).Referring to Figure 2, the operation server 100 responds to the baby's response to the designated P number of conversation intentions in which the baby's parents, relatives, or guardians attempt to communicate with the baby by designated categories. Registers and stores R (R≥2) virtual object data in the operation D/B (205), and at least one of the facial expression-based emotional state determination information, the cry-based emotional state determination information, and the sensing-based emotional state determination information Virtual object matching information for matching the P conversation intentions and R virtual object data based on the emotional state information for each designated emotion item generated based on the emotional state determination information is stored (210).

도면2를 참조하면, 상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하기 위해 사용자 무선단말(185)의 앱으로부터 사용자에 대한 사용자정보, 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보, 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보 및 상기 사용자가 설정한 ID/PW정보 등을 지정된 절차에 따라 매핑 등록 요청할 수 있으며(215), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 절차에 따라 수신하고(220), 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 관리Dd/B에 연계 저장한다(225). 한편 실시 방법에 따라 상기 사용자정보와 카메라장치(195)정보 및 ID/PW정보 등은 상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말이나 상기 사용자의 가입신청서를 접수한 지정된 등록단말을 통해 등록될 수 있다.Referring to Figure 2, the operation server 100 is provided with a camera device 195 provided in the target base and the camera device 195 to be provided with transmission data including video data of a specific baby in the base through the camera device 195 provided at the base. ), user information about the user from the app of the user wireless terminal 185, camera device 195 information for uniquely identifying the camera device 195 provided/supplied to the user, and the user wireless terminal 185 Unique identification information for uniquely identifying the app and ID/PW information set by the user may be requested for registration of mapping according to a specified procedure (215), and the operation server 100 may request the application of the user wireless terminal 185. The user information, camera device 195 information, unique identification information, and ID/PW information are received according to a designated procedure (220), and the user information, camera device 195 information, unique identification information, and ID/PW information are received from Information and the like are linked and stored in the designated management Dd/B (225). On the other hand, according to the implementation method, the user information, camera device 195 information, and ID/PW information are stored in a user terminal used by a user who purchases or receives the camera device 195 or a designated registered terminal that receives the user's subscription application. can be registered through

도면3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(195)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.FIG. 3 is a diagram illustrating how to transmit acquired data obtained through the camera device 195 of a designated base according to the method of the present invention and store and manage the data in a designated storage medium.

보다 상세하게 본 도면3은 지정된 거점에 구비된 카메라장치(195)의 카메라모듈을 통해 획득한 비디오 데이터를 포함하는 획득 데이터를 운영서버(100)로 전송하여 지정된 저자매체의 특정 저장영역에 저장하여 관리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, this figure 3 transmits the acquired data including video data obtained through the camera module of the camera device 195 provided at the designated base to the operation server 100 and stores it in a specific storage area of the designated author medium. As an illustration of a management process, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this Figure 3 in various implementation methods for the process (eg, some steps are omitted, or Implementation method with a changed order) can be inferred, but the present invention includes all the implementation methods inferred above, and its technical characteristics are not limited only to the implementation method shown in FIG. 3.

도면3을 참조하면, 상기 카메라장치(195)는 동작을 위한 전원 공급이 확인되면(300), 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며(305), 상기 운영서버(100)는 상기 카메라장치(195)와 지정된 정보를 교환하여 상기 카메라장치(195)의 유효성을 인증한 경우(310), 상기 카메라장치(195)와 통신 연결하고(315), 이에 대응하여 상기 카메라장치(195)로 상기 운영서버(100)와 통신이 연결된다(315).Referring to Figure 3, when the supply of power for operation is confirmed (300), the camera device 195 exchanges one or more designated information with the designated operation server 100 through a communication module according to a designated procedure to establish a communication connection. request (305), and when the operation server 100 exchanges designated information with the camera device 195 and authenticates the validity of the camera device 195 (310), a communication connection with the camera device 195 is made. (315), and communication with the operation server 100 is connected through the camera device 195 (315).

한편 상기 운영서버(100)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하고(320), 상기 카메라장치(195)로 상기 생성된 일회용주소정보를 제공하며(325), 상기 카메라장치(195)는 상기 운영서버(100)로부터 상기 일회용주소정보를 수신하고(330), 상기 수신된 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정할 수 있으며(335), 상기의 일회용주소정보 생성 내지 목적지 주소로 설정하는 과정은 주기적으로(예컨대, 30초 단위) 반복될 수 있다. Meanwhile, the operation server 100 dynamically generates (320) disposable address information for receiving the acquisition data acquired through the camera device 195, and provides the generated disposable address information to the camera device 195. (325), the camera device 195 receives the disposable address information from the operation server 100 (330), and sets the received disposable address information as a destination address to which the obtained data is transmitted (335). ), the process of generating disposable address information or setting it as a destination address may be repeated periodically (eg, every 30 seconds).

한편 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 비디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Meanwhile, the camera device 195 may acquire video data of a baby in a designated base through the camera module (340a), and transmit acquired data including the video data to a designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득한 후(340b), 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a baby in a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and then obtains the video data Acquisition data including audio data and may be transmitted to a designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 obtains video data of a baby in a designated base through the camera module (340a), and acquires sensing data obtained by sensing a designated sensing target of the baby through the sensor module (340c). ), the acquisition data including the video data and sensing data may be transmitted to a designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득하고(340b), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 오디오 데이터 및 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 obtains video data of a baby in a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and uses the sensor module After acquiring sensing data obtained by sensing the baby's designated sensing target (340c), the obtained data including the video data, audio data, and sensing data may be transmitted to the designated destination address (345).

상기 운영서버(100)는 상기 카메라장치(195)로부터 적어도 비디오 데이터를 포함하는 획득 데이터를 수신하고(350), 상기 수신된 획득 데이터(또는 획득 데이터에 포함된 각각의 데이터)를 지정된 저장매체의 특정 저장영역에 저장하여 관리한다(355).The operation server 100 receives acquisition data including at least video data from the camera device 195 (350), and stores the received data (or each data included in the acquisition data) in a designated storage medium. It is stored and managed in a specific storage area (355).

도면4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.FIG. 4 is a diagram illustrating a process of determining the user's conversation intention when the user communicates with the baby while providing transmission data including video data to the user according to the method of the present invention.

보다 상세하게 본 도면4는 카메라장치(195)를 통해 획득되어 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)을 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 통해 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 다만 본 도면4는 편의 상 송신 데터를 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 오디오 데이터가 획득되는 경우에 운영서버(100)에서 상기 오디오 데이터로부터 사용자의 음성을 인식하여 사용자 대화 의도를 판별하는 실시예를 위주로 본 발명의 특징을 설명할 것이나, 이에 의해 본 발명이 한정되지 아니한다.In more detail, FIG. 4 provides transmission data including video data obtained through the camera device 195 and stored in a specific storage area of a designated storage medium to an app or IPTV 190 of a designated user wireless terminal 185. It shows a process of determining the user's intention to communicate with the baby through a string corresponding to the user's voice or text obtained through the app of the user's wireless terminal 185 or the IPTV 190, to which the present invention belongs. Those of ordinary skill in the art will be able to infer various implementation methods for the process (eg, an implementation method in which some steps are omitted or the order is changed) by referring to and/or modifying this Figure 4. , The present invention is made including all the implementation methods inferred above, and its technical characteristics are not limited only to the implementation method shown in FIG. 4. However, in Figure 4, for convenience, when audio data is obtained through the app of the user wireless terminal 185 or the IPTV 190 outputting transmission data, the operation server 100 recognizes the user's voice from the audio data The characteristics of the present invention will be described focusing on an embodiment of determining user conversation intention, but the present invention is not limited thereto.

도면4를 참조하면, 사용자 무선단말(185)의 앱이나 IPTV(190)는 운영서버(100)로 지정된 거점의 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 요청할 수 있으며(400), 이 경우 운영서버(100)는 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 지정된 거점의 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터 요청을 확인한다(405). 만약 상기 송신 데이터 요청을 확인한 경우, 상기 운영서버(100)는 상기 지정된 거점의 카메라장치(195)를 통해 획득된 비디오 데이터를 포함하는 ??득 데이터를 저장하는 지정된 저장매체의 특정 저장영역을 확인하고 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 절차를 수행하거나 이를 유지하며(410), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력한다(415).Referring to Figure 4, the app or IPTV 190 of the user's wireless terminal 185 may request transmission data including video data of a baby in a designated base from the operation server 100 (400), in this case The operating server 100 confirms a transmission data request including video data of a baby in a designated base from the app or IPTV 190 of the user wireless terminal 185 (405). If the transmission data request is confirmed, the operation server 100 checks a specific storage area of the designated storage medium for storing the obtained data including the video data acquired through the camera device 195 of the designated base and performs or maintains a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV 190 of the user wireless terminal 185 (410), wherein the user wireless terminal The app or IPTV (190) of (185) receives and outputs the transmission data (415).

한편 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득할 수 있다(420). 이 경우 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 획득된 오디오 데이터를 운영서버(100)로 전송하며(425), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다(430). 이 경우 상기 운영서버(100)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고(435), 상기 확인된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식한다(440). Meanwhile, while the application or IPTV 190 of the user wireless terminal 185 outputs the transmission data, audio corresponding to a sound signal input through a sound input unit provided in the user wireless terminal 185 or IPTV 190 Data may be acquired (420). In this case, the app or IPTV 190 of the user wireless terminal 185 transmits the obtained audio data to the operation server 100 (425), and the operation server 100 transmits the audio data of the user wireless terminal 185. The audio data may be received from an app or IPTV (190) (430). In this case, the operation server 100 attempts voice recognition for the received audio data, checks a string corresponding to the content uttered by the user watching the transmission data (435), reads the identified string, A conversation string that the user has spoken to the baby is recognized (440).

만약 상기 사용자가 아기에게 대화한 대화 문자열이 인식되면, 상기 운영서버(100)는 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별한다(445).If the conversation string that the user talked to the baby is recognized, the operation server 100 analyzes the recognized conversation string to determine a user conversation intention corresponding to at least one of the designated P conversation intentions (445).

도면5는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.5 is a diagram illustrating a process of responding to a user's conversation intention based on a baby's emotional state according to the first embodiment of the present invention.

보다 상세하게 본 도면5는 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 인식된 아기 표정 인식 정보를 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 5 shows baby expression recognition information recognized by reading designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190 at a point in time before/during/after determining the user's conversation intention. After generating baby emotional state information for each designated n emotion item, based on this, virtual object data matching the user's conversational intention is checked and provided to the app of the user's wireless terminal 185 or the IPTV 190. It shows a process of processing to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view by augmenting and providing a designated part in the baby's face area or a baby's face peripheral area on the designated video data to be played, wherein the present invention Those skilled in the art can infer various implementation methods for the process (eg, an implementation method in which some steps are omitted or the order is changed) by referring to and/or modifying this Figure 5. However, the present invention is made including all the implementation methods inferred above, and its technical characteristics are not limited only to the implementation method shown in FIG. 5.

도면5를 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식한다(500). Referring to Figure 5, the operation server 100 transfers transmission data including video data stored in a specific storage area of a storage medium designated through the process of Figure 3 to an app of a designated user wireless terminal 185 or an IPTV 190. ), while reading designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190 at a point before/during/after determining the user's conversational intention through the process of FIG. While recognizing f feature points of a specific baby's face region, i pieces of baby facial expression recognition information corresponding to a geometric relationship between feature points associated with baby's emotional expression among the recognized f feature points are recognized (500).

만약 상기 비디오 데이터를 근거로 i개의 아기 표정 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보를 확인하고(505), 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별한다(510).If i pieces of baby facial expression recognition information are recognized based on the video data, the operation server 100 performs the recognized i based on the facial expression-based emotional state determination information stored in the operation D/B through the process of FIG. 2. E pieces of baby expression pattern information matched with the number of pieces of baby expression recognition information and a preset criterion similarity or higher are checked (505), and n1 baby emotion items having a matching relationship with the e pieces of baby expression pattern information are determined (510).

만약 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출한다(515). If n1 baby emotion items corresponding to the recognized i baby facial expression recognition information are determined, the operation server 100 calculates a matching ratio between the recognized i baby facial expression recognition information and the e baby facial expression pattern information. Based on this, n1 emotion items obtained by reading the correlation numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items, and digitizing the baby's emotional state for each n1 emotion item corresponding to the recognized i number of baby expression recognition information. Each baby emotional state value is calculated (515).

만약 상기 n1개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한다(520).If the baby's emotional state values for each of the n1 emotion items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n1 emotion items, and the baby for each of the designated n emotional items that can be displayed on the video data. Emotional state information is generated (520).

만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(525), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(530), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(535). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(540). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of FIG. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention are checked (525), and the video to be provided to the app of the user's wireless terminal 185 or the IPTV 190 q (1≤q≤r) virtual object data specified in a designated area within the baby's face area on the data or in the area around the baby's face is superimposed and displayed, and through the designated area within the baby's face area or the area around the baby's face, the baby's feelings from the baby's point of view Augmentation processing is performed to respond to the determined user conversation intention based on the state (530), and transmit data including augmented video data is sent to the baby to respond to the determined user conversation intention based on the baby's emotional state. The server 100 identifies/authenticates the IPTV through the ID/PW information stored in the management D/B or the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B through the process of FIG. 2. (190) is provided (535). The app of the user wireless terminal 185 or the IPTV 190 receives and outputs transmitted data including video data augmented to correspond to the emotional state information of the baby for each of the n emotional items (540). Preferably, the transmission data may further include audio data associated with the video data.

도면6은 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.FIG. 6 is a diagram illustrating a process of responding to a user's conversation intention based on a baby's emotional state according to the second embodiment of the present invention.

보다 상세하게 본 도면6은 지정된 비디오 데이터와 연계된 오디오 데이터를 판독하여 인식된 아기 울음소리 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 6 is to read the audio data associated with the designated video data and use (additionally) the recognized baby crying sound recognition information to generate the baby emotional state information for each n designated emotion items, and then determine the above based on this. By confirming the virtual object data that matches the user's conversational intention, augmenting and providing a designated part within the baby's face area or the area around the baby's face on the designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190. It shows a process of processing to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view. Thus, it will be possible to infer various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed), but the present invention includes all the inferred implementation methods, and in this Figure 6 The technical characteristics are not limited only to the illustrated implementation method.

도면6을 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j개의 아기 울음소리 인식 정보를 인식한다(600). Referring to Figure 6, the operation server 100 transfers transmission data including video data stored in a specific storage area of a storage medium designated through the process of Figure 3 to an app of a designated user wireless terminal 185 or an IPTV 190. ), while interlocking with the baby's emotional state value calculation process for each n1 emotion item based on baby's facial expression recognition shown in Fig. 5 Thus, audio data of a certain period associated with the designated video data is read to recognize j pieces of baby cry recognition information for the specific baby (600).

만약 상기 오디오 데이터를 근거로 j개의 아기 울음소리 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보를 확인하고(605), 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별한다(610).If j pieces of baby crying recognition information are recognized on the basis of the audio data, the operation server 100 recognizes the crying sound based emotional state determination information stored in the operation D/B through the process of FIG. 2. c pieces of baby crying pattern information that are matched with the j pieces of baby crying sound recognition information having a predetermined criterion similarity or higher (605), and n2 baby emotion items having a matching relationship with the checked c pieces of baby crying pattern information. Determine (610).

만약 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출한다(615). If the n2 number of baby emotion items corresponding to the recognized j number of crying sound recognition information are determined, the operation server 100 determines between the recognized j number of baby crying sound recognition information and the c number of baby crying pattern information. Based on the matching ratio, the numerical relationship between the c number of baby cry pattern information and the n2 number of baby emotion items is read, and the emotional state of the baby for each n2 number of emotion items corresponding to the recognized j number of baby cry recognition information is quantified. A baby emotional state value for each n2 emotion item is calculated (615).

만약 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).If the baby's emotional state values for each of the n2 emotional items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n2 emotional items to display the baby for each of the designated n emotional items on the video data. Emotional state information may be generated (620).

한편 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).On the other hand, when the baby's emotional state values for each n1 emotion item are calculated through the process of FIG. By combining the calculated emotional state values of the baby for each of the n1 emotion items and the emotional state values of the baby for each of the n2 emotion items, baby emotional state information for each of the designated n emotional items that can be displayed on video data may be generated (620). .

만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(625), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(630), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(635). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(640). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of FIG. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention are checked (625), and the video to be provided to the app of the user's wireless terminal 185 or the IPTV 190 q (1≤q≤r) virtual object data specified in a designated area within the baby's face area on the data or in the area around the baby's face is superimposed and displayed, and through the designated area within the baby's face area or the area around the baby's face, the baby's feelings from the baby's point of view Augmentation processing is performed to respond to the determined user conversation intention based on the state (630), and transmission data including augmented video data is sent to the baby to respond to the determined user conversation intention based on the baby's emotional state. The server 100 identifies/authenticates the IPTV through the ID/PW information stored in the management D/B or the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B through the process of FIG. 2. (190) is provided (635). The app of the user wireless terminal 185 or the IPTV 190 receives and outputs transmission data including video data augmented to correspond to the emotional state information of the baby for each of the n emotional items (640). Preferably, the transmission data may further include audio data associated with the video data.

도면7은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.FIG. 7 is a diagram illustrating a process of responding to a user conversation intention based on a baby's emotional state according to a third embodiment of the present invention.

보다 상세하게 본 도면7은 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 인식된 센싱 값 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 7 shows that after reading sensing data associated with designated video data and/or audio data and using (additionally) the recognized sensing value recognition information, baby emotional state information for each n designated emotion items is generated. Based on this, virtual object data matching the determined user conversation intention is checked, and a designated part within the baby's face area or the area around the baby's face on the designated video data to be provided to the app of the user's wireless terminal 185 or the IPTV 190 is selected. It shows the process of processing to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view by augmenting and providing it. And / or it will be possible to infer various implementation methods for the above process (eg, an implementation method in which some steps are omitted or the order is changed) by modification, but the present invention includes all the implementation methods inferred above, The technical characteristics are not limited only to the implementation method shown in FIG. 7 .

도면7을 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하거나, 또는 상기 도면6에 도시된 아기 울음소리 인식 기반의 n2개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k개의 센싱 값 인식 정보를 인식한다(700). Referring to Figure 7, the operation server 100 transfers transmission data including video data stored in a specific storage area of a storage medium designated through the process of Figure 3 to an app of a designated user wireless terminal 185 or an IPTV 190. ), while interlocking with the baby's emotional state value calculation process for each n1 emotion item based on baby's facial expression recognition shown in Fig. 5 or by reading sensing data associated with designated video data and/or audio data in conjunction with the process of calculating baby emotional state values for each n2 emotion items based on baby crying recognition shown in FIG. Recognize k pieces of sensing value recognition information about the sensing data of a designated sensing target related to the emotional expression (700).

만약 상기 센싱 데이터를 근거로 k개의 센싱 값 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보를 확인하고(705), 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3개의 아기 감정 항목을 판별한다(710).If k sensing value recognition information is recognized based on the sensing data, the operation server 100 performs the process of FIG. 2 on the basis of the sensing-based emotional state determination information stored in the operation D/B. s sensed value pattern information matched with the number of sensed value recognition information and a predetermined criterion similarity or higher is identified (705), and n3 number of baby emotion items having a matching relationship with the identified s sensed value pattern information are determined (710). ).

만약 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출한다(715). If n3 baby emotion items corresponding to the recognized k sensing value recognition information are determined, the operation server 100 calculates a matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information Based on this, the correlation between the s sensed value pattern information and the n3 baby emotion items is read and the baby's emotional state for each n3 emotion item corresponding to the recognized k sensed value recognition information is digitized n3 emotion items Each baby emotional state value is calculated (715).

만약 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).If the baby's emotional state values for each of the n3 emotional items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n3 emotional items to display the baby for each of the designated n emotional items on the video data. Emotional state information may be generated (720).

한편 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).On the other hand, when the baby's emotional state values for each n3 emotion items are calculated through the process of FIG. 5 at a point before, during, or after the baby's emotional state values for each n3 emotion items are calculated, the operation server 100 By combining the calculated emotional state values of the baby for each of the n1 emotion items and the emotional state values of the baby for each of the n3 emotion items, baby emotional state information for each of the designated n emotional items that can be displayed on video data may be generated (720). .

또는 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출되고 상기 도면6의 과정을 통해 n2개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).Alternatively, at a point in time before, during, or after the baby's emotional state values for each of the n3 emotion items are calculated, the baby's emotional state values for each of n1 emotion items are calculated through the process of FIG. When the baby's emotional state value for each emotion item is calculated, the operation server 100 determines the calculated baby's emotional state value for each n1 emotion item, the baby's emotional state value for each n2 emotion item, and the baby's emotion for each n3 emotion item. By combining the state values, baby emotional state information for each n designated emotional items that can be displayed on the video data may be generated (720).

만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(725), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(730), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(735). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(740). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of FIG. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention are checked (725), and the video to be provided to the app of the user's wireless terminal 185 or the IPTV 190 q (1≤q≤r) virtual object data specified in a designated area within the baby's face area on the data or in the area around the baby's face is superimposed and displayed, and through the designated area within the baby's face area or the area around the baby's face, the baby's feelings from the baby's point of view Augmentation is processed to respond to the determined user conversation intention based on the state (730), and transmission data including augmented video data is sent to the baby to respond to the determined user conversation intention based on the baby's emotional state. The server 100 identifies/authenticates the IPTV through the ID/PW information stored in the management D/B or the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B through the process of FIG. 2. (190) is provided (735). The app of the user wireless terminal 185 or the IPTV 190 receives and outputs transmission data including video data augmented to correspond to the emotional state information of the baby for each of the n emotional items (740). Preferably, the transmission data may further include audio data associated with the video data.

100 : 운영서버 105 : 정보 관리부
110 : 가상객체 관리부 115 : 정보 매칭부
120 : 정보 등록부 125 : 통신 관리부
130 : 데이터 수신부 135 : 데이터 저장부
140 : 데이터 제공부 145 : 대화 인식부
150 : 대화 의도 판별부 155 : 정보 인식부
160 : 정보 판별부 165 : 감정 상태 산출부
170 : 정보 생성부 175 : 가상객체 확인부
180 : 대화 응답 증강부 185 : 무선단말
190 : IPTV 195 : 카메라장치100: operation server 105: information management unit
110: virtual object management unit 115: information matching unit
120: information registration unit 125: communication management unit
130: data receiving unit 135: data storage unit
140: data provision unit 145: conversation recognition unit
150: conversation intention determination unit 155: information recognition unit
160: information determination unit 165: emotional state calculation unit
170: information generation unit 175: virtual object confirmation unit
180: conversation response enhancement unit 185: wireless terminal
190: IPTV 195: camera device

Claims

In the method executed through an operation server having a sound input unit, a sound output unit, and a camera module and communicating with a camera device provided in a designated base,
Among the F (F≥2) feature points existing in the baby's facial area, E (E≥2) baby expression pattern information corresponding to the geometric relationship between feature points related to the baby's emotional expression and designated N (N≥2) baby Matching relation information among N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among emotion items and expression based on digitizing the correlation between the E number of baby expression pattern information and N1 baby emotion items Register and store expression-based emotional state determination information including correlation numerical relationship information in the operation D/B, and R (R≥2) number corresponding to the baby's response to the designated P (P≥2) number of conversational intentions. A first step of registering and storing virtual object data in the operation D/B and storing virtual object matching information for matching the P conversation intentions and the R virtual object data based on baby emotional state information for each designated emotion item;
Through the camera module of the camera device, a specific baby in the base is photographed and video data encoded in a designated method and audio data input through a sound input unit of the camera device and encoded in a designated method are received and stored in a designated storage medium. A second step of managing storage in an area;
A third step of performing or maintaining a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to an app or IPTV of a designated user wireless terminal;
a fourth step of identifying and reading a character string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal, and recognizing a conversation character string that the user communicated with the baby;
a fifth step of analyzing the recognized dialogue character string to determine a user dialogue intention corresponding to at least one of designated P dialogue intentions;
Reading designated video data at a point in time before, during, or after determining the user's conversation intention, recognizing f (1≤f≤F) number of characteristic points of the face region of a specific baby within the base, and recognizing the f number of recognized characteristic points A sixth step of recognizing i (i≥1) pieces of baby expression recognition information corresponding to geometric relationships between feature points associated with emotional expressions of the baby;
Based on the facial expression-based emotional state determination information, e (1≤e≤E) pieces of baby expression pattern information matched with the recognized i pieces of baby expression recognition information and a preset criterion similarity or higher are identified, and the e pieces of baby expression pattern information are matched. A seventh step of determining n1 (1≤n1≤N1) number of baby emotion items having a matching relationship with ;
Based on the matching ratio between the recognized i baby facial expression recognition information and the e baby facial expression pattern information, a numerical relationship of correlation between the e baby expression pattern information and n1 baby emotion items is read, and the recognized i baby facial expression pattern information is read. An eighth step of calculating a baby's emotional state value for each n1 number of emotion items obtained by digitizing the baby's emotional state for each n1 number of emotion items corresponding to the facial expression recognition information;
a ninth step of generating baby emotional state information for each designated n (1≤n≤N) number of emotion items by using the calculated baby emotional state values for each n1 number of emotion items;
a tenth step of identifying r (1≤r≤R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the baby's emotional state information for each of the generated n emotion items;
q (1≤q≤r) virtual object data specified in a designated area within the baby's face area or in the area around the baby's face on the video data is superimposed and displayed, and through the designated area in the baby's face area or the area around the baby's face, the baby is viewed from the baby's point of view. an eleventh step of augmenting to respond to the determined user conversation intention based on the emotional state; and
A twelfth step of providing transmission data including augmented video data in response to the determined user conversation intention to the app or IPTV of the user's wireless terminal for a specified period of time; How to provide.

The method of claim 1, wherein the E pieces of baby expression pattern information include:
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes range information of a geometric relationship between each feature point corresponding to each baby's facial expression pattern associated with the baby's emotional expression.

The method of claim 1 or 2, wherein the geometric relationship between the feature points,
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it comprises at least one relationship among a distance relationship between each feature point, an angular relationship between each feature point, and a combination relationship between a distance relationship and an angular relationship between each feature point.

The method of claim 1, wherein the expression-based correlation numerical relationship information,
A baby using a baby's emotional state augmentation, characterized in that it includes the numerical information of the correlation calculated through a relational expression proportional to the matching ratio between the baby's facial expression recognition information and the registered baby's expression pattern information How to present a conversation.

The method of claim 1, wherein the expression-based correlation numerical relationship information,
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes correlation numerical information for each matching ratio section between the baby's facial expression recognition information and the registered baby's facial expression pattern information.

The method of claim 1, wherein the P conversation intentions,
Conversation intent corresponding to the conversation category querying the baby's condition;
Conversational intentions corresponding to conversational categories that encourage expression of the baby's emotions;
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes at least one conversation intention among conversation intentions corresponding to a conversation category that causes a baby's reaction.

The method of claim 1, wherein the R number of virtual object data,
Virtual object data displayed overlaid on a designated area within the baby's facial area as a baby's response to a designated conversational intention;
A character string corresponding to the baby's response to the designated conversational intention is displayed in the form of a speech bubble to enhance the baby's emotional state, characterized in that it includes at least one virtual object data among virtual object data overlapped and displayed in the area around the baby's face. A method of providing a conversation with a baby using .

The method of claim 1, wherein the second step,
A method of providing a conversation with a baby using the enhancement of the baby's emotional state, comprising the step of receiving moving picture data including the video data and audio data from the camera device and storing and managing it in a specific storage area of a designated storage medium. .

The method of claim 1, wherein the second step,
The method of providing a conversation with a baby using the enhancement of the baby's emotional state, characterized in that it comprises the step of receiving the video data and the audio data from the camera device, respectively, and storing and managing them in a specific storage area of a designated storage medium.

The method of claim 9, wherein the second step,
and synchronizing the time of the video data and audio data received from the camera device and storing them in a specific storage area of a designated storage medium.

The method of claim 1, wherein the transmission data,
A method of providing a conversation with a baby using the enhancement of the baby's emotional state, characterized in that it further comprises audio data stored in a specific storage area of the storage medium.

The method of claim 1, wherein the designated video data,
Video data that is periodically selected for each specified playback time unit;
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes at least one video data among video data periodically selected for each specified reproduction frame number.

The method of claim 1, wherein the fourth step,
Receiving audio data obtained through an app or IPTV of a user wireless terminal that receives and outputs the transmission data; and
Attempting voice recognition for the received audio data and checking a character string corresponding to the content uttered by the user watching the transmission data; How to provide.

According to claim 13,
and transmitting the audio data to the camera device and outputting the audio data through a sound output unit of the camera device.

The method of claim 1, wherein the fourth step,
Receiving a character string recognizing a voice uttered by a user watching the transmission data through an app or an IPTV of a user wireless terminal that receives and outputs the transmission data; How to provide a conversation with the baby used.

The method of claim 1, wherein the fourth step,
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it comprises the step of receiving a string input through an app or IPTV of a user wireless terminal that receives and outputs the transmission data.

According to claim 1,
The first step is
Among the baby's crying patterns, C (C≥2) pieces of baby crying pattern information related to the baby's emotional expression and N2 (1≤N2≤N) pieces of baby crying patterns that can be distinguished based on the baby's crying patterns among the designated N baby emotion items. Operating Crying-based emotional state determination information including matching relationship information between baby emotion items and crying-based correlation numerical relationship information obtained by digitizing the correlation between the C number of baby crying pattern information and N2 baby emotion items D /B further includes the step of registering and saving;
The sixth step,
Further comprising recognizing j (j≥1) pieces of baby cry recognition information for the specific baby by reading audio data of a certain period associated with the video data,
The seventh step,
Based on the crying sound-based emotional state determination information, c (1≤c≤C) pieces of baby crying pattern information matched with the recognized j pieces of baby crying sound recognition information and a predetermined criterion similarity or higher are identified, and the identified c Further comprising the step of determining n2 (1≤n2≤N2) number of baby emotion items having a matching relationship with baby crying pattern information;
The eighth step,
Based on the matching ratio between the recognized j pieces of baby crying sound recognition information and the c pieces of baby crying pattern information, a numerical relationship of correlation between the c pieces of baby crying pattern information and n2 pieces of baby emotion items is read, and the recognized Calculating emotional state values of the baby for each of the n2 emotional items by digitizing the emotional state of the baby for each of the n2 emotional items corresponding to the j crying sound recognition information;
The ninth step,
Further comprising the step of generating baby emotional state information for each n emotional items specified by additionally using the baby emotional state values for each of the n2 emotional items calculated above. method.

The method of claim 17, wherein the C pieces of baby crying pattern information,
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes information on a range of features of a crying sound constituting each crying pattern associated with the baby's emotional expression.

19. The method of claim 18, wherein the cry characteristic is:
Frequency band features, arrangement relationship features of frequency band features, periodicity features of frequency band features, sound intensity features, placement relationship features of sound intensity features, periodicity features of sound intensity features, combination features of frequency band features and sound intensity features, frequency A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it comprises at least one feature of an arrangement relationship feature of a band feature and a sound intensity feature, and a periodicity feature of a frequency band feature and a sound intensity feature.

The method of claim 17, wherein the cry-based correlation numerical relationship information,
Reinforcement of the baby's emotional state, characterized in that it includes the numerical information of the correlation calculated through the relational expression proportional to the matching ratio between the baby's crying recognition information and the pre-registered baby crying pattern information. How to provide a conversation with the baby used.

The method of claim 17, wherein the cry-based correlation numerical relationship information,
Conversation with the baby using the enhancement of the baby's emotional state, characterized in that it includes the numerical information of the correlation for each matching ratio section between the baby's crying recognition information and the registered baby's crying pattern information. How to provide.

According to claim 1,
The first step is
Among the sensing data provided in the camera device or sensed through the associated sensor module, among the S (S≥2) sensed value pattern information and the designated N baby emotion items for the sensing data of the designated sensing target related to the emotional expression of the baby Matching relationship information between N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensing value pattern of the designated sensing target and the correlation between the S sensing value pattern information and N3 baby emotion items digitized sensing Further comprising the step of registering and storing sensing-based emotional state determination information including based correlation numerical relationship information in an operation D / B,
The second step,
Receiving sensing data sensed through a sensor module provided in or associated with the camera device and storing and managing the sensing data in a specific storage area of a designated storage medium in association with the video data,
The sixth step,
Reading the sensing data associated with the video data and recognizing k (k≥1) pieces of sensing value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific baby;
The seventh step,
Based on the sensing-based emotional state determination information, s (1≤s≤S) pieces of sensing value pattern information matching the recognized k pieces of sensing value recognition information with a predetermined criterion similarity or higher are checked, and the identified s pieces of sensing values Further comprising determining n3 (1≤n3≤N3) baby emotion items having a matching relationship with the pattern information,
The eighth step,
Based on a matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information, a numerical relationship between the s sensing value pattern information and the n3 baby emotion items is read, and the recognized k sensing value pattern information is read. Calculating the baby's emotional state value for each n3 emotional item by digitizing the baby's emotional state for each n3 emotional item corresponding to the value recognition information;
The ninth step,
Further comprising the step of generating baby emotional state information for each designated n emotional items by additionally using the calculated baby emotional state values for each of the n3 emotional items. method.

The method of claim 22, wherein the sensor module,
A wearable sensor module worn on the baby's body to sense a designated sensing target;
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it comprises at least one sensor module among radar sensor modules for sensing a designated sensing target of the baby using designated electromagnetic waves.

The method of claim 22 or 23, wherein the sensing target,
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that comprising at least one of the baby's heartbeat, the baby's body temperature, the humidity around the baby, and whether the baby is not breathing.

The method of claim 22, wherein the S sensed value pattern information comprises:
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it includes range information of a sensing value characteristic constituting each sensing value pattern for sensing data of a designated sensing target associated with the baby's emotional expression.

The method of claim 25, wherein the sensed value characteristic,
Provision of a conversation with a baby using the enhancement of the baby's emotional state, characterized in that it comprises at least one or a combination of two or more of the characteristics of the change rule of the sensed value, the change amount of the sensed value, the rate of change of the sensed value, and the periodicity of the change of the sensed value. method.

The method of claim 22, wherein the sensing-based correlation numerical relationship information,
Augmentation of the baby's emotional state, characterized in that the correlation calculated through a relational expression proportional to the matching ratio between the sensing value recognition information recognized through the sensing data of the designated sensing target and the pre-registered sensing value pattern information, including numerical information A method of providing a conversation with a baby using .

The method of claim 22, wherein the sensing-based correlation numerical relationship information,
A baby using the enhancement of the baby's emotional state, characterized in that it includes the numerical information of the correlation for each matching ratio section between the sensing value recognition information recognized through the sensing data of the designated sensing target and the pre-registered sensing value pattern information How to present a conversation.

The method of claim 1, wherein the emotional state information of the baby for each of the n emotional items comprises:
A method of providing a conversation with a baby using a baby's emotional state augmentation, characterized in that it comprises information on n emotional items and numerical information of the baby's emotional state for each emotional item.

The method of claim 1, wherein the r virtual object data,
Virtual object data overlapped and displayed on a designated part in the baby's facial area as a response to the baby's emotional state criteria for the determined user's conversation intention;
A character string corresponding to the baby's emotional state reference response to the determined user conversation intention is displayed in a speech bubble form and includes at least one virtual object data among virtual object data overlapped and displayed in an area around the baby's face. A method of providing a conversation with a baby using emotional state enhancement.

The method of claim 1, wherein the q virtual object data comprises:
A method of providing a conversation with a baby using augmentation of a baby's emotional state, characterized in that it includes the r number of virtual object data.

The method of claim 1, wherein the q virtual object data comprises:
The method of providing a conversation with a baby using augmentation of the baby's emotional state, characterized in that it includes virtual object data selected as the most suitable for the determined user's conversation intention among the r virtual object data.

The method of claim 1, wherein the q virtual object data comprises:
The method of providing a conversation with a baby using augmentation of the baby's emotional state, characterized in that it comprises virtual object data selected so that one virtual object data is overlapped and displayed on the same part of the baby's face area among the r virtual object data.

The method of claim 1, wherein the q virtual object data comprises:
The method of providing a conversation with a baby using augmentation of the baby's emotional state, characterized in that it comprises virtual object data selected so that one virtual object data is overlapped and displayed in the same area around the baby's face among the r virtual object data.

According to claim 1,
recognizing a direction of the baby's face on the video data when the q virtual object data includes virtual object data designated to be overlapped and displayed in an area around the baby's face;
The eleventh step comprises displaying the specified virtual object data in an overlapping manner on an area around the baby's face corresponding to the orientation direction of the baby's face. .

The method of claim 1, wherein the designated area in the baby's facial region,
Baby's hair area, baby's forehead area, baby's temple area, baby's eyebrow area, baby's inner and outer eyebrow area, baby's both inner area, baby's inner and outer area, baby's both inner and outer areas , baby's inner lower part, baby's cheekbones, baby's cheeks, baby's nose, baby's nose, baby's philtrum, baby's mouth, baby's lip, baby's outer mouth A method of providing a conversation with a baby using enhancement of the baby's emotional state, characterized in that it comprises at least one or a combination of two or more of a part, a lower part of the baby's mouth, a part of the baby's chin, and a part of the baby's neck.

According to claim 1,
calculating angle information on a 3-dimensional coordinate system between a directed direction of the baby's face and a camera photographing direction on the video data, when the q virtual object data includes virtual object data designated to be overlapped and displayed on a designated part within the baby's face area; Including more,
The eleventh step comprises converting coordinates so that the overlapping display direction of the designated virtual object data corresponds to the direction of each designated part in the baby's facial area based on the angle information, and displaying the overlapping result. A method of providing a conversation with a baby using emotional state augmentation.