KR100910833B1 - Measurement Method and System for Safety Index based on Ubiquitous Computing - Google Patents

Measurement Method and System for Safety Index based on Ubiquitous Computing Download PDF

Info

Publication number
KR100910833B1
KR100910833B1 KR1020070111900A KR20070111900A KR100910833B1 KR 100910833 B1 KR100910833 B1 KR 100910833B1 KR 1020070111900 A KR1020070111900 A KR 1020070111900A KR 20070111900 A KR20070111900 A KR 20070111900A KR 100910833 B1 KR100910833 B1 KR 100910833B1
Authority
KR
South Korea
Prior art keywords
safety index
information
data
resident
processing unit
Prior art date
Application number
KR1020070111900A
Other languages
Korean (ko)
Other versions
KR20090046004A (en
Inventor
김진형
이재우
김현우
김태겸
조위덕
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020070111900A priority Critical patent/KR100910833B1/en
Publication of KR20090046004A publication Critical patent/KR20090046004A/en
Application granted granted Critical
Publication of KR100910833B1 publication Critical patent/KR100910833B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 거주자의 위치와 거주자가 위치하는 장소의 주변인물들과의 상황을 파악함으로써 거주자의 안전상태를 실시간으로 모니터링하고, 안전상태를 안전지수로 측정하여 기준치 이상의 위험수위로 감지되면 이를 관제센터 혹은 보호자의 단말기에 알려주는 등의 대응 서비스를 제공함으로써 거주자 생활공간 내의 안전지수를 최대한 높여 이상적인 행복지수를 구현할 수 있는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법에 관한 것으로, 거주자의 위치정보 혹은 거주자가 위치하는 장소의 음성/영상데이터를 측정하는 입력부(10)와; 상기 입력부(10)로부터 전송된 위치정보와 음성/영상데이터를 전송받아 이들을 분석하여 거주자의 안전지수를 측정하는 데이터 처리부(20)와; 상기 음성/영상 인식 정보를 상기 데이터 처리부(20)로부터 전송받아 대응 서비스를 제공하는 출력부(30)로 구성되어 있어, 상기 거주자의 위치정보와 주위의 음성/영상데이터를 분석하여 거주자의 상황과 주변인물들과의 상황을 파악함으로써 거주자의 현재 안전지수를 측정하게 되고, 상기 안전지수가 기준치보다 낮을 경우 이에 대응하는 서비스를 제공하는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템에 관한 것이다.The present invention monitors the safety status of the occupants in real time by grasping the situation of the occupant's location and the surrounding figures of the place where the occupant is located, and measures the safety status with a safety index and detects the danger level above the reference level. Or by providing a response service such as notifying the guardian's terminal to the maximum of the safety index in the living space of the ubiquitous computing to measure the safety index based on ubiquitous computing based on the resident location information or the occupant's location An input unit 10 for measuring audio / video data of a place; A data processor 20 for receiving the location information and the audio / video data transmitted from the input unit 10 and analyzing them to measure the safety index of the occupants; The output unit 30 receives the voice / image recognition information from the data processing unit 20 and provides a corresponding service, and analyzes the location information of the occupant and the surrounding voice / video data to determine the situation of the occupant. The present invention relates to a ubiquitous computing-based safety index measuring system, which measures a current safety index of a resident by grasping a situation with surrounding persons, and provides a corresponding service when the safety index is lower than a reference value.

위치인식, CCTV, 모니터링, 안전지수 Location Recognition, CCTV, Monitoring, Safety Index

Description

유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법 및 시스템{Measurement Method and System for Safety Index based on Ubiquitous Computing}Measurement method and system for safety index based on ubiquitous computing {Measurement Method and System for Safety Index based on Ubiquitous Computing}

본 발명은 유비쿼터스 컴퓨팅 기술을 이용한 유비쿼터스 지능공간에서 사용자들의 상황을 인식하여 그 안전지수를 측정한 후 이에 적절히 대응하기 위한 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for measuring a safety index based on ubiquitous computing for recognizing a user's situation in a ubiquitous intelligent space using ubiquitous computing technology, measuring the safety index, and then correspondingly.

유비쿼터스 컴퓨팅 기반의 기술이 발전하면서 댁내 혹은 대단위 아파트 단지를 중심으로 한 생활 환경에의 접목이 활발히 이루어지고 있다.With the development of ubiquitous computing-based technology, the integration into living environments around homes or large apartment complexes is being actively performed.

이러한 유비쿼터스 컴퓨팅 기술들은 행복지수를 기반한 거주자의 행복지수 증진을 목표로 하고 있으며, 이러한 행복지수 중 가장 중요한 것이 바로 안전지수를 높이는 것이다. These ubiquitous computing technologies aim to increase the happiness index of residents based on the happiness index, and the most important of these happiness indexes is to increase the safety index.

따라서 본 발명은 이러한 생활공간 내의 안전지수를 최대한 높이기 위해, 거주자의 위치와 거주자의 상황과 주변인물들과의 상황을 파악함으로써 거주자의 안전상태를 실시간으로 모니터링하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법을 제공하기 위함이다.Therefore, the present invention provides a ubiquitous computing-based safety index measurement method for monitoring the safety status of the residents in real time by grasping the location of the occupants and the situation of the occupants and the surrounding people in order to maximize the safety index in the living space as possible. To provide.

또한 본 발명은 안전상태를 안전지수로 측정하여 기준치 이하의 위험수위로 감지되면 이를 관제센터 혹은 보호자의 단말기에 알려주는 등의 대응 서비스를 제공하는 유비쿼터스 컴퓨팅 기반의 안전 시스템을 제공하기 위함이다. In another aspect, the present invention is to provide a ubiquitous computing-based safety system that provides a corresponding service, such as measuring the safety state with a safety index and notifying the control center or the guardian's terminal when it is detected as a dangerous level below the reference value.

상기 과제를 해결하기 위해, 거주자의 위치정보 혹은 거주자 주위의 음성/영상데이터로 구성되는 상황정보를 생성하는 입력부(10)와; 상기 입력부(10)로부터 전송된 상황정보를 전송받아 이들을 분석하여 거주자의 안전지수를 측정하는 데이터 처리부(20)와; 상기 상황정보 중 음성/영상데이터를 상기 데이터 처리부(20)로부터 전송받아 모니터에 출력시키는 출력부(30)로 구성되어 있어, 상기 거주자 주위의 음성/영상데이터를 분석하여 거주자의 상황과 주변인물들과의 상황을 파악함으로써 거주자의 현재 안전지수를 측정하게 되고, 상기 안전지수가 기준치보다 낮을 경우 이에 대응하는 알림장치를 작동시키는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템에 의해 달성된다. In order to solve the above problems, the input unit 10 for generating the situation information consisting of the location information of the occupants or the audio / video data around the occupants; A data processor 20 for receiving the situation information transmitted from the input unit 10 and analyzing the situation information to measure the safety index of the occupants; It is composed of an output unit 30 for receiving the voice / video data of the situation information from the data processing unit 20 and outputs to the monitor, by analyzing the voice / video data around the residents of the situation and surrounding people It is achieved by a ubiquitous computing-based safety index measurement system characterized in that by measuring the current situation of the occupant is to measure the current safety index of the occupant, and if the safety index is lower than the reference value.

또한 본 발명은, 상기 입력부(10)는, 고유코드번호를 가지고 있으며, GPS 위치정보입력부와 거주자의 주위 환경을 음성과 영상으로 입력받도록 영상입력부와, 음성입력부를 구성하고 있는 스마트팬던트(11)와; 일정 반경 범위마다 설치되어 있으며, 상기 스마트팬던트(11)의 위치 정보와 고유코드번호를 전송받아 고유 좌표정보와 함께 데이터 처리부(20)에 전송하는 위치인식센서(13)와; 거주자의 상태를 실시간의 음성 및 영상데이터로 생성하여 데이터 처리부(20)로 전송하는 CCTV(12)로 구성되는 것이 바람직하다In addition, the present invention, the input unit 10 has a unique code number, and the smart pendant 11 that comprises a video input unit and a voice input unit so as to receive the GPS location information input unit and the surrounding environment as voice and video. Wow; Is installed in a predetermined radius range, the position recognition sensor 13 for receiving the position information and the unique code number of the smart pendant 11 and transmits it to the data processing unit 20 with the unique coordinate information; It is preferable that the CCTV is configured to generate the state of the resident in real time voice and video data and transmit to the data processing unit 20.

또한 본 발명에 따르면, 상기 데이터 처리부(20)는 거주자의 연령 정보를 포함하는 프로파일 데이터와 거주자의 거주여부를 포함하는 동적 데이터를 입력받아 저장하고 있는 것이 바람직하다Further, according to the present invention, the data processing unit 20 preferably receives and stores profile data including age information of a resident and dynamic data including whether the resident resides.

또한 본 발명에 따르면, 상기 데이터 처리부(20)는 상기 입력부(10)로부터 전송받은 상황정보 영상을 통해 주변인물에 대한 사용자 인증여부를 판단하도록, 상기 상황정보의 영상데이터를 영상분석기로 분석하여 상기 동적데이터에 저장되어 있는 인증된 주변인물과 비교하는 것이 바람직하다In addition, according to the present invention, the data processing unit 20 analyzes the image data of the situation information with an image analyzer to determine whether the user authentication for the surrounding people through the situation information image received from the input unit 10 It is desirable to compare it with a certified neighbor who is stored in dynamic data.

또한 본 발명에 따르면, 상기 데이터 처리부(20)는 주변인물의 상황정보 중 영상데이터를 영상분석기로 분석하여 거주자와의 친밀함의 정도, 거주자와의 거리, 주변인물의 행동을 통해 안전지수를 측정하는 것이 바람직하다Further, according to the present invention, the data processing unit 20 measures the safety index through the degree of intimacy with the occupants, the distance to the occupants, the behavior of the neighbors by analyzing the image data of the situation information of the surrounding persons with an image analyzer It is desirable

또한 본 발명에 따르면, 상기 출력부는 댁내의 TV와 CCTV모니터 중 어느 하나 이상인 것이 바람직하다In addition, according to the present invention, it is preferable that the output unit is at least one of a home TV and a CCTV monitor.

또한 본 발명에 따르면, 데이터 처리부(20)에 프로파일 데이터를 입력하는 프로파일 데이터 입력단계(S10)와; CCCTV(12)의 음성/영상정보와, 스마트팬던트(11)의 음성/영상정보와, 위치인식센서(13)의 위치정보로 구성되는 상황정보를 데이터 처리부(20)가 입력받는 상황정보 입력단계(S20)와; 상기 거주자의 상황정보를 전송받은 데이터 처리부(20)가 거주자의 안전상태를 파악하는 거주자 상황정보 판독단계(S30)와; 상기 위치정보 판독단계(S30)를 통해 주변인물의 신상정보를 분석한 후 이에 따른 안전지수를 측정하는 안전지수 측정단계(S40)와; 상기 데이터 처리부(20)가 상기 거주자 및 거주자 환경의 음성/영상데이터를 상기 댁내 TV와 관제센터의 CCTV(12) 모니터에서 출력되도록 각각 댁내 홈네트워크 시스템과 관제센터에 전송하는 모니터링 단계(S50)와; 상기 산출된 안전지수를 기준지수와 비교하였을 경우 안전지수가 높게 나올 경우 데이터 처리부(20)가 경고메시지 내지는 알람신호를 생성하여 알리는 경고 메시지 알림단계(S70)로 구성되는 것이 바람직하다In addition, according to the invention, the profile data input step (S10) for inputting the profile data to the data processing unit 20; Context information input step in which the data processing unit 20 receives the context information including the audio / video information of the CCCTV 12, the audio / video information of the smart pendant 11, and the position information of the position recognition sensor 13. (S20); Resident status information reading step (S30) of the data processing unit 20 receives the resident status information to determine the safety status of the resident; A safety index measurement step (S40) of analyzing the personal information of the surrounding persons through the position information reading step (S30) and measuring the safety index accordingly; A monitoring step (S50) of the data processing unit 20 transmitting the voice / video data of the resident and the resident environment to the premises home network system and the control center so as to be output from the CCTV 12 monitor of the premises TV and the control center; ; When the calculated safety index is higher than the calculated safety index, when the safety index is high, it is preferable that the data processing unit 20 is configured as a warning message notification step (S70) informing and generating a warning message or an alarm signal.

또한 본 발명에 따르면, 상기 거주자 상황정보 판독단계(S30)는, 상기 데이터 처리부(20)가 상기 거주자의 위치정보와 음성/영상정보를 전달받아 해당 거주자의 연령과 거주여부를 파악하고, 영상분석기를 통해 상기 거주자의 주변인물의 인증여부, 기동상태, 행동상태 및 거주자와의 접근거리 중 어느 하나 이상을 파악하여 안전지수를 측정하는 것이 바람직하다In addition, according to the present invention, the resident situation information reading step (S30), the data processing unit 20 receives the resident's location information and audio / video information to determine the age and residence of the resident, an image analyzer It is desirable to measure the safety index by identifying any one or more of the authentication of the surrounding people of the occupants, the activation state, the behavior state and the approach distance with the occupants through the

또한 본 발명에 따르면, 상기 경고메시지 알림단계(S70)에서, 보호자의 이동통신단말기 혹은 댁내 홈네트워크 상의 홈패드를 통해 알리거나 해당 구역의 알람을 작동시켜 울리게 함으로써 안전지수가 높은 상태에 있음을 거주자 및 그 주변사람들에게 알리는 것이 바람직하다In addition, according to the present invention, in the warning message notification step (S70), the residents of the safety index is high by notifying the alarm through the home terminal on the mobile communication terminal or the home network of the guardian or by operating the alarm of the area. And it is desirable to inform the people around

또한 본 발명에 따르면, 상기 상황정보 입력단계(S20)는, 스마트팬던트(11)를 작동시켜 주변 음성/영상 데이터를 생성하여 해당 스마트팬던트(11)의 고유코드 번호와 함께 위치인식센서(13)에 전송하고, 상기 위치인식센서(13)가 해당 좌표값을 생성하여 상기 스마트팬던트(11)의 음성/영상데이터와 함께 데이터 처리부(20)에 전송하는 것이 바람직하다.In addition, according to the present invention, the situation information input step (S20), by operating the smart pendant 11 to generate the surrounding voice / video data with the unique code number of the corresponding smart pendant 11 position recognition sensor 13 The position recognition sensor 13 generates a corresponding coordinate value and transmits the coordinate value to the data processor 20 together with the voice / video data of the smart pendant 11.

따라서 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법은 거주자의 상황과 거주자 주변인물들과의 상황을 파악함으로써 거주자의 안전상태를 실시간으로 모니터링하고, 안전상태를 안전지수로 측정하여 기준치 이하의 위험수위로 감지되면 이를 관제센터 혹은 보호자의 단말기에 알려줌으로써 거주자 생활공간 내의 안전지수를 최대한 높여 이상적인 행복지수를 구현할 수 있게 된다.Therefore, the ubiquitous computing-based safety index measurement method of the present invention monitors the resident's safety status in real time by grasping the resident's situation and the surrounding people's surroundings, and measures the safety state as the safety index to measure the risk level below the standard value. If it is detected as a control center or the guardian's terminal by notifying the safety index in the living space as possible to achieve the ideal happiness index.

이하 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법 및 시스템을 첨부되는 도면을 통해 보다 상세히 설명하도록 한다.Hereinafter, a method and system for measuring a safety index based on ubiquitous computing of the present invention will be described in detail with reference to the accompanying drawings.

도 1에서 보는 바와 같이, 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법을 구현하기 위한 시스템 구성도는 입력부(10), 데이터 처리부(20), 출력부(30)로 구성된다. As shown in FIG. 1, a system configuration diagram for implementing a ubiquitous computing-based safety index measuring method includes an input unit 10, a data processing unit 20, and an output unit 30.

상기 입력부(10)는 스마트팬던트(11), CCTV(12), 위치인식센서(13)를 포함하여 구성하고 있으나, 본 발명에서 예시되는 상기의 입력센서들 이외에도 거주자의 위치인식정보를 생성하여 제공할 수 있는 ZigBee시스템, RFID시스템, UWB시스템, GPS시스템, 이동통신단말기 등도 포함될 수 있다.The input unit 10 includes a smart pendant 11, a CCTV 12, a position recognition sensor 13, but in addition to the above-described input sensors illustrated in the present invention to generate and provide the location recognition information of the resident ZigBee system, RFID system, UWB system, GPS system, mobile communication terminal can be included.

상기 스마트팬던트(11)는 거주자(이하 노약자를 포함하는 보호대상자를 지칭)가 휴대하여 지니고 다니는 단말기이다.The smart pendant 11 is a terminal carried by a resident (hereinafter referred to as a protected person including the elderly).

상기 스마트팬던트(11)는 GPS 위치 입력부와 착용한 거주자의 주위 환경을 음성과 영상으로 입력받도록 영상입력부와, 음성입력부를 구성하고 있어, 밧데리 등의 전원공급을 통해 전원이 켜져 있는 상태에서 지속적으로 위치와 영상과 음성을 입력받게 된다. The smart pendant 11 is composed of a video input unit and a voice input unit to receive the GPS position input unit and the surrounding environment of the wearer as voice and video, and the power is continuously supplied through a battery or the like. You will receive location, video and audio.

또한 상기 스마트팬던트(11)는 단말기마다 고유코드번호를 갖고 있어, 상기 스마트팬던트(11)에서 생성한 위치와 영상과 음성 데이터를 고유코드번호와 함께 상기 데이터처리부(20)로 전송하게 된다. In addition, the smart pendant 11 has a unique code number for each terminal, and transmits the location, video and audio data generated by the smart pendant 11 to the data processor 20 together with the unique code number.

상기 위치인식센서(13)는 아파트 단지 내의 곳곳에 일정 반경 범위마다 설치되어 있으며, 상기 스마트팬던트(11)로부터 전송된 고유코드번호를 통해 스마트팬던트(11)를 착용한 거주자의 위치 정보를 측정하여 데이터 처리부(20)에 전송한다.The position recognition sensor 13 is installed in every part of the apartment complex in a certain radius range, by measuring the location information of the occupant wearing the smart pendant 11 through the unique code number transmitted from the smart pendant 11 The data is sent to the data processing unit 20.

즉, 이 정보는 스마트팬던트(11)의 GPS 위치정보와 함께 사용되며 GPS 수신불가 지역에 거주자 있을 경우의 위치 정보를 담당하게 된다.That is, this information is used together with the GPS location information of the smart pendant 11 and is responsible for the location information when there is a resident in the GPS reception area.

상기 CCTV(12) 역시 아파트 단지 내의 곳곳에 설치되어 있는 일반적인 감시카메라이며, 특히 지하주차장과 같은 우범지역이나 놀이터와 같이 방범 발생지역에 밀집되어 설치될 수 있다.The CCTV (12) is also a general surveillance camera installed in various places in the apartment complex, in particular can be installed densely located in a crime-producing area, such as a rain area or a playground, such as an underground parking lot.

상기 입력부(10)의 거주자의 위치정보를 비롯한 음성/영상데이터, CCTV(12)를 통한 주위 환경에 대한 음성/영상데이터는 거주자의 현재 상황을 알리는 상황정 보이며, 상기 상황정보는 데이터 처리부(20)로 전송되어 안전지수를 산출하기 위한 자료로 쓰이게 된다. The voice / video data including the location information of the occupant of the input unit 10, the voice / video data about the surrounding environment through the CCTV 12 are the situation information indicating the current situation of the occupant, and the situation information is the data processor 20. It is sent as) to be used as data to calculate the safety index.

즉, 상기 데이터 처리부(20)는 상기 상황정보를 전송받아 출력부(30)에서 모니터링 할 수 있도록 할 뿐만 아니라, 현재 거주자의 안전지수를 산출하여 위험정도를 판단한 후 그에 대응할 수 있도록 경고음, 메시지전송 등을 행하게 된다.That is, the data processing unit 20 not only receives the situation information so that the output unit 30 can be monitored, but also calculates the safety index of the current occupant to determine the degree of danger, and then transmits a warning sound and a message. And so forth.

이를 위해 상기 데이터 처리부(20)는 상기 거주자의 신분을 인식하기 위해 프로파일 데이터를 기 저장하게 된다.To this end, the data processor 20 pre-stores the profile data in order to recognize the identity of the resident.

상기 프로파일 데이터는 거주자의 연령(유아/미취학아동/어린이/청소년/성인/노인)을 구분하여 기입하며, 성별(남성/여성), 소득(저소득, 중산층, 고소득층), 학력(중졸, 고졸, 대졸, 대학원이상), 결혼여부(미혼, 기혼), 주소, 연락처, 직업, 직장주소, 신장, 성격, 차량번호 등의 부동 데이터를 입력받게 된다.The profile data is written by dividing the residents' ages (infants / preschoolers / children / youth / adults / elderly), gender (male / female), income (low-income, middle class, high-income class), educational background (middle school, high school, college graduate) , Above graduate school), marital status (unmarried, married), address, contact information, occupation, work address, height, personality, vehicle number, etc. will be input.

또한 상기 프로파일 데이터는 거주여부(해당 아파트 단지의 거주, 비거주), 현재 하고 있는 행동, 맥박, 체온, 감정 등의 동적 데이터를 입력받게 된다. In addition, the profile data is input to dynamic data such as whether the residence (resident of the apartment complex, non-resident), current behavior, pulse, body temperature, emotion.

상기 동적 데이터는 유비쿼터스 환경에서 제공되는 일반적인 생체 센서에 의해 거주자의 실시간 상태를 감지하는 것이며, 본 발명에서는 정적 데이터의 연령과 동적 데이터에서의 거주여부에 대한 정보만을 주로 취급하도록 한다.The dynamic data is to sense the real-time state of the resident by a general bio-sensor provided in the ubiquitous environment, the present invention mainly handles only the information about the age of the static data and whether to live in the dynamic data.

또한 상기 데이터 처리부(20)는 상기 위치정보와 음성/영상정보 및 CCTV(12)의 상황정보를 바탕으로 거주자의 위치와 위치하는 시간, 주변인물의 행동상태를 기록하게 된다. In addition, the data processing unit 20 records the location and location of the occupants and the behavior of the surrounding people based on the location information, the audio / video information and the status information of the CCTV 12.

즉, 주변인물의 신분에 대한 정보로써, 친밀함의 정도, 거주자와의 거리, 주 변인물의 행동, 주변인물에 대한 사용자 인증 등에 대한 정보가 저장된다. That is, as information on the identity of the surrounding persons, information on the degree of intimacy, distance to the occupants, behavior of the surrounding persons, and user authentication of the surrounding persons is stored.

따라서, 상기 데이터 처리부(20)는 각 아파트 단지 내에 설치되어 있는 해당 위치인식센서(13)로부터 전송된 해당 지역을 놀이터, 아파트 단지 내의 큰길, 버스정류장, 계단, 우범지역 등으로 구분하여, 해당 스마트팬던트(11)의 고유코드번호와 음성/영상정보를 통해 주변인물에 대한 상태를 분석하게 된다. Therefore, the data processor 20 divides the corresponding area transmitted from the corresponding position recognition sensor 13 installed in each apartment complex into a playground, a big road in the apartment complex, a bus stop, a staircase, a crime zone, and the like. The unique code number of the pendant 11 and the voice / video information to analyze the status of the surrounding people.

즉, 음성/영상정보 상에 의해 거주자의 반경 범위 내에 있는 사람들을 영상분석기(도 2의 데이터 처리부(20) 내에 구성되어 있음 : 미도시)를 통해 분석하여, 거주자의 상황을 판단하게 된다.That is, by analyzing the people within the radius of the resident on the voice / video information through an image analyzer (constructed in the data processing unit 20 of Figure 2: not shown), it is determined the situation of the resident.

따라서, 상기 주변인물정보는 사용자 인증에 의해 그 인물정보(인물사진파일)가 데이터 처리부(20)에 기 저장되어 있으며, 이에 따라 스마트팬던트(11)와 CCTV(12)로부터 전송된 상황정보에서 주변인물의 영상 분석데이터를 이와 비교하여 일치하는 경우 사용자 인증을 받은 주변인물인 것으로 판단한다.Therefore, the surrounding person information is stored in the data processing unit 20 by the person information (person photo file) by the user authentication, accordingly the surrounding information in the situation information transmitted from the smart pendant 11 and CCTV (12) If the image analysis data of the person is matched with this, it is determined that the person is a person who has been authenticated.

또한 상기 상황정보의 영상데이터를 영상분석을 통해 상기 주변인물이 얼굴가림, 얼굴개방 상태인지 차량이용자 혹은 보행자인지, 거주자와 주변인물과의 거리등을 판단할 수 있게 된다. In addition, through image analysis of the image data of the situation information, it is possible to determine whether the surrounding people are face-covered, face open, a vehicle user or a pedestrian, and the distance between the occupants and the surrounding people.

또한 상기의 데이터 처리부(20)는 상기 상황정보를 세대원들의 안전을 담당하는 관제센터에 전송하며, 관제센터의 CCTV모니터를 통해 실시간으로 전달받아 출력되도록 한다.In addition, the data processing unit 20 transmits the situation information to the control center in charge of the safety of the household members, and is received and output in real time through the CCTV monitor of the control center.

상기 데이터 처리부(20)는 상기 영상분석을 통해 거주자의 반경 범위 내에서 위치하는 주변인물의 신분 및 인증여부 그리고 행동양식을 파악한 후 그 등급에 따 른 안전지수를 산출하게 된다.The data processing unit 20 calculates a safety index according to the grade after identifying the identity and authentication of the surrounding persons located within the radius of the resident through the image analysis, and whether or not the behavior pattern.

또한 안전지수가 기준치보다 낮게 되면, 거주자의 위험상태로 인지하게 되고, 거주자의 보호자에게 이동통신단말기로 경고 메시지를 전송하게 된다.In addition, if the safety index is lower than the reference value, the resident is recognized as a dangerous state, the guardian of the resident sends a warning message to the mobile terminal.

또한 상기 데이터 처리부(20)는 상기 상황정보를 댁내의 홈네트워크 상에 구현되어 있는 TV에 전송함으로써 댁내에서 보호자가 모니터링 할 수 있도록 한다. In addition, the data processing unit 20 transmits the situation information to a TV implemented on the home network of the home so that the guardian can monitor the home.

도 2는 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법을 수행하기 위한 순서도를 도시한 것이다. 2 is a flowchart illustrating a method for measuring a safety index based on ubiquitous computing of the present invention.

도면에서 보는 바와 같이, 상기 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법은 우선 데이터 처리부(20)에 프로파일 데이터를 입력하는 프로파일 데이터 입력단계(S10)를 수행한다. As shown in the figure, the ubiquitous computing-based safety index measurement method first performs a profile data input step S10 of inputting profile data into the data processor 20.

상기 단계에서는 거주자의 연령(유아/미취학아동/어린이/청소년/성인/노인)을 구분하여 기입하며, 성별(남성/여성), 소득(저소득, 중산층, 고소득층), 학력(중졸, 고졸, 대졸, 대학원이상), 결혼여부(미혼, 기혼), 주소, 연락처, 직업, 직장주소, 신장, 성격, 차량번호 등의 부동 데이터를 기 저장하게 되며, 거주여부(해당 아파트 단지의 거주, 비거주)인 동적 데이터를 실시간으로 입력받게 된다. In this step, the residents' ages (infants / preschoolers / children / adolescents / adults / elderly) are separated and filled in. Gender (male / female), income (low income, middle class, high income class), educational background (middle school, high school, college graduate, Graduate school or above), marital status (unmarried, married), address, contact information, occupation, work address, height, personality, vehicle number, etc. will be stored in advance, and whether or not (residence, non-resident) of the apartment complex Data is input in real time.

또한 상기 데이터 처리부(20)는 주변인물 중 인증 여부에 대한 주변인물 영상데이터를 입력하게 된다. In addition, the data processing unit 20 is to input the image data of the surrounding people for authentication of the surrounding people.

상기 프로파일 데이터 입력단계가 끝난 후, 거주자는 스마트팬던트(11)를 몸에 착용한 후 이동하게 된다. After the profile data input step is finished, the occupant moves after wearing the smart pendant 11 on the body.

즉, 스마트팬던트(11)를 작동시키게 되면, 주변의 음성/영상 데이터가 해당 스마트팬던트(11)의 고유코드번호와 함께 데이터처리부(20)에 전송되며, 상기 위치인식센서(13)는 상기 스마트팬던트(11)의 위치 정보를 데이터 처리부(20)로 전송하는 상황정보 입력단계(S20)를 수행하게 된다.That is, when the smart pendant 11 is operated, the surrounding audio / video data is transmitted to the data processor 20 together with the unique code number of the smart pendant 11, and the position recognition sensor 13 is the smart. The situation information input step S20 of transmitting the position information of the pendant 11 to the data processor 20 is performed.

상황 위치정보 입력단계(S20)에 의해 상기 거주자의 상황정보가 데이터 처리부(20)에 전송되면, 상기 데이터 처리부(20)는 이들 정보를 통해 거주자의 방범상태를 파악하는 거주자 위치정보 판독단계(S30)를 수행하게 된다.When the situation information of the occupant is transmitted to the data processing unit 20 by the situation location information input step S20, the data processing unit 20 reads the occupant location information reading step (S30) to determine the security status of the occupant through these information. Will be performed.

상기 단계에서는 데이터 처리부(20)가 상기 거주자의 위치정보와 음성/영상정보를 전달받아 해당 거주자의 연령과 거주여부를 파악하고, 영상분석기를 통해 상기 거주자의 주변인물의 인증여부, 기동상태, 행동상태 및 거주자와의 접근거리를 파악하게 된다. In this step, the data processing unit 20 receives the resident's location information and audio / video information to determine the age and residence of the resident, and whether the resident's neighbors are authenticated, activated, and behaved through an image analyzer. Understand the condition and proximity to residents.

상기 인증, 기동상태, 행동상태, 접근거리를 통해 가중치 내지는 점수를 부여함으로써 이에 대한 안전지수를 측정하는 안전지수 측정단계(S40)를 수행하게 된다. The safety index measurement step (S40) of measuring a safety index for this is given by assigning a weight or a score through the authentication, activation state, behavior state, and approach distance.

따라서 인증이 되어 있지 않은 사람이 보행하면서 얼굴을 가린채로 거주자와 가까운 거리를 두고 위치할 경우 안전지수가 낮게 나오게 되며, 인증이 되어 있는 사람이 차량을 이용하고 있는 상태이며, 거주자와 원거리에 위치하며, 얼굴을 개방하고 있는 경우라면 안전지수가 높게 나오는 것이다. Therefore, if an unauthenticated person walks and covers a face and is located close to the occupants, the safety index is low, and the certified person is using a vehicle, and is located far from the occupant. In other words, if the face is open, the safety index is high.

상기안전지수 측정단계(S40)를 수행한 후, 상기 데이터 처리부(20)는 거주자의 상황정보를 상기 댁내 TV와 관제센터의 CCTV(12) 모니터에서 출력되도록 각각 댁내 홈네트워크 시스템과 관제센터에 전송하게 된다. After performing the safety index measurement step (S40), the data processing unit 20 transmits the resident's situation information to the home network system and control center, respectively, to be output from the CCTV 12 monitor of the home TV and control center. Done.

상기 모니터링 단계에 의해 거주자의 보호자가 TV를 통해 거주자의 상태를 실시간으로 파악하게 되며, 상기 산출된 안전지수를 통해 기준지수와 비교하였을 경우 상기의 경우와 같이 안전지수가 낮게 나올 경우 데이터 처리부(20)에서는 경고메시지 내지는 알람신호를 생성하게 되며, 상기 경고메시지는 보호자의 이동통신단말기 내지는 댁내 홈네트워크 상의 홈패드 등을 통해 알리게 되며, 해당 구역의 알람을 작동시켜 울리게 함으로써 안전지수가 높은 상태에 있음을 거주자 및 그 주변사람들에게 알리게 되는 경고메시지 생성단계(S70)를 수행함으로써 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법의 전 과정을 모두 마치게 된다. By the monitoring step, the guardian of the occupant can grasp the state of the occupant in real time through the TV, and when compared with the reference index through the calculated safety index, if the safety index is low as in the case of the data processing unit 20 ) Generates a warning message or an alarm signal, and the warning message is notified through the guardian's mobile communication terminal or a home pad on the home network, and the safety index is in a high state by triggering an alarm in the corresponding area. By performing the warning message generation step (S70) to inform the residents and the people around them to complete all the processes of the safety index measurement method based on the ubiquitous computing of the present invention.

도 1은 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템의 전체 구성도.1 is an overall configuration diagram of a safety index measurement system based on ubiquitous computing of the present invention.

도 2는 본 발명의 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법의 전체 순서도,2 is an overall flowchart of a method for measuring a safety index based on ubiquitous computing of the present invention;

도 3은 도 1의 실시예에 따른 아파트 단지 구성도.3 is a block diagram of the apartment complex according to the embodiment of FIG.

*도면부호에 대한 상세한 설명** Detailed Description of Drawings *

10 : 입력부 11 : 스마트팬던트10: input unit 11: smart pendant

12 : CCTV 13 : 위치인식센서12: CCTV 13: Position Recognition Sensor

20 : 데이터처리부 30 : 출력부20: data processing unit 30: output unit

31 : TV 31: TV

Claims (10)

거주자의 위치정보 혹은 거주자 주위의 음성 및 영상데이터로 구성되는 상황정보를 생성하는 입력부(10)와; 상기 입력부(10)로부터 전송된 상황정보를 전송받아 이들을 분석하여 거주자의 안전지수를 측정하는 데이터 처리부(20)와; 상기 상황정보 중 음성 혹은 영상데이터를 상기 데이터 처리부(20)로부터 전송받아 모니터에 출력시키는 출력부(30)로 구성되어 있어, 상기 거주자 주위의 음성 및 영상데이터를 분석하여 거주자의 상황과 주변인물들과의 상황 및 관계를 파악함으로써 거주자의 현재 안전지수를 측정하게 되고, 상기 안전지수가 기준치보다 낮을 경우 이에 대응하는 알림장치를 작동시키는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템에 있어서, An input unit 10 for generating situation information including location information of residents or audio and video data of the residents; A data processor 20 for receiving the situation information transmitted from the input unit 10 and analyzing the situation information to measure the safety index of the occupants; It is composed of an output unit 30 for receiving the audio or video data of the situation information from the data processing unit 20 to output to the monitor, by analyzing the voice and video data around the resident of the situation and surrounding people In the ubiquitous computing-based safety index measurement system characterized in that to measure the current safety index of the occupants by identifying the situation and relationship with the operation, and if the safety index is lower than the reference value corresponding to the corresponding device, 상기 입력부(10)는,The input unit 10, 고유코드번호를 가지고 있으며, GPS 위치정보입력부와 거주자의 주위 환경을 음성과 영상으로 입력받도록 영상입력부와, 음성입력부를 구성하고 있는 스마트팬던트(11)와; A smart pendant (11) having a unique code number and comprising an image input unit and a voice input unit so as to receive the GPS location information input unit and the surrounding environment by voice and video; 일정 반경 범위마다 설치되어 있으며, 상기 스마트팬던트(11)의 위치 정보와 고유코드번호를 전송받아 고유 좌표정보와 함께 데이터 처리부(20)에 전송하는 위치인식센서(13)와;Is installed in a predetermined radius range, the position recognition sensor 13 for receiving the position information and the unique code number of the smart pendant 11 and transmits it to the data processing unit 20 with the unique coordinate information; 거주자의 상태를 실시간의 음성 및 영상데이터로 생성하여 데이터 처리부(20)로 전송하는 CCTV(12)로 구성되는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템Ubiquitous computing-based safety index measurement system, characterized in that consisting of CCTV (12) to generate the state of the residents in real time voice and video data to transmit to the data processing unit 20 삭제delete 제 1항에 있어서,The method of claim 1, 상기 데이터 처리부(20)는 거주자의 연령 정보를 포함하는 프로파일 데이터와 거주자의 거주여부를 포함하는 동적 데이터를 입력받아 데이터베이스에 저장하고 있는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템.The data processing unit 20 is a ubiquitous computing-based safety index measurement system, characterized in that for receiving the profile data including the age information of the occupant and the dynamic data including the residence of the occupant in the database. 제 1항 혹은 제 3항에 있어서,The method according to claim 1 or 3, 상기 데이터 처리부(20)는 상기 입력부(10)로부터 전송받은 상황정보 영상을 통해 주변인물에 대한 사용자 인증여부를 판단하도록, 상기 상황정보의 영상데이터를 영상분석기로 분석하여 동적데이터에 저장되어 있는 인증된 주변인물과 비교함으로써, 그 해당 인물들과의 친밀 정도를 분석하는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템.The data processing unit 20 analyzes the image data of the situation information with an image analyzer to store the dynamic data so as to determine whether the user is authenticated to the surrounding persons based on the situation information image received from the input unit 10. Safety index measurement system based on ubiquitous computing characterized by analyzing the degree of intimacy with the corresponding people by comparing with the surrounding people. 삭제delete 제 1항에 있어서,The method of claim 1, 상기 출력부는 댁내의 TV와 CCTV모니터 중 어느 하나 이상인 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 시스템.The output unit is a safety index measurement system based on ubiquitous computing, characterized in that any one or more of the home TV and CCTV monitor. 데이터 처리부(20)에 프로파일 데이터를 입력하는 프로파일 데이터 입력단계(S10)와; A profile data input step (S10) of inputting profile data into the data processing unit 20; CCCTV(12)의 음성 및 영상정보와, 스마트팬던트(11)의 음성 및 영상정보와, 위치인식센서(13)의 위치정보로 구성되는 상황정보를 데이터 처리부(20)가 입력받는 상황정보 입력단계(S20)와;Situation information input step in which the data processing unit 20 receives the context information including the audio and video information of the CCCTV 12, the audio and video information of the smart pendant 11, and the position information of the position recognition sensor 13. (S20); 거주자의 상황정보를 전송받은 데이터 처리부(20)가 거주자의 안전상태를 파악하는 거주자 상황정보 판독단계(S30)와;Resident status information reading step (S30) of the data processing unit 20 receives the resident status information to determine the safety status of the resident; 상기 위치정보 판독단계(S30)를 통해 주변인물의 신상정보를 분석한 후 이에 따른 안전지수를 측정하는 안전지수 측정단계(S40)와; A safety index measurement step (S40) of analyzing the personal information of the surrounding persons through the position information reading step (S30) and measuring the safety index accordingly; 상기 데이터 처리부(20)가 상기 거주자 및 거주자 환경의 음성 및 영상데이터를 댁내 TV와 관제센터의 CCTV(12) 모니터에서 출력되도록 각각 댁내 홈네트워크 시스템과 관제센터에 전송하는 모니터링 단계(S50)와;A monitoring step (S50) of the data processing unit 20 transmitting the voice and video data of the resident and the resident environment to the premises home network system and the control center so as to be output from the CCTV 12 of the premises TV and the control center; 산출된 안전지수를 기준지수와 비교하였을 경우 안전지수가 높게 나올 경우 데이터 처리부(20)가 경고메시지 내지는 알람신호를 생성하여 알리는 경고 메시지 알림단계(S70)로 구성되는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법.Comparing the calculated safety index with the reference index when the safety index is high, the data processing unit 20 is based on the ubiquitous computing, characterized in that consisting of a warning message notification step (S70) for generating a notification message or an alarm signal How to measure the safety index. 제 7항에 있어서, The method of claim 7, wherein 상기 거주자 상황정보 판독단계(S30)는,The resident status information reading step (S30), 상기 데이터 처리부(20)가 상기 거주자의 위치정보와 음성 및 영상정보를 전달받아 해당 거주자의 연령과 거주여부를 파악하고, 영상분석기를 통해 상기 거주자의 주변인물의 인증여부, 기동상태, 행동상태 및 거주자와의 접근거리 중 어느 하나 이상을 파악하여 안전지수를 측정하는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법.The data processor 20 receives the resident's location information and audio and video information to determine the age and residence of the resident, and determines whether the resident's neighbors are authenticated, the activation state, the behavior state, and the like. Safety index measurement method based on ubiquitous computing, characterized in that to measure the safety index by grasping at least one of the approaching distance with residents. 제 7항에 있어서, The method of claim 7, wherein 상기 경고메시지 알림단계(S70)에서, 보호자의 이동통신단말기 혹은 댁내 홈네트워크 상의 홈패드를 통해 알리거나 해당 구역의 알람을 작동시켜 울리게 함으로써 안전지수가 높은 상태에 있음을 거주자 및 그 주변사람들에게 알리는 것을 특징으로 하는 유비쿼터스 컴퓨팅 기반의 안전지수 측정 방법.In the warning message notification step (S70), to notify the occupants and their neighbors that the safety index is in a high state by alerting through the guardian's mobile communication terminal or the home pad on the home network or by operating the alarm of the area to ring. Method for measuring the safety index based on ubiquitous computing, characterized in that. 제 7항에 있어서, The method of claim 7, wherein 상기 상황정보 입력단계(S20)는, 스마트팬던트(11)를 작동시켜 주변 음성 및 영상 데이터를 생성하여 해당 스마트팬던트(11)의 고유코드번호와 함께 위치인식센서(13)에 전송하고, 상기 위치인식센서(13)가 해당 좌표값을 생성하여 상기 스마트팬던트(11)의 음성 및 영상데이터와 함께 데이터 처리부(20)에 전송하는 것을 특징으로 하는 유비쿼터스 환경 기반의 상황정보 선택 방법.In the situation information input step (S20), by operating the smart pendant 11 generates the surrounding voice and video data and transmits it to the position recognition sensor 13 with the unique code number of the corresponding smart pendant 11, the position Ubiquitous environment-based context information selection method characterized in that the sensor 13 generates a corresponding coordinate value and transmits it to the data processor 20 together with the voice and image data of the smart pendant (11).
KR1020070111900A 2007-11-05 2007-11-05 Measurement Method and System for Safety Index based on Ubiquitous Computing KR100910833B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070111900A KR100910833B1 (en) 2007-11-05 2007-11-05 Measurement Method and System for Safety Index based on Ubiquitous Computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070111900A KR100910833B1 (en) 2007-11-05 2007-11-05 Measurement Method and System for Safety Index based on Ubiquitous Computing

Publications (2)

Publication Number Publication Date
KR20090046004A KR20090046004A (en) 2009-05-11
KR100910833B1 true KR100910833B1 (en) 2009-08-06

Family

ID=40855960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070111900A KR100910833B1 (en) 2007-11-05 2007-11-05 Measurement Method and System for Safety Index based on Ubiquitous Computing

Country Status (1)

Country Link
KR (1) KR100910833B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030084944A (en) * 2001-02-26 2003-11-01 인터내셔널 비지네스 머신즈 코포레이션 Wireless communication system and method to provide geo-spatial related event data
KR20060057927A (en) * 2004-11-24 2006-05-29 한국전자통신연구원 A method and system for integrating context information for ubiquitous service
KR20060076839A (en) * 2004-12-29 2006-07-05 학교법인 대양학원 Apparatus and method for providing context-aware service
KR20070067410A (en) * 2005-12-23 2007-06-28 아주대학교산학협력단 Protection system against emergent accidents in ubiquitous environment and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030084944A (en) * 2001-02-26 2003-11-01 인터내셔널 비지네스 머신즈 코포레이션 Wireless communication system and method to provide geo-spatial related event data
KR20060057927A (en) * 2004-11-24 2006-05-29 한국전자통신연구원 A method and system for integrating context information for ubiquitous service
KR20060076839A (en) * 2004-12-29 2006-07-05 학교법인 대양학원 Apparatus and method for providing context-aware service
KR20070067410A (en) * 2005-12-23 2007-06-28 아주대학교산학협력단 Protection system against emergent accidents in ubiquitous environment and method thereof

Also Published As

Publication number Publication date
KR20090046004A (en) 2009-05-11

Similar Documents

Publication Publication Date Title
Lee et al. Development of an enhanced threshold-based fall detection system using smartphones with built-in accelerometers
US10455342B2 (en) Sound event detecting apparatus and operation method thereof
CN103325210A (en) Modularized mobile health and security system
JPWO2007138811A1 (en) Suspicious behavior detection apparatus and method, program, and recording medium
WO2019036400A1 (en) Alert and response integration system, device, and process
KR20170009265A (en) Black box device for children, system and method for managing safety using the same
JP4436814B2 (en) Communication device and server
KR102189346B1 (en) Method, apparatus and program for deciding potential hazard area based on digital survey
JP2020522828A (en) Computer vision based surveillance system and method
CN110222216B (en) Multifunctional intelligent defense system
KR20110079939A (en) Image sensing agent and security system of usn complex type
Johnson Jr et al. Social-distancing monitoring using portable electronic devices
CN112211496A (en) Monitoring method and system based on intelligent door lock and intelligent door lock
CN106023519A (en) Child safety intelligent pendant
KR20160028542A (en) an emergency management and crime prevention system for cars and the method thereof
KR100910833B1 (en) Measurement Method and System for Safety Index based on Ubiquitous Computing
KR102234492B1 (en) Method, apparatus and program for obtaining traffic safety facility installation information based on digital survey
KR101437406B1 (en) an emergency management and crime prevention system for cars and the method thereof
KR20150106986A (en) System for detecting drowsiness based on server and the method thereof
KR20170004270A (en) Apparatus and system for detecting falldown
KR102481794B1 (en) Method and Apparatus of danger detection based on time series analysis of human activities
KR101378296B1 (en) System for preventing crime using human body communication and method for preventing crime using human body communication
CN105223381A (en) The mercury sensor of acceleration measurement and corresponding personnel fall down to the ground detection system
KR20210066453A (en) Data acquisition and situation recognition system based on smart clothes station for those who have physical weakness
JP7495243B2 (en) Tag portable monitoring device, tag portable monitoring system, and tag portable monitoring method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 11