KR101685495B1 - 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR101685495B1
KR101685495B1 KR1020140171946A KR20140171946A KR101685495B1 KR 101685495 B1 KR101685495 B1 KR 101685495B1 KR 1020140171946 A KR1020140171946 A KR 1020140171946A KR 20140171946 A KR20140171946 A KR 20140171946A KR 101685495 B1 KR101685495 B1 KR 101685495B1
Authority
KR
South Korea
Prior art keywords
activity
sensor
activities
user
log
Prior art date
Application number
KR1020140171946A
Other languages
English (en)
Other versions
KR20160066769A (ko
Inventor
서대일
유병현
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140171946A priority Critical patent/KR101685495B1/ko
Priority to US14/693,225 priority patent/US20160164975A1/en
Publication of KR20160066769A publication Critical patent/KR20160066769A/ko
Application granted granted Critical
Publication of KR101685495B1 publication Critical patent/KR101685495B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

이종 센서 매시업 방법은, 적어도 하나의 센서로부터 활동 로그(activity log)를 수집하는 단계; 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 단계; 활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출하는 단계; 및 추출된 상기 사용자의 활동을 의미(semantic) 단위로 가시화하는 단계를 포함한다. 이에 따라, 이종 센서들 간의 정보를 통합하여 활용할 수 있고, 사용자에게 의미 있고 직관적인 정보를 제공할 뿐만 아니라 다양한 어플리케이션 및 장치들간 정보를 공유할 수 있다.

Description

이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR HETEROGENEOUS SENSORS MASHUP, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로써, 더욱 상세하게는 다양한 센서들에서 생성한 로그들을 통합하여 이용하기 위한 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.
웨어러블(wearable) 컴퓨팅의 출현 및 광범위한 발전과 함께, 인간의 활동 모니터링은 의료 기기 및 스마트 폰 등에서 유비쿼터스화 되고 있다. 사람들은 활동 로그를 수집하고 그들의 상태, 미디어 작업 또는 장소를 확인하고, 소셜 네트워크 서비스에서 그들의 활동을 기록하기 위해 물리적 웨어러블 센서를 사용한다.
최근에는 다양한 센서 및 장치들이 작은 크기와 무게로 출시되고 있으며, 스마트 폰은 다양한 임베디드 센서와 개인 활동을 추적하는 모바일 어플리케이션을 가지고 있다. 모바일 어플리케이션과 웨어러블 장치의 대중화와 함께 개인 활동 로그 데이터의 확산 및 관리 방법이 불가피한 실정이다.
한편, 다양한 방법들로 생성되는 로그 정보들은 각각의 장치의 특성이나 센서들의 종류, 소셜 미디어의 형태에 따라 다른 특징들을 가지고 있다. 예를 들어, 웨어러블 디바이스의 경우, 사람들이 언제나 가지고 다닐 수 있는 작은 크기와 적은 저장 공간, 배터리 문제로 인하여 장치에 꼭 필요한 정보들만을 로깅하고 있으며, 스마트 폰을 이용한 로깅 정보의 경우 웨어러블 장치에 비하여 많은 센서들을 가지고 있기는 하지만, 배터리의 문제로 인하여 이러한 센서들을 모두 이용하여 꾸준하게 기록되는 경우가 적다.
또한, 다양한 어플리케이션을 이용해 로깅하고 있기 때문에 각각의 어플리케이션 또는 장치들 간의 데이터를 공유하는 방법이 제시되고 있으며, 서로 간에 기록하지 못한 로깅 정보에 대하여 공유할 수 있는 방법들이 제시되고 있다. 그러나, 이러한 방법들은 로깅 정보에 대한 공유에만 그치고 있으며, 소셜 미디어에 기록된 로깅 정보에 대해 고려하지 않고 있다.
예를 들어, 상용 의료 및 트래킹 서비스(예를 들어, Garmin Connect, Fitbit 및 Withings)는 다른 서비스 제공자와 활동 기록을 공유하고 통합하기 위해 통계 데이터 분석 및 응용 프로그래밍 인터페이스(application programming interfaces, API)를 제공한다. 그러나, 이러한 서비스들은 단지 동일 제조자에 의해 생산된 제품 내에서만 지원하고, 로그 표기법은 해당 서비스의 목적에 맞게 조정된다. 결과적으로, 다양한 소스로부터 활동 로그를 통합하기 어렵고, 기존 의료 매시업 서비스는 단순히 활동 로그의 요약 목록을 보여줄 뿐이다.
이에, 이종 웨어러블 장치들에 걸쳐 연계된 활동 로그는 기능의 중복을 피하고 활동 모니터링의 기능성을 확장하기 위해 부각되고 있다. 그러나, 웨어러블 장치들의 기능 및 특징들은 의미 있는 정보를 산출하기 위해 너무 많은 데이터를 포함한다. 따라서, 이종 센서들 및 모바일 어플리케이션의 특징을 고려하여 보완 데이터를 강화하는 방법에 대한 수요가 증가하고 있다.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 다양한 센서로부터 수집되는 로그들을 이용하여 사용자의 활동을 기록하기 위한 이종 센서 매시업 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 이종 센서 매시업 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 이종 센서 매시업 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 이종 센서 매시업 방법은, 적어도 하나의 센서로부터 활동 로그(activity log)를 수집하는 단계; 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 단계; 활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출하는 단계; 및 추출된 상기 사용자의 활동을 의미(semantic) 단위로 출력하는 단계를 포함한다.
본 발명의 실시예에서, 상기 활동 로그로부터 사용자의 활동을 추출하는 단계는, 상기 활동 로그를 시간 순서로 재정렬하는 단계; 및 동일 시간대에 공존하는(coexistent) 활동 로그로부터 사용자의 대표 활동을 선택하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 동일 시간대에 공존하는 활동 로그로부터 사용자의 대표 활동을 선택하는 단계는, 동일 시간대에 발생한 활동 로그가 2 개 이상인 경우, 대표 활동 선택의 기준으로 정해진 우선 순위에 따라 대표 활동을 선택할 수 있다.
본 발명의 실시예에서, 상기 동일 시간대에 공존하는 활동 로그로부터 사용자의 대표 활동을 선택하는 단계는, 상기 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지 판단하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 활동 로그로부터 사용자의 활동을 추출하는 단계는, 상기 활동들 간의 관계가 양립 가능한 관계인 경우, 상기 활동들을 상기 대표 활동 및 상기 대표 활동에 부수적인 활동으로 선택할 수 있다.
본 발명의 실시예에서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는, 로그 정보의 수준에 따라 센서 관계를 정의한 센서 모델(sensor model)에 따라, 수집된 상기 활동 로그를 분류하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 센서 모델은 센서를 물리 센서(physical sensor), 활동 센서(activity sensor), 소셜 센서(social sensor)로 분류할 수 있다.
본 발명의 실시예에서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는, 상기 센서로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서로부터 활동 로그가 발생할 때마다 수집할 수 있다.
본 발명의 실시예에서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는, 사용자가 입력하는 정보를 수집할 수 있다.
본 발명의 실시예에서, 상기 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 단계는, 공통의 표현 형식을 정의한 표현 모델(markup model)을 이용할 수 있다.
본 발명의 실시예에서, 상기 이종 센서 매시업 방법은, 상기 공통의 표현 형식으로 변환된 활동 로그를 저장하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 적어도 하나의 센서는 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에서, 상기 이종 센서 매시업 방법은, 출력되는 상기 사용자의 활동을 의미 단위로 표시하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 출력되는 사용자의 활동을 의미 단위로 표시하는 단계는, 대응하는 어플리케이션과 연계하여 표시하거나, 가상 현실 또는 증강 현실로 표시할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 이종 센서 매시업 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 이종 센서 매시업 장치는, 적어도 하나의 센서로부터 활동 로그(activity log)를 수집하는 정보 수집부; 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 변환부; 활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출하는 활동 관리부; 및 추출된 상기 사용자의 활동을 의미(semantic) 단위로 가시화하는 출력부를 포함한다.
본 발명의 실시예에서, 상기 활동 관리부는, 상기 활동 로그를 시간 순서로 재정렬하고, 동일 시간대에 공존하는(coexistent) 활동 로그로부터 사용자의 대표 활동을 선택할 수 있다.
본 발명의 실시예에서, 상기 활동 관리부는, 동일 시간대에 발생한 활동 로그가 2 개 이상인 경우, 대표 활동 선택의 기준으로 정해진 우선 순위 및 상기 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지에 따라 사용자의 대표 활동을 선택할 수 있다.
본 발명의 실시예에서, 상기 활동 관리부는, 상기 활동들 간의 관계가 양립 가능한 관계인 경우, 상기 활동들을 상기 대표 활동 및 상기 대표 활동에 부수적인 활동으로 선택할 수 있다.
본 발명의 실시예에서, 상기 정보 수집부는, 로그 정보의 수준에 따라 센서 관계를 정의한 센서 모델(sensor model)에 따라, 수집된 상기 활동 로그를 분류할 수 있다.
본 발명의 실시예에서, 상기 센서 모델은 센서를 물리 센서(physical sensor), 활동 센서(activity sensor), 소셜 센서(social sensor)로 분류할 수 있다.
본 발명의 실시예에서, 상기 정보 수집부는, 상기 센서로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서로부터 활동 로그가 발생할 때마다 수집할 수 있다.
본 발명의 실시예에서, 상기 정보 수집부는, 사용자가 입력하는 정보를 수집할 수 있다.
본 발명의 실시예에서, 상기 변환부는, 공통의 표현 형식을 정의한 표현 모델(markup model)을 이용하여, 수집된 상기 활동 로그를 공통의 표현 형식으로 변환할 수 있다.
본 발명의 실시예에서, 상기 이종 센서 매시업 장치는, 상기 공통의 표현 형식으로 변환된 활동 로그를 저장하는 데이터베이스를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 적어도 하나의 센서는 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에서, 상기 이종 센서 매시업 장치는, 상기 출력부로부터 출력되는 사용자의 활동을 의미 단위로 표시하는 표시부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 표시부는, 대응하는 어플리케이션과 연계하여 표시하거나, 가상 현실 또는 증강 현실로 표시할 수 있다.
이와 같은 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치에 따르면, 이종 센서들의 로그들을 공통의 데이터 스키마를 통해 표현하고 이를 활동 매시업 모델에 따라 활동 간의 관계성을 판단할 수 있다. 또한, 생성된 활동을 개별 사용자 입장에서 해석하고 관리할 수 있어, 사용자에게 통합적인 유비쿼터스 환경을 제공할 수 있다. 나아가, 사용자의 행동과 센서 사용 패턴에 따라 개인의 패턴 학습을 통해 개별 사용자에게 맞는 개인 활동 모델을 구성할 수 있으며, 이를 활용하여 개인별 맞춤 건강 관리 및 문제점 등을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이종 센서 매시업 장치의 블록도이다.
도 2는 본 발명에 따른 센서 모델의 예를 나타낸 도면이다.
도 3은 본 발명에 따른 활동 모델의 예를 나타낸 도면이다.
도 4는 도 1의 이종 센서 매시업 장치의 수행 과정을 보여주는 도면이다.
도 5는 본 발명에 따른 활동 모델에서 대표 활동을 결정하는 기준을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 이종 센서 매시업 방법을 설명하는 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로써 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이종 센서 매시업 장치의 블록도이다.
본 발명에 따른 이종 센서 매시업 장치(10, 이하 장치)는 사용자 주변의 센서(31, 33, 35)로부터 사용자의 로깅 정보를 수집하고, 이를 기초로 사용자의 활동(activity)을 표현하고, 사용자의 단말기(41, 43, 45)를 통해 의미 단위로 전달하기 위한 매시업 프레임 워크(framework)를 제공한다. 도 1은 상기 장치(10)를 포함한 이종 센서 매시업의 전체 시스템(1)을 도시하였다.
예를 들어, 사용자가 착용한 웨어러블 장치가 상기 센서(31, 33, 35)의 기능을 수행하고, 별도의 서버가 이종 센서 매시업을 수행하는 상기 장치(10)의 기능을 수행하고, 사용자의 모바일 기기로 이종 센서 매시업 결과를 제공할 수 있다.
반면, 상기 장치(10), 상기 센서(31, 33, 35) 및 사용자의 단말기(41, 43, 45)가, 실제로는 하나의 단말기에 포함되는 구성일 수 있다. 예를 들어, 사용자의 스마트 폰에 포함되는 센서를 통해 활동 로그를 수집하고, 상기 스마트 폰 내부 모듈이 이종 센서 매시업을 수행하는 상기 장치(10)이고, 상기 스마트 폰의 디스플레이부를 통해 이종 센서 매시업 결과를 제공할 수 있다.
상기 센서(31, 33, 35)는 적어도 하나일 수 있고, 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 등일 수 있다.
상기 장치(10)는 스마트 폰, 휴대전화, 타블렛 컴퓨터, 넷북, 피디에이(PDA), 피엠피(PMP) 등 다양한 형태의 모바일(mobile) 장치 자체이거나 또는 이들을 구성하는 일부 모듈일 수 있다. 또는, 상기 이종 센서 매시업 장치(10)는 서버(server) 또는 엔진(engine) 형태일 수 있으며, 이들을 구성하는 일부 모듈일 수 있다.
또한, 상기 장치(10)는 운영체제(Operation System; OS)를 기반으로 다양한 응용 프로그램을 실행할 수 있다. 상기 운영체제는 응용 프로그램이 컴퓨터의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, iOS, 안드로이드 OS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 단말기에 탑재할 수 있는 운영체제를 모두 포함할 수 있다.
상기 응용 프로그램은 컴퓨터를 이용하여 특정한 작업을 수행할 수 있도록 개발된 프로그램으로서, 각종 어플리케이션뿐 아니라 게임, 동영상, 사진 등의 각종 멀티미디어 컨텐츠(contents) 또는 상기 멀티미디어 컨텐츠를 실행하는 이미지 뷰어, 동영상 재생기 등의 실행 프로그램을 모두 포함할 수 있다.
도 1을 참조하면, 본 발명에 따른 상기 장치(10)는 정보 수집부(110), 변환부(미도시), 활동 관리부(130) 및 출력부(150)를 포함한다. 상기 장치(10)는 표시부(미도시)를 더 포함할 수 있다. 상기 변환부는 상기 장치(10)의 다른 구성과 별개의 구성일 수 있으나, 상기 정보 수집부(110) 또는 상기 활동 관리부(130)의 일부를 구성할 수도 있다.
본 발명의 상기 장치(10)는 이종 센서 매시업을 지원하는 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, 상기 장치(10)의 각 구성은 이종 센서 매시업을 지원하는 소프트웨어에 의해 제어될 수 있다. 또한, 상기 장치(10)의 구성들은 하나의 모듈로 통합되어 형성될 수 있고, 이와 다르게 각각 별개의 모듈로 형성될 수도 있다.
상기 장치(10)는 이종 센서들로부터 로깅 정보를 수집하여 사용자에게 의미 있는 정보를 전달하기 위해 매시업 스키마를 참조하는데, 이러한 매시업 스키마는 센서 모델(sensor model), 활동 모델(activity model), 표현 모델(markup model)을 포함할 수 있다.
이러한 모델들은 계층적으로 형성되며, 이미 구축되어 있는 모델을 특정하여 사용할 수도 있고, 사용자가 모델을 새로이 구축하거나 추가, 삭제, 수정 등 업데이트를 통해 관리될 수도 있다.
상기 센서 모델(sensor model)은 로그 정보의 수준에 따라 센서 관계를 정의할 수 있다. 본 발명에서는 기기 또는 기기에 포함되는 센서를 통해서 자동적으로 수집되는 활동 로그(activity log) 뿐만 아니라 사용자가 입력한 정보 또는 상기 정보로부터 추출하는 데이터를 모두 사용할 수 있다. 또한, 사용자는 로그를 수집할 센서를 선택할 수도 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따라 인간 활동을 모니터링하는 자원들을 3가지 센서타입, 즉 물리 센서(physical sensor, 31), 활동 센서(activity sensor, 33), 소셜 센서(social sensor, 35)로 분류한다.
상기 물리 센서(31)는 사용자의 활동에 따라, 심박수, 스텝 수, 체중 및 GPS 신호 등과 같은 정보를 고유 기능에 의해 기초적인 원시 데이터(raw data)로 수집한다. 상기 정보는 정해진 일정 주기마다 수집하거나 사용자의 움직임이 발생할 때마다 수집할 수 있다.
상용화된 웨어러블 장치, 예를 들어, 핏빗(Fitbit), 조본업(Jawbone Up), 등은 그 장치와 연결된 제조자의 서버에 데이터를 저장하는데, 상기 물리 센서로부터 수집된 원시 데이터는 이러한 서버를 통해 요약된 형태로 제공될 수 있다.
상기 활동 센서(33)는 상기 물리 센서의 데이터로부터 인간 활동을 인식한다. 그 예로서, 상기 물리 센서의 데이터로부터 활동을 인식하는 웨어러블 기기를 위한 일반적인 스마트 폰의 활동 모니터링 어플리케이션 및 전용 스마트 폰 어플리케이션이 있다. 예를 들어, 무브스(Moves) 어플리케이션은 센서 데이터를 나누고, 특징 추출에 의해 움직임 활동을 구분한다. 또한, 상용화된 물리 센서의 서버는 물리 센서로부터 제공되는 원시 데이터 로그를 활동 로그로 요약한다.
상기 소셜 센서(35)는 활동의 장소 및 시간과 같은 추가정보를 포함하는, 예를 들어, 페이스 북(Facebook), 포스퀘어(Foursquare)와 같은 소셜 미디어에 포함된 일상 생활의 로그를 인식한다. 예를 들어, 사용자는 음악 듣기와 읽기를 기록하여 소셜 네트워크 서비스에서 타인과 공유할 수 있다. 이와 다르게, 상기 소셜 센서는 상기 물리 센서 또는 활동 센서로부터 수집할 수 있는 정보들을 융합하여 새로운 정보를 획득할 수도 한다.
본 발명은 센서들에 대한 정보를 바탕으로 다양한 센서들을 상기 정의한 세 가지의 타입으로 표현하기 위해 아래의 표 1과 같은 센서 모델 스키마를 이용할 수 있다.
Property Description Example
typeId Unique identifier of sensor type http://example.com/sensor/fitbit
displayName Display name of the sensor Fitbit
description Description of the sensor Fitbit sensor for tracking activities
readings Define sensor reading types and units of measure [{"http://example.com/reading/steps", "count"}. {"http://example.com/reading/dista
nce", "km"}, ...]
각각의 센서는 센서를 구별하기 위한 식별자로 센서 ID를 가지며, 센서 이름 및 센서에 대한 자세한 설명을 담기 위해 디스크립션(description) 속성을 이용해 기술할 수 있으며, 개별 센서들이 수집할 수 있는 로그 정보들의 범위를 리딩(readings)으로 정의할 수 있다. 디스크립션은 json 또는 xml로 표현이 가능하며, 어플리케이션이 활동 모델에 따라 센서로부터 수집된 활동 로그를 재구성하기 위한 정보를 제공한다.
상기 활동 모델(activity model)은 상기 센서 모델을 사용하여 수집한 활동들을 인식하고 요약하기 위해 활동 간의 관계를 정의한다. 본 발명에서 제안하는 활동 모델은 활동 간에 계층적인 관계를 이용하여 다양한 세분화를 통하여 활동 로그를 제공한다.
구체적으로, 상기 활동 모델은 상기 센서들을 기능에 따라 분류하고, 센서들로부터 수집된 활동들을 통합하기 위한 기준으로 사용된다. 이를 통해 활동 간의 관계에 따라서 활동을 통합하고 계층화 함으로써, 활동에 대한 요약으로부터 센서로부터 수집된 원시 데이터 수준까지의 정보를 사용자에게 제공할 수 있다. 또한, 같은 시간에 동일한 기능을 가지는 여러 가지 센서로부터 수집된 활동 로그에 대한 처리도 가능하다.
상기 활동 모델은 어플리케이션 영역에 따라 다르게 구성되며, 어플리케이션의 목적에 따라서도 다르게 구성될 수 있다. 상기 활동 모델은 상기 센서 모델을 이용하여 어플리케이션에 적합한 활동 간의 관계를 정의하기 위하여 아래의 표 2와 같은 속성을 정의한다.
Property Description Example
activityId Unique identifier of activity type http://example.com/activity/walk
displayName Display name of the activity Walk
description Description of the activity Walking activity
childActivities Subsidiary activities of the activity [“http://example.com/activity/steps”, ...]
mutuallyExclusiveActivities Conflicting activities of the activity that cannot be occurred simultaneously [“http://example.com/activity/run”,
“http://example.com/activity/cycle”,
“http://example.com/activity/drive”, ...]
readings Associated sensor reading types of activity [“http://example.com/reading/steps”, “http://example.com/reading/gps”,
“http://example.com/reading/distan
ce”, “http://example.com/reading/
calories”, …]
각각의 활동은 식별자로서 활동 ID를 가지며, 센서 모델의 기능을 정의한다. 활동 이름은 활동에 대한 일반적인 이름을 나타내며, 디스크립션(description) 속성을 이용하여 해당 활동에 대한 자세한 정보를 제공한다. 활동은 자녀 활동(children activity)이 만족되면 상위 활동으로 추출 정보를 제공하는데, 자녀 활동을 통해 상하위 관계의 활동을 정의할 수 있다. 상호 배타적(mutually exclusive)인 활동은 서로 간에 동시에 발생할 수 없는 활동을 정의하며 이러한 활동 정보는 상기 활동 관리부(130)를 통해 사용자의 활동을 요약하여 제공할 때 이용된다.
상기 활동 모델은 json 또는 xml을 사용할 수 있으며, 각 활동 유형은 고유 식별자로서 URI를 가지며, 사용자 친화적 이름으로서 표시 이름 속성을 가질 수도 있다. 자녀 활동 및 상호 배타적 활동은 활동 간의 관계를 정의하고, 읽혀지는 속성은 활동 로그를 수집하고 가시화하는 센서 유형을 참조한다.
도 3을 참조하면, 건강 관리 어플리케이션을 위해 제안된 활동 모델의 예를 보여주는 도면으로서, 신체 활동의 분류에 기초한다. 도 3에서 운동(exercise) 활동은 자녀 활동(예를 들어, 걷기(walk) 및 뛰기(run))을 가지며, 걷기 활동은 소셜 센서에 의해 인식되는 부수적인(subsidiary) 사회 활동(예를 들어, 체크인(check in) 또는 듣기(listen))을 갖는다. 예를 들어, 걷기 활동은 물리 센서(즉, 핏빗 웨어러블 장치)로부터 데이터를 수집하는 핏빗 앱 및 스마트 폰 자체의 센서를 이용하는 무브스(moves) 앱 같은 활동 센서에 의해 인식된다.
상기 활동 관리부(130)는 상기 활동 모델을 기초로 활동 로그를 해석한다. 상기 활동 관리부(130)가 상기 활동 모델을 이용하여 활동 로그를 해석하기 위해서는 활동 모델에 대한 새로운 표현 모델이 필요하다.
상기 표현 모델(markup model)은 활동 로그를 공통의 표현 형식으로 정의한다. 이종 센서들로부터 수집된 활동 로그는 센서 제공자에 따라 다른 표기법을 사용하기 때문에, 각종 활동 로그를 위한 공통의 활동 표현 언어가 필요하다. 예를 들어, 풍부하고, 인간 친화적이고, 기계 판독 가능하고, 확장 가능한 방식의 활동 표현을 위한 표기법으로서, Activity Streams을 사용할 수 있다. Activity Streams에서 활동 개체는 잠재적 또는 완료된 동작에 대한 메타 데이터를 제공한다. 아래의 표 3은 본 발명에서 사용된 Activity Streams의 선택된 속성을 나타낸 예이다.
Property Example
id http://example.com/alice/log/activity/walk/1
actor http://example.com/alice
provider http://example.com/sensor/moves
verb http://example.com/activity/walk
displayName Walk
result [{"http://example.com/reading/steps", 14594},
{"http://example.com/reading/distance", 10.34}]
location Yeouido Hangang Park
startTime 2014-05-23T12:23:12Z
endTime 2014-05-23T13:25:15Z
Object
ObjectType
MediaType
url
displayName
http://example.com/object/audio
audio/mpeg
http://example.com/object/audio/2
Love Never Felt So Good/Michael Jackson
활동 로그는 ID 속성 및 제조자 속성에 의해 식별된다. 제조자 속성은 활동(예를 들어, 핏빗, 무브스, 페이스북)을 공개하는 센서 모델의 센서 유형 ID를 나타낸다. 동사(verb) 속성은 활동의 유형을 나타내고, 활동의 활동 ID를 나타낸다. 시작 시간(startTime)과 종료 시간(endTime) 속성은 실질적인 또는 예상되는 활동의 시작과 끝 시간을 나타낸다. 위치(Location) 속성은 활동과 관계된 하나 또는 그 이상의 물리적 장소이다. 동사 속성의 값 또는 활동 결과를 읽는 센서는 결과 속성을 기록한다.
객체(Object) 속성은 직접적인 대상 또는 활동의 구체적인 결과를 나타낸다. 상기 객체 속성은 물리 센서 및 활동 센서에 의해 수집된 상세한 로그를 갖는 URL 자원을 나타내고, 미디어 유형(mediaType) 속성은 웹 상의 자원 타입이다.
아래는 Activity Streams을 JSON 형식으로 활동 로그를 표현한 예이다.
{ totalItems,
items: [id, actor, provider, verb, displayName, (result),
startTime, endTime, (location),
object: [objectType, mediaType, url, (displayName)], ... ], ... }
도 3의 좌측의 가지 노드는 5가지의 센서로 구성되어 있으며, 이 중 3개의 센서(조본업, 핏빗 및 무브스)는 동일한 정보를 제공하고 있다. 예를 들어, 무브스인 활동 센서로부터 걷기 활동에 대한 거리와 스텝 수 로그를 획득하며, 시작과 끝 지점에 대한 정보는 포스퀘어(Foursquare)인 소셜 센서를 통해 입력된다. 또한, 소셜 플레이어인 소셜 센서를 통해서 걷는 동안 들었던 음악 정보가 기록된다. 이를 통해, 총 5가지의 활동 로그가 기록되며, 활동에 대한 요약 정보가 Activity Streams의 메타 데이터(metadata)로 생성되고 Activity Streams으로 기록된 모든 식별자의 값은 URL로 구분된다. 활동에 대한 상세한 로그 정보는 URL로 객체 속성으로 표현된다.
상기 장치(10)는 상기 정의된 센서 모델, 활동 모델, 표현 모델을 참고하여 이종 센서들로부터 로깅 정보를 수집하여 사용자에게 의미 있는 정보를 전달한다. 예를 들어, 강화된 개인 건강관리 활동 로깅을 제공하기 위해서는 사용자의 개별 센서들의 정보를 각각의 서비스로부터 사용자 중심으로 정보를 모으는 과정이 필요하며, 활동의 상호 보완적 또는 상호 배타적 관계성에 따라 활동을 추출하고 재구성하는 과정을 거친다. 또한, 이를 통해 생성된 개인 건강관리 활동 로그를 사용자가 이해할 수 있도록 가시화한다.
도 4를 참조하면, 상기 정보 수집부(110)는 적어도 하나의 센서(30)로부터 활동 로그(activity log)를 수집한다. 상기 정보 수집부(110)는 상기 센서(30)로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서(30)로부터 활동 로그가 발생할 때마다 수집할 수 있다. 또한, 사용자가 수동으로 입력하는 정보를 수집할 수도 있다.
상기 정보 수집부(110)는 상기 센서 모델을 참조하여 수집된 활동 로그를 분류하고, 상기 표현 모델을 참고하여 수집된 활동 로그를 상기 공통의 표현 형식으로 변환한다.
센서로부터 수집된 데이터는 각각의 개별 센서 판매자가 제공하는 서비스에 기록되어 저장되고, 대응하는 앱을 이용하여 해당 데이터에 접근이 가능하다. 이러한 서비스는 두 가지 형태의 센서 로그를 제공하는데, 물리 센서로부터 수집한 원시 로그와 활동 센서의 역할을 통해 시공간 정보에 기반하여 원시 로그를 추출 또는 요약한 활동 로그 정보를 제공한다.
상기 정보 수집부(110)는 사용자의 센서에 대한 계정 정보들을 이용하여 사용자 인증을 거쳐 원시 로그와 활동 로그를 주기적으로 가져올 수 있다. 상기 정보 수집부(110)는 상기 센서 모델을 참고하여 센서 유형에 따라 센서로부터 수집된 로그들을 분류하고, 센서 로그 정보 중 원시 로그는 서비스 제공자가 정의한 데이터 형식(format)에 따라 저장하며, 활동 로그는 공통의 표현 형식으로 저장한다.
이는 센서 모델에 따른 센서 정보를 추출하여 의미 있는 활동 로그 매시업을 위한 기초를 형성한다. 결과적으로, 상기 활동 관리부(130)는 활동 모델에 기초한 생산자의 특정 포맷 대신 상호 정보 교환이 가능한(interoperable) 의미 형식을 갖는 활동 로그를 처리할 수 있게 된다.
상기 활동 관리부(130)는 활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 센서로부터 수집된 활동 로그로부터 사용자의 활동을 추출한다.
구체적으로, 상기 활동 관리부(130)는 매시업을 위해 시간 시퀀스에 따라 공통의 표현 형식으로 저장된 활동 로그로부터 활동들을 인식한다. 사용자의 센서 사용 패턴으로 인해, 다수의 활동들이 동시에 일어날 수 있다. 상기 활동 관리부(130)는 활동 모델 및 활동 관계 유형에 기초하여 사용자의 대표 활동을 선택한다. 활동 관계 유형은 양립 가능한(complementarily) 관계 또는 상호 배타적(mutually exclusive) 관계일 수 있다.
상기 활동 관리부(130)는 시공간 메타데이터를 이용하여 로그를 동적(dynamic) 활동과 정적(static) 활동으로 분류한다. 예를 들어, 상기 동적 활동은 걷기(walk), 뛰기(run) 및 운전(drive) 등의 사용자가 이동하며 수행하는 활동일 수 있고, 상기 정적 활동은 멈춤(stop), 듣기(listen), 읽기(read) 및 보기(see) 등의 사용자의 이동과 관계없는 활동일 수 있다.
상기 활동 관리부(130)는 상기 정보 수집부(110)로부터 수집된 활동 로그를 시간의 순서에 따라 재정렬 하며, 동일한 시간에 두 가지 이상의 활동이 중복되는 경우, 활동 모델에 기초한 활동 로그 간의 관계 유형 및 대표 활동 선택의 기준에 따라 대표 활동을 선택한다.
먼저, 동일 시간대에 발생한 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지 판단한다. 상기 활동들 간의 관계가 양립 가능한 관계인 경우, 대표 활동 선택의 기준에 따라 대표 활동을 선택하고, 다른 활동들은 상기 대표 활동에 부수적인 활동으로 선택한다. 반면, 상기 활동들 간의 관계가 상호 배타적 관계인 경우, 대표 활동 선택의 기준에 따라 하나의 대표 활동을 선택한다.
상기 활동 관리부(130)는 순차적으로 정해진 대표 활동 선택의 기준을 적용할 수 있고, 사용자가 정의한 기준이 있는 경우에는 사용자가 정의한 기준이 정해진 기준보다 우선권을 가질 수 있다. 대표 활동 선택 기준의 예들은 다음과 같다.
1. 동일한 기능을 가진 활동 로그들이 두 개 이상의 센서로부터 수집되는 경우, 더 정밀한(precise) 센서로부터 수집된 활동 로그가 우선순위를 갖는다.
2. 활동 유형이 반복적이며, 유형의 활동의 지속기간이 다른 활동보다 길 경우, 지속 기간이 더 긴 활동 유형이 우선순위를 갖는다.
3. 활동 지역이 다른 활동 지역을 포함하는 경우, 포함하는 활동 지역에 대응하는 활동이 우선순위를 갖는다.
4. 동적 활동이 정적 활동보다 우선 순위를 갖는다. 그러나, 정적 활동의 지속기간이 동적 활동의 지속기간보다 길 때, 정적 활동이 우선순위를 갖는다.
5. 물리적 활동의 개설에 따라 높은 대사 활동량(metabolic equivalent; MET)이 요구되는 활동은 우선순위를 갖는다.
6. 두 개 이상의 중복되는 활동들이 같은 우선순위를 가지는 경우, 먼저 시작되는 활동이 우선순위를 갖는다.
7. 대표 활동의 디스플레이 이름(displayName) 속성은 “representative activity displayName w/other activities’ displayName” (예를 들어, “walk w/listen”)로 결정된다. 상위 활동이 정의되는 경우, 이름은 “upper activity by subsidiary activities” (예를 들어, “exercise by walk, run”)로 결정된다.
예를 들어, 도 5(a)를 참조하면, 사용자는 음악을 들으면서 거리를 걸을 수 있다. 조본업, 핏빗 및 무브스와 같은 센서들은 걷기 활동을 감지하는 동일한 기능을 갖는다. 활동의 시작 및 종료 장소는 포스퀘어와 같은 소셜 센서에 의해 로그된다. 또한, 소셜 플레이어와 같은 소셜 센서는 사용자가 걷는 동안 음악을 들을 때 음악 정보를 포스팅한다. 이와 같은 로그들은 URI 표기법을 사용하는 ID 속성으로 확인할 수 있다.
사용자는 걷기, 듣기, 체크인 활동들을 동시에 수행할 수 있으므로, 상기 활동들은 서로 모순되지 않고 양립 가능하다. 상기 활동 관리부(130)는 상기 대표 활동 선택의 기준 및 활동 모델(도 3 참조)을 기초로 대표 활동으로서 걷기 활동을 선택할 수 있다. 다른 활동들은 도 5(a)에 도시된 바와 같이 부수적인 활동이 된다.
아래는 도 5(a)에 도시된 활동 모델을 기초로, 상기 활동 관리부(130)에 의해 활동 로그를 Activity Streams의 표기법으로 기재한 예이다.
{ totalItems,
items: [objectType, id, actor, displayName, (location),
startTime, endTime,
actions: [id, verb, (object | result)], ... ], ... }
활동 관계가 양립 가능한 경우, 활동 표기법은 시공간 정보를 갖는 대표 활동의 요약이 되고, 부수적인 활동들은 대표 활동 아래 추가된다.
한편, 걷기 및 뛰기 활동은 사용자가 동시에 수행할 수 없으므로, 서로 상호 배타적이다. 또한, 센서가 동일한 성능을 가지는 경우, 그들의 관계는 도 5(b) 및 도 3에 보여지는 바와 같이 상호 배타적이다. 이러한 경우, 활동 모델은 활동 중에 하나를 대표 활동으로 선택하고, 선택된 활동이 대표인지 아닌지 선택하도록 사용자에게 결정을 요구할 수 있다.
대표 활동의 선택이 잘못된 경우, 상기 활동 관리부(130)는 자신의 선택에 대해 낮은 가중치를 부여하고, 사용자의 선택을 대표 활동으로 사용한다. 또한, 상기 활동 관리부(130)의 매시업 결과가 사용자의 기대와 다른 경우, 사용자는 매시업 결과를 수동으로 재구성할 수 있다.
상기 출력부(150)는 추출된 상기 사용자의 활동을 의미(semantic) 단위로 표현한다. 상기 출력부(150)는 상기 표시부를 통해 상기 활동 관리부(130)에 의해 수집된 매시업 활동의 결과를 출력하여 시각적으로 가시화할 수 있다.
상기 표시부는 사용자 인터페이스를 제공할 수 있고, 상기 사용자의 활동을 시간 순서로 보여줄 수 있다. 예를 들어, 사용자의 활동이 계층적으로 표시되고, 사용자가 특정 활동을 선택할 때 해당 활동에 대한 정보를 표시하고, 선택된 활동이 대표 활동이라면 하위 활동을 표시할 수 있다.
상기 출력부(150)는 상기 표시부를 통해 활동 특징에 기초하여 표 또는 지도를 이용하여 활동 설명을 시각적으로 도시할 수 있을 뿐만 아니라 상기 매시업 활동의 결과에 연계되는 어플리케이션, 추천 서비스 등을 제공할 수 있고, 사용자에게 직관적인 인지 가능성을 제공하기 위해 가상 현실 및 증강 현실을 통해 시각적인 표시를 제공할 수도 있다.
상기 출력부(150)는 사용자가 선택한 활동의 종류와 시간에 따라 시공간 정보를 중심으로 표현한다. 활동은 시간 순서에 따라 표현되며, 공간 정보가 있는 경우 지도를 이용하여 시작 지점, 끝 지점 및 중간 경우 지점이 표현될 수 있다. 아이콘들은 활동 또는 센서의 유형을 나타나기 위해 사용될 수 있다.
상기와 같이, 본 발명은 이종 센서들의 로깅을 위한 공통의 포맷을 제공하고 프로토 타입의 실행에 의해 의미 있는 통찰력을 얻기 위해 유용하게 활용될 수 있다. 본 발명에서 제안되는 활동 매시업 모델은 활동 모니터링 및 사물 인터넷(Internet of Things; IoT) 장치로부터 수집되는 센서 데이터의 누적에 의해 학습되는 개인의 패턴을 위한 프레임 워크를 제공할 수 있다. 또한, 사용자의 행동과 센서 사용 패턴에 대한 개인 패턴 학습을 통해 개별 사용자에게 맞는 개인 활동 모델을 구성할 수 있으며, 이를 활용하여 개인별 맞춤 건강 관리 및 문제점 등을 제공할 수 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 이종 센서 매시업 방법을 설명하는 흐름도이다.
본 실시예에 따른 이종 센서 매시업 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
또는, 본 실시예에 따른 이종 센서 매시업 방법은, 이종 센서 매시업 및 매시업 결과의 가시화를 지원하기 위한 소프트웨어(어플리케이션)에 의해 실행될 수 있다.
도 6을 참조하면, 본 실시예에 따른 이종 센서 매시업 방법은, 적어도 하나의 센서로부터 활동 로그(activity log)를 수집한다(단계 S10). 상기 센서로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서로부터 활동 로그가 발생할 때마다 수집할 수 있다. 또한, 사용자가 입력하는 정보를 수집할 수도 있다.
상기 적어도 하나의 센서는 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 중 적어도 하나일 수 있다.
상기 수집된 정보는 로그 정보의 수준에 따라 센서 관계를 정의한 센서 모델(sensor model)에 따라, 분류된다. 상기 센서 모델은 센서를 물리 센서(physical sensor), 활동 센서(activity sensor), 소셜 센서(social sensor)로 분류할 수 있다. 상기 센서 모델은 계층적으로 형성되며, 이미 구축되어 있는 모델을 특정하여 사용할 수도 있고, 사용자가 모델을 새로이 구축하거나 추가, 삭제, 수정 등 업데이트를 통해 관리될 수도 있다.
상기 활동 로그가 수집되면, 수집된 활동 로그를 공통의 표현 형식으로 변환한다(단계 S30). 이는 공통의 표현 형식을 정의한 표현 모델(markup model)을 참조하여 이루어지며, 상기 공통의 표현 형식으로 변환된 활동 로그를 저장할 수 있다.
이종 센서들로부터 수집된 활동 로그는 센서 제공자에 따라 다른 표기법을 사용하기 때문에, 각종 활동 로그를 위한 공통의 활동 표현 언어가 필요하다. 예를 들어, 활동 표현을 위한 표기법으로서 Activity Streams을 사용할 수 있다.
수집된 활동 로그를 공통의 표현 형식으로 변환환 후에는, 활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출한다(단계 S50). 상기 활동 모델은 상기 센서 모델을 사용하여 수집한 활동들을 인식하고 요약하기 위해 활동 간의 관계를 정의한다.
사용자의 활동을 추출하는 단계(단계 S50)는, 상기 활동 로그를 시간 순서로 재정렬하고, 동일 시간대에 공존하는(coexistent) 활동 로그로부터 사용자의 대표 활동을 선택한다.
동일 시간대에 발생한 활동 로그가 2 개 이상인 경우, 대표 활동 선택의 기준으로 정해진 우선 순위에 따라 대표 활동을 선택한다. 대표 활동 선택의 기준은 미리 정해진 순서에 따라 적용되며, 사용자가 정의한 기준이 있는 경우 정해진 기준보다 우선권을 가질 수 있다.
또한, 상기 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지 판단하고, 상기 활동들 간의 관계가 양립 가능한 관계인 경우, 상기 활동들을 상기 대표 활동 및 상기 대표 활동에 부수적인 활동으로 선택한다.
나아가, 추출된 상기 사용자의 활동을 의미(semantic) 단위로 출력한다(단계 S50). 즉, 수집된 매시업 활동의 결과를 시간 순서로 표현할 수 있고, 사용자가 활동을 선택하는 경우 활동 특징에 기초하여 표 또는 지도를 이용하여 활동 설명을 제공할 수 있다. 이에 따라, 방대한 정보들 중 불필요한 정보를 제외하고 의미 있는 정보를 사용자 중심으로 제공할 수 있다.
출력된 의미 단위의 정보는 사용자의 단말기의 표시부를 통해 가시화되며, 상기 표시부에 사용자 인터페이스도 제공될 수 있다. 또한, 상기 표시부를 통해 활동 특징에 기초하여 표 또는 지도를 이용하여 활동 설명을 시각적으로 도시할 수 있을 뿐만 아니라 상기 매시업 활동의 결과에 연계되는 어플리케이션, 추천 서비스 등을 제공할 수 있고, 사용자에게 직관적인 인지 가능성을 제공하기 위해 가상 현실 및 증강 현실을 통해 시각적인 표시를 제공할 수도 있다.
이와 같은, 이종 센서 매시업 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에서 제공하는 이종 센서 매시업 방법은 개별적 건강 관리에 활용되어 개인별 맞춤 건강 관리 및 문제점 등을 제공할 수 있을 것으로 기대된다. 나아가, 다양한 분야에서 이종의 센서 정보를 통합하기 위해 널리 활용될 수 있을 것이다.
1: 시스템 10: 이종 센서 매시업 장치
110: 정보 수집부 130: 활동 관리부
150: 출력부

Claims (28)

  1. 적어도 하나의 센서로부터 활동 로그(activity log)를 수집하는 단계;
    수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 단계;
    활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출하는 단계; 및
    추출된 상기 사용자의 활동을 의미(semantic) 단위로 출력하는 단계를 포함하고,
    상기 활동 로그로부터 사용자의 활동을 추출하는 단계는,
    상기 활동 로그를 시간 순서로 재정렬하는 단계;
    동일 시간대에 공존하는(coexistent) 활동 로그가 2 개 이상인 경우, 상기 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지 판단하는 단계; 및
    상기 활동들 간의 관계가 양립 가능한 관계인 경우, 상기 활동들을 대표 활동 및 상기 대표 활동에 부수적인 활동으로 선택하고, 상기 활동들 간의 관계가 상호 배타적 관계인 경우, 대표 활동 선택의 기준에 따라 하나의 대표 활동을 선택하는 단계를 포함하는, 이종 센서 매시업 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는,
    로그 정보의 수준에 따라 센서 관계를 정의한 센서 모델(sensor model)에 따라, 수집된 상기 활동 로그를 분류하는 단계를 포함하는, 이종 센서 매시업 방법.
  7. 제6항에 있어서,
    상기 센서 모델은 센서를 물리 센서(physical sensor), 활동 센서(activity sensor), 소셜 센서(social sensor)로 분류하는, 이종 센서 매시업 방법.
  8. 제1항에 있어서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는,
    상기 센서로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서로부터 활동 로그가 발생할 때마다 수집하는, 이종 센서 매시업 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 센서로부터 활동 로그를 수집하는 단계는,
    사용자가 입력하는 정보를 수집하는, 이종 센서 매시업 방법.
  10. 제1항에 있어서, 상기 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 단계는,
    공통의 표현 형식을 정의한 표현 모델(markup model)을 이용하는, 이종 센서 매시업 방법.
  11. 제1항에 있어서,
    상기 공통의 표현 형식으로 변환된 활동 로그를 저장하는 단계를 더 포함하는, 이종 센서 매시업 방법.
  12. 제1항에 있어서,
    상기 적어도 하나의 센서는 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 중 적어도 하나를 포함하는, 이종 센서 매시업 방법.
  13. 제1항에 있어서,
    출력되는 상기 사용자의 활동을 의미 단위로 표시하는 단계를 더 포함하는, 이종 센서 매시업 방법.
  14. 제13항에 있어서, 상기 출력되는 사용자의 활동을 의미 단위로 표시하는 단계는,
    대응하는 어플리케이션과 연계하여 표시하거나, 가상 현실 또는 증강 현실로 표시하는, 이종 센서 매시업 방법.
  15. 제1항, 제6항 내지 제14항 중 어느 하나의 항에 따른 이종 센서 매시업 방법을 수행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
  16. 적어도 하나의 센서로부터 활동 로그(activity log)를 수집하는 정보 수집부;
    수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는 변환부;
    활동들 사이의 관계를 정의한 활동 모델(activity model)을 기초로, 상기 활동 로그로부터 사용자의 활동을 추출하는 활동 관리부; 및
    추출된 상기 사용자의 활동을 의미(semantic) 단위로 출력하는 출력부를 포함하고,
    상기 활동 관리부는, 상기 활동 로그를 시간 순서로 재정렬하고, 동일 시간대에 공존하는(coexistent) 활동 로그가 2 개 이상인 경우, 상기 2 개 이상의 활동 로그와 대응하는 활동들 간의 관계가 양립 가능한(complementarily)지 또는 상호 배타적(mutually exclusive)인지 판단하고, 상기 활동들 간의 관계가 양립 가능한 관계인 경우, 상기 활동들을 대표 활동 및 상기 대표 활동에 부수적인 활동으로 선택하고, 상기 활동들 간의 관계가 상호 배타적 관계인 경우, 대표 활동 선택의 기준에 따라 하나의 대표 활동을 선택하는, 이종 센서 매시업 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제16항에 있어서, 상기 정보 수집부는,
    로그 정보의 수준에 따라 센서 관계를 정의한 센서 모델(sensor model)에 따라, 수집된 상기 활동 로그를 분류하는, 이종 센서 매시업 장치.
  21. 제20항에 있어서,
    상기 센서 모델은 센서를 물리 센서(physical sensor), 활동 센서(activity sensor), 소셜 센서(social sensor)로 분류하는, 이종 센서 매시업 장치.
  22. 제16항에 있어서, 상기 정보 수집부는,
    상기 센서로부터 활동 로그를 주기적으로 수집하거나 또는 상기 센서로부터 활동 로그가 발생할 때마다 수집하는, 이종 센서 매시업 장치.
  23. 제16항에 있어서, 상기 정보 수집부는,
    사용자가 입력하는 정보를 수집하는, 이종 센서 매시업 장치.
  24. 제16항에 있어서, 상기 변환부는,
    공통의 표현 형식을 정의한 표현 모델(markup model)을 이용하여, 수집된 상기 활동 로그를 공통의 표현 형식으로 변환하는, 이종 센서 매시업 장치.
  25. 제16항에 있어서,
    상기 공통의 표현 형식으로 변환된 활동 로그를 저장하는 데이터베이스를 더 포함하는, 이종 센서 매시업 장치.
  26. 제16항에 있어서,
    상기 적어도 하나의 센서는 웨어러블(wearable) 기기, 모바일(mobile) 기기, 웨어러블 기기 또는 모바일 기기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기에 설치된 어플리케이션, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 부착되거나 포함되는 센서, 웨어러블 기기 또는 모바일 기기와 통신하는 단말기에 설치된 어플리케이션 중 적어도 하나를 포함하는, 이종 센서 매시업 장치.
  27. 제16항에 있어서,
    상기 출력부로부터 출력되는 사용자의 활동을 의미 단위로 표시하는 표시부를 더 포함하는, 이종 센서 매시업 장치.
  28. 제27항에 있어서, 상기 표시부는,
    대응하는 어플리케이션과 연계하여 표시하거나, 가상 현실 또는 증강 현실로 표시하는, 이종 센서 매시업 장치.
KR1020140171946A 2014-12-03 2014-12-03 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101685495B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140171946A KR101685495B1 (ko) 2014-12-03 2014-12-03 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치
US14/693,225 US20160164975A1 (en) 2014-12-03 2015-04-22 Method and apparatus for mashing up heterogeneous sensors, and recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140171946A KR101685495B1 (ko) 2014-12-03 2014-12-03 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20160066769A KR20160066769A (ko) 2016-06-13
KR101685495B1 true KR101685495B1 (ko) 2016-12-28

Family

ID=56095394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140171946A KR101685495B1 (ko) 2014-12-03 2014-12-03 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (2)

Country Link
US (1) US20160164975A1 (ko)
KR (1) KR101685495B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237388B2 (en) * 2016-12-12 2019-03-19 Adidas Ag Wireless data communication and power transmission athletic apparel module
US11169660B2 (en) * 2016-12-14 2021-11-09 Microsoft Technology Licensing, Llc Personalized adaptive task framework for user life events
CN110048992B (zh) * 2018-01-17 2021-10-15 北京中科晶上超媒体信息技术有限公司 一种构建动态异构冗余架构的方法
FI128841B (en) * 2018-03-22 2021-01-15 Univ Helsinki Sensor calibration

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101283170B1 (ko) * 2011-12-15 2013-07-05 군산대학교산학협력단 이종 센서 네트워크에서 이종 데이터를 처리하기 위한 시스템, 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
KR101113690B1 (ko) * 2009-09-15 2012-02-14 한국과학기술원 활동 정보 분석 장치 및 그 방법
US8738321B2 (en) * 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for classification of geographic locations for tracked activity
KR20120095674A (ko) * 2011-02-21 2012-08-29 숭실대학교산학협력단 휴대용 기기 기반의 사용자 관계 추론장치 및 방법
US8930300B2 (en) * 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
US9363654B2 (en) * 2013-10-28 2016-06-07 At&T Intellectual Property I, L.P. Virtual historical displays
US9481326B2 (en) * 2013-11-06 2016-11-01 Harman International Industries, Incorporated Adapting vehicle systems based on wearable devices
US10473684B2 (en) * 2014-10-17 2019-11-12 Nokia Technologies Oy Method and apparatus for providing movement detection based on air pressure data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101283170B1 (ko) * 2011-12-15 2013-07-05 군산대학교산학협력단 이종 센서 네트워크에서 이종 데이터를 처리하기 위한 시스템, 장치 및 방법

Also Published As

Publication number Publication date
US20160164975A1 (en) 2016-06-09
KR20160066769A (ko) 2016-06-13

Similar Documents

Publication Publication Date Title
US10924564B2 (en) Apparatus and methods for providing recommendations based on environmental data
CN105404629B (zh) 确定地图界面的方法和装置
US10129336B2 (en) Content management method and cloud server therefor
Prelipcean et al. MEILI: A travel diary collection, annotation and automation system
KR101685495B1 (ko) 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20170066415A (ko) 문맥적 데이터를 이용한 비디오 편집 및 클러스터를 이용한 컨텐트 검색
US10755487B1 (en) Techniques for using perception profiles with augmented reality systems
CN107077292A (zh) 剪贴信息提供方法和装置
CN105868390A (zh) 个性化信息推荐方法及装置
Adams et al. Sensing and using social context
CN110476162B (zh) 使用导航助记符控制显示的活动信息
CN103870550A (zh) 基于Android系统的用户行为模式获取方法及其系统
US10579220B2 (en) Method and system for story development with a dynamic grid
US20200186869A1 (en) Method and apparatus for referencing, filtering, and combining content
CN105786897B (zh) 用于提供基于情境感知的用户关注信息的情境感知本体构建方法
EP2962213A1 (en) Federated social media analysis system and method thereof
Doulamis et al. EasyTracker: An Android application for capturing mobility behavior
US20160179901A1 (en) Computer-Implemented System And Method For Providing Selective Contextual Exposure Within Social Network Situations
Sediyono et al. Software requirement specification of intelligent system for monitoring and preventing smartphone addiction
KR20160059980A (ko) 제공된 콘텐트를 위한 참조 정보 관리 장치 및 방법
Badii et al. CityScripts: Unifying Web, IoT and Smart City Services in a Smart Citizen Workspace.
CN109254918A (zh) 基于路径差异的代码测试系统
CN109144878A (zh) 基于路径差异的代码测试方法
KR20170082427A (ko) 이동 장치 및 그의 정보 획득 및 검색 방법
Su et al. KaitoroCap: A document navigation capture and visualisation tool

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 4