KR102359359B1 - 사용자 단말 장치 및 그 제어 방법 - Google Patents

사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102359359B1
KR102359359B1 KR1020150165794A KR20150165794A KR102359359B1 KR 102359359 B1 KR102359359 B1 KR 102359359B1 KR 1020150165794 A KR1020150165794 A KR 1020150165794A KR 20150165794 A KR20150165794 A KR 20150165794A KR 102359359 B1 KR102359359 B1 KR 102359359B1
Authority
KR
South Korea
Prior art keywords
food
image
type
characteristic information
user
Prior art date
Application number
KR1020150165794A
Other languages
English (en)
Other versions
KR20170060972A (ko
Inventor
강성민
한흥우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020150165794A priority Critical patent/KR102359359B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP16868920.6A priority patent/EP3335189A4/en
Priority to CN201680069788.9A priority patent/CN108292420B/zh
Priority to US15/361,119 priority patent/US10521903B2/en
Priority to CN202011133739.1A priority patent/CN112215191A/zh
Priority to PCT/KR2016/013673 priority patent/WO2017091024A1/en
Publication of KR20170060972A publication Critical patent/KR20170060972A/ko
Priority to US16/517,162 priority patent/US20190340757A1/en
Priority to US16/517,187 priority patent/US20190340758A1/en
Priority to US16/517,267 priority patent/US10861153B2/en
Priority to US17/022,892 priority patent/US11568981B2/en
Priority to KR1020220013679A priority patent/KR102519162B1/ko
Application granted granted Critical
Publication of KR102359359B1 publication Critical patent/KR102359359B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nutrition Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Tourism & Hospitality (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는 촬영 이미지를 획득하기 위한 촬영부, 음식 섭취 이력을 저장하는 저장부, 촬영 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보 및 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정하는 프로세서 및 추정되는 음식의 종류에 대한 관련 정보를 디스플레이하는 디스플레이부를 포함한다.

Description

사용자 단말 장치 및 그 제어 방법 { USER TERMINAL APPRATUS AND CONTROL METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 식습관 및 건강을 관리할 수 있는 사용자 단말 장치 및 그 제어 방법에 대한 것이다.
현대 사회가 점차 서구화됨에 따라, 비만 인구가 늘어나면서 식습관 관리에 대한 필요성이 증가하고 있다. 또한, 최근에는 사람들의 미적 욕구 또한 증가하면서 단순한 건강을 위한 목적뿐만 아니라 몸매 관리를 위한 수단으로 다이어트 등을 도와주는 다양한 프로그램이 각광받고 있다.
한편, 이와 같은 다이어트를 위해서 자신의 식습관을 정확히 파악할 필요가 있다. 예를 들어, 하루 내지는 일정 기간 동안 섭취한 음식의 종류, 양, 칼로리, 섭취 시간 등을 알면 얼마나 음식을 섭취하였고 섭취한 칼로리를 소비하려면 얼마만큼의 운동을 해야하는지 등을 알 수 있다.
한편, 스마트 폰 등과 같은 모바일 기기의 보급이 확산됨에 따라 식생활 관련 분야에서 사용자의 음식 섭취에 있어서도 이를 도와주기 위한 다양한 어플리케이션 서비스가 나타나고 있다. 이에 대한 대표적인 어플리케이션으로는 'S헬스(S-Health)', 'Noom diet' 등을 들 수 있다.
그러나, 종래의 이러한 어플리케이션들은 사용자가 텍스트 기반으로 섭취 음식의 종류, 섭취 시간, 섭취 양 등을 선택하거나 입력하여야 하므로, 사용자가 매 끼니마다 어플리케이션을 실행하여 상술한 정보를 입력하는 것은 시간이 많이 소요되고 불편하여 현실적인 어려움이 있었다.
이에 따라, 사용자가 좀 더 쉽게 섭취한 음식을 관리할 수 있도록 하는 방안이 요구된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 이미지 인식을 통해 사용자가 섭취한 음식을 간편하게 입력할 수 있도록 하는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 촬영 이미지를 획득하기 위한 촬영부, 음식 섭취 이력을 저장하는 저장부, 상기 촬영 이미지로부터 음식 이미지를 추출하고, 상기 추출된 음식 이미지의 특징 정보 및 상기 저장된 음식 섭취 이력에 기반하여 상기 촬영 이미지에 포함된 음식의 종류를 추정하는 프로세서 및 상기 추정되는 음식의 종류에 대한 관련 정보를 디스플레이하는 디스플레이부를 포함한다.
또한, 상기 프로세서는, 상기 음식 섭취 이력에 기초하여 각 음식 종류 별로 가중치를 부여하며, 상기 촬영 이미지에 포함된 음식이 복수의 서로 다른 종류의 음식으로 추정 가능하면, 상기 추정 가능한 종류들 중에서 상기 가중치가 높은 종류의 음식으로 추정할 수 있다.
여기서, 상기 음식 섭취 이력은, 섭취한 음식 종류 및 섭취 빈도를 포함하며, 상기 프로세서는, 각 음식 종류 중에서 상기 섭취 빈도가 높은 순서대로 높은 가중치를 부여하여 상기 저장부에 저장할 수 있다.
또한, 상기 프로세서는, 상기 추출된 음식 이미지의 특징 정보에 기반하여 추정될 수 있는 음식의 종류 중 어느 하나를 선택할 수 있는 목록을 상기 가중치가 높은 음식 종류 순서대로 디스플레이하고, 상기 추출된 음식 이미지를 상기 목록에서 사용자 입력에 따라 선택된 음식 종류로 인식할 수 있다.
또한, 상기 프로세서는, 상기 촬영 이미지를 상기 저장부에 저장하고, 기 설정된 이벤트가 발생하면, 상기 저장부에 저장된 촬영 이미지들 중에서 상기 음식 이미지가 포함된 촬영 이미지를 선별하며, 상기 선별된 촬영 이미지를 촬영 시간 순서대로 정렬하여 표시하는 타임 라인(timeline) 형태의 UI(User Interface)를 상기 디스플레이부에 디스플레이할 수 있다.
여기서, 상기 관련 정보는, 상기 추정되는 음식의 종류 및 칼로리 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 사용자 입력 및 상기 추정의 결과 중 적어도 하나에 따라 상기 음식 섭취 이력을 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 촬영된 이미지로부터 상기 음식 이미지가 복수 개 추출되면, 상기 추출된 음식 이미지 중 적어도 하나를 선택할 수 있는 UI를 제공하며, 상기 UI를 통해 선택된 음식 이미지의 음식 종류를 추정할 수 있다.
또한, 상기 프로세서는, 사용자로부터 입력된 상기 촬영 이미지에 포함된 음식의 양으로부터 상기 사용자가 섭취한 칼로리를 산출하여 디스플레이하고, 상기 입력된 음식의 양을 상기 추정되는 음식의 종류와 동일한 종류의 음식의 양을 추정하기 위한 정보로 저장할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 사용자 단말 장치는, 촬영 이미지를 획득하기 위한 촬영부, 음식 섭취 이력을 저장하는 외부 서버와 통신을 수행하기 위한 통신부, 상기 촬영 이미지로부터 음식 이미지를 추출하고, 상기 추출된 음식 이미지의 특징 정보를 상기 외부 서버로 전송하며, 상기 외부 서버로부터 상기 추출된 음식 이미지의 특징 정보 및 상기 음식 섭취 이력에 기반하여 추정되는 음식의 종류에 대한 관련 정보를 수신하는 프로세서 및 상기 수신된 관련 정보를 디스플레이하는 디스플레이부를 포함한다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은, 촬영 이미지를 획득하는 단계, 상기 촬영 이미지로부터 음식 이미지를 추출하는 단계, 상기 추출된 음식 이미지의 특징 정보 및 기 저장된 음식 섭취 이력에 기반하여 상기 촬영 이미지에 포함된 음식의 종류를 추정하는 단계 및 상기 추정되는 음식의 종류에 대한 관련 정보를 디스플레이하는 단계를 포함한다.
또한, 상기 기 저장된 음식 섭취 이력에 기초하여 각 음식 종류 별로 가중치를 부여하는 단계를 더 포함하고, 상기 추정하는 단계는, 상기 촬영 이미지에 포함된 음식이 복수의 서로 다른 종류의 음식으로 추정 가능하면, 상기 추정 가능한 종류들 중에서 상기 가중치가 높은 종류의 음식으로 추정할 수 있다.
여기서, 상기 음식 섭취 이력은, 섭취한 음식 종류 및 섭취 빈도를 포함하며, 상기 가중치를 부여하는 단계는, 각 음식 종류 중에서 상기 섭취 빈도가 높은 순서대로 높은 가중치를 부여하여 저장할 수 있다.
또한, 상기 추정하는 단계는, 상기 추출된 음식 이미지의 특징 정보에 기반하여 추정될 수 있는 음식의 종류 중 어느 하나를 선택할 수 있는 목록을 상기 가중치가 높은 음식 종류 순서대로 디스플레이하는 단계 및 상기 추출된 음식 이미지를 상기 목록에서 사용자 입력에 따라 선택된 음식 종류로 인식하는 단계를 포함할 수 있다.
또한, 상기 촬영 이미지를 저장하는 단계를 더 포함하고, 상기 디스플레이하는 단계는, 기 설정된 이벤트가 발생하면, 상기 저장된 촬영 이미지들 중에서 상기 음식 이미지가 포함된 촬영 이미지를 선별하는 단계 및 상기 선별된 촬영 이미지를 촬영 시간 순서대로 정렬하여 표시하는 타임 라인(timeline) 형태의 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다.
여기서, 상기 관련 정보는, 상기 추정되는 음식의 종류 및 칼로리 정보 중 적어도 하나를 포함할 수 있다.
또한, 사용자 입력 및 상기 추정의 결과 중 적어도 하나에 따라 상기 음식 섭취 이력을 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 추정하는 단계는, 상기 촬영된 이미지로부터 상기 음식 이미지가 복수 개 추출되면, 상기 추출된 음식 이미지 중 적어도 하나를 선택할 수 있는 UI를 제공하며, 상기 UI를 통해 선택된 음식 이미지의 음식 종류를 추정할 수 있다.
또한, 상기 디스플레이하는 단계는, 사용자로부터 입력된 상기 촬영 이미지에 포함된 음식의 양으로부터 상기 사용자가 섭취한 칼로리를 산출하여 디스플레이하고, 상기 입력된 음식의 양을 상기 추정되는 음식의 종류와 동일한 종류의 음식의 양을 추정하기 위한 정보로 저장하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 사용자 단말 장치의 제어 방법은, 촬영 이미지를 획득하는 단계, 상기 촬영 이미지로부터 음식 이미지를 추출하는 단계, 상기 추출된 음식 이미지의 특징 정보를 음식 섭취 이력을 저장하는 외부 서버로 전송하는 단계, 상기 외부 서버로부터 상기 추출된 음식 이미지의 특징 정보 및 상기 음식 섭취 이력에 기반하여 추정된 음식의 종류에 대한 관련 정보를 수신하는 단계 및 상기 수신된 관련 정보를 디스플레이하는 단계를 포함한다.
상술한 본 발명의 다양한 실시 예에 따르면, 사용자가 좀 더 편리하게 섭취한 음식에 대한 정보를 사용자 단말 장치에 실행된 어플리케이션 상에 입력할 수 있으며, 사용자별로 사용자 맞춤형 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 음식을 촬영하여 음식의 종류를 추정하는 방법을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른, 각 음식 종류 별로 가중치가 부여되는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 촬영한 음식을 가중치가 높은 종류의 음식으로 추정하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 인식 범위 외의 음식 종류를 업데이트하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른, 촬영 이미지가 디스플레이되는 타임 라인 형태의 UI를 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른, 저장된 촬영 이미지 중에서 음식 이미지가 포함된 촬영 이미지를 선별하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른, 사용자가 선택한 음식만 그 종류를 추정하도록 하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 저장부의 구성을 상세히 도시한 블록도,
도 10은 본 발명의 일 실시 예에 따른, 머신 러닝 기법에 따른 음식 인식 과정을 설명하기 위한 도면,
도 11은 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도,
도 12는 본 발명의 일 실시 예에 따른, 사용자 DB를 포함하는 외부 서버와 통신을 수행하여 음식의 종류를 추정하는 방법을 설명하기 위한 도면,
도 13은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 14는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도,
도 15는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도,
도 16은 본 발명의 일 실시 예에 따른, 음식 종류를 추정하는 과정을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도이다.
본 발명의 일 실시 예에 따른 사용자 단말 장치(100)는 카메라 모듈이 포함된 모바일 전자 장치일 수 있다. 예를 들면, 사용자 단말 장치(100)는 스마트 폰(smart phone), 태블릿 PC(tablet Personal Computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 랩탑 PC(laptop Personal Computer), 넷북 컴퓨터(netbook computer), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 네비게이션(navigation), 카메라(camera) 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 전자 안경과 같은 HMD(Head Mounted Device), 전자 앱서서리(appcessory) 및 스마트 워치(smartwatch) 등을 포함할 수 있다. 다만, 본 발명에 따른 사용자 단말 장치(100)는 상술한 기기들에 한정되지 않음은 당업자에게 자명할 것이다.
도 1에 따르면 본 발명의 일 실시 예에 따른 사용자 단말 장치(100)는 촬영부(110), 저장부(120), 프로세서(130) 및 디스플레이부(140)를 포함한다.
촬영부(110)는 렌즈를 통해 입력되는 이미지를 촬영하여 촬영 이미지를 획득하기 위한 구성이다. 촬영부(110)는 카메라 모듈을 포함하며 사용자 단말 장치(100)의 전면 또는 후면에 구비될 수 있다. 사용자 단말 장치(100)의 카메라 제어 어플리케이션(촬영 어플리케이션 등)이 실행되거나, 실행된 어플리케이션 상에서 촬영과 관련된 제어 입력이 입력되면 촬영부(110)의 카메라 모듈이 구동될 수 있다. 예컨대, 사용자로부터 촬영 명령을 수신하면, 프로세서(130)는 촬영부(110)를 제어하여 촬영을 실행할 수 있다. 이때, 촬영된 이미지는 각종 이미지 프로세싱을 통해 코딩 및 압축 처리되어 저장부(120)에 저장될 수 있다.
저장부(120)는 사용자의 음식 섭취 이력을 저장하기 위한 구성으로, HDD(Hard Disk Drive), SSD(Solid State Drive), DRAM 메모리, SRAM 메모리, FRAM 메모리 또는 플래시 메모리 중 하나로 구현될 수 있다. 여기서, 음식 섭취 이력이란 사용자가 섭취한 음식에 대한 정보로서, 사용자로부터 직접 섭취한 음식에 대해 입력받은 정보이거나 촬영부(110)로부터 촬영된 이미지를 입력받아 추정되는 정보일 수 있다. 예를 들어, 음식 섭취 이력은 사용자가 섭취한 음식의 종류에 대한 정보, 섭취 일시 등을 포함할 수 있으며, 이로부터 산출된 특정 음식 종류에 대한 사용자의 섭취 빈도가 음식 섭취 이력에 포함될 수 있다.
또한, 저장부(120)는 촬영부(110)로부터 촬영된 이미지로부터 추출된 특징값과 비교하여 음식의 종류를 추정하기 위한 복수의 음식 종류에 대한 특징값을 각각 저장할 수 있다. 또한, 저장부(120)는 음식의 종류별 칼로리 데이터를 저장할 수 있다.
프로세서(130)는 사용자 단말 장치(100)의 전반적인 동작을 제어하는 구성이다. 프로세서(130)는 촬영 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보 및 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정할 수 있다.
구체적으로, 프로세서(130)는 촬영 이미지로부터 색상, 형상 및 질감 등에 대한 영상의 특징 정보를 이용하여 촬영 이미지에 포함된 적어도 하나의 음식 영역에 대한 음식 이미지를 추출할 수 있다. 이때, 프로세서(130)는 추출된 음식 이미지의 특징 정보와 저장부(120)에 저장된 음식 종류에 대한 특징 값을 비교하여 음식의 종류가 무엇인지 추정할 수 있다. 프로세서(130)는 촬영 이미지로부터 특징 정보를 쉽게 추출하기 위해 촬영 이미지를 전처리할 수 있다. 예를 들어, 프로세서(130)는 촬영 이미지를 축소 또는 확대하고, 촬영 이미지로부터 음식의 경계를 인식할 수 있다. 음식의 경계를 인식하는 방법으로 선 허프 변환(Line Hough transform), 이미지 임계화(Image Thresholding) 또는 질감 분석(Texture analysis) 기법이 사용될 수 있다.
한편, 사용자 단말 장치(100) 내에 모든 음식 종류에 대한 특징 값을 저장하는 것은 데이터의 크기상 한계가 있으며, 그것이 가능하다 하더라도 음식의 종류에 대한 인식률이 매우 떨어질 수 있다는 문제가 있다. 이에 따라, 프로세서(130)는 음식 섭취 이력에 기초하여 각 음식 종류별로 가중치를 부여하며, 촬영 이미지에 포함된 음식이 복수의 서로 다른 종류의 음식으로 추정 가능하면, 해당 음식을 추정 가능한 종류들 중에서 가중치가 가장 높은 종류의 음식으로 추정할 수 있다.
예를 들어, 사용자가 주로 섭취하는 음식의 종류가 100가지라면, 프로세서(130)는 사용자가 주로 섭취하는 100가지 음식에 대하여 가중치를 부여할 수 있다. 이 후, 프로세서(130)가 촬영 이미지로부터 추출된 음식 이미지에 포함된 음식의 종류를 추정할 때, 특징 정보의 유사함으로 인해 해당 음식 이미지가 사용자가 주로 섭취하는 음식으로서 가중치가 부여된 버섯 스파게티 또는 사용자가 섭취한 이력이 없는 음식으로서 가중치가 부여되지 않은 해산물 스파게티 중 어느 하나로 추정 가능한 경우가 있을 수 있다. 이때, 프로세서(130)는 음식 이미지에 포함된 음식의 종류를 가중치가 부여된 버섯 스파게티로 추정함으로써, 사용자가 주로 섭취하는 음식 종류에 대해 더 높은 추정 확률을 부여할 수 있다.
여기서, 프로세서(130)는 각 음식 종류 중에서 섭취 빈도가 높은 순서대로 높은 가중치를 부여할 수 있다. 즉, 특정 음식 종류에 대한 높은 섭취 빈도는 해당 특정 음식 종류에 대한 높은 가중치를 의미하며, 사용자가 해당 특정 음식 종류에 대하여 촬영 이미지를 획득하는 경우, 해당 특정 음식 종류와 유사한 특징 정보를 갖는 여러 다른 종류의 음식들 중에서 촬영 이미지에 포함된 음식의 종류가 해당 특정 음식으로 추정될 확률이 가장 높음을 의미한다.
예를 들어, 프로세서(130)가 촬영 이미지로부터 추출된 음식 이미지에 포함된 음식의 종류를 추정할 때, 특징 정보의 유사함으로 인해 해당 음식 이미지가 사용자가 주로 섭취하는 음식으로서 가중치가 10 포인트 부여된 소이 밀크 또는 마찬가지로 섭취 이력이 있는 음식으로서 가중치가 5 포인트 부여된 저지방 밀크 중 어느 하나로 추정 가능한 경우가 있을 수 있다. 이때, 프로세서(130)는 음식 이미지에 포함된 음식의 종류를 가중치가 더 높게 부여된 소이 밀크로 추정함으로써, 사용자의 섭취 빈도가 더 높은 음식 종류에 대해 더 높은 추정 확률을 부여할 수 있다.
한편, 프로세서(130)는 이러한 방식으로 음식의 종류를 추정하고, 사용자 입력 또는 이러한 추정 결과 중 적어도 하나에 따라 음식 섭취 이력을 업데이트할 수 있다.
디스플레이부(140)는 정보를 표시하는 구성이다. 특히, 디스플레이부(140)는 추정되는 음식의 종류에 대한 관련 정보를 디스플레이할 수 있다. 디스플레이부(140)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), 투명 디스플레이(transparent display) 및 플렉서블 디스플레이(flexible display) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(140) 내에는 a-si TFT, LTPS(Low Temperature Poly Silicon) TFT, OTFT(Organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 음식을 촬영하여 음식의 종류를 추정하는 방법을 설명하기 위한 도면이다.
도 2에 따르면, 사용자 단말 장치(100)를 이용하여 유리 컵에 담긴 소이 밀크(21)를 촬영하여 소이 밀크(21)에 대한 촬영 이미지를 획득하는 경우, S-헬스 어플리케이션을 실행하여 촬영 이미지에 포함된 음식의 종류를 추정할 수 있다. 또한, 이미 실행된 S-헬스 어플리케이션 내에서 사용자로부터 촬영과 관련된 제어 입력을 입력받아 촬영 이미지를 획득하고, 촬영 이미지에 포함된 음식의 종류를 추정할 수도 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따르면, S-헬스 어플리케이션이 실행된 화면(22)에서 프로세서(130)는 촬영 이미지(23)에 포함된 음식의 종류에 대한 특징 정보와 저장부(120)에 저장된 복수의 음식 종류에 대한 특징 정보를 비교하여, 촬영 이미지(23)에 포함된 음식의 종류에 대한 특징 정보가 유사한 음식 종류에 대한 목록(24)을 디스플레이할 수 있다. 이때, 특징 정보가 유사한 음식 종류에 대한 목록(24)은 전유(Whole milk), 저지방 우유(Low-fat milk), 두유(Soy milk), 바나나 우유(banana milk) 등을 포함할 수 있다.
이때, 사용자가 디스플레이된 목록(24) 중 두유 항목을 선택하면, 프로세서(130)는 해당 음식을 두유로 인식하고, 두유에 대한 관련 정보(칼로리 등)를 디스플레이할 수 있으며, 두유를 섭취했다는 정보를 저장부(120)에 저장할 수 있다. 또한, 프로세서(130)는 해당 촬영 이미지(23)에 포함된 음식 종류에 대한 특징 정보와 유사한 특징 정보를 가지는 음식 종류에 대한 목록(24) 중에서 사용자가 선택한 두유에 대하여 가중치를 부여할 수 있다. 이후, 이러한 과정이 기 설정된 횟수 만큼 반복되면, 프로세서(130)는 사용자가 두유에 대한 촬영 이미지를 획득하는 경우, 이를 두유로 추정하고 두유에 대한 관련 정보를 디스플레이할 수 있다. 이에 대한 내용은 도 3에서 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른, 각 음식 종류 별로 가중치가 부여되는 방법을 설명하기 위한 도면이다. 도 3에 도시된 바와 같이, 유사한 특징 정보를 공유하는 여러 종류의 우유들에 대하여 각각의 가중치를 부여된 테이블이 저장될 수 있다.
특히, 사용자가 두유의 특징 정보와 유사한 특징 정보를 가지는 음식 종류에 대한 목록(24) 중에서 두유를 선택하는 과정이 반복될수록 두유에 대한 가중치가 계속적으로 누적되어 부여될 수 있다. 누적된 가중치가 10으로 가장 높은 두유의 경우, 사용자가 섭취 빈도가 가장 높은 음식 종류로서, 유사한 특징 정보를 공유하는 여러 종류의 우유들 중에서 촬영 이미지에 포함되는 음식의 종류로 추정될 확률이 가장 높은 음식 종류에 해당한다. 섭취 빈도가 높은 순서인 전유, 저지방 우유, 바나나 우유 순으로 각 음식 종류에 대해 부여되는 가중치가 낮아지며, 딸기 우유의 경우 가중치가 '0'으로서 사용자가 섭취하지 않은 음식 종류에 해당한다.
다만, 가중치는 유사한 특징 정보를 공유하는 여러 종류의 음식들 중에서 섭취 빈도가 높은 음식과 섭취 빈도가 낮은 음식 간에 상대적으로 조정되는 값일 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 촬영한 음식을 가중치가 높은 종류의 음식으로 추정하는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 유사한 특징 정보를 가지는 음식 종류에 대한 목록(24)은 가중치가 높게 부여된 음식 종류 순서대로 디스플레이될 수 있다. 즉, 도 2에서 설명한 실시 예와 달리, 프로세서(130)는 가중치가 높게 부여된 음식 종류인 두유(24-1)가 가장 상위로 배치되고, 가중치가 높은 순서대로 전유(24-2), 저지방 우유(24-3), 바나나 우유(24-4) 등이 하위로 배치되는 목록(24)을 디스플레이할 수 있으며, 사용자는 목록(24) 중에서 가장 상위로 배치된 두유(24-1)를 선택하여, 음식 이미지(23)가 두유(24-1)로 인식되도록 할 수 있다. 다만, 촬영 이미지에 포함된 음식의 종류가 두유가 아닌 경우에는, 목록(24) 중에서 해당하는 음식의 종류를 선택할 수 있다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른, 인식 범위 외의 음식 종류를 업데이트하는 방법을 설명하기 위한 도면이다.
도 5a는 사용자가 섭취하고자 하는 에그 타르트에 대하여 촬영된 이미지(51) 및 이에 대한 추정 결과를 도시한 것이다. 도 5a에 도시된 바와 같이, 에그 타르트에 대하여 촬영된 이미지(51)로부터 추출된 특징 정보로부터 추정되는 인식 결과로서 머핀(52-1), 프라이드 에그(52-2), 비스킷(52-3)이 포함되는 목록(52)이 디스플레이될 수 있다. 이 경우, 목록(52)에 에그 타르트가 포함되지 않으므로 사용자가 이를 선택할 수 없기 때문에, 음식 종류를 수동으로 입력하여야 할 필요가 있다.
이때, 도 5b에 도시된 바와 같이, 사용자는 음식 종류인 '에그 타르트(53)'를 수동으로 입력하여 촬영된 이미지(51)로부터 추출된 특징 정보(54)와 수동으로 입력된 '에그 타르트(53)'를 매칭시킨 테이블을 저장할 수 있다. 즉, 프로세서(130)는 촬영된 이미지 및 사용자가 수동으로 입력한 음식 종류에 대한 매칭 정보에 기초하여 저장부(120)에 저장된 음식 섭취 이력을 동적으로 업데이트할 수 있다. 또한, 사용자가 매칭시킨 정보는 서버(200)의 음식 인식 모델(240)의 음식 특징 정보 및 사용자 DB(250)의 음식 섭취 이력에 추가적으로 저장될 수 있다. 프로세서(130)는 추출된 특징 정보(54)와 유사한 특징 정보를 갖는 음식 종류로서 머핀(52-1), 프라이드 에그(52-2), 비스킷(52-3) 외에 '에그 타르트'를 더 포함시킬 수 있다. 이때, 프로세서(130)는 사용자가 직접 입력한 '에그 타르트'에 대하여 가중치를 부여할 수 있다.
도 5c는 에그 타르트가 수동 입력된 후, 사용자가 에그 타르트를 다시 섭취할 때, 에그 타르트를 촬영한 촬영 이미지로부터 음식을 추정하는 방법을 도시한 것이다. 도 5c에 도시된 바와 같이 프로세서(130)는 촬영 이미지(55)로부터 추출된 에그 타르트의 특징 정보와 유사한 특징 정보를 갖는 음식 종류를 추정하기 위해, 사용자가 수동으로 입력하여 저장한 매칭 테이블로부터 특징 정보와 에그 타르트가 매칭된 정보(56)를 추출하고, 가중치가 부여된 에그 타르트(57-1)를 가장 상위로 하고, 머핀(57-2), 프라이드 에그(57-3)를 하위로 하는 목록(57)을 디스플레이할 수 있다. 이때, 사용자는 디스플레이된 목록(57) 중에서 에그 타르트를 선택하여, 촬영 이미지(55)에 포함된 음식을 에그 타르트로 인식되도록 할 수 있으며, 프로세서(130)는 인식된 에그 타르트에 대하여 가중치를 추가적으로 부여하고, 에그 타르트에 대한 섭취 정보를 섭취 이력으로 저장할 수 있다.
도 5d는 본 발명의 일 실시 예에 따른, 인식 범위 외의 음식 종류를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 5d에 도시된 바와 같이, 먼저 사용자 단말 장치(100)는 음식에 대한 촬영 이미지를 획득한다(S510). 이때, 음식에 대한 촬영 이미지는 S-헬스 어플리케이션이 실행된 상태에서 촬영부를 통해 사진을 촬영하여 획득될 수 있다. 또한, 촬영 이미지는 사용자 단말 장치(100')에 기 저장된 촬영 이미지일 수 있다. 이때, S-헬스 어플리케이션은 기 저장된 이미지를 불러올 수 있는 사진 어플리케이션과 연계될 수 있다.
이후, 사용자 단말 장치(100)는 획득된 촬영 이미지로부터 특징 정보를 추출하고, 기 저장된 사용자의 섭취 이력 정보를 이용하여 음식 종류를 인식할 수 있다(S520). 이때, 사용자 단말 장치(100)는 저장부(120) 또는 서버(200)에 저장된 음식 모델 DB(240)를 이용하여 음식의 특징 정보를 비교함으로써 음식 종류를 추정할 수 있다.
음식 종류가 인식되면, 사용자 단말 장치(100)는 추정 인식 결과를 디스플레이할 수 있다(S530). 이때, 추정 인식 결과는 특징 정보가 유사한 복수의 음식 종류에 대한 리스트 형태로 디스플레이될 수 있다. 추정 인식 결과에 일치하는 음식 종류가 포함된 경우(S540:Y), 사용자는 추정 인식 결과 중 촬영된 이미지에 포함된 음식과 일치하는 음식을 선택하는 방식으로 입력을 수행할 수 있다(S550).
한편, 추정 인식 결과에 일치하는 음식 종류가 포함되지 않은 경우(S540:N), 사용자 단말 장치(100)는 음식 종류를 직접 타이핑하여 입력할 수 있는 입력창을 디스플레이하고(S560), 사용자는 음식 종류를 수동으로 타이핑하는 방식으로 입력을 수행할 수 있다(S570).
입력이 완료되면, 사용자 단말 장치(100)는 촬영 이미지에 포함된 음식에 대한 특징 정보와 사용자가 선택한 음식의 종류에 대한 정보를 매칭하여 음식 섭취 이력을 업데이트할 수 있다(S580).
도 6은 본 발명의 일 실시 예에 따른, 촬영 이미지가 디스플레이되는 타임 라인 형태의 UI를 설명하기 위한 도면이다.
프로세서(130)는 촬영 이미지를 저장부(120)에 저장하고, 기 설정된 이벤트가 발생하면, 저장부(120)에 저장된 촬영 이미지들 중에서 음식 이미지가 포함된 촬영 이미지를 선별할 수 있으며, 선별된 촬영 이미지를 촬영 시간 순서대로 정렬하여 표시하는 타임 라인(timeline) 형태의 UI(User Interface)를 디스플레이부(140)에 디스플레이할 수 있다.
여기서, 기 설정된 이벤트란, S-헬스 어플리케이션의 실행되는 이벤트 또는 S-헬스 어플리케이션이 사용자 단말 장치(100)에서 백그라운드로 실행되는 상태에서 촬영 이미지를 획득하는 이벤트를 포함할 수 있다. 구체적으로, 프로세서(130)는 사용자가 섭취하는 음식에 대한 이미지를 매 끼니 때마다 촬영하면, 촬영된 이미지를 저장한다. 이후, 사용자가 S-헬스 어플리케이션을 실행하는 경우, 프로세서(130)는 저장부(120)에 저장된 촬영 이미지들 중에서 음식의 색상, 질감, 형상 등의 특징 정보를 이용하여 음식 이미지가 포함된 촬영 이미지를 선별할 수 있다(1차 선별). 프로세서(130)는 도 6에 도시된 바와 같이, S-헬스 어플리케이션에서 제공되는 타임 라인(timeline) 형태의 UI를 디스플레이하고, 해당 UI 상에 선별된 음식 이미지가 포함된 촬영 이미지를 촬영 시간 순서대로 정렬하여 표시할 수 있다. 이때, 촬영 시간 순서대로 정렬되어 표시되는 이미지는 촬영 이미지로부터 추출된 적어도 하나의 음식 이미지일 수도 있다.
도 6에 따르면, 프로세서(130)는 촬영된 이미지에 포함된 메타데이터(예를 들어, EXIF 정보)로부터 촬영 날짜 및 시간에 대한 정보를 추출할 수 있으며, 추출된 정보를 이용하여 날짜 및 시간 별로 정보가 입력될 수 있는 UI 상에서 추출된 촬영 날짜 및 시간에 대한 정보에 대응되는 영역에 해당 촬영 이미지 및 칼로리 정보 등의 관련 정보를 디스플레이할 수 있다.
일 예로, 사용자가 오전 10시 22분에 아침 식사로 섭취할 음식을 촬영하고, 오후 12시 46분에 점심 식사로 섭취할 음식을 촬영하며, 오후 4시 10분에 간식으로 섭취할 음식을 촬영한 경우를 들 수 있다. 또한, 섭취하는 음식 외에도 야외 활동을 하면서 여러 풍경 사진 또한 촬영했다고 가정하도록 한다. 이때, 각 촬영된 시간에 대한 정보는 각 촬영된 촬영 이미지에 메타 데이터로 포함되어 저장될 수 있다. 이 후, 사용자가 취침 전에 S-헬스 어플리케이션을 실행하는 경우, 프로세서(130)는 저장부(120)에 저장된 촬영 이미지들로부터 음식이 포함된 이미지만을 선별할 수 있으며, 이때, 음식이 포함된 이미지로 아침 식사시에 촬영된 이미지(62), 점심 식사시에 촬영된 이미지(63) 및 간식시간에 촬영된 이미지(64)만이 선별될 수 있다. 한편, 야외 활동을 하면서 촬영된 풍경 사진의 경우 음식이 포함되지 않은 이미지로서 제외될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 프로세서(130)는 촬영된 이미지가 저장된 앨범 어플리케이션(71)과 연계하여, 앨범 어플리케이션(71)에 의해 저장되어 관리되는 이미지들 중 적어도 하나의 음식이 포함된 촬영 이미지(72 ~ 76)를 선별하여 분류할 수 있다.
프로세서(130)는 분류된 촬영 이미지(62 ~ 64)에 포함된 메타 데이터를 이용하여, 타임 라인 형태의 UI(61) 상에서 각 촬영 이미지(62 ~ 64)가 촬영된 날짜 및 시간에 대응되는 영역에 각 촬영 이미지를 배치하여 디스플레이할 수 있다. 이때, 프로세서(130)는 각 촬영 이미지로부터 추출된 음식 이미지의 특징 정보 및 저장부(120)에 저장된 음식 섭취 이력을 이용하여 각 촬영 이미지에 포함된 음식의 종류를 추정하고, 추정되는 음식에 대한 칼로리 정보 등의 관련 정보를 함께 디스플레이할 수 있다.
한편, 이와는 다른 실시 예로서, S-헬스 어플리케이션은 사용자 단말 장치(100)에서 백그라운드로 항상 실행되고 있을 수 있으며, 사용자가 촬영을 통해 촬영 이미지를 획득할 때마다 촬영된 이미지 중 음식이 포함된 이미지만을 선별하는 1차 선별이 이루어질 수 있다. 또한, 1차 선별이 이루어진 이미지들은 실시간으로 타임 라인 형태의 UI(61) 상에서 각 촬영 날짜 및 시간에 대응되는 영역에 배치되어 저장될 수 있다.
즉, 사용자가 S-헬스 어플리케이션을 실행하는 시간에 구애 없이, 프로세서(130)는 촬영 이미지가 날짜 및 시간 별로 자동적으로 배치되는 타임 라인 형태의 UI를 구성할 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 사용자가 선택한 음식만 그 종류를 추정하도록 하는 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 촬영부(110)로부터 획득한 촬영 이미지(81)에는 복수의 음식이 포함될 수도 있다. 프로세서(130)는 촬영 이미지(81)에 포함된 복수의 음식에 대한 특징 정보를 각각 추출하여, 해당 음식의 종류를 추정할 수 있다.
그러나, 촬영부(110)로부터 획득한 촬영 이미지(81)에는 사용자가 섭취하지 않은 음식 또한 포함될 수 있을 것이다. 이러한 상황은 사용자가 다른 사람과 같이 식사를 하는 경우에 빈번하게 발생할 수 있다. 따라서, 사용자가 섭취하지 않은 음식은 음식 섭취 이력에 포함시키지 않고, 실제로 섭취한 음식만을 고려하여 섭취한 음식의 종류에 대한 관련 정보를 디스플레이하는 것이 필요하다.
도 8은 촬영 이미지(81)에 포함된 복수의 음식 중에서 사용자가 실제로 섭취한 음식만을 선택하도록 하는 UI 화면을 도시한 것이다. 사용자가 S-헬스 어플리케이션 상에서 디스플레이되는 촬영 이미지(81) 상에서 음식이 디스플레이되는 영역을 선택하는 경우, 프로세서(130)는 사용자의 선택 영역에 기반하여 도 8과 같이 음식의 주요 영역(saliency)(82 ~ 84)을 검출하여, 각각의 이미지(86 ~ 88)를 생성할 수 있다(2차 선별). 또한, 사용자의 선택 영역은 사용자가 촬영 이미지(81) 상에서 드로잉되어 입력된 영역일 수도 있다.
프로세서(130)는 머신 러닝(machine learning)을 기반으로 하는 인식 시스템에 의해 각각의 이미지(86 ~ 88)에 포함된 음식 이미지의 특징 정보로부터 음식의 종류를 추정할 수 있다. 머신 러닝 기반 인식 시스템이란, 사람의 개입이 필요한 기존의 지도 학습(Supervised Learning)에 보다 능동적인 비지도 학습(Unsupervised Learning)이 결합되어 컴퓨터가 스스로 학습할 수 있는 인공지능 기술을 이용한 학습 시스템을 말한다. 구체적으로, 프로세서(130)는 검출된 각각의 이미지(86 ~ 88)에 대한 특징 정보를 각각 추출하고, 추출된 각각의 이미지(86 ~ 86)의 특징 정보를 순차적으로 음식 인식에 대한 머신 러닝 알고리즘의 입력층으로 입력하여, 각각의 이미지(86 ~ 88)에 대한 인식 결과를 도출할 수 있다. 프로세서(130)는 도출된 인식 결과로부터 각각의 이미지(86 ~ 88)에 포함된 음식의 종류를 추정할 수 있다. 프로세서(130)는 추정된 각각의 음식의 종류에 대한 결과를 합산하여 추정된 음식의 종류(89-1 ~ 89-3)가 포함되는 목록(89)으로 저장할 수 있다. 저장된 추정 결과는 추정되는 각각의 음식의 종류와 관련된 정보를 제공하기 위한 정보로 이용될 수 있다.
한편, 프로세서(130)는 음식 이미지로부터 획득한 특징 값을 가지는 음식의 종류를 자동분류자에 학습시킬 수 있다. 자동분류자에는 Bayesian Classifier, SVM(Support Vector Machine) 또는 ANN(Artificial Neural Network) 등의 머신 러닝 기법에 의한 알고리즘이 이용될 수 있다. 각 자동 분류자는 고유의 원리를 이용하여 음식 이미지에서 추출된 특징 값을 이용하여 자동 분류 구조를 만들 수 있다. 이러한 프로세서(130)는 음식의 종류를 분류할 수 있는 자동 분류자를 생성하여 다양한 음식의 종류에 대하여 학습을 수행할 수 있으며, 이에 따라 복수의 음식 이미지에 대하여 각 음식 이미지에 포함된 음식의 종류에 대한 추정이 가능하다. 또한, 프로세서(130)는 이러한 자동 분류자를 이용하여 음식의 양까지 학습함으로써 보다 정확한 추정을 할 수 있다.
도 9는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 저장부의 구성을 상세히 도시한 블록도이다.
도 9에 따르면, 저장부(120)에는 베이스 모듈(121), 센싱 모듈(122), 통신 모듈(123), 프리젠테이션 모듈(124), 웹 브라우저 모듈(125), 서비스 모듈(126), 섭식 관리 모듈(127) 및 음식 인식 모델이 저장된 데이터베이스(DB)를 포함할 수 있다.
베이스 모듈(121)이란, 사용자 단말 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 스토리지 모듈(121-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 보안 모듈(121-2)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(121-3)이란 네트워크 연결을 지원하기 위한 모듈이다.
센싱 모듈(122)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다.
통신 모듈(123) 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(123)은 메시징 모듈 및 전화 모듈을 포함할 수 있다.
프리젠테이션 모듈(124)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(124)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, GUI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함한다.
웹 브라우저 모듈(125)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다.
서비스 모듈(126)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(126)은 SNS 프로그램, 컨텐츠 재생 프로그램 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.
섭식 관리 모듈(127)은 S-헬스 어플리케이션상에서 촬영 이미지로부터 분석된 사용자의 섭식 관련 정보를 제공하고 이를 관리하도록 하기 위한 모듈을 의미한다. 섭식 관리 모듈(127)은 음식 추정 모듈(127-1), 칼로리 계산 모듈(127-2) 및 식습관 관리 모듈(127-3)을 포함한다.
음식 추정 모듈(127-1)은 음식의 종류 및 양에 대한 기계 학습을 통해 촬영 이미지로부터 특징 정보를 추출하고, 추출된 특징으로부터 음식의 종류 및 양을 추정할 수 있다. 여기서 음식의 양은, 사용자 단말 장치(100)를 통해 사용자로부터 입력되는 정보일 수 있다. 음식 추정 모듈(127-1)은 수신된 촬영 이미지를 전처리하는 전처리부(미도시), 전처리된 음식 이미지에서 음식 영역을 분할하는 영상 분할부(미도시) 및 분할된 음식 영역의 특징 정보를 추출하는 특징 추출부(미도시)를 포함할 수 있다. 특징 추출부는, 분할된 음식 영역에 대해 색상, 형상 및 질감 등에 대한 특징 정보를 추출한다.
칼로리 계산 모듈(127-2)은 음식 추정 모듈(127-1)로부터 추정된 음식의 종류와 양에 기초하여 추정된 음식의 칼로리를 계산할 수 있다. 음식의 종류에 따른 칼로리는 데이터베이스(128)에 저장된 칼로리 데이터를 이용하여 획득될 수 있다.
식습관 관리 모듈(127-3)은 사용자가 섭취한 음식 종류, 섭취한 양 및 섭취한 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하기 위한 모듈이다. 식습관 관리 모듈(127-3)은 사용 목적에 맞게 다양한 기능이 제공되도록 관리자에 의해 변경될 수 있다. 예를 들어, 사용자가 선호하는 음식 종류를 파악하여 섭취 상태를 분석하고 사용자에게 부족한 영양소를 안내할 수 있다.
데이터베이스(DB)(128)는 음식 인식을 위해 필요한 다양한 인식 모델을 저장할 수 있다. 사용자 단말 장치(100)는 촬영 이미지와 DB(128)에 저장된 인식 모델을 비교하여 음식을 추정할 수 있다. 또한, 데이터베이스(DB)는 다양한 음식에 대한 칼로리 데이터를 저장할 수 있다. 저장된 칼로리 데이터는 칼로리 계산 모듈(127-2)에서 음식의 종류에 따른 칼로리를 산출하기 위해 이용될 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 머신 러닝 기법에 따른 음식 인식 과정을 설명하기 위한 도면이다.
본 발명의 음식 인식은 머신 러닝 기반의 인식 시스템에 의해 수행될 수 있으며, 본 발명에서는 뉴럴 네트워크(Neural Networks)에 기반한 일련의 기계학습 알고리즘에 의한 분류 시스템으로서, 딥 러닝 기반의 인식 시스템을 예로서 설명한다.
딥 러닝 기반의 인식 시스템은 적어도 하나의 분류기(1020)를 포함할 수 있으며, 분류기는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이(Array)로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 분류기는 뉴럴 네트워크(Neural Network) 기반 분류기, SVM(Support Vector Machine), 에이다부스트 분류기(Adaboost Classifier), 베이지안 분류기(Bayesian Classifier) 및, 퍼셉트론 분류기(Perceptron Classifier) 등으로 구현될 수 있다. 이하, 본 발명의 분류기는 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 기반 분류기로 구현되는 실시 예에 대하여 설명한다. 뉴럴 네트워크 기반 분류기는, 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하도록 구현된 연산모델로서, 연결 강도(가중치)를 갖는 연결선을 통해 인간의 인지작용이나 학습과정을 수행하게 된다. 그러나, 본 발명의 분류기가 이에 한정되는 것은 아니며, 상술한 다양한 분류기로 구현될 수 있음은 물론이다.
일반적인 뉴럴 네트워크는 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)을 포함하며, 은닉층은 필요에 따라서 1 이상의 층으로 구성될 수 있다. 이러한, 뉴럴 네트워크를 학습시키기 위한 알고리즘으로 역전파(Bak Propagation) 알고리즘을 이용할 수 있다.
분류기(1020)는 어떠한 데이터가 뉴럴 네트워크의 입력층에 입력되면, 입력된 학습 데이터에 대한 출력 데이터가 뉴럴 네트워크의 출력층으로 출력되도록 뉴럴 네트워크를 학습시킬 수 있다. 촬영 이미지(1010)로부터 추출된 특징 정보가 입력되면, 뉴럴 네트워크를 이용하여 특징 정보의 패턴을 여러 클래스 중에서 어느 하나의 클래스로 분류하고, 분류 결과(1010)를 출력할 수 있다.
도 11은 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도이다. 도 11에 따른 사용자 단말 장치(100'')는 저장부(120) 대신 통신부(150)를 더 포함할 수 있다.
통신부(150)는 외부 서버(200)와 통신을 수행하기 위한 구성이다. 외부 서버(200)는 사용자의 음식 섭취 이력을 저장하는 사용자 DB를 포함하는 서버일 수 있다.
프로세서(130)는, 촬영 이미지로부터 추출된 음식 이미지의 특징 정보를 외부 서버(200)로 전송하며, 외부 서버(200)는 추출된 음식 이미지의 특징 정보 및 음식 섭취 이력에 기반하여 음식의 종류를 추정하고, 추정되는 음식의 종류에 대한 관련 정보를 사용자 단말 장치(100')로 전송할 수 있다. 프로세서(130)는 외부 서버(200)로부터 수신된 관련 정보에 디스플레이할 수 있다.
즉, 사용자의 음식 섭취 이력은 사용자마다 개별적으로 외부 서버(200)의 사용자 DB에 포함되어 관리될 수 있다.
통신부(150)는 다양한 유형의 통신 방식에 따라 외부 서버(200)와 통신을 수행한다. 통신부(150)는 BT(Bluetooth), Wi-Fi, Zigbee, NFC(Near Field Communication) 등과 같은 RF(Radio Frequency) 및 IR(Infrared) 등을 이용한 다양한 통신 방식을 통해 외부 서버와 통신을 수행할 수 있으며, 이를 위해 ZigBee 통신 소자, BT 통신 소자 및 Wi-Fi 통신 소자 중 적어도 하나를 포함하는 통신 소자를 구비할 수 있다. 외부 서버(200)와 통신을 수행하는 과정에 대하여는 도 12를 참조하여 구체적으로 설명하도록 한다.
도 12는 본 발명의 일 실시 예에 따른, 사용자 DB를 포함하는 외부 서버와 통신을 수행하여 음식의 종류를 추정하는 방법을 설명하기 위한 도면이다.
사용자 단말 장치(100')는 서버(200)와 네트워크(10)를 통해 유선 또는 무선으로 통신 가능하다. 특히, 통신부(150)는 서버(200)와 통신을 수행하여, 서버(200)로부터 사용자 단말 장치(100')로부터 촬영된 음식과 관련된 정보를 수신할 수 있다. 구체적으로, 프로세서(130)는 촬영부(110)를 이용하여 촬영된 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보를 외부 서버(200)로 전송할 수 있다. 또한, 프로세서(130)는 촬영부(110)를 통해 촬영된 이미지 자체를 외부 서버(200)로 전송하거나, 촬영된 이미지로부터 추출된 음식 이미지를 외부 서버(200)로 전송할 수 있다. 이때, 서버(200)는 추출된 음식 이미지의 특징 정보를 수신하고, 수신된 특징 정보 및 기 저장된 음식 섭취 이력을 이용하여, 해당 음식의 종류를 추정하여 사용자 단말 장치(100')에 전송할 수 있다. 또한, 이와는 다른 실시 예로 서버(200)는 촬영된 이미지 자체를 수신하여, 수신된 촬영 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보 및 기 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정할 수 있다.
서버(200)는 음식 추정 모듈(210), 칼로리 계산 모듈(220), 식습관 관리 모듈(230), 음식 인식 모델(DB)(240) 및 사용자 DB(250)를 포함한다. 음식 추정 모듈(210) 내지 식습관 관리 모듈(230), 음식 인식 모델 DB(240)에 대한 구체적인 내용은 도 9에서 설명한 내용과 중복되므로 생략하도록 한다.
사용자 DB(250)는 복수의 사용자에 대한 정보를 저장하는 구성이다. 사용자 DB(250)는 복수의 사용자에 대한 음식 섭취 이력을 저장할 수 있다.
한편, 촬영 이미지에 포함된 음식의 종류를 추정하고, 추정되는 음식의 종류에 대한 관련 정보를 생성하는 것은 서버(200)가 단독으로 수행할 수도 있다. 사용자는 사용자 단말 장치(100)를 이용하여 촬영한 촬영 이미지를 서버(200)로 전송하기만 하면, 사용자 단말 장치(100)는 서버(200)로부터 추정되는 음식의 종류에 대한 관련 정보를 수신하여 어플리케이션 상에서 디스플레이할 수 있다.
서버(200)는 사용자 단말 장치(100)로부터 촬영 이미지를 수신할 수 있으며, 수신된 촬영 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보 및 서버(200)에 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정할 수 있다. 서버(200)는 추정되는 음식의 종류에 대한 관련 정보를 사용자 단말 장치(100)로 전송할 수 있다.
즉, 도 1 내지 도 10에 도시된 바와 같이, 본원 발명은 사용자 단말 장치(100)가 촬영 이미지로부터 음식 이미지를 추출하고, 추출된 음식 이미지의 특징 정보 및 저장부(120)에 저장된 사용자의 음식 섭취 이력에 기초하여 추정되는 음식의 종류에 대한 관련 정보를 디스플레이하는 것 외에도, 도 11 내지 도 12에 도시된 바와 같이, 통신부(120)를 통해 서버(220)와 통신을 수행하여, 서버(220)에 촬영 이미지를 전송하고, 서버(220)로부터 추정되는 음식의 종류에 대한 관련 정보를 수신하여 디스플레이할 수도 있다. 이때, 사용자의 음식 섭취 이력은 사용자 단말 장치(100)의 저장부(120)에 저장되어 있을 수도 있고, 서버(220)가 사용자 계정을 생성하여 사용자의 음식 섭취 이력을 저장하여 관리할 수도 있다.
도 13은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 촬영 이미지를 획득한다(S1310). 이때, 촬영 이미지는 S-헬스 어플리케이션 내에서 사용자로부터 촬영과 관련된 제어 입력을 입력받아 획득될 수 있다. 또한, 촬영 이미지는 사용자 단말 장치(100)에 기 저장된 촬영 이미지로서, S-헬스 어플리케이션에서 로드되는 형태로 획득될 수도 있다. 이때, S-헬스 어플리케이션은 기 저장된 이미지를 불러올 수 있는 사진 어플리케이션과 연계될 수 있다.
이 후, 촬영 이미지로부터 음식 이미지를 추출한다(S1320). 이때, 사용자 단말 장치는 촬영된 이미지의 특징 정보에 기초하여 머신 러닝 기법에 의한 분류 시스템에 의해 자동적으로 음식 이미지를 추출할 수 있다. 또한, 음식 이미지는 사용자에 의해 수동적으로 추출될 수도 있다. 구체적으로, 사용자가 S-헬스 어플리케이션 상에서 디스플레이되는 촬영 이미지 상에서 음식이 디스플레이되는 영역을 선택하는 경우, 사용자 단말 장치는 사용자의 선택 영역에 기반하여 음식의 주요 영역(saliency)을 검출하여 음식 이미지를 생성할 수 있다. 또한, 사용자의 선택 영역은 사용자가 촬영 이미지 상에서 드로잉되어 입력된 영역일 수도 있다.
이 후, 추출된 음식 이미지의 특징 정보 및 기 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정한다(S1330). 이때, 기 저장된 음식 섭취 이력에 기초하여 각 음식 종류 별로 가중치가 부여되어 있을 수 있다. 구체적으로, 촬영 이미지에 포함된 음식이 복수의 서로 다른 종류의 음식으로 추정 가능하면, 추정 가능한 종류들 중에서 가중치가 높은 종류의 음식으로 추정할 수 있다. 또한, 음식 섭취 이력은 섭취한 음식 종류 및 섭취 빈도를 포함하고, 가중치는 각 음식 종류 중에서 섭취 빈도가 높은 순서대로 높게 부여될 수 있다.
한편, 추출된 음식 이미지의 특징 정보에 기반하여 추정될 수 있는 음식의 종류 중 어느 하나를 선택할 수 있는 목록을 가중치가 높은 음식 종류 순서대로 디스플레이할 수 있다. 목록에서 사용자 입력에 따라 특정 음식 종류가 선택되면, 추출된 음식 이미지를 선택된 특정 음식 종류로 인식할 수 있다.
또한, 촬영된 이미지로부터 음식 이미지가 복수 개 추출되면, 추출된 음식 이미지 중 적어도 하나를 선택할 수 있는 UI를 제공하며, UI를 통해 선택된 음식 이미지의 음식 종류를 추정할 수 있다.
이후, 추정되는 음식의 종류에 대한 관련 정보를 디스플레이한다(S1140). 구체적으로, 촬영 이미지는 저장될 수 있으며, 기 설정된 이벤트가 발생하면, 저장된 촬영 이미지들 중에서 음식 이미지가 포함된 촬영 이미지가 선별되고, 선별된 촬영 이미지는 촬영 시간 순서대로 정렬되어 타임 라인 형태의 UI 상에서 디스플레이될 수 있다. 이때, 음식의 종류에 대한 관련 정보는 추정되는 음식의 종류 및 칼로리 정보 중 적어도 하나를 포함할 수 있다.
또한, 사용자로부터 입력된 촬영 이미지에 포함된 음식의 양으로부터 사용자가 섭취한 칼로리를 산출하여 디스플레이하고, 입력된 음식의 양을 추정되는 음식의 종류와 동일한 종류의 음식의 양을 추정하기 위한 정보로 저장할 수 있다.
또한, 사용자 입력 및 추정의 결과 중 적어도 하나에 따라 음식 섭취 이력이 업데이트될 수 있다.
한편, 도 14는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 촬영 이미지를 획득하고(S1410), 획득된 촬영 이미지로부터 음식 이미지를 추출한다(S1420). 이에 대한 구체적인 내용은 도 13에서 설명한 바와 같다.이 후, 추출된 음식 이미지의 특징 정보를 음식 섭취 이력을 저장하는 외부 서버로 전송한다(S1430).
이 후, 외부 서버로부터 추출된 음식 이미지의 특징 정보 및 음식 섭취 이력에 기반하여 추정된 음식의 종류에 대한 관련 정보를 수신한다(S1440). 이때, 외부 서버는 저장된 음식 모델 DB를 이용하여 음식의 특징 정보를 비교함으로써 음식의 종류를 추정할 수 있다. 서버(200)는 사용자 DB를 추가적으로 이용하여 사용자 DB에 저장된 사용자의 섭취 이력 정보로부터 높은 가중치가 부여된 음식 종류를 우선적으로 인식할 수 있다. 또한, 사용자 단말 장치는 사용자로부터 기 설정된 횟수만큼 촬영 이미지에 대응되는 음식의 종류를 입력받아, 섭취 이력 정보로 저장한 경우, 사용자 DB만을 이용하여 음식의 종류를 추정할 수도 있다
이 후, 사용자 단말 장치는 수신된 관련 정보를 디스플레이한다(S1450).
도 15는 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도이다.
도 15에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 사용자 단말 장치(100'')는 촬영부(110), 저장부(120), 프로세서(130), 디스플레이부(140), 통신부(150), 오디오 처리부(160), 오디오 출력부(170), 비디오 처리부(180), 사용자 인터페이스부(190)를 포함한다. 이하에서는, 도 1 및 도 9에서 설명한 구성과 중복되는 구성에 대한 설명은 생략하기로 한다.
저장부(120)는 사용자의 음식 섭취 이력을 저장하며, 사용자 단말 장치(100'')를 구동하기 위한 다양한 모듈을 저장하는 구성이다.
구체적으로, 저장부(120)는 사용자 단말 장치(100'')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 보안 모듈, 통신 모듈, 그래픽 처리 모듈, 오디오 처리 모듈, 그래픽 처리 모듈 등을 저장할 수 있다.
프로세서(130)는 저장부(120)에 저장된 각종 모듈을 이용하여 사용자 단말 장치(100'')의 전반적인 동작을 제어할 수 있다.
프로세서(130)는 도 13에 도시된 바와 같이, RAM(131), ROM(132), CPU(133), 그래픽 처리부(134) 및 제1 내지 n 인터페이스(135-1 ~ 135-n) 등을 포함하고, AM(131), ROM(132), CPU(133), 그래픽 처리부(134) 및 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. CPU(133)는 저장부(120)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
CPU(133)는 저장부(120)에 액세스하여, 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(133)는 저장부(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
또한, 그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
오디오 처리부(160)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 다만, 오디오 데이터에 대한 처리는 저장부(120)에 저장된 오디오 처리 모듈에 의해 수행될 수도 있다.
오디오 출력부(170)는 오디오 처리부(160)에서 처리된 오디오 데이터를 출력하기 위한 구성이다. 오디오 출력부(170)는 리시버 단자(미도시) 및 스피커(미도시)를 포함할 수 있다.
비디오 처리부(180)는 컨텐츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다. 다만, 비디오 처리는 저장부(120)에 저장된 비디오 처리 모듈에 의해 수행될 수도 있다.
사용자 인터페이스부(190)는 사용자 단말 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다. 특히, 사용자 인터페이스부(190)는 마이크(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
도 16은 본 발명의 일 실시 예에 따른, 음식 종류를 추정하는 과정을 설명하기 위한 흐름도이다.
먼저, 사용자 단말 장치(100')에 포함된 촬영부를 통해 사진을 촬영하여 촬영 이미지를 획득한다(S1610-1). 사진 촬영은 촬영용 어플리케이션을 실행하여 수행될 수 있으며 S-헬스 어플리케이션 상에서 사용자의 촬영과 관련된 제어 명령에 의해 촬영용 어플리케이션과 연계되어 수행될 수 있다.
한편, 촬영 이미지는 S-헬스 어플리케이션 상에서 로드되어 획득된 기 저장된 촬영 이미지(사진)일 수 있다(S1610-2). 이때, 저장된 촬영 이미지를 로딩하는 경우, 촬영 이미지의 특징 정보에 기초하여, 촬영 이미지들 중에서 음식 이미지가 포함된 촬영 이미지를 선별하는 1차 선별(filtering)이 수행될 수 있다(S1610-3). 또한, 촬영 이미지에 포함된 EXIF 데이터로부터 해당 촬영 이미지가 촬영된 날짜 및 시간에 대한 정보를 추출하고, 해당 시간에 섭취한 음식으로 기록할 수 있다(S1610-4)
S-헬스 어플리케이션 상에서 촬영 이미지는 촬영 시간 순서대로 정렬하여 표시하는 타임 라인 형태의 UI에 촬영 이미지가 배치되어 디스플레이될 수 있다. 이때, 타임 라인 형태의 UI는 백그라운드로 S-헬스 어플리케이션이 실행되는 상태에서 촬영 이미지를 획득할 때마다 구성될 수 있으며, S-헬스 어플리케이션이 실행될 때 저장된 촬영 이미지를 로딩하여 구성될 수도 있다.
타임 라인 형태의 UI가 디스플레이된 화면에서, 사용자는 복수의 음식이 포함된 촬영 이미지에서 사용자가 섭취한 음식에 대한 영역만을 선택할 수 있고(S1615), 선택된 음식 영역이 추출될 수 있다(S1620).
사용자 단말 장치(100')는 추출된 음식 영역으로부터 음식 영역에 포함된 특징 정보 및 기 저장된 사용자의 섭취 이력 정보를 이용하여 음식 종류를 인식할 수 있다(S1625). 구체적으로, 사용자 단말 장치(100')는 서버(200)에 저장된 음식 인식 모델(240)를 이용하여 음식의 특징 정보를 비교함으로써 음식 종류를 추정할 수 있다. 이때, 사용자 단말 장치(100')는 사용자 DB(250)를 추가적으로 이용하여 사용자 DB(250)에 저장된 사용자의 섭취 이력 정보로부터 높은 가중치가 부여된 음식 종류를 우선적으로 인식할 수 있다. 또한, 사용자 단말 장치(100')는 사용자로부터 기 설정된 횟수만큼 촬영 이미지에 대응되는 음식의 종류를 입력받아, 섭취 이력 정보로 저장한 경우, 사용자 DB(250)만을 이용하여 음식의 종류를 추정할 수도 있다. 이때, 서버의 사용자 DB(250)에 저장된 섭취 이력 정보는 사용자 단말 장치(100')로 전송되어 저장될 수도 있다.
이후, 추정되는 음식의 종류에 대한 관련 정보를 디스플레이한다(S1630).
음식의 종류가 추정되는 경우, 음식의 종류가 올바르게 추정되었는지 여부를 사용자의 입력으로부터 판단할 수 있다(S1635). 음식의 종류가 올바르게 추정된 경우(S1635:Y), 추정된 음식의 양을 선택하고(S1640), 추정된 음식의 종류 및 양으로부터 섭취된 칼로리를 계산하여(S1645), 섭취 이력 정보로 저장할 수 잇다(S1650). 이때, 섭취된 칼로리는 서버(200)에 저장된 칼로리 DB(260)를 이용하여 산출될 수 있다.
한편, 음식의 종류가 올바르게 추정되지 않은 경우(S1635:N), 사용자로부터 직접 음식의 종류를 입력받을 수 있으며(S1655), 촬영된 이미지의 특징 정보를 추출하고(S1660), 추출된 특징 정보와 사용자로부터 입력된 음식 종류를 매칭시킨 정보를 사용자의 음식 섭취 이력으로 서버(200)의 사용자 DB(250)에 저장할 수 있다(S1665). 이때, 추출된 특징 정보와 유사한 특징 정보를 갖는 복수의 음식의 종류 중 사용자로부터 매칭되어 저장된 음식 종류에 추정에 대한 높은 가중치가 부여될 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 사용자가 좀 더 편리하게 섭취한 음식에 대한 정보를 사용자 단말 장치에 실행된 어플리케이션 상에 입력하여 식습관을 관리할 수 있다.
상술한 다양한 실시 예에 따른 사용자 단말 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 촬영 이미지를 획득하는 단계, 촬영 이미지로부터 음식 이미지를 추출하는 단계, 추출된 음식 이미지의 특징 정보 및 기 저장된 음식 섭취 이력에 기반하여 촬영 이미지에 포함된 음식의 종류를 추정하는 단계 및 추정되는 음식의 종류에 대한 관련 정보를 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100, 100', 100'': 사용자 단말 장치, 200: 서버
110: 촬영부 120: 저장부
130: 프로세서 140: 디스플레이부

Claims (21)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라;
    메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 프로세서는, 상기 메모리에 저장된 하나 이상의 명령어가 실행되는 경우, 상기 카메라로부터 획득된 이미지에 포함된 음식의 특징 정보를 획득하고, 상기 특징 정보를 인공지능 기반의 자동 분류기에 입력하여 상기 음식이 복수의 음식의 종류 각각에 해당할 확률 값을 획득하고, 상기 획득된 각각의 확률 값을 기반으로 상기 음식의 종류를 식별하고, 상기 획득된 음식의 종류와 음식의 양에 기초하여 상기 음식의 칼로리를 획득하고, 상기 음식의 종류, 상기 음식의 양 및 상기 칼로리에 대한 정보를 상기 디스플레이에 표시하고,
    상기 특징 정보는,
    상기 음식의 색상, 상기 음식의 형상 및 상기 음식의 질감 중 적어도 하나를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 각각의 확률값 중 가장 높은 값의 확률값에 대응하는 음식의 종류를 상기 이미지에 포함된 음식의 종류로 식별하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지에서 음식 이미지를 추출하고, 상기 음식 이미지에 대응되는 음식의 특징 정보를 획득하는 것을 특징으로 하는 전자 장치.
  4. 전자 장치에 있어서,
    통신 인터페이스;
    디스플레이;
    카메라;
    메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 하나 이상의 명령어가 실행되는 경우, 상기 카메라로부터 획득된 이미지에 포함된 음식의 특징 정보를 획득하기 위해, 상기 통신 인터페이스를 통해 상기 이미지를 서버로 송신하고, 상기 서버로부터 상기 통신 인터페이스를 통해 상기 음식의 종류, 상기 음식의 양 및 상기 음식의 칼로리에 대한 정보를 수신하고, 상기 음식의 종류, 상기 음식의 양 및 상기 칼로리에 대한 정보를 상기 디스플레이에 표시하고,
    상기 음식의 종류는 상기 서버가 특징 정보를 인공지능 기반의 자동 분류기에 입력하여 상기 음식이 복수의 음식의 종류 각각에 해당할 확률 값을 획득한 후 상기 획득된 각각의 확률 값을 기반으로 식별된 것이고,
    상기 음식의 칼로리는, 상기 음식의 양 및 상기 음식의 종류에 기초하여 획득되고,
    상기 특징 정보는,
    상기 음식의 색상, 상기 음식의 형상 및 상기 음식의 질감 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  5. 제4항에 있어서,
    상기 서버는,
    상기 획득된 각각의 확률값 중 가장 높은 값의 확률값에 대응하는 음식의 종류를 상기 이미지에 포함된 음식의 종류로 식별하는 것을 특징으로 하는 전자 장치.
  6. 제4항에 있어서,
    상기 서버는,
    상기 이미지에서 음식 이미지를 추출하고, 상기 음식 이미지에 대응되는 음식의 특징 정보를 획득하는 것을 특징으로 하는 전자 장치.
  7. 전자 장치의 제어 방법에 있어서,
    메모리에 저장된 하나 이상의 명령어가 실행되면 이미지를 획득하는 단계;
    상기 이미지에 포함된 음식의 특징 정보를 획득하는 단계;
    상기 특징 정보를 인공지능 기반의 자동 분류기에 입력하여, 상기 음식이 복수의 음식의 종류 각각에 해당할 확률 값을 획득하는 단계;
    상기 획득된 각각의 확률 값을 기반으로 상기 음식의 종류를 획득하는 단계;
    상기 획득된 음식의 종류 및 음식의 양에 기초하여 상기 음식의 칼로리를 획득하는 단계; 및
    상기 음식의 종류, 상기 음식의 양 및 상기 칼로리에 대한 정보를 디스플레이에 표시하는 단계;를 포함하고,
    상기 특징 정보는,
    상기 음식의 색상, 상기 음식의 형상 및 상기 음식의 질감 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  8. 제7항에 있어서,
    상기 음식의 종류 및 상기 음식의 양을 획득하는 단계는,
    상기 획득된 각각의 확률값 중 가장 높은 값의 확률값에 대응하는 음식의 종류를 상기 이미지에 포함된 음식의 종류로 식별하는 것을 특징으로 하는 제어 방법.
  9. 제7항에 있어서,
    상기 이미지에 포함된 음식의 특징 정보를 획득하는 단계는,
    상기 이미지에서 음식 이미지를 추출하고, 상기 음식 이미지에 대응되는 음식의 특징 정보를 획득하는 것을 특징으로 하는 제어 방법.
  10. 전자 장치의 제어 방법에 있어서,
    메모리에 저장된 하나 이상의 명령어가 실행되면 이미지를 획득하는 단계;
    상기 이미지에 포함된 음식의 특징 정보를 획득하기 위해, 상기 이미지를 서버로 송신하는 단계;
    상기 서버로부터 상기 이미지에 포함된 음식의 종류, 상기 음식의 양 및 상기 음식의 칼로리에 대한 정보를 수신하는 단계; 및
    상기 음식의 종류, 상기 음식의 양 및 상기 칼로리에 대한 정보를 디스플레이에 표시하는 단계;를 포함하고,
    상기 음식의 종류는 상기 서버가 특징 정보를 인공지능 기반의 자동 분류기에 입력하여, 상기 음식이 복수의 음식의 종류 각각에 해당할 확률 값을 획득한 후 상기 획득된 각각의 확률 값을 기반으로 식별된 것이고,
    상기 음식의 칼로리는, 상기 음식의 종류 및 상기 음식의 양에 기초하여 획득되고,
    상기 특징 정보는, 상기 음식의 색상, 상기 음식의 형상 및 상기 음식의 질감 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  11. 제10항에 있어서,
    상기 서버는
    상기 획득된 각각의 확률값 중 가장 높은 값의 확률값에 대응하는 음식의 종류를 상기 이미지에 포함된 음식의 종류로 식별하는 것을 특징으로 하는 제어 방법.
  12. 제10항에 있어서,
    상기 서버는,
    상기 이미지에서 음식 이미지를 추출하고, 상기 음식 이미지에 대응되는 음식의 특징 정보를 획득하는 것을 특징으로 하는 제어 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020150165794A 2015-11-25 2015-11-25 사용자 단말 장치 및 그 제어 방법 KR102359359B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020150165794A KR102359359B1 (ko) 2015-11-25 2015-11-25 사용자 단말 장치 및 그 제어 방법
CN201680069788.9A CN108292420B (zh) 2015-11-25 2016-11-25 用户终端设备及其控制方法
US15/361,119 US10521903B2 (en) 2015-11-25 2016-11-25 User terminal apparatus and control method thereof
CN202011133739.1A CN112215191A (zh) 2015-11-25 2016-11-25 用户终端设备及其控制方法
EP16868920.6A EP3335189A4 (en) 2015-11-25 2016-11-25 User terminal apparatus and control method thereof
PCT/KR2016/013673 WO2017091024A1 (en) 2015-11-25 2016-11-25 User terminal apparatus and control method thereof
US16/517,162 US20190340757A1 (en) 2015-11-25 2019-07-19 User terminal apparatus and control method thereof
US16/517,187 US20190340758A1 (en) 2015-11-25 2019-07-19 User terminal apparatus and control method thereof
US16/517,267 US10861153B2 (en) 2015-11-25 2019-07-19 User terminal apparatus and control method thereof
US17/022,892 US11568981B2 (en) 2015-11-25 2020-09-16 User terminal apparatus and control method thereof
KR1020220013679A KR102519162B1 (ko) 2015-11-25 2022-01-28 사용자 단말 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150165794A KR102359359B1 (ko) 2015-11-25 2015-11-25 사용자 단말 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220013679A Division KR102519162B1 (ko) 2015-11-25 2022-01-28 사용자 단말 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20170060972A KR20170060972A (ko) 2017-06-02
KR102359359B1 true KR102359359B1 (ko) 2022-02-08

Family

ID=58721745

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150165794A KR102359359B1 (ko) 2015-11-25 2015-11-25 사용자 단말 장치 및 그 제어 방법
KR1020220013679A KR102519162B1 (ko) 2015-11-25 2022-01-28 사용자 단말 장치 및 그 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220013679A KR102519162B1 (ko) 2015-11-25 2022-01-28 사용자 단말 장치 및 그 제어 방법

Country Status (5)

Country Link
US (5) US10521903B2 (ko)
EP (1) EP3335189A4 (ko)
KR (2) KR102359359B1 (ko)
CN (2) CN108292420B (ko)
WO (1) WO2017091024A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146147B1 (en) * 2015-04-13 2015-09-29 Umar Rahim Bakhsh Dynamic nutrition tracking utensils
US10719711B2 (en) * 2016-01-06 2020-07-21 Orcam Technologies Ltd. Methods and systems for controlling external devices using a wearable apparatus
CN109219801A (zh) * 2016-03-24 2019-01-15 苏蓓拉·阿兰德 为个体提供实时或即时的在线帮助以帮助他们实现个性化健康目标
US10748445B2 (en) * 2017-07-12 2020-08-18 Pagokids, LLC Automated nutrition analytics systems and methods
US10572632B2 (en) * 2017-10-02 2020-02-25 Robert M. Buckley Using augmented reality interface and real-time glucose data to control insulin delivery device
JP7062434B2 (ja) * 2017-12-21 2022-05-06 アンリツ株式会社 物品検査装置
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
JP6355147B1 (ja) * 2018-01-17 2018-07-11 ライフログテクノロジー株式会社 食事管理システム
GB201802022D0 (en) * 2018-02-07 2018-03-28 Winnow Solutions Ltd A method and system for classifying food items
CN108960271B (zh) * 2018-04-13 2021-07-20 湖南大学 一种基于图像识别的餐饮收货诚信规范方法
CN108648800A (zh) * 2018-05-14 2018-10-12 四川斐讯信息技术有限公司 一种推荐饮食的智能手环及基于智能手环的饮食推荐方法
KR102342184B1 (ko) * 2018-12-12 2021-12-22 주식회사 누비랩 급식관리 시스템
CN111666961B (zh) * 2019-03-07 2023-02-17 佛山市顺德区美的电热电器制造有限公司 智能家电及其识别食材类型的方法、装置、电子设备
US11733048B2 (en) * 2019-07-31 2023-08-22 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20210020702A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공지능 서버
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
CN111540438B (zh) * 2020-04-22 2023-05-09 北京字节跳动网络技术有限公司 一种资源配置方法、装置、电子设备及存储介质
CN114359596A (zh) * 2020-09-30 2022-04-15 广东美的厨房电器制造有限公司 食材识别方法、家电设备、云端服务器和存储介质
WO2024101625A1 (ko) * 2022-11-09 2024-05-16 주식회사 누비랩 계층적 모델을 이용한 객체 식별 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
US20100332571A1 (en) * 2009-06-30 2010-12-30 Jennifer Healey Device augmented food identification
US20110318717A1 (en) * 2010-06-23 2011-12-29 Laurent Adamowicz Personalized Food Identification and Nutrition Guidance System

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
MXPA06002836A (es) * 2000-06-16 2006-06-14 Bodymedia Inc Sistema para vigilar y administrar el peso corporal y otras condiciones fisiologicas, que incluyen la planeacion, intervencion y capacidad de reporte iterativa y personalizada.
US20130158368A1 (en) * 2000-06-16 2013-06-20 Bodymedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
US7890386B1 (en) * 2000-10-27 2011-02-15 Palisades Technology, Llc Method for use with a wireless communication device for facilitating tasks using images and selections
KR20050003610A (ko) * 2003-06-27 2005-01-12 (사)한국영양학회 섭취된 음식물에 대한 영양가 산출방법
US20060195858A1 (en) 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
KR20060122111A (ko) * 2005-05-25 2006-11-30 주식회사 팬택 음식물 영상을 통한 칼로리 계산 방법
WO2007069118A2 (en) * 2005-12-14 2007-06-21 Koninklijke Philips Electronics N.V. Context aware food intake logging
US20080159622A1 (en) 2006-12-08 2008-07-03 The Nexus Holdings Group, Llc Target object recognition in images and video
US8439683B2 (en) 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
CN101776612B (zh) * 2009-12-31 2015-06-03 马宇尘 利用拍摄的原理计量人体营养摄入量的方法及系统
US8345930B2 (en) 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
WO2012043901A1 (ko) * 2010-09-30 2012-04-05 엘지전자 주식회사 식이관리방법 및 식이관리장치
JP2012113627A (ja) 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
US20120173269A1 (en) * 2010-12-31 2012-07-05 Julian Omidi Automated Monitoring and Aftercare for Obesity Patients Following Surgery
WO2012094569A2 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
WO2012115297A1 (en) * 2011-02-25 2012-08-30 Lg Electronics Inc. Analysis of food items captured in digital images
JP2013025728A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013054541A (ja) 2011-09-05 2013-03-21 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9254099B2 (en) * 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US20160112684A1 (en) * 2013-05-23 2016-04-21 Medibotics Llc Spectroscopic Finger Ring for Compositional Analysis of Food or Other Environmental Objects
US11754542B2 (en) * 2012-06-14 2023-09-12 Medibotics Llc System for nutritional monitoring and management
US20140350353A1 (en) * 2013-05-27 2014-11-27 Robert A. Connor Wearable Imaging Device for Monitoring Food Consumption using Gesture Recognition
US9442100B2 (en) * 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
CN102855640A (zh) * 2012-08-10 2013-01-02 上海电机学院 基于神经网络的水果等级分类系统
US20140063180A1 (en) * 2012-09-06 2014-03-06 Bby Solutions, Inc. Connected food scale system and method
US20150235562A1 (en) * 2012-10-12 2015-08-20 Elencee, Inc. Wellness and weight management system and method
JP2014089564A (ja) * 2012-10-30 2014-05-15 Sony Corp 情報処理装置および情報処理方法
KR101375018B1 (ko) 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
KR102057937B1 (ko) 2012-12-06 2019-12-23 삼성전자주식회사 디스플레이 장치 및 그 이미지 표시 방법
TWI498845B (zh) * 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
US8690578B1 (en) * 2013-01-03 2014-04-08 Mark E. Nusbaum Mobile computing weight, diet, nutrition, and exercise tracking system with enhanced feedback and data acquisition functionality
KR20140089729A (ko) * 2013-01-07 2014-07-16 재단법인 아산사회복지재단 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
US20140255882A1 (en) * 2013-03-05 2014-09-11 Comocomo Ltd Interactive engine to provide personal recommendations for nutrition, to help the general public to live a balanced healthier lifestyle
US20160035248A1 (en) 2013-03-14 2016-02-04 Sciencestyle Capital Partners, Llc Providing Food-Portion Recommendations to Facilitate Dieting
JP6279837B2 (ja) * 2013-04-09 2018-02-14 国立大学法人 東京大学 画像処理装置及びプログラム
JP6098326B2 (ja) 2013-04-18 2017-03-22 ソニー株式会社 情報処理装置および記憶媒体
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
KR20150029257A (ko) * 2013-09-09 2015-03-18 계명대학교 산학협력단 증강현실을 이용한 음식물 정보 제공 방법 및 시스템
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
CA2996475A1 (en) * 2014-09-12 2016-03-17 Blacktree Fitness Technologies Inc. Portable devices and methods for measuring nutritional intake
CN104391095A (zh) * 2014-11-25 2015-03-04 太仓市同维电子有限公司 移动智能的食品辨别测量终端设备的测试方法
KR101562364B1 (ko) * 2014-12-29 2015-10-23 재단법인 아산사회복지재단 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
CN104730073A (zh) * 2015-02-16 2015-06-24 中国土产畜产进出口总公司 一种餐盘所盛取菜品的定量分析方法及其系统
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置
CN104809472A (zh) * 2015-05-04 2015-07-29 哈尔滨理工大学 一种基于svm的食物分类识别方法
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US20170061821A1 (en) * 2015-09-02 2017-03-02 Elizabeth Eun-Young Choi Systems and methods for performing a food tracking service for tracking consumption of food items
US10373716B2 (en) * 2016-01-28 2019-08-06 Klue, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
CN109219801A (zh) * 2016-03-24 2019-01-15 苏蓓拉·阿兰德 为个体提供实时或即时的在线帮助以帮助他们实现个性化健康目标
US10952669B2 (en) * 2017-12-22 2021-03-23 International Business Machines Corporation System for monitoring eating habit using a wearable device
US20190295440A1 (en) * 2018-03-23 2019-09-26 Nutrino Health Ltd. Systems and methods for food analysis, personalized recommendations and health management
US11037029B2 (en) * 2018-10-11 2021-06-15 Futurewei Technologies, Inc. Multi-stage image recognition for a non-ideal environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
US20100332571A1 (en) * 2009-06-30 2010-12-30 Jennifer Healey Device augmented food identification
US20110318717A1 (en) * 2010-06-23 2011-12-29 Laurent Adamowicz Personalized Food Identification and Nutrition Guidance System

Also Published As

Publication number Publication date
US20190340757A1 (en) 2019-11-07
KR20220024238A (ko) 2022-03-03
WO2017091024A1 (en) 2017-06-01
CN108292420A (zh) 2018-07-17
EP3335189A1 (en) 2018-06-20
US10521903B2 (en) 2019-12-31
EP3335189A4 (en) 2018-07-25
CN112215191A (zh) 2021-01-12
US11568981B2 (en) 2023-01-31
CN108292420B (zh) 2022-11-29
US20170148162A1 (en) 2017-05-25
US20190340758A1 (en) 2019-11-07
US20190340759A1 (en) 2019-11-07
US20200410679A1 (en) 2020-12-31
KR102519162B1 (ko) 2023-04-10
KR20170060972A (ko) 2017-06-02
US10861153B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
KR102519162B1 (ko) 사용자 단말 장치 및 그 제어 방법
CN108475326B (zh) 用于提供与图像关联的服务的方法、存储介质和电子设备
EP3531370B1 (en) Method for correcting image by device and device therefor
KR102423184B1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
US9734426B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
CN108513060B (zh) 使用外部电子设备的拍摄方法和支持该方法的电子设备
US20190238934A1 (en) Method and apparatus for filtering video
CN108664829A (zh) 用于提供与图像中对象有关的信息的设备
CA2853452A1 (en) Feature-extraction-based image scoring
CN106662969A (zh) 处理内容的方法及其电子设备
EP3876139B1 (en) Method for estimating object parameters and electronic device
US20150293943A1 (en) Method for sorting media content and electronic device implementing same
WO2022052021A1 (zh) 联合模型的训练方法和对象信息处理方法、装置及系统
CN107357409B (zh) 一种信息处理方法及电子设备
WO2023280021A1 (zh) 一种生成主题壁纸的方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant