CN110021404A - 用于处理与食物相关的信息的电子设备和方法 - Google Patents

用于处理与食物相关的信息的电子设备和方法 Download PDF

Info

Publication number
CN110021404A
CN110021404A CN201811610310.XA CN201811610310A CN110021404A CN 110021404 A CN110021404 A CN 110021404A CN 201811610310 A CN201811610310 A CN 201811610310A CN 110021404 A CN110021404 A CN 110021404A
Authority
CN
China
Prior art keywords
information
electronic equipment
instruction
food
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811610310.XA
Other languages
English (en)
Inventor
赵正赞
李爽炫
崔智焕
朴智允
孙秉准
吴亮瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110021404A publication Critical patent/CN110021404A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nutrition Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本文公开了用于处理与食物相关的信息的电子设备和方法。该电子设备包括相机、显示器、处理器和存储指令的存储器，该指令可由处理器执行以：使用相机获取并显示图像，识别图像中的食物项，获取与每个食物项相对应的营养素信息，获取包括与每个食物项相关联的推荐的消耗量的推荐信息，并基于推荐的消耗量显示指示。在另一实施例中，处理器被配置为：显示指示被包括在通过至少一个相机获取的图像中的每个食物项的推荐的消耗量的指示，检测将与第一指示相关联的特定食物项的推荐的消耗量改变到新的目标消耗量的用户输入，并且响应于用户输入改变第一指示的大小和与第一指示不同的第二指示的大小。

Description

用于处理与食物相关的信息的电子设备和方法
技术领域
各种实施例涉及用于处理与食物相关的信息的电子设备和方法。
背景技术
以上信息仅作为背景信息提供，以帮助理解本公开。关于上述任何信息是否可以适用于关于本公开的现有技术，没有做出确定，并且没有断言。
随着技术的发展，许多电子设备现在可以识别由相机获取的图像内捕获的对象。这些电子设备可以提供与识别的对象有关的信息。
发明内容
随着有关健康意识的增强，人们对饮食管理越来越感兴趣。随着诸如智能手机和可穿戴设备的电子设备被广泛使用，正在开发使用电子设备的健康应用。因此，可能存在用于电子设备直观地提供关于食物摄入量的信息的期望解决方案。
本公开中所追求的技术主题可以不限于上述技术主题，并且本公开的本领域技术人员通过以下描述可以清楚地理解未提及的其他技术主题。
根据各种实施例的电子设备可以包括：至少一个相机；至少一个显示器；至少一个处理器；以及存储器，所述存储器存储编程指令，所述编程指令可由所述至少一个处理器执行以使所述电子设备：使用所述至少一个相机获取并显示图像；识别所述图像中的多个食物项；获取与所述多个食物项中的每个食物项相对应的营养素信息；基于所述营养素信息获取包括与所述多个食物项中的每个相关联的推荐的消耗量的推荐信息；以及基于与所述多个食物项相关联的所述推荐的消耗量显示多个指示。
根据各种实施例的电子设备可以包括：至少一个相机；至少一个显示器；至少一个处理器；以及存储器，所述存储器存储编程指令，所述编程指令可由所述至少一个处理器执行的编程指令以使所述电子设备：显示指示被包括在通过所述至少一个相机获取的图像中的每个食物项的推荐的消耗量的指示；检测将与第一指示相关联的特定食物项的推荐的消耗量改变为新的目标消耗量的用户输入；并且响应于所述用户输入，改变所述第一指示的大小和与所述第一指示不同的第二指示的大小。
根据各种实施例的用于操作电子设备的方法可以包括：使用电子设备的至少一个相机获取图像；从所述图像中识别与多种食物相关联的多个对象；获取与所述多个对象中的每个对象相对应的营养素信息；基于所述营养素信息获取关于与所述多种食物相关联的推荐摄入量的信息；并且显示用于指示与所述图像中包括的所述多个对象相关联的推荐摄入量的多个指示。
根据各种实施例的用于操作电子设备的方法可以包括：显示用于指示每种食物的推荐摄入量的指示以及通过所述电子设备的至少一个相机获取的并且包括与所述食物相关联的对象的图像；检测用于将与食物中的第一指示相关联的食物的推荐摄入量改变为目标摄入量的用户输入；并且基于所述用户输入改变指示中的第一指示的大小并改变与所述第一指示不同的第二指示的大小。
根据各种实施例的非暂时性计算机可读存储介质可以存储一个或多个程序以实现：使用与存储介质相关联的电子设备的至少一个相机获取图像的操作；从所述图像中识别与多种食物相关联的多个对象的操作；基于营养素信息获取与多种食物相关联的推荐摄入量的信息的操作；显示所述图像的操作；以及显示用于指示与被包括在图像中的多个对象相关联地显推荐摄入量有关的信息的多个指示的操作。
根据各种实施例的非暂时性计算机可读存储介质可以存储一个或多个程序以实现：显示用于指示每种食物的推荐摄入量的指示以及通过与所述存储介质相关联的电子设备的至少一个相机获取的并且包括与所述食物相关联的对象的图像的操作；检测用于将与食物中的第一指示相关联的所述食物的推荐摄入量改变为目标摄入量的用户输入的操作；以及根据所述用户输入改变指示中的第一指示的大小并改变与所述第一指示不同的第二指示的大小的操作。
根据各种实施例的电子设备及其方法可以通过直观的用户界面提供包括与食物相关联的对象的图像，从而引导用户摄入适当的食物。
可以通过本公开获取的效果不限于上述效果，并且本领域技术人员从以下描述中可以清楚地理解未提及的其他效果。
附图说明
通过以下结合附图的描述，本公开的某些实施例的以上和其他方面，特征和益处将更加明显，其中：
图1是示出根据各种实施例的网络环境中的电子设备的框图；
图2示出了根据各种实施例的电子设备的功能配置的示例；
图3示出了根据各种实施例的电子设备和外部电子设备之间的信号传递的示例；
图4示出了根据各种实施例的电子设备的操作的示例；
图5示出了根据各种实施例的显示关于与食物相关的对象的指示的电子设备的操作的示例；
图6示出了根据各种实施例的在电子设备上显示的图像的示例；
图7示出了根据各种实施例的在电子设备上显示的图像的另一示例；
图8示出了根据各种实施例的在电子设备上显示的图像的又一示例；
图9示出了根据各种实施例的获取关于每种食物的推荐摄入量的信息的电子设备的操作的示例；
图10示出了根据各种实施例的改变显示的指示的电子设备的操作的示例；
图11示出了根据各种实施例的在电子设备上显示的图像的又一示例；
图12示出了根据各种实施例的在电子设备上显示的图像的又一示例；
图13示出了根据各种实施例的显示与食物相关联的对象以及关联信息的电子设备的操作的示例；
图14示出了根据各种实施例的在电子设备上显示的用户界面的示例；
图15示出了根据各种实施例的在电子设备上显示的用户界面的另一示例；
图16示出了根据各种实施例的获取摄入量信息的电子设备的操作的示例；
图17示出了根据各种实施例的在电子设备上显示的图像的又一示例；
图18示出了根据各种实施例的在电子设备上显示的图像的又一示例；
图19示出了根据各种实施例的在电子设备上显示的用户界面的又一示例；
图20示出了根据各种实施例的显示关于推荐摄入量的信息的电子设备的操作的示例；
图21示出了根据各种实施例的在电子设备上显示的用户界面的又一示例；和
图22示出了根据各种实施例的电子设备和另一电子设备之间的链接的示例。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子设备101的框图。参照图1，网络环境100中的电子设备101可经由第一网络198(例如，短距离无线通信网络)与电子设备102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108进行通信。根据实施例，电子设备101可经由服务器108与电子设备104进行通信。根据实施例，电子设备101可包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子设备101中省略所述部件中的至少一个(例如，显示设备160或相机模块180)，或者可将一个或更多个其它部件添加到电子设备101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示设备160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子设备101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子设备101(而非主处理器121)的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如，显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子设备101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入设备150可从电子设备101的外部(例如，用户)接收将由电子设备101的其它部件(例如，处理器120)使用的命令或数据。输入设备150可包括例如麦克风、鼠标或键盘。
声音输出设备155可将声音信号输出到电子设备101的外部。声音输出设备155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示设备160可向电子设备101的外部(例如，用户)视觉地提供信息。显示设备160可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示设备160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入设备150获取声音，或者经由声音输出设备155或与电子设备101直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备102)的耳机输出声音。
传感器模块176可检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子设备101与外部电子设备(例如，电子设备102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可包括连接器，其中，电子设备101可经由所述连接器与外部电子设备(例如，电子设备102)物理连接。根据实施例，连接端子178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子设备101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子设备101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。
天线模块197可将信号或电力发送到电子设备101的外部(例如，外部电子设备)或者从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和电子设备104中的每个可以是与电子设备101相同类型的设备，或者是与电子设备101不同类型的设备。根据实施例，将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如，如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备101可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备101。电子设备101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例，电子设备不限于以上所述的那些电子设备。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参照标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子设备101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子设备101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2示出了根据各种实施例的电子设备的功能配置的示例。该功能配置可以包括在图1所示的电子设备101中，或者可以在电子设备101中实现。
参照图2，电子设备101可以包括处理器120、存储器130、显示设备160、传感器模块176、相机模块180和通信模块190。
在各种实施例中，处理器120可以包括图1中所示的处理器120。如图1所示，存储器130可以包括图1中所示的存储器130，显示设备160可以包括图1中所示的传感器模块176，相机模块180可以包括图1中所示的相机模块180，通信模块190可以包括图1所示的通信模块190和图1所示的接口177中的至少一个。
在各种实施例中，处理器120可包括图像处理模块210、生物计量信息处理模块240和渲染模块270，并且可执行包括在存储器130中的指令以驱动图像处理模块210、生物计量信息处理模块240和渲染模块270。
在各种实施例中，图像处理模块210可以处理由相机模块180(例如，至少一个相机)获取的图像。图像可以与食物相关联。例如，图像可以包括与多个食物相关联的多个对象。在各种实施例中，图像处理模块210可以指用于人工智能服务的应用(例如，BixbyVisionTM)。在各种实施例中，图像处理模块210可包括特征点提取器212、规模估计器214、表面检测器216、图像分割单元218、跟踪器220、对象识别器222和语音识别器224。
在各种实施例中，特征点提取器212可以从由相机模块180获取的图像中提取至少一个特征，以识别图像中用于拍摄的主体是什么。在各种实施例中，特征点提取器212可以提取至少一个特征以识别图像中包括的多个对象中的主要对象。在各种实施例中，特征点提取器212可以提取至少一个特征以识别图像是关于什么的。例如，处理器120(或图像处理模块210)可以使用特征点提取器212从图像中提取至少一个特征，从而识别图像与食物相关联。
在各种实施例中，规模估计器214可以基于与图像相关联的深度信息(和/或长度信息)估计与由相机模块180获取的图像中包括的与对象相关联的食物的量(体积、质量等)。在各种实施例中，深度信息可以指获取的用于将以二维(2D)配置的图像改变或转换为三维(3D)图像的信息。在各种实施例中，可以通过在获取图像的同时从电子设备101发射诸如激光和红外线的光来获取深度信息。例如，可以基于在获取图像的同时基于从电子设备101发射的红外线的反射的波长的信息来获取深度信息。在各种实施例中，可以通过具有不同特征的两个或更多个相机获取图像来获取深度信息。在各种实施例中，可以通过对获取的图像进行预处理或后处理来获取深度信息。例如，可以通过识别图像中包括的每个对象自参照点的距离来获取深度信息。在各种实施例中，可以使用立体匹配设备使用左图像和右图像的视差来获取深度信息，该立体匹配设备使用用于左图像的相机和用于右图像的相机。在各种实施例中，可以基于在获取图像时接收的音频信号(例如，与菜单的类型和数量相关联的音频信号)的识别来获取深度信息。例如，可以从使用训练模型的相机获取的一个图像获取深度信息。在各种实施例中，规模估计器214可以基于深度信息估计对象的大小，从而估计与对象相关联的食物的量。
在各种实施例中，表面检测器216可以基于由相机模块180获取的图像获取关于图像中的对象的表面、曲率和纹理中的至少一个的信息。表面检测器216可以至少基于所获取的信息获取用于识别对象与食物相关联的信息。
在各种实施例中，图像分割单元218可以将被包括在由相机模块180获取的图像中的对象与图像分开。在各种实施例中，图像分割单元218可以至少基于关于图像的连续性的信息、与图像相关联的深度信息、关于图像中的颜色的信息、关于与图像相关联的显着图的信息(例如，关于图像中每个像素的独特质量的数据)或与图像相关联的索引信息，从图像中识别或提取对象。图像分割单元218可以将对象与图像分开以识别对象与哪种食物相关联。在各种实施例中，可以提供关于划分对象的信息以识别存储在存储器130中的数据库。例如，处理器120可以使用关于对象的信息搜索或检索数据库，从而识别对象关联的食物。用。在各种实施例中，可以经由通信模块190提供关于划分对象的信息，用于识别与电子设备101相关的外部电子设备(例如，服务器108)。例如，外部电子设备可以使用所接收的关于对象的信息检索包括在外部电子设备中的数据库，从而识别对象与哪种食物相关联。
在各种实施例中，跟踪器220可以跟踪通过相机模块180获取的图像中包括的关键对象(例如，与食物相关联的对象)。在各种实施例中，跟踪器220可以跟踪通过相机模块180获取的图像中包括的预定标记。在各种实施例中，处理器120可以使用跟踪器220监控所获取的图像的状态是否被改变或者用户获取图像的意图是否被改变。
在各种实施例中，对象识别器222可以识别由图像分割单元218划分的对象与哪种食物相关联。例如，对象识别器222可以识别出分割的对象与猪排相关联。对于这种识别，对象识别器222可以与外部电子设备交互工作或者可以与存储在存储器130中的数据库链接。在各种实施例中，对象识别器222可以获取关于与对象相关联的食物的关联信息。例如，对象识别器222可以获取用于获取关于与对象相关联的食物的每单位卡路里的信息或关于食物的成分(例如，碳水化合物、蛋白质、脂肪和维生素)的信息的参数。例如，对象识别器222可以使用与对象相关联的波长来识别对象与食物相关联。在各种实施例中，为了获取该信息，处理器120可以检索包括与存储在存储器130中的食物相关联的数据的数据库，或者可以基于通过对象识别器222获取的数据来执行与外部电子设备(例如，大数据服务器)的信号传递。处理器120可以至少基于检索的结果或信号传递使用电子设备101的数据库中的表或存储在外部电子设备中的数据库中的表来获取食物的成分(或营养素)。
在各种实施例中，语音识别器224可识别在获取图像时接收的语音命令或在获取图像之后的指定时间内接收的语音命令。例如，语音识别器224可以在获取图像的同时或者在获取图像之后的指定时间内使用麦克风(或换能器)接收语音命令。语音识别器224可以通过检索与存储在存储器130中的语音识别相关联的数据库或通过与外部电子设备(例如，语音识别服务器)的信号传递来识别语音命令。当识别出识别的语音命令与图像相关联时，语音识别器224可以将关于语音命令的信息提供给与处理器120相关联的各种组件(例如，图像处理模块、生物计量信息处理模块240以及渲染模块270中的组件)。
在各种实施例中，生物计量信息处理模块240可以处理关于用户的生物计量信息。在各种实施例中，可以经由包括在电子设备101中的传感器模块176获取生物计量信息。在各种实施例中，生物计量信息可以从另一电子设备(例如，可穿戴设备)获取，例如与如图1所示的电子设备101链接的电子设备102。在各种实施例中，生物计量信息处理模块240可包括食物管理器242、调度器244和用户简档数据库246。
在各种实施例中，食物管理器242可包括与食物相关联的数据库243。在各种实施例中，可通过服务器等获取与食物相关联的数据库243。在各种实施例中，用户可以使用电子设备101记录或更新与食物相关联的数据库。在各种实施例中，与食物相关联的数据库243或与数据库相关联的指令(或程序)可以指食物智能代理。在各种实施例中，食物智能代理可用于配置或使用与食物相关联的数据库243。
在各种实施例中，食物管理器242可以使用数据库提供关于食物的信息。
在各种实施例中，调度器244可以基于与图像处理模块210识别的对象相关联的食物的关联信息，为与电子设备101相关联的用户生成食物项型或食物摄入量的调度。在各种实施例中，调度器244可以从对象识别器222获取关于与对象相关联的每单位食物的卡路里信息或关于食物成分的信息中的至少一个作为关联信息。调度器244可以识别什么类型的食物对于用户的身体特征(例如，体重、身高、年龄、饮食习惯和体脂水平)是适当的，或者至少基于关联信息可以识别足以满足用户的身体特征的摄入量。
在各种实施例中，调度器244可以基于用户的身体特征或关于用户的生物计量信息来处理所识别的关联信息。例如，调度器244可以至少基于关于足以满足用户的身体特征关于食物种类的信息或足以满足用户身体特征的摄入量，生成关于用户食用的食物的卡路里、某种营养素或用于引导摄入量含有某种营养素的食物的信息。调度器244可以通过与渲染模块270相关联的显示设备160显示所生成的信息。
在各种实施例中，用户简档数据库246可以将生物计量信息存储在与电子设备101相关联的用户上。在各种实施例中，生物计量信息可以包括健康信息，例如用户的身高、体重、血压和血糖水平。在各种实施例中，可以从外部服务器(例如，与医院、健康中心等相关联的服务器)获取生物计量信息。在各种实施例中，生物计量信息可以由电子设备101的至少一个传感器更新。例如，生物计量信息可以至少基于与电子设备101相关联的用户所食用的食物和通过用户锻炼等消耗的卡路里来更新。例如，用户简档数据库246可以存储基于通过传感器模块176获取的关于用户的生物计量信息和通过另一电子设备(例如，可穿戴设备)的传感器模块获取的关于用户的生物计量信息以及从其他电子设备接收的关于用户的生物计量信息中的至少一个生成的数据。例如，存储在用户简档数据库246中的数据可以包括关于用户体重变化的信息、关于用户食用掉的食物量的信息等。用户简档数据库246可以与电子设备101中的其他组件(例如，图像处理模块210和生物计量信息处理模块240)交互工作，以便提供存储在用户简档数据库246中的数据。在各种实施例中，处理器120可以从用户简档数据库246获取关于食物摄入量的信息。
在各种实施例中，渲染模块270可以经由显示设备160显示通过图像处理模块210获取的信息和通过生物计量信息处理模块240获取的信息中的至少一个。在各种实施例中，渲染模块270可以在与用于提供人工智能服务的健康应用(例如，BixbyTM)相关联的用户界面内显示通过图像处理模块210获取的信息。在各种实施例中，渲染模块270可以在通知区域或通知栏内显示通过图像处理模块210获取的信息。在各种实施例中，渲染模块270可以在与健康应用(例如，Samsung(S)HealthTM)相关联的用户界面内显示通过图像处理模块210获取的信息。在各种实施例中，渲染模块270可以在与用于提供人工智能服务的应用(例如，BixbyTM)相关联的用户界面内显示通过生物计量信息处理模块240获取的信息。在各种实施例中，渲染模块270可以在通知区域或通知栏内显示通过生物计量信息处理模块240获取的信息。在各种实施例中，渲染模块270可以在与健康应用(例如，Samsung(S)HealthTM)相关联的用户界面内显示通过生物计量信息处理模块240获取的信息。
图2中所示的电子设备101(或处理器120)可以执行下面参照图4到图21描述的操作。
图3示出了根据各种实施例的电子设备和外部电子设备之间的信号传递的示例。该信号传递可以在图1所示的电子设备101或图2所示的电子设备101与图1所示的外部电子设备(例如，电子设备102，电子设备104或服务器108)之间发生。
参照图3，电子设备101的图像处理模块210可以从由相机模块180获取的图像中识别与食物相关联的对象。图像处理模块210可以与通信模块190交互工作以发送关于对象的信息(或包括对象的图像的信息)。在各种实施例中，外部电子设备310可以是识别包括在图像中的对象的服务器。在各种实施例中，外部电子设备310可以至少基于所接收的关于对象的信息来识别对象与哪种食物相关联。外部电子设备310可以向图像处理模块210提供关于被识别为与对象相关联的食物的信息。例如，关于食物的信息可以包括关于食物项型和食物营养素数据的数据。
在各种实施例中，图像处理模块210可与通信模块190交互工作，以将关于图像的信息、关于对象的信息或关于食物项型的信息发送到外部电子设备320。在各种实施例中，外部电子设备320可以是提供关于与包括在图像中的对象相关联的食物的附加信息的服务器。在各种实施例中，外部电子设备320可以至少基于所接收的信息识别关于食物的附加信息。在各种实施例中，附加信息可以指食物、食物的营养素或食物的卡路里。在各种实施例中，附加信息可以指食物的配方或与食物相关的半成品食物的购物指南。
在各种实施例中，附加信息可以指与食物相关的其他食物的信息。例如，外部电子设备320可以至少基于所接收的信息识别关于与食物相关的另一食物的信息或关于食物或其他食物的食谱的信息作为附加信息。在各种实施方案中，其他食物可以指能够提供与食物营养素不同的营养素的食物。在各种实施方案中，其他食物可以指能够提供与食物营养素类似的营养素的食物。
外部电子设备320可以向图像处理模块210提供附加信息。图像处理模块210可以使用各种方法处理附加信息。例如，图像处理模块210可以通过健康应用的用户界面、与网页相关联的用户界面、与视频回放相关联的用户界面等来显示附加信息。
在各种实施例中，图像处理模块210可以将关于与对象相关联的食物的信息和关于食物的附加信息中的至少一个发送到外部电子设备330。外部电子设备330可以是配置与食物有关的大数据的服务器。在各种实施例中，外部电子设备330可以指的是不仅从电子设备101而且从其他电子设备接收关于食物的信息并且基于所接收的信息来配置大数据的服务器。在从诸如电子设备101的设备接收到请求时，外部电子设备330可以将关于食物的信息或关于食物的附加信息发送到设备。
在各种实施例中，图像处理模块210可以向生物计量信息处理模块240提供与由图像处理模块210处理的食物相关联的信息、与从外部电子设备310获取的食物相关联的信息、从外部电子设备320获取的食物相关联的信息、与发送到外部电子设备330(图3中未示出)或从外部电子设备330接收的食物相关的信息中的至少一个。例如，图像处理模块210可以将该信息提供给生物计量信息处理模块240，以便将该信息与关于用户的生物计量信息链接。
在各种实施例中，生物计量信息处理模块240可以处理该信息。在各种实施例中，生物计量信息处理模块240可以基于关于用户的生物计量信息(例如用户的身体特征)来处理该信息。例如，生物计量信息处理模块240可以存储该信息以便监控用户的饮食习惯。在另一示例中，生物计量信息处理模块240可以生成关联信息并且可以显示或存储关联信息，该关联信息将关于由生物计量信息处理模块240获取的用户的生物计量信息与该信息相关联。由生物计量信息处理模块240处理或处理的信息可以通过各种方法(例如，通过提供通知)提供给用户。
为了便于解释，图3示出了外部电子设备310、外部电子设备320和外部电子设备330被独立配置的示例。根据实施例，外部电子设备310、外部电子设备320和外部电子设备330中的至少一个或多个可以被配置为单个电子设备。
图4示出了根据各种实施例的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
参照图4，在操作410中，处理器120可以显示由相机模块180获取的图像。在各种实施例中，图像可以由包括在相机模块180中的至少一个相机获取。例如，图像可以是由至少一个相机(例如，一个或多个相机)的第一相机获取的图像，由至少一个相机的具有与第一相机的特征不同的特征的第二相机获取的图像，或者由合成由第一相机获取的第一图像和由第二相机获取的第二图像获取的图像。在各种实施例中，第一相机的视图可包括相对于第二相机的视图的视差(或视角差异)。例如，视差可以对应于人的左眼与人的右眼之间的视差。使用视差，处理器120可以获取关于通过合成第一图像和第二图像而获取的图像的深度信息。在各种实施例中，图像可以与食物相关联。在各种实施例中，图像可包括与食物相关联的对象。例如，图像可以是通过拍摄食物获取的图像。
在操作420中，处理器120可以获取关于图像的深度信息。在各种实施例中，可以在获取图像的同时基于从电子设备101发射的至少一个光来获取深度信息。所述至少一个光可以在与所述至少一个相机的视图(例如，视场“FOV”或视角“AOV”)对应的方向上发射。在各种实施例中，可以通过具有不同特征的相机(例如，第一相机和第二相机)获取深度信息。在各种实施例中，可以通过对获取的图像进行后处理来获取深度信息。在各种实施例中，深度信息可用于识别与图像中包括的对象相关联的每种食物的量(例如，每块食物的体积和/或每块食物的质量)。
在操作430中，处理器120可以从图像中识别与食物相关联的对象。在各种实施例中，处理器120可从图像中提取至少一个特征。处理器120可以基于至少一个特征识别图像与食物相关联。在各种实施例中，处理器120可以基于训练数据识别图像与食物相关联。在各种实施例中，可以基于人工智能算法获取训练数据，例如机器学习、神经网络或深度学习算法。训练数据可以作为学习数据用作参照。在该识别的基础上，处理器120可以通过图像处理获取关于图像中的多个对象中的每个对象的边界的信息、关于多个对象中的每个对象的表面的信息、关于每个对象的曲率的信息，或关于与多个对象相关联的纹理的信息，从而从多个对象中识别与食物相关联的对象。在各种实施例中，处理器120可以将对象与图像分开。例如，处理器120可以从图像划分对象以便识别每个对象。
在操作440，处理器120可以执行用于显示关于每个对象的附加信息的至少一个操作。在各种实施例中，附加信息可包括关于识别每个对象的结果的数据。在各种实施例中，处理器120可以执行至少一个操作，以便获取通过识别与每个食物项相关联的对象而获取的各种附加信息。该至少一个操作可以指用于直观地提供与食物相关联的附加信息的操作。在各种实施例中，稍后将参照图5至图21描述至少一个操作。
图5示出了根据各种实施例的显示关于与食物相关联的对象的指示的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120、或图2所示的电子设备101的处理器120执行。
图5中的操作510至540可以与图4中的操作440相关联。
参照图5，在操作510中，处理器120可以至少基于每个对象的信息获取每个食物项的热量信息(例如，“第一信息”)，热量信息例如包括每单位(例如，重量)的卡路里。在各种实施例中，处理器120可以通过操作(例如图4中的操作430)从图像中识别与食物相关联的对象。在各种实施例中，处理器120可以至少基于关于每个对象的信息来识别每个对象。例如，处理器120可以使用关于每个对象的信息(例如，通过视觉图像或其他这样的数据)来检索存储在存储器130中的数据库，从而(例如，通过产生预定的视觉相似性阈值水平的算法比较)识别对象所对应的食物，其中每个对象的信息包括关于每个对象的纹理、边界或表面的数据。处理器120基于识别结果可以检索存储在存储器130中的数据库，可以检索与电子设备101链接的服务器，或者可以检索网页，从而获取关于与各个对象相关联的每种食物的每单位卡路里(例如，每100克的卡路里(cal)和每食物分量的卡路里)的第一信息。在另一示例中，处理器120可以将关于所识别的对象的信息发送到与图像识别相关联并且链接到电子设备101的外部电子设备(例如，服务器)。在接收到关于对象的信息时，外部的电子设备可以识别对象所对应的食物。外部电子设备可以将关于识别结果的信息发送到电子设备101。处理器120基于所接收的信息可以检索存储在存储器中的数据库，可以检索与电子设备101链接的服务器(可以与外部电子设备相同或不同)，或者可以检索网页，从而获取关于与各个对象相关联的每种食物的每单位卡路里的第一信息。
在操作520中，处理器120可以至少基于深度信息和第一信息计算指示包括在每个食物块中的总估计卡路里的卡路里信息(例如，“第二信息”)。在各种实施例中，处理器120可以至少基于关于包括在第一信息中的每种食物的每单位卡路里的数据和关于通过深度信息获取的每种食物的量的数据来获取第二信息。例如，当包含在第一信息中的食物A的每单位卡路里被识别为114kcal/100g，并且包括在深度信息中的食物项A的量被估计为600g时，处理器120可以计算处食物A的总卡路里值为684千卡(Kcal)。处理器120可以计算包括指示食物A的估计总卡路里值是684千卡的数据的第二信息。在另一示例中，当包括在第一信息中的食物B的每单位卡路里是319kcal/100g并且包括在深度信息中的食物项B的量被估计为1000g时，处理器120可以计算出。食物B的总估计卡路里值是3188.56千卡。由此，处理器120可以计算包括表示食物B的总卡路里为3188.56千卡的数据的第二信息。
在操作530中，处理器120可以至少基于第二信息获取关于每种食物的推荐摄入量的信息。处理器120可以基于关于与图像中包括的各个对象相关联的每种食物的总卡路里的第二信息来计算在食用所有食物的情况下的总卡路里。参照前述示例，处理器120可以添加食物A的总卡路里(684千卡)和食物B的总卡路里(3188.56千卡)，从而计算在这些食物的全部的情况下总卡路里为38729.56千卡。处理器120可以至少基于关于计算的总卡路里的信息获取关于每种食物的推荐摄入量的信息。
在各种实施例中，处理器120可以至少基于与电子设备101相关联的用户的第二信息和生物计量信息获取关于每种食物的推荐摄入量的信息。生物计量信息可以存储在电子设备101中或在与电子设备101链接的服务器中。
例如，处理器120可以至少基于关于计算的总卡路里的信息和关于与电子设备101相关联的用户的食物摄入量历史的信息，获取关于每种食物的推荐摄入量的信息。具体地，当食物摄入量历史指示用户消耗比脂肪或蛋白质更多的碳水化合物并且预先推荐的食物摄入量的指南指示消耗的脂肪和蛋白质的量应该以比碳水化合物更高时，处理器120可以设定推荐的食物摄入量建议脂肪或蛋白质消耗增加，碳水化合物消耗减少。或者，当食物摄入量历史指示用户在先前的膳食中食用过量导致在给定时间段内当前或潜在的卡路里过量消耗时，处理器120可以生成建议减少当前食物消耗以等于参考推荐摄入量的通知。处理器120可以基于所识别的总推荐摄入量获取关于每种食物的推荐摄入量的信息。
在另一示例中，处理器120可以至少基于关于计算的总卡路里的信息和关于用户的病史的信息来获取关于每种食物的推荐摄入量的信息。具体地，当关于病史的信息指示用户是糖尿病时，处理器120可以将具有高糖水平的食物的推荐摄入量识别为低于参考推荐摄入量并且可以将具有低糖水平的食物的推荐摄入量识别为参考推荐摄入量。处理器120可以基于识别结果获取关于每种食物的推荐摄入量的信息。
在又一个示例中，处理器120可以接收关于与营养素相关联的比率的信息，并且可以基于该信息获取关于每种食物的推荐摄入量的信息。具体地，处理器120可以接收与营养素相关联的比率的输入，以将蛋白质比率设定为80％，并将碳水化合物与脂肪的相应比率设定为10％。例如，处理器120可以基于多种食物中的每种食物的营养素获取多种食物中关于高蛋白质食物和低碳水化合物食物的信息。
在又一个示例中，处理器120可以基于关于计算的总卡路里的信息和关于用户的锻炼历史的信息来获取关于每种食物的推荐摄入量的信息。例如，当关于锻炼历史的信息指示用户在指定时间段期间锻炼以燃烧许多卡路里时，处理器120可将总推荐摄入量识别为高于每餐的推荐摄入量的值。处理器120可以基于所识别的总推荐摄入量获取关于每种食物的推荐摄入量的信息。
在又一个示例中，处理器120可以基于关于每种食物的计算的总卡路里和营养素(例如，碳水化合物、脂肪、蛋白质、维生素等)的信息获取关于每种食物的推荐摄入量的信息。
在又一个示例中，处理器120可以基于关于计算的总卡路里和用户的压力指数的信息获取关于每种食物的推荐摄入量的信息。
尽管已经描述了根据各种实施例的处理器120可以基于关于用户的身体特征的信息、关于锻炼历史的信息、关于计算的总卡路里的信息、关于每种食物的营养素成分的信息、关于压力指数的信息和关于用户的病史的信息来获取关于每种食物的推荐摄入量的信息，但本公开不限于此。
在操作540中，处理器120可以显示用于指示推荐摄入量以及对象的指示(如下所示)。
例如，用于指示推荐摄入量的指示可以包括显示指示推荐摄入量的数字和字母中的至少一个。配置有数字和字母中的至少一个的每个指示可以显示在每个对象附近，以与与食物相关联的每个对象相关联。例如，配置有数字和字母中的至少一个的每个指示可以叠加(或部分叠加)在每个对象上。或者，可以在每个对象内显示配置有数字和字母中的至少一个的每个指示。或者，可以在距每个对象的指定距离内显示配置有数字和字母中的至少一个的每个指示。然而，本公开不限于此。
在另一示例中，可以通过突出显示与推荐摄入量相对应的对象的一部分(相对于对象的另一部分)来显示用于指示推荐摄入量的每个指示。例如，参照图6，部分图像600可以包括指示620，其可以采取围绕所识别的食物项的视觉轮廓的形式。处理器120可以显示叠加在与部分图像600中识别的特定份食物(例如，猪排)相关联的对象610上的指示620。用户可以通过以下方式识别推荐的食物摄入量(例如，猪排)。在各种实施例中，处理器120还可以包括提供关于部分图像600中的推荐摄入量的进一步信息(例如估计的卡路里值)的另一指示630。指示630可以配置有数字或字母的组合，以便以例如估计的卡路里值的形式明确地提供推荐的摄入量。
图6示出了可视地提供示例指示630的示例。在各种其他实施例中，可以通过诸如语音通知的声音来输出指示630。在各种其他实施例中，可以使用触觉效果来输出指示630。然而，本公开不限于此。
在又一个示例中，用于指示推荐摄入量的每个指示可以被配置为以至少一部分对象的形状显示。例如，参照图7，部分图像700可以包括指示720，指示720包括食物的一部分的轮廓和食物730的一部分的再现图像。处理器120可以在部分图像中显示与食物相关联的对象710的一部分的表示。例如，处理器120可以从部分图像700中的对象710提取具有与推荐摄入量相对应的规格的部分730。处理器120可以显示对应于推荐的对象710的部分。在各种实施例中，指示720可以在对象710附近显示为“浮动”。在各种实施例中，处理器120可以基于推荐的摄入量来控制对象710的部分的透明度，从而显示指示720的浮动，例如，处理器120可以半透明地显示对应于对象710的部分的区域730，该对象710的部分对应于推荐摄入量。
在各种实施例中，处理器120可以显示每个指示以及每个对象。例如，参照图8，处理器120可以显示图像800。图像800可以包括显示与包括在图像800中的食物相关联的对象的指示符。例如，图像800可以包括指示汉堡包的对象810、指示牛排的对象820、指示炸薯条的对象830、指示面包的对象840、指示咖啡拿铁的对象850，以及指示乳清干酪沙拉的对象860。图像800可以包括与至少一些对象相关联的指示。例如，图像800可以包括与对象810相关联的指示815、与对象820相关联的指示825、与对象830相关联的指示835、与对象840相关联的指示845、以及与对象850相关联的指示855。指示815、指示825、指示835、指示845和指示855可分别指示与对象810、对象820、对象830、对象840和对象850相关联的食物的推荐摄入量。例如，指示区域815可以对应于汉堡包的推荐摄入量部分，指示区域825可以对应于牛排的推荐摄入量部分，指示区域835可以对应于推荐摄入量部分。如图4所示，炸薯条的区域可以对应于面包的推荐摄入量部分，并且指示855的区域可以对应于咖啡的推荐摄入量部分。如图8所示，对象860可以不与指示相关联。例如，当用户对奶酪过敏时，处理器120可以将含奶酪的食物的推荐摄入量设置为值“0”(例如，在获取关于每种食物的推荐摄入量的信息的操作530中)，从而防止用户食用用户过敏的食物。
在一些实施例中，处理器120可以与图像800中的多个食物相关联的多个对象中模糊与用户的偏好不匹配的对象，或者未通过对象识别而获取的食物相关联的对象。例如，如图8所示，处理器120可以模糊图像800中除了对象810、820、830、840、850和860之外的对象。
图8示出了用于显示对象和指示的方法中的一个示例，并且根据各种实施例的电子设备101可以使用各种方法显示对象或指示中的至少一个。例如，根据各种实施例的电子设备101的处理器120可以停用与已知对用户有害的食物相关联的对象，或者可以显示指示警报从而选择有害食物的视觉对象。在另一示例中，根据各种实施例的电子设备101的处理器120可以将诸如与每种食物相关联的每个对象的纹理、颜色或亮度的视觉效果的显示设置为取决于每种食物的营养素成分的不同的级别，从而使用户可以识别每种食物的营养素成分。例如，处理器120可以将具有碳水化合物的食物显示为具有第一颜色效果的主要营养素，并且可以将具有蛋白质的食物显示为具有第二颜色效果的主要营养素。然而，本公开不限于此。
如上所述，根据各种实施例的电子设备101(或处理器120)可以在用户界面内显示的预览图像中显示与增强现实(AR)相关联的视觉效果，并通过相机获取该视觉效果，从而直观地引导用户关于食物的摄入量。在各种实施例中，电子设备101可以显示与AR相关联的视觉效果的指示，使得用户可以直观地获得推荐摄入量。
图9示出了根据各种实施例的获取关于每种食物的推荐摄入量的信息的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
图9中的操作910至930可以与图5中的操作530相关联。
参照图9，在操作910中，处理器120可以基于关于用户的生物计量信息获取关于用户的推荐摄入量的信息。在各种实施例中，生物计量信息可包括用户的病史、用户的食物摄入量历史和用户的锻炼历史中的至少一个。在各种实施例中，生物计量信息可包括关于用户所摄入量的饮食的信息、关于用户执行的健康计划或锻炼计划的信息以及关于用户的锻炼水平的信息中的至少一个。为了便于解释，图9示出了处理器120基于生物计量信息获取关于用户的推荐摄入量的信息的示例。在各种实施例中，处理器120可以基于与食物相关联的其他信息获取关于用户的与生物计量信息不同的推荐摄入量的信息。在一些实施例中，处理器120可以基于关于用户与饮食相关联的设置的信息来获取关于用户的推荐摄入量的信息。例如，当关于用户设置的信息指示用户提供高蛋白质饮食时，处理器120可以识别关于用户的推荐摄入量的信息，使得用户摄取基于蛋白质的营养素。在一些其他实施例中，处理器120可以基于时间信息获取关于用户的推荐摄入量的信息。例如，当由电子设备101测量的时间段是晚上时，处理器120可以识别关于用户的推荐摄入量的信息，使得用户摄取基于低碳水化合物的营养素。
在操作920，处理器120可以基于关于用户的推荐摄入量的信息和第二信息来识别(或生成)用户的饮食计划。例如，处理器120可以基于排除对用户过敏的食物的食物组合来识别用户的饮食计划。在另一示例中，处理器120可以基于与包括在图像中的对象相关联的食物中的主菜对应的食物来识别用户的饮食计划。在又一个示例中，处理器120可以基于用户的偏好识别用户的饮食计划。在又一个示例中，当用户在下午过度摄入量碳水化合物和钠时，处理器120可以基于低碳水化合物和低钠食物识别用户的饮食计划。在又一个示例中，当用户已经节食时，处理器120可以基于具有低卡路里的食物识别用户的饮食计划。
在操作930，处理器120可以获取关于所识别的饮食计划中包括的每种食物的推荐摄入量的信息。例如，处理器120可以通过饮食中包括的每种食物来划分用户的推荐摄入量，从而获取关于每种食物的推荐摄入量的信息。
如上所述，根据各种实施例的电子设备101可以至少基于用户的偏好，关于用户的生物计量信息和用户的设置来识别用户的饮食，并且可以识别每个的推荐摄入量。食物包含在已确定的饮食中，从而引导用户摄入均衡的饮食。
图10示出了根据各种实施例的改变显示的指示的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
参照图10，在操作1010中，处理器120可以显示视觉指示，其有助于指示推荐的摄入量以及对象。在各种实施例中，操作1010可以例如对应于操作540(并且如图6、7和8中进一步示出的)。
在操作1020中，处理器120可以检测用于在食物中选择偏爱食物的输入。例如，输入可以包括单击输入、双击输入、拖动输入、压力触控输入，长按输入和/或悬停输入。在各种实施例中，输入可以包括用于在所显示的对象中选择至少一个对象的输入。在各种实施例中，输入可以包括用于选择指示中的至少一个指示的输入。在各种实施例中，输入可以对应于通过麦克风(或换能器)输入的用户的语音命令。输入可以包括用于指代至少一个对象的语音命令。例如，输入可以包括对应于多种食物之一的单词(例如，“猪排”)或包括单词的句子(例如，“我将有猪排”)。
在各种实施例中，处理器120可以响应于检测到输入，显示用于将所选食物的推荐摄入量改变为目标摄入量的信息。
例如，参照图11，处理器120可以响应于检测到对象820或指示825的输入1120而显示叠加在图像800上的窗口1125。窗口1125可以包括用于将推荐的摄入量改变为目标摄入量的至少一个视觉对象1130。
在另一示例中，参照图11，处理器120可以响应于检测到对象820或指示825的输入1135而显示叠加在图像800上的至少一个视觉对象1140。可以在该对象内显示至少一个视觉对象1140。图像800将推荐摄入量改变为目标摄入量。
在操作1030中，处理器120可以检测用于将所选食物的推荐摄入量改变为新目标摄入量的输入。在各种实施例中，可以将新目标摄入量与推荐摄入量区分开。在各种实施例中，新目标摄入量可以指用户新输入的特定食物的摄入量。例如，参照图11，处理器120可以检测窗口1125中显示的视觉对象1130的输入。在各种实施例中，视觉对象1130的输入可以包括经由在视觉对象1130中包括的至少一个按钮(例如，(-)按钮和(+)按钮)的输入。在各种实施例中，例如，视觉对象1130的输入可以包括使用(-)和(+)按钮对包括在视觉对象1130中的数字(150)的输入。尽管未在图11中示出，当检测到数字(150)的输入时，处理器120还可以显示用于改变数字的虚拟键盘。处理器120可以通过虚拟键盘中包括的多个数字键来识别目标摄入量。在另一示例中，参见图11，处理器120可以检测用于改变指示825的大小(或区域)的输入。例如，输入可以包括具有与至少一个视觉对象1140相对应的方向的拖动输入。在另一示例中，输入可以包括与压力触控有关的输入。在各种实施例中，处理器120可通过识别由输入引起的压力变化来识别目标摄入量。在各种实施例中，处理器120可以基于指示825的大小来识别目标摄入量，指示825的大小基于输入而改变。
在操作1040中，处理器120可以基于对用户的推荐摄入量和目标摄入量来识别要为用户的膳食分配的剩余摄入量。例如，处理器120可以通过从用户的推荐摄入量中减去新修改的目标摄入量来识别要分配给用户的膳食的剩余摄入量。
在操作1050中，处理器120可以基于所识别的剩余摄入量来识别饮食。在各种实施例中，当目标摄入量大于所选食物的推荐摄入量时，处理器120可通过在操作1010中减少通过显示器包括的至少一些食物的推荐摄入量来识别饮食。在各种实施例中，当目标摄入量大于所选食物的推荐摄入量时，处理器120可以通过在操作1010中排除通过显示器包括的至少一些食物并且通过添加至少一种其他的食物来识别饮食。在各种实施例中，当目标摄入量小于所选食物的推荐摄入量时，处理器120可通过在操作1010中增加通过显示器包括的至少一些食物的推荐摄入量来识别饮食。在各种实施例中，当目标摄入量小于所选食物的推荐摄入量时，处理器120可通过在操作1010中添加与通过显示器包括的食物不同的至少一种另外食物来识别饮食。
在操作1060中，处理器120可以基于所识别的饮食来改变至少一个指示的显示。例如，参照图12，处理器120可以在图像800内显示指示1210，以指示从推荐的牛排摄入量改变至的目标摄入量。由于指示1210指示了目标摄入量从推荐摄入量改变，因此指示1210可具有大于指示825的区域。处理器120可在图像800中显示由于从推荐摄入量改变到的目标摄入量的改变的其他指示。例如，仍然参照图12，处理器120还可以在图像800中显示指示1215，该指示1215具有比指示推荐的面包摄入量的指示845更小的区域。在另一示例中，处理器120还可以在图像800中显示指示1220，该指示1220具有比用于指示推荐的汉堡包摄入量的指示815更小的区域。在又一个示例中，处理器120可以添加意大利乳清干酪沙拉作为用户的饮食，其在操作540和1010中被排除在显示器之外。处理器120还可以显示指示1225，其指示在与乳清干酪沙拉相关联的对象860内的乳清干酪沙拉的推荐摄入量。
如上所述，根据各种实施例的电子设备101可以基于用于将某种食物的推荐摄入量改变为目标摄入量的输入来重新配置饮食，并且可以通过与AR相关联的视觉效果在图像中显示重新配置的饮食。根据各种实施例的电子设备101可以通过显示视觉效果来引导用户摄入适合于用户的食物。
图13示出了根据各种实施例的显示与食物相关联的对象以及关联信息的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
图13中的操作1310至1340可以与图4中的操作440相关联。
参照图13，在操作1310中，处理器120可以至少基于关于每个对象的信息获取关于每种食物的每单位卡路里的第一信息。在各种实施例中，操作1310可以与图5中的操作510相同或类似。
在操作1320中，处理器120可以至少基于深度信息和第一信息获取关于每种食物的总卡路里的第二信息。在各种实施例中，操作1320可以与图5中的操作520相同或相似。
在操作1330中，处理器120可以获取关于食物的关联信息。在各种实施例中，关联信息可以指从食物获取的信息。例如，关联信息可以包括每种食物的一种或多种营养素、每种食物的营养素的组分比、每种食物的价格信息、每种食物的营养素信息、每种食物的销售地点信息、与每种食物相匹配的其他食物项的信息、与每种食物相关联的图像(例如，静止图像或视频)信息、每种食物销售的网页信息、用于上传包括食物的图像的网页信息，以及关于应用的信息，所述应用区别于用于获取包括与食物相关联的对象的图像的并且与该应用链接的另一应用。在各种实施例中，可以经由存储在电子设备101的存储器130中的数据库或经由存储在与电子设备101链接的服务器中的数据库来获取关联信息。
在操作1340中，处理器120可以显示包括对象的图像、与第二信息相关联的图标以及与关于食物的关联信息相关联的至少一个图标中的一个或多个。在各种实施例中，处理器120可以连同显示包括与食物相关联的对象的图像的用户界面，显示包括对象的图像、与第二信息相关联的图标以及与食物的关联信息相关联的至少一个图标，以便不仅提供关于图像的信息，还提供与食物有关的各种信息。例如，处理器120可以通过提供图像识别服务的应用的食物模式获取图像，或者可以通过应用的正常模式获取图像。根据一个实施例，当提取通过正常模式获取的图像的特征并且确定所获取的图像包括食物的图像时，处理器120可以将应用的操作模式改变为食物模式。处理器120可以使用应用的用户界面显示通过面向包括食物的区域的相机获取的图像(例如，预览图像)。处理器120可以基于识别或检测到图像被固定(或维持)指定时间来识别图像中的主体，可以识别由主体占据的感兴趣区域(ROI)，并且可以跟踪主题。处理器120可以基于跟踪从图像中提取主体，并且可以识别提取的主体，从而识别图像中的对象与食物相关联。基于该识别，处理器120可以获取关于与对象相关联的食物的总卡路里的信息，并且可以获取关于食物的关联信息。关于食物的总卡路里的信息可以基于通过相机获取的食物的深度信息和从外部电子设备(例如，服务器)或作为识别响应的存储器获取的每种食物的营养素信息获取。
例如，参照图14，处理器120可以显示包括与食物相关联的对象并且由至少一个相机经由提供图像识别服务的应用的用户界面1410获取的图像。当检测到电子设备101的至少一个相机的视图(FOV或AOV)被维持指定时间或者经由至少一个相机获取的图像保持指定的时间不变时，处理器120开始分析图像。例如，处理器120可以提取图像中的至少一个特征，并且可以提取图像中的多个对象的特征(例如，纹理、表面和曲率)，从而识别对象对应于主体。处理器120在识别的基础上，使用关于对象的信息可以检索电子设备101的数据库，或者可以检索与电子设备101相关联的至少一个外部电子设备(例如，web服务器和人工智能服务服务器)的数据库，从而识别对象与食物相关联。处理器120可以在执行识别时显示动画效果以指示正在识别图像中的对象。例如，处理器120可以显示从用户界面1410改变的用户界面1420。在各种实施例中，与用户界面1410相比，用户界面1420可以显示动画效果1425以指示在图像中正在被识别的对象(例如，蛋白杏仁饼干)。
处理器120可以基于识别出对象与食物相关联来执行操作1310和操作1320，从而在从用户界面1420改变的用户界面1430中显示与第二信息相关联的图标。在各种实施例中，与第二信息相关联的图标可以配置有叠加在图像上的透明层。在各种实施例中，与第二信息相关联的图标可包括包含在第二个信息中的数据(例如，食物的类型，例如蛋白杏仁饼干)、食物的分类(例如甜点)，以及每种食物的总卡路里(例如，105卡/每份)。
当检测到在用户界面1430内选择拍摄按钮的输入1437时，处理器120可以显示从用户界面1430改变的用户界面1440。用户界面1440可以显示捕获的图像-例如，明显为固定视图或冻结视图。在各种实施例中，在捕获之前在用户界面1410、用户界面1420和用户界面1430中显示的图像是对应于实时视图的图像(例如，预览图像)，而在捕获之后在用户界面1440中显示的图像可以是对应于固定视图的图像。
当在用户界面1430中检测到与第二信息相关联的图标的输入1435时，处理器120可以在从用户界面1430改变的用户界面1440中显示关联信息1445中的至少一些。为了便于解释，在图14的用户界面1440中显示的关联信息1445示出了在检测到输入1437之后检测到输入1435的示例。当在用户界面1430中检测到与第二信息相关联的图标的输入1435时，处理器120可以显示叠加在与实时取景相对应的图像上的关联信息1445。
处理器120可以在用户界面1440中显示关联信息1445的同时接收各种输入。
例如，处理器120可以接收用于在第一方向(图14中的向上方向)上拖动关联信息1445的输入1445a。处理器120可以响应于所接收的输入1445a显示叠加在用户界面1440上的关联信息1446。关联信息1446可以是关联信息1445的扩展。例如，关联信息1446可以是关联信息1445的详细信息。
在另一示例中，当接收到关联信息1445中的至少一个图标的第一图标的输入1450时，处理器120可以访问提供与每个对象相关联的配方的网站。
在又一示例中，当接收到关联信息1445中的至少一个图标的第二图标的输入1452时，处理器120可以访问用于上传图像的网站(例如，社交网络服务“SNS”网站)或者提供烹饪与图像相关的食物的方法的网站。
在又一示例中，当接收到关联信息1445中的至少一个图标的第三图标的输入1454时，处理器120可以执行与食物和应用(例如，提供图像识别服务的应用)相关联的另一应用(例如，健康服务应用)。当执行其他应用时，处理器120可以显示从用户界面1440改变的其他应用的用户界面1455。用户界面1455不仅可以包括关于用户的生物计量信息，还可以包括用户界面1440中包括的至少一些信息(例如，关联信息、第二信息以及图像)。在各种实施例中，处理器120可以通过应用和其他应用之间的连接，将通过应用获取的信息插入(包括)在其他应用的用户界面中或者为其他应用分配的存储区域中。
在另一示例中，参照图15，处理器120可以显示包括与食物相关联的对象的图像，并且由至少一个相机经由提供图像识别服务的应用的用户界面1510获取。当识别出包括在图像中的对象时，处理器120可以显示从用户界面1510改变的用户界面1520。在各种实施例中，用户界面1520可以显示关于与相应对象相关联的食物(例如，意大利乳清干酪沙拉)的信息、关于每种食物的总卡路里(例如，150卡路里/每份)的信息。关于食物的信息和关于总卡路里的信息可以叠加在图像上。当检测到用户界面1520中的菜单图标的输入时，处理器120可以显示从用户界面1520改变的用户界面1530。用户界面1530可以包括关于食物的关联信息。关联信息可以叠加在图像上。关联信息可以包括与关联信息相关联的至少一个图标。当在关联信息中包括的至少一个图标中检测到用于访问与应用链接的其他应用的图标的输入时，处理器120可以显示从用户界面1530改变的用户界面1540。用户界面1540可以对应到与应用不同的其他应用的执行屏。用户界面1540可以包括关于食物(例如，意大利乳清干酪沙拉)的详细信息。例如，详细信息可以包括关于食物的营养素的量信息、关于食物的卡路里信息和关于获取图像的时间的信息中的至少一个。例如，当在与早餐相关联的时间段中获取图像时，处理器120可以在用户界面1540中的早餐部分中插入关于食物的卡路里的信息。在各种实施例中，为了直接绕过、跳跃或跳过输入关于用户食用的食物的卡路里的信息而进入到提供健康服务的其他应用，处理器120可以通过在用户界面1530中输入关联中包括的至少一个图标，按时间分配和存储关于食物的卡路里的信息。例如，为了绕过通过触摸输入输入摄入量的卡路里，处理器120可以将多个食物中通过语音识别识别的食物的推荐摄入量转换为目标摄入量。在另一示例中，为了通过语音识别来绕过输入摄入量的卡路里，处理器120可以显示引导信息，该引导信息给出获取与摄入量后第二时间相对应的图像的指令。处理器120可以基于响应于显示器在第二时间获取的图像来识别食物、在多种食物中减少的体积(或长度)。处理器120可以基于所识别的食物和所识别的食物的体积的变化来获取关于用户食用的食物的卡路里的信息。
如上所述，根据各种实施例的电子设备101可以将提供图像识别服务的应用与提供健康服务的应用连接，从而容易地管理与食物摄入量有关的用户健康信息。通过该管理，根据各种实施例的电子设备101可以提供增强的用户体验(UX)。
图16示出了根据各种实施例的获取摄入量信息的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
图16中的操作1610至1670可以与图4中的操作440相关联。
参照图16，在操作1610中，处理器120可以至少基于与图像中包括的食物相关联的每个对象的信息，获取关于每种食物的每单位卡路里的第一信息。在各种实施例中，操作1610可以与图5中的操作510相同或相似。
在操作1620中，处理器120可以至少基于深度信息和第一信息获取关于每种食物的总卡路里的第二信息。在各种实施例中，操作1620可以与图5中的操作520相同或相似。
在操作1630，处理器120可以显示与每个对象相关联的第二信息。在各种实施例中，可以通过显示叠加在每个对象上的第二信息来指示每个对象与第二信息之间的关联。在各种实施例中，每个对象与第二信息之间的关联可以由指向每个对象、与图像重叠，并且包括第二信息的语音气球(或窗口)指示。
例如，参照图17，处理器120可以显示包括与食物相关联的对象的图像1700。图像1700可以包括与关于煎蛋的对象相关联的并且指示煎蛋的总卡路里(87千卡/每份)的第二信息1710、与关于牛排的对象相关联的并且指示牛排的总卡路里(504千卡/200克)的第二信息1720、与关于炸薯条的对象相关联的并且指示炸薯条的总卡路里(229千卡/100克)的第二信息1730、与关于咖啡拿铁的对象相关联的并且指示咖啡拿铁的总卡路里(105千卡/200毫升)的第二信息1740、与关于玉米沙拉的对象相关联的并且指示玉米沙拉的总卡路里(160千卡/100g)第二信息1750、与关于面包的对象相关联的并且指示面包的总卡路里(245千卡/100g)的第二信息1760、与关于意大利乳清干酪沙拉的对象相关联的并且指示意大利乳清干酪沙拉的总卡路里(150千卡/150克)的第二信息1770。用户可以通过图像1700识别与图像1700中包括的对象相关联的每种食物的总卡路里。
在操作1640中，处理器120可以检测用于确定用户的食物摄入量的输入。在各种实施例中，该输入可以通过图像中显示的第二信息输入。在各种实施例中，该输入可以经由图像中显示的对象输入。在各种实施例中，该输入可以在用户食用与图像中包括的对象相关联的食物之后或者在用户食用与包括在图像中的对象相关联的食物之前输入。在各种实施例中，输入可以包括从外部电子设备(例如，诸如智能眼镜的可穿戴设备或物联网(IoT)设备)接收关于由与电子设备101相关联的外部电子设备获取的图像的信息。在各种实施例中，外部电子设备可以指的是能够在用户进食时拍摄与用户相关联的食物的设备。为了便于解释，图18将示出用户在进食食物之前引起输入的示例。
例如，参照图18，处理器120可以检测图像1700中的第二信息1720的输入1810。处理器120可以响应于检测到的输入1810显示从第二信息1720改变的窗口1820。在各种实施例中，窗口1820可以包括用于确定用户的牛排摄入量(或估计摄入量)的元素。在各种实施例中，窗口1820可以包括用于输入用户的摄入量(或估计的摄入量)的可执行对象1825。在各种实施例中，窗口1820还可包括用于固定经由对象1825输入的值的可执行对象1830。在各种实施例中，窗口1820还可包括用于取消经由对象1825输入的值的可执行对象1835。在各种实施例中，窗口1820还可包括显示根据经由对象1825输入的值计算的用户的摄入量(或估计的摄入量)。
在另一示例中，参照图18，处理器120可以检测与图像1700中的玉米沙拉相关联的对象的输入。在各种实施例中，输入可以包括单击输入、双击输入、拖动输入、压力触控输入、长按输入或悬停输入。在各种实施例中，当检测到输入时，处理器120可以显示用于确定用户的摄入量(或估计的摄入量)的区域1850。在各种实施例中，处理器120可以检测用于区域1850的输入1845。输入1845可以包括用于改变区域1850的面积的拖动输入。处理器120可以基于输入1845来识别用户对玉米沙拉的摄入量。例如，处理器120可以基于由输入1845改变的区域1850的面积来识别用户的摄入量。在各种实施例中，处理器120可以通过改变在第二信息1750中的指示符1855来指示所识别的用户的摄入量(例如，为160千卡/100克)。
在各种实施例中，处理器120可以显示用于将用户的摄入量存储在存储器130中的对象1860。在各种实施例中，可以基于图像(例如，图像1700)的输入来显示对象1860。在各种实施例中，图像1700的输入的属性可以与第二信息的输入(例如，输入1810)的属性不同。在各种实施例中，图像1700的输入的属性可以与对象的输入(例如，输入1845)的属性不同。在各种实施例中，当接收输入(诸如输入1810和输入1845)时，对象1860可以显示在图像1700中。
在操作1650中，处理器120可以获取关于基于检测到的输入确定的用户摄入量的信息。在各种实施例中，处理器120可以基于由检测到的输入指定的值来获取关于用户的摄入量的信息。例如，参照图18，当检测到对象1860的输入时，处理器120可以基于当前在图像1700中提供的第二信息获取关于用户的摄入量的信息，并且可以将获取的信息存储在存储器130中。在各种实施例中，获取的信息可以与提供健康服务的应用链接或提供给应用。
在操作1660中，处理器120可以检测到是否发生用于显示关于摄入量的信息的事件。在各种实施例中，事件可以包括执行提供健康服务的应用。在各种实施例中，事件可以包括检测到所确定的用户的摄入量是固定的，例如检测到对象1860的输入。在各种实施例中，事件可以包括用户接收与食物的摄入量相关的服务的时间段的接近。然而，本公开不限于此。
在操作1670，处理器120可以在检测到事件已经发生时显示关于用户的摄入量的信息。在各种实施例中，处理器120可以在提供健康服务的应用的用户界面中显示关于用户的摄入量的信息。
例如，参照图19，处理器120可以在应用的用户界面1900中显示关于用户的摄入量的信息1910。信息1910可以包括关于用户食用食物的时间段的信息、关于用户在该时间段中食用的食物的类型的信息，关于食物的摄入量的信息以及关于用户在该时间段中总摄入量的信息。在各种实施例中，信息1910可以与其他信息(例如，关于用户的睡眠信息、关于用户的心率信息、关于用户的氧饱和度信息以及关于用户的压力信息)一起显示在用户界面1900中。
如上所述，根据各种实施例的电子设备101可以提供用户界面，该用户界面使用户能够通过食物图像确定摄入量，从而绕过用户通过健康应用的用户界面直接输入摄入量的操作。由于这种绕过，电子设备101可以提供增强的用户体验。
图20示出了根据各种实施例的显示关于推荐摄入量的信息的电子设备的操作的示例。该操作可以由图1所示的电子设备101、图2所示的电子设备101、图1所示的电子设备101的处理器120或图2所示的电子设备101的处理器120执行。
参照图20，在操作2010中，处理器120可以获取关于用户的摄入量的信息。操作2010可以与操作1650相同或类似。
在操作2020中，处理器120可以监控关于用户的生物计量信息。在各种实施例中，处理器120可以在获取关于用户的摄入量的信息之后监控关于用户的生物计量信息。
在操作2030中，处理器120可以基于关于用户的摄入量的信息和监控的生物计量信息来识别用户对下一顿饭的推荐摄入量。
在操作2040，处理器120可以检测到是否发生用于显示关于所识别的推荐摄入量的信息的事件。在各种实施例中，事件可以包括执行提供健康服务的应用。在各种实施例中，事件可包括指定时间段(例如，下一餐时间)的接近。然而，本公开不限于此。在各种实施例中，关于推荐摄入量的信息可包括关于下一餐的推荐摄入量的数据。在各种实施例中，关于推荐摄入量的信息可包括关于与下一餐的推荐摄入量相对应(或匹配)的食物项型的数据。在各种实施例中，关于推荐摄入量的信息可包括关于与下一餐的推荐摄入量相对应的食物配方的数据。
在操作2050中，当检测到用于显示关于推荐摄入量的信息的事件已经发生时，处理器120可以显示关于推荐摄入量的信息。例如，参照图21，在检测时，处理器120可以显示提供健康服务的应用的用户界面2100。在各种实施例中，用户界面2100可以包括信息2110，其包括用以访问对应于下一餐的推荐摄入量的食物的食谱的缩略图图像。当检测到包括在信息2110中的缩略图图像之一(例如，与绿色沙拉相关联的缩略图图像、与鲑鱼沙拉相关联的缩略图图像以及与意式鲜奶酪番茄沙拉相关联的缩略图图像)的输入时，处理器120可以显示由一个缩略图图像表示的食物配方。
在各种实施例中，信息2110可以与其他信息一起显示在用户界面2100中。例如，信息2110可以与关于用户的先前膳食的信息一起显示。在另一示例中，信息2110可以与用户的卡路里消耗信息(或运动历史信息)一起显示。
在各种实施例中，信息2110可以显示在链接到电子设备101的外部电子设备中。例如，处理器120可以发送由健康应用获取的关于用户的生物计量信息和关于用户的食物摄入量的信息到服务器(例如，IoT集线器的服务器)。服务器可以至少基于生物计量信息和关于食物摄入量的信息来获取信息2110。服务器可以将获取的信息2110发送到与电子设备101不同并且链接到电子设备101的外部电子设备(例如，具有显示器的冰箱)。外部电子设备可以通过其他电子设备的显示器显示信息2110。在各种实施例中，当外部电子设备是具有显示器的冰箱时，外部电子设备可以与信息2110一起显示用于购买用以制作对应于下一餐的推荐摄入量的食物的成分中的除了包括在冰箱中的成分之外的至少一种成分的引导信息。例如，当在冰箱中存储用于准备下一餐的成分A和成分B但没有存储成分C时，外部电子设备可以与信息2110一起显示关于销售成分C的地点(例如，网站)的信息、关于成分C的价格信息或关于成分C的折扣信息，以引导用户购买成分C。然而，本公开不限于此。
如上所述，根据各种实施例的电子设备101可以显示关于下一餐的推荐摄入量的信息，使得用户可以改善饮食习惯。
图22示出了根据各种实施例的电子设备和另一电子设备之间的链接的示例。该链接可以在图1或图2所示的电子设备101和图1所示的电子设备102之间发生。
参照图22，在操作2210中，另一电子设备102可以将关于第一图像的信息发送到电子设备101。在各种实施例中，另一电子设备102可以包括用于获取图像的至少一个相机。在各种实施例中，另一电子设备102可以是与电子设备101链接的设备。例如，另一电子设备102可以包括与电子设备101链接的可穿戴设备(例如，智能眼镜)。或者，电子设备102可以包括IoT设备(例如，具有相机的智能灯泡和安装在天花板上的相机)，其与电子设备101链接并且安装在桌子等上。然而，本公开不限于此。
在各种实施例中，第一图像可包括与食物相关联的对象。在各种实施例中，当识别出某个客体进入另一电子设备102的至少一个相机的视图时，另一电子设备102可将关于第一图像的信息发送到电子设备101。在各种实施例中。当识别出另一电子设备102与电子设备101之间的连接建立时，另一电子设备102将关于第一图像的信息发送给电子设备101。在各种实施例中，当识别出指定时间段已经到来，另一电子设备102将关于第一图像的信息发送到电子设备101。然而，本公开不限于此。电子设备101可以从另一电子设备102接收关于第一图像的信息。
在操作2215中，电子设备101可以获取关于第一图像的深度信息。在各种实施例中，深度信息可以包括在关于第一图像的信息中。在各种实施例中，可以通过电子设备101对第一图像进行图像处理来获取深度信息。然而，本公开不限于此。
在操作2220中，电子设备101可以从第一图像识别与食物相关联的对象。在各种实施例中，电子设备101可以基于电子设备101对第一图像的处理来识别与食物相关联的对象。在各种实施例中，电子设备101可以通过与外部电子设备(例如，人工智能服务器和图像识别服务器)的信号传递从第一图像中识别与食物相关联的对象，外部电子设备区别于电子设备101和另一电子设备102。
在操作2225中，电子设备101可以至少基于关于每个对象的信息获取关于每种食物的每单位卡路里的第一信息。在各种实施例中，电子设备101可以使用存储在电子设备101的存储器130中的数据库来获取第一信息。在各种实施例中，电子设备101可以通过与和电子设备101链接的外部电子设备(例如，特定网页的服务器或食物相关服务的服务器)的信号传递来获取第一信息。
在操作2230，电子设备101可以至少基于深度信息和第一信息获取关于每种食物的总卡路里的第二信息。在各种实施例中，电子设备101可以通过深度信息识别每种食物的量，并且可以使用关于识别的量的信息和第一信息来获取第二信息。
在操作2235中，电子设备101可以基于第二信息配置第一饮食。在各种实施例中，可以基于至少基于第二信息识别的与电子设备101相关联的用户的推荐摄入量来配置第一饮食。
在操作2240中，电子设备101可以显示关于配置的第一饮食的信息。例如，电子设备101可以显示如图8所示的关于第一饮食的信息。
在操作2245中，另一电子设备102可以将关于第二图像的信息发送到电子设备101。在各种实施例中，第二图像可以包括与在显示关于第一饮食的信息之后已经被用户的摄入量改变(或减少)的食物相关联的对象。
可以不同地设置第一图像的传输和第二图像的传输之间的间隔。例如，另一电子设备102可在发送第一图像之后以指定间隔发送与第一图像有关(或从第一图像改变)的图像(例如，第二图像)。或者，当识别出第一图像与发送第一图像之后获取的图像之间的差异大于参照水平时，另一电子设备102可以发送在发送第一图像之后获取的图像(例如，第二图像)。然而，本公开不限于此。
电子设备101可以从另一电子设备102接收关于第二图像的信息。
在操作2250中，电子设备101可以获取关于第二图像的深度信息。在各种实施例中，深度信息可用于识别与包括在第一图像中的对象相关联的每种食物的量与和包括在第二图像中的对象相关联的每种食物的量之间的差异。
在操作2255中，电子设备101可以识别第一图像和第二图像之间的差异。在各种实施例中，电子设备101可以识别第一图像和第二图像之间的差异，以便识别用户在当前膳食处的摄入量。操作2255示出了识别第一图像和第二图像之间的差异的示例，但是可以用至少一个其他操作替换。例如，操作2255可以用操作2220到2230代替。然而，本公开不限于此。
在操作2260中，电子设备101可以基于所识别的差异获取关于用户的当前摄入量的信息。例如，电子设备101可以基于关于第一图像的深度信息和关于第二图像的深度信息之间的差异来获取关于用户的当前摄入量的信息。
在操作2265中，电子设备101可以识别所识别的当前摄入量是否大于用户的推荐摄入量。在各种实施例中，当当前摄入量大于推荐摄入量时，电子设备101可以执行操作2270。在各种实施例中，当当前摄入量小于推荐摄入量时，电子设备101可以执行操作2275。
在操作2270中，当识别出当前摄入量大于推荐摄入量时，电子设备101可以提供通知。在各种实施例中，通知可用于指示用户当前正在暴饮暴食。在各种实施例中，可以通过显示屏幕，通过输出语音或通过改变用作指示器的发光二极管的颜色来提供通知。然而，本公开不限于此。
在操作2275中，电子设备101可以基于关于当前摄入量的信息来配置第二饮食。在各种实施例中，电子设备101可以基于关于当前摄入量的信息识别用户食用掉的食物的类型和用户食用的营养素物的比例。电子设备101可以基于识别来配置从第一饮食改变的第二饮食。
在操作2280中，电子设备101可以显示关于配置的第二饮食的信息。在各种实施例中，关于第二饮食的信息可以是表示根据用户的摄入量而改变的背景的信息。
如上所述，根据各种实施例的电子设备101可以通过与能够实时拍摄用户进食的另一电子设备102的链接来实时地改变适合于用户的饮食。根据各种实施例的电子设备101可以提供可以通过改变根据用户的进食情况改善用户健康的饮食。
如上所述，根据各种实施例的电子设备(例如，电子设备101)可以包括：存储器(例如，存储器130)，被配置为存储指令；至少一个相机(例如，相机模块180)；至少一个显示器(例如，显示设备160)；和至少一个处理器(例如，处理器120)，其中，所述至少一个处理器可以被配置为：使用所述至少一个相机获取图像；从图像中识别与多个食物相关联的多个对象；获取与多个识别出的对象相关联的推荐摄入量的信息；显示图像；并执行所存储的指令以显示多个指示，所述多个指示用于指示与图像中包括的多个对象相关联的推荐摄入量。
根据各种实施例，每个指示可以叠加在多个对象中的每个上。
根据各种实施例，可以通过在由多个对象中的每个对象占据的区域内突出显示与推荐摄入量相对应的区域来显示每个指示。
根据各种实施例，所述至少一个处理器还可以被配置为：检测用于将与所述多个对象中的至少一个对象相关联的至少一种食物中的每一种的推荐摄入量改变为目标摄入量的输入；并且至少基于所述至少一种食物中的每一种食物的目标摄入量的变化，执行所存储的指令以改变所述多个指示中的至少一些的显示。例如，所述至少一个处理器可以被配置为：基于检测到的输入，将所述至少一种食物中的每一种食物的推荐摄入量改变为目标摄入量；至少根据改变的目标摄入量确定每种剩余食物的推荐摄入量；并且执行所存储的指令以至少基于至少一种食物中的每一种食物的目标摄入量和每种剩余食物的推荐摄入量来改变与至少一个对象相关联的至少一个指示和与至少一些剩余食物相关联的指示的显示。例如，输入可以是拖动输入，用于放大或缩小与多个指示中的至少一个对象相关联的至少一个指示。
根据各种实施例，至少一个处理器还可以被配置为：获取关于图像的深度信息；至少基于深度信息获取关于多种食物中的每一种食物的每单位卡路里的第一信息；至少基于深度信息和第一信息获取关于多种食物中的每种食物的总卡路里的第二信息；并且执行所存储的指令以至少基于第二信息获取多种食物中的每一种食物的推荐摄入量的信息。
根据各种实施例，至少一个处理器可以被配置为执行所存储的指令以基于与电子设备相关联的用户的关于推荐摄入量的信息和关于食物摄入量历史的信息获取关于多种食物中的每一种食物的推荐摄入量的信息。
根据各种实施例，电子设备还可以包括通信接口(例如，通信模块190)，其中，至少一个处理器还可以被配置为：执行存储的指令以通过通信接口接收关于与电子设备相关联的用户的卡路里消耗的信息；并且至少基于关于卡路里消耗的信息和第二信息，执行所存储的指令以获取关于多种食物中的每一种食物的推荐摄入量的信息。
根据各种实施例，所述至少一个处理器还可以被配置为：至少基于关于与多种食物相关联的多个对象中的每个对象的信息，从图像中获取关于多种食物中的至少一种食物的抽象信息；显示叠加在通过至少一个相机获取的图像上的抽象信息；并且响应于检测到抽象信息的输入，执行存储的指令以显示关于从抽象信息改变的至少一种食物的详细信息。例如，电子设备还可以包括通信接口，其中详细信息可以包括用于访问至少一个网站的至少一个图标，并且至少一个处理器还可以被配置为执行存储的指令以响应于检测到至少一个图标中的图标的输入，通过通信接口访问由图标指示的网站。
如上所述，根据各种实施例的电子设备可以包括：存储器，被配置为存储指令；至少一个相机；至少一个显示器；和至少一个处理器，其中所述至少一个处理器可以被配置为：显示用于指示每种食物的推荐摄入量的指示以及通过至少一个相机获取的图像，并且包括与食物相关联的对象；检测用户输入以将与食物中的第一指示相关联的推荐食物摄入量改变为目标摄入量；并且执行所存储的指令以改变指示中的第一指示的大小，并且基于用户输入改变指示中与第一指示不同的第二指示的大小。
根据各种实施例，可以改变第一指示的大小以指示食物的目标摄入量，并且可以改变第二指示的大小以指示基于目标摄入量改变的另一种食物的推荐摄入量。例如，至少一个处理器还可以被配置为执行所存储的指令以基于用户输入停止显示指示中与第一指示和第二指示不同的第三指示。
根据各种实施例，可以通过在由每个对象占据的区域内突出显示与推荐摄入量相对应的区域来显示每个指示。例如，每个指示可以叠加在每个对象上。例如，用户输入可以是用于放大或缩小第一指示的拖动输入。例如，至少一个处理器还可以被配置为执行存储的指令以显示关于每种食物的总卡路里的信息以及图像和指示。例如，可以基于关于图像的深度信息来识别关于总卡路里的信息。
根据各种实施例，可以基于与电子设备相关联的用户的生物计量信息来获取推荐的摄入量。
根据各种实施例的在权利要求和/或说明书中陈述的方法可以通过硬件，软件或硬件和软件的组合来实现。
当通过软件实现方法时，可以提供用于存储一个或多个程序(软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的一个或多个程序可以被配置为由电子设备内的一个或多个处理器执行。所述至少一个程序可以包括使得电子设备执行根据由所附权利要求限定和/或在此公开的本公开的各种实施例的方法的指令。
程序(软件模块或软件)可以存储在包括随机存取存储器和闪存的非易失性存储器、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)，磁盘存储设备、光盘-ROM(CD-ROM)、数字通用光盘(DVD)或其他类型的光学存储设备或磁带盒中。或者，上述一些或所有的任何组合可以形成存储程序的存储器。此外，多个这样的存储器可以包括在电子设备中。
此外，程序可以存储在可附接的存储设备中，该存储设备可通过诸如因特网、内联网、局域网(LAN)、广域网(WAN)和存储区域网络(SAN)或者其组合的通信网络访问。这种存储设备可以通过外部端口访问电子设备。此外，通信网络上的单独存储设备可以访问便携式电子设备。
在本公开的上述详细实施例中，根据所呈现的详细实施例，本公开中包括的组件以单数或复数表示。然而，选择单数形式或复数形式是为了便于描述适合于所呈现的情况，并且本公开的各种实施例不限于单个元件或其多个元件。此外，在说明书中表达的多个元件可以被配置为单个元件，或者说明书中的单个元件可以被配置为多个元件。
虽然已经参照本公开的某些实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离本公开的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开不应被定义为限于实施例，而是应由所附权利要求及其等同方式限定。

Claims (15)

1.一种电子设备，所述电子设备包括：
至少一个相机；
至少一个显示器；
至少一个处理器；以及
存储器，所述存储器存储有编程指令，所述编程指令可由所述至少一个处理器执行以使所述电子设备：
使用所述至少一个相机获取并显示图像；
识别所述图像中的多个食物项；
获取与所述多个食物项中的每个食物项相对应的营养素信息；
基于所述营养素信息获取包括与所述多个食物项中的每个相关联的推荐消耗量的推荐信息；以及
基于与所述多个食物项相关联的所述推荐消耗量显示多个指示。
2.根据权利要求1所述的电子设备，其中，所述多个指示中的每个指示叠加在所述多个食物项中的每个食物项的至少一部分上。
3.根据权利要求1所述的电子设备，其中，所述多个指示中的至少一个指示包括在比整个所述食物项小的一个食物项的一部分上施加的突出显示效果，所述突出显示效果指示了所述食物项的推荐消耗量。
4.根据权利要求1所述的电子设备，其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
响应于检测到输入，将至少一个特定食物项的推荐消耗量改变为新的目标消耗量；以及
改变所述多个指示中的至少一个指示以对应于所述新的目标消耗量。
5.根据权利要求4所述的电子设备，其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
基于所述新的目标消耗量计算除了所述至少一个特定食物项之外的每种剩余食物项的新的推荐消耗量；以及
根据所述新的推荐消耗量改变与所述剩余食物项相对应的剩余指示。
6.根据权利要求4所述的电子设备，其中，所述输入包括对与所述至少一个特定食物项相关联的至少一个指示的拖动输入。
7.根据权利要求1所述的电子设备，其中，当使用所述至少一个相机获取所述图像时，捕获深度信息，
其中，所述营养素信息包括所述图像中至少特定食物项的每单位重量的卡路里，以及
其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
使用所述深度信息估计所述至少特定食物项的重量；以及
基于所估计的重量和每单位重量的卡路里计算所述特定食物项的估计卡路里值，
其中，所述特定食物项的推荐消耗量至少部分地基于所述估计卡路里值。
8.根据权利要求1所述的电子设备，其中，所述推荐消耗量还基于与所述电子设备相关联的用户的食物消耗历史。
9.根据权利要求1所述的电子设备，所述电子设备还包括：
通信接口，
其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
通过所述通信接口接收关于所述电子设备的用户的卡路里消耗的信息，以及
其中，所述推荐消耗量基于所接收的关于所述卡路里消耗的信息。
10.根据权利要求1所述的电子设备，其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
获取所述多个食物项中的至少一个食物项的抽象信息，并显示叠加在所述图像上的所述抽象信息；以及
响应于检测到输入，对于所述至少一个食物项从显示所述抽象信息改变为显示详细信息。
11.根据权利要求10所述的电子设备，所述电子设备还包括：
通信接口，
其中，所述详细信息包括用于访问至少一个网站的至少一个图标，以及
其中，所述编程指令还可由所述至少一个处理器执行，以使所述电子设备响应于检测到选择了所述至少一个图标，使用所述通信接口访问所述至少一个网站。
12.一种电子设备，所述电子设备包括：
至少一个相机；
至少一个显示器；
至少一个处理器；以及
存储器，所述存储器存储有编程指令，所述编程指令可由所述至少一个处理器执行以使所述电子设备：
显示指示被包括在通过所述至少一个相机获取的图像中的每个食物项的推荐消耗量的指示；
检测将与第一指示相关联的特定食物项的推荐消耗量改变为新的目标消耗量的用户输入；和
响应于所述用户输入，改变所述第一指示的大小和与所述第一指示不同的第二指示的大小。
13.根据权利要求12所述的电子设备，其中，所述第一指示的改变后的大小指示了所述食物项的新的目标消耗量，并且
其中，所述第二指示的改变后的大小指示了基于所述新的目标消耗量而改变了的另一食物项的推荐消耗量。
14.根据权利要求13所述的电子设备，其中，所述编程指令还可由所述至少一个处理器执行以使所述电子设备：
响应于所述用户输入，终止显示与所述第一指示和所述第二指示不同的第三指示。
15.根据权利要求12所述的电子设备，其中，所述多个指示中的至少一个指示包括在比整个所述食物项小的一个食物项的一部分上施加的突出显示效果，所述突出显示效果指示了所述食物项的推荐消耗量。
CN201811610310.XA 2018-01-08 2018-12-27 用于处理与食物相关的信息的电子设备和方法 Pending CN110021404A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180002476A KR20190084567A (ko) 2018-01-08 2018-01-08 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
KR10-2018-0002476 2018-01-08

Publications (1)

Publication Number Publication Date
CN110021404A true CN110021404A (zh) 2019-07-16

Family

ID=67140775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811610310.XA Pending CN110021404A (zh) 2018-01-08 2018-12-27 用于处理与食物相关的信息的电子设备和方法

Country Status (5)

Country Link
US (1) US10803315B2 (zh)
KR (1) KR20190084567A (zh)
CN (1) CN110021404A (zh)
AU (1) AU2019200007A1 (zh)
WO (1) WO2019135542A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048180A (zh) * 2019-12-05 2020-04-21 上海交通大学医学院 一种膳食摄入调查分析系统、方法和终端
CN111222569A (zh) * 2020-01-06 2020-06-02 宇龙计算机通信科技(深圳)有限公司 识别食物的方法、装置、电子设备及介质
CN114631133A (zh) * 2019-05-17 2022-06-14 诺特可特拉华有限责任公司 使用人工智能模拟目标食品的方法
US11982661B1 (en) 2023-05-30 2024-05-14 NotCo Delaware, LLC Sensory transformer method of generating ingredients and formulas

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754542B2 (en) 2012-06-14 2023-09-12 Medibotics Llc System for nutritional monitoring and management
EP3593281A1 (en) * 2017-03-07 2020-01-15 Sony Corporation System, method and computer program for guided image capturing of a meal
AU2019261690A1 (en) * 2018-11-15 2020-06-04 Vorwerk & Co. Interholding Gmbh System and method for preparing food products
US11294950B2 (en) * 2019-01-18 2022-04-05 Haier Us Appliance Solutions, Inc. Cooking engagement system equipped with a recipe application for combining third party recipe content
CN110689945A (zh) * 2019-09-30 2020-01-14 佛山市顺德区美的洗涤电器制造有限公司 用于菜谱搭配的方法、装置和存储介质
CN112822389B (zh) * 2019-11-18 2023-02-24 北京小米移动软件有限公司 照片拍摄方法、照片拍摄装置及存储介质
KR102481874B1 (ko) * 2020-07-13 2023-01-18 (주)알파그래픽스 다이어트 관리 장치, 다이어트 관리 방법 및 다이어트 관리 프로그램
EP4000521A1 (en) * 2020-11-13 2022-05-25 University Of Fribourg Technique for controlling a human machine interface
US20230178212A1 (en) * 2021-12-03 2023-06-08 Skoopin Inc. Method and system for foodservice with iot-based dietary tracking
JP7256907B1 (ja) 2022-01-07 2023-04-12 日本コンピュータビジョン株式会社 情報処理プログラム、情報処理装置及び情報処理方法
KR102569889B1 (ko) * 2023-05-16 2023-08-28 주식회사 다니엘0220 뉴럴 네트워크를 이용하여 사용자 단말에게 건강기능식품에 대한 추천 정보를 제공하는 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105655A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 食品総カロリーチェッカーおよびチェック方法
KR20060122111A (ko) 2005-05-25 2006-11-30 주식회사 팬택 음식물 영상을 통한 칼로리 계산 방법
US7432454B1 (en) 2008-03-10 2008-10-07 International Business Machines Corporation Nutrition intake tracker
KR20120039102A (ko) 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법
WO2012115297A1 (en) * 2011-02-25 2012-08-30 Lg Electronics Inc. Analysis of food items captured in digital images
JP2013037648A (ja) * 2011-08-11 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
US20130166334A1 (en) * 2011-12-21 2013-06-27 Michael A. Liberty Electronic menu and ordering system
US9442100B2 (en) 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
US8690578B1 (en) 2013-01-03 2014-04-08 Mark E. Nusbaum Mobile computing weight, diet, nutrition, and exercise tracking system with enhanced feedback and data acquisition functionality
US20160035248A1 (en) * 2013-03-14 2016-02-04 Sciencestyle Capital Partners, Llc Providing Food-Portion Recommendations to Facilitate Dieting
KR102157598B1 (ko) 2014-04-29 2020-09-18 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2015170244A1 (en) 2014-05-09 2015-11-12 Ghalavand Shahrokh Calorie balance system
JP6288512B2 (ja) * 2014-07-11 2018-03-07 パナソニックＩｐマネジメント株式会社 食品分析装置
KR20160128017A (ko) * 2015-04-28 2016-11-07 삼성전자주식회사 전자 장치, 서버 및 그 제어 방법
KR101789732B1 (ko) 2015-07-29 2017-10-25 피도연 식품 정보 제공 방법 및 장치
US20170046980A1 (en) * 2015-08-11 2017-02-16 Inrfood, Inc. Nutrition system
KR20170031517A (ko) 2015-09-11 2017-03-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US20170316489A1 (en) * 2016-04-28 2017-11-02 Wal-Mart Stores, Inc. Apparatuses and methods for recipe suggestion

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114631133A (zh) * 2019-05-17 2022-06-14 诺特可特拉华有限责任公司 使用人工智能模拟目标食品的方法
CN114631133B (zh) * 2019-05-17 2023-12-29 诺特可特拉华有限责任公司 使用人工智能模拟目标食品的方法
CN111048180A (zh) * 2019-12-05 2020-04-21 上海交通大学医学院 一种膳食摄入调查分析系统、方法和终端
CN111048180B (zh) * 2019-12-05 2024-02-02 上海交通大学医学院 一种膳食摄入调查分析系统、方法和终端
CN111222569A (zh) * 2020-01-06 2020-06-02 宇龙计算机通信科技(深圳)有限公司 识别食物的方法、装置、电子设备及介质
US11982661B1 (en) 2023-05-30 2024-05-14 NotCo Delaware, LLC Sensory transformer method of generating ingredients and formulas

Also Published As

Publication number Publication date
WO2019135542A1 (en) 2019-07-11
US20190213416A1 (en) 2019-07-11
AU2019200007A1 (en) 2019-07-25
KR20190084567A (ko) 2019-07-17
US10803315B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110021404A (zh) 用于处理与食物相关的信息的电子设备和方法
KR102209741B1 (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
US11908176B2 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US10789699B2 (en) Capturing color information from a physical environment
US9734426B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
Bruno et al. A survey on automated food monitoring and dietary management systems
Jiang et al. Food nutrition visualization on Google glass: Design tradeoff and field evaluation
CN111222569A (zh) 识别食物的方法、装置、电子设备及介质
CN111492374A (zh) 图像识别系统
CN109117779A (zh) 一种穿搭推荐方法、装置及电子设备
EP3876139B1 (en) Method for estimating object parameters and electronic device
CN112951373A (zh) 一种食材推荐方法、设备、智能冰箱和智能终端
CN112464013A (zh) 信息的推送方法和装置、电子设备和存储介质
CN109300526A (zh) 一种推荐方法及移动终端
CN106650187A (zh) 一种控制方法及装置
KR20210104360A (ko) 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템
KR20190048922A (ko) 스마트 테이블 및 스마트 테이블의 제어방법
CN114556444A (zh) 联合模型的训练方法和对象信息处理方法、装置及系统
US11210829B2 (en) Image processing device, image processing method, program, and recording medium
Monalisa et al. Dia-Glass: a calorie-calculating spectacles for diabetic patients using augmented reality and faster R-CNN
WO2023070510A1 (en) Systems and methods for performing behavior detection and behavioral intervention
EP4235560A1 (en) Food information input method and apparatus
CN116457818A (zh) 食物信息输入方法和装置
Peh Dysun-An activity-aware smart IOT light using human activity recognition
Kuhad A deep learning and auto-calibration approach for food recognition and calorie estimation in mobile e-health

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716

WD01 Invention patent application deemed withdrawn after publication