CN105808635A - 用于图像分析的方法和装置 - Google Patents

用于图像分析的方法和装置 Download PDF

Info

Publication number
CN105808635A
CN105808635A CN201610028209.8A CN201610028209A CN105808635A CN 105808635 A CN105808635 A CN 105808635A CN 201610028209 A CN201610028209 A CN 201610028209A CN 105808635 A CN105808635 A CN 105808635A
Authority
CN
China
Prior art keywords
image
electronic equipment
server
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610028209.8A
Other languages
English (en)
Inventor
曹晟豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105808635A publication Critical patent/CN105808635A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L33/00—Modifying nutritive qualities of foods; Dietetic products; Preparation or treatment thereof
    • A23L33/30—Dietetic or nutritional methods, e.g. for losing weight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23V—INDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00—Food compositions, function of food ingredients or processes for food or foodstuffs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Chemical & Material Sciences (AREA)
  • Nutrition Science (AREA)
  • Mycology (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种电子设备，包括：存储器；通信电路；以及至少一个处理器，可操作地耦接至存储器和通信电路，该至少一个处理器被配置为：获得第一图像；提取与在第一图像中所描绘的对象相关联的特征；和控制通信电路以向服务器传送特征的指示；以及通过通信电路从服务器接收与对象相关联的分析信息。

Description

用于图像分析的方法和装置
优先权声明
本申请要求2015年1月15日在韩国知识产权局提交的并且被指派了序列号10-2015-0007236的韩国专利申请的权益，该韩国专利申请的全部公开内容通过引用被并入于此。
技术领域
本公开通常涉及一种电子设备，并且更具体地，涉及一种用于图像分析的方法和装置。
背景技术
相机通常可以被安装在诸如智能电话、手持式设备以及平板式个人计算机(PC)的便携式设备上。通常，在携带这样的设备时，用户可以拍摄期望的对象的图片，将图片存储在设备中以及与其他用户共享图片。
然而，用户能够从由用户终端所捕获的图像中获得的信息是有限的。可替换地，随着被安装在终端上的相机的性能的提高，图像的大小也变得更大。因此，为了获得详细的分析信息，通过向服务器传送图像来请求分析的方法可能导致大量的数据业务。
发明内容
根据本公开的各方面，提供了一种电子设备，包括：存储器；通信电路；以及至少一个处理器，可操作地耦接至存储器和通信电路，该至少一个处理器被配置为：获得第一图像；提取与在第一图像中所描绘的对象相关联的特征；控制通信电路以向服务器传送特征的指示；以及通过通信电路从服务器接收与对象相关联的分析信息。
根据本公开的各方面，提供了一种服务器，包括：存储器；通信电路；以及至少一个处理器，可操作地耦接至存储器和通信电路，该至少一个处理器被配置为：通过通信电路从电子设备接收在第一图像中所描绘的对象的特征的指示；分析特征以获得相对应的分析信息；以及控制通信电路以向电子设备传送分析信息。
根据本发明的各方面，提供了一种方法，包括：通过电子设备获得图像；通过电子设备提取关于在图像中所描绘的对象的特征；向服务器传送特征的指示；以及从服务器接收与对象相关联的分析信息。
附图说明
图1是根据本公开的实施例的系统的示例的图。
图2是根据本公开的实施例的电子设备的示例的图。
图3是根据本公开的实施例的服务器的示例的图。
图4是根据本公开的实施例的处理的示例的序列图。
图5是根据本公开的实施例的处理的示例的流程图。
图6A是根据本公开的实施例的图像的示例的图；
图6B是根据本公开的实施例、在图像已经被分类为一类别之后该图像的示例的图；
图6C是根据本公开的实施例、图像的包括感兴趣对象的部分的示例的图；
图6D是根据本公开的实施例的图像特征的示例的图；
图7A是根据本公开的实施例的用户界面的示例的图；
图7B是根据本公开的实施例的用户界面的示例的图；
图7C是根据本公开的实施例的用户界面的示例的图；
图7D是根据本公开的实施例的用户界面的示例的图；
图7E是根据本公开的实施例的用户界面的示例的图；
图7F是根据本公开的实施例的用户界面的示例的图；
图8是根据本公开的实施例的用户界面的示例的图；
图9是根据本公开的实施例的处理的示例的流程图；以及
图10是根据本公开的实施例的电子设备的示例的图。
具体实施方式
在下文中，参照附图公开了本公开的各种实施例。然而，这未将本公开的各种实施例限制为特定的实施例，并且应当理解本公开涵盖了本公开的所有修改、等同和/或替换，只要其在所附的权利要求书及其等同物的范围内即可。关于附图的说明，相同的附图标记指代相同的元件。
在本文中所使用的术语“包括”、“包含”、“具有”、或者“可能包括”、或者“可能包含”以及“可能具有”指示所公开的功能、操作或者元件的存在，但是不排除其它功能、操作或者元件。
例如，表述“A或者B”或者“A和/或B中的至少一个”可以指示包括A、B或者A和B两者。例如，表述“A或者B”或者“A和/或B中的至少一个”可以指示(1)至少一个A；(2)至少一个B；或者(3)至少一个A和至少一个B两者。
在本文中所使用的诸如的“第1”、“第2”、“第一”、“第二”等的术语可以指代修饰本公开的各种实施例的各种不同元件，但是不限制元件。例如，“第一用户设备”和“第二用户设备”可以指示不同的用户设备，而与顺序和重要性无关。例如，第一组件可以被称为第二组件且反之亦然，而并不脱离本公开的范围。
在本公开的各种实施例中，将理解，当组件(例如，第一组件)被称为“与…(可操作地或者可通信地)耦接/(可操作地或者可通信地)耦接至”或者“连接至”另一个组件(例如，第二组件)时，该组件可以直接地连接至其它组件或者通过又一个组件(例如，第三组件)而连接。在本公开的各种实施例中，将理解，当组件(例如，第一组件)被称为“直接地连接至”或者“直接地访问”另一个组件(例如，第二组件)时，在该组件(例如，第一组件)与其它组件(例如，第二组件)之间不存在又一个组件(例如，第三组件)。
在本公开的各种实施例中所使用的表述“被配置为”例如可以根据情形与“适合于”、“具有能力”、“被设计为”、“被适配为”、“被使得”或者“能够”可交换地使用。就硬件而言，术语“被配置为”可能不必意味着“特别地被设计为”。相反，在一些情形中，表述“设备，被配置为”可以意味着设备和另一个设备或者部分“能够”。例如，语句中的“处理器，被配置为执行A、B和C”可以意味着用于执行相对应的操作的专用处理器(例如，嵌入式处理器)或者用于通过运行在存储器设备中所存储的至少一个软件程序来执行相对应的操作的通用处理器(例如，CPU或者应用处理器)。
在本公开的各种实施例中所使用的术语被用来描述本公开的具体的实施例，但是不旨在限制其它实施例的范围。单数形式的术语可以包括复数形式，除非在上下文中其具有明确不同的含义。除非在本文中另外地指示，否则在本文中所使用的包括技术术语或者科学术语的所有术语可以具有本领域技术人员通常所理解的相同的含义。通常，在词典中所定义的术语应当被认为具有与在现有技术的上下文含义相同的含义，并且除非在本文中明确地定义，否则不应当被不正常地理解或者不应当被理解为具有过于正式的含义。在任何情况下，在本说明书中所定义的术语更加不可以被解释为排除本公开的实施例。
在下文中，将参照附图更详细地描述根据本公开的各种实施例的电子设备。在本公开中，术语“用户”可以指代使用电子设备的人或者使用电子设备的设备(例如，人工智能(AI)电子设备)。
图1是根据本公开的实施例的系统的示例的图。
如所示地，系统包括通过有线网络或无线网络(例如，因特网、局域网、广域网等)彼此通信的电子设备1000和服务器2000。
电子设备1000可以对应于诸如智能电话机、平板式PC、笔记本类型PC、便携式数字助理(PDA)和个人媒体播放器(PMP)的便携式终端，诸如桌上型PC的固定终端，以及诸如智能手表、智能眼镜和头戴式设备(HMD)的可穿戴设备中的一个。在操作中，电子设备1000可以通过采用被安装在其上的相机捕获图像或者从另一个电子设备接收图像来获得图像。然后，电子设备1000可以提取与在所获得的图像中所描绘的对象相关联的特征，并且向服务器2000传送特征。根据本公开的各种实施例，除了从图像中提取的特征之外，电子设备1000还可以传送与图像相关联的附加信息和/或与电子设备1000相关联的用户信息。以下将参照图2、图4和图5来描述电子设备1000的详细的配置和操作。
服务器2000可以通过分析从电子设备1000所接收的特征、附加信息和/或用户信息，来获得与在图像中所描绘的对象有关的分析信息。然后，服务器2000可以向电子设备1000传送分析信息(或者分析结果)。之后，电子设备1000可以接收分析信息并且输出分析信息中的至少一些。将参照图3和图9来描述服务器2000的详细配置和操作。
图2是根据本公开的实施例的电子设备的示例的图。
参考图2，根据本公开的实施例的电子设备1000可以包括图像获取模块101、图像处理模块103、图像数据库(DB)105、通信模块(或者通信电路)107、位置信息获取模块109以及显示器111。尽管在图中未被示出，但是电子设备1000的配置不限于所列出的配置或者每个组件的名称。
根据本公开的各方面，可以以硬件和/或硬件和软件的组合来实施图像获取模块101、图像处理模块103和图像DB105中的任一个。例如，可以通过使用一个或者多个处理器来实施图像获取模块101、图像处理模块103和图像DB105中的任一个。处理器中的每个可以包括任何适合类型的处理电路，诸如一个或者多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。
在操作中，图像获取模块101可以获得图像。例如，图像获取模块101获得由相机模块所捕获的图像，或者从内部存储设备或外部存储设备接收预先生成的图像。根据本公开的实施例，图像可以包括由图像获取模块101从特定的视频文件中所提取的静态图像(例如，关键帧(keyframe))。
图像处理模块103可以提取在由图像获取模块101所获得的图像中所描绘的对象的特征。根据本公开的各方面，术语“对象”可以指代在图像中所描绘的任何合适类型的物理对象。例如，当用户拍摄桌子上的牛排菜肴(dish)的图像(照片)时，牛排菜肴自身成为图像的主体并且在图像(例如，图像可以包括牛排菜肴、桌子以及背景视图)上所描绘的牛排菜肴变为对象。
当贯穿本公开被使用时，术语“特征”可以指代基于图像所生成的任何适合类型的数字、串和/或文字数字串。例如，术语“特征”可以指代图像描述符、MPEG标准的视觉搜索紧凑描述符(CVDS)、方向梯度直方图(HOG)特征、尺度不变特征变换(SIFT)特征、稠密SIFT特征以及加速鲁棒特征(SURF)特征中的至少一个。
根据本公开的实施例，图像处理模块103可以基于在图像DB105中所存储的至少一个标准图像来识别由图像获取模块101所获得的各个类型的图像。例如，图像处理模块103可以生成指示所获得的图像与用于特定类型的图像(例如，类别)的标准图像之间的相似性程度的分数，并且基于分数确定所获得的图像与标准图像是相同的类型。换言之，图像处理模块103可以通过将所获得的图像与从图像DB105中检索的一个或者多个标准图像进行比较，来将所获得的图像分类为特定类别。图像处理模块103可以从分类后的图像中提取特征。
例如，电子设备1000可以从描绘一个或者多个食物项的图像中提取特征，并且从服务器2000接收分析信息。在这种情况下，电子设备1000的图像处理模块103可以生成表示由图像获取模块101所获得的图像(例如，牛排菜肴的图像)与从图像DB105中检索的多个不同类型(例如，食物、风景等)的标准图像中的每个之间的相似性程度的多个相应的分数。之后，图像处理模块103可以识别多个中的最高分数，并且确定所获得的图像和与最高分数相关联的标准图像是相同的类型。
在一些实施方式中，当获得多个图像并且其被存储在电子设备的存储器中时，图像处理模块103可以仅从被分类为特定类别的图像(例如，已经被分类为“食物”图像的图像)中提取特征。以这种方式，当图像根据类型预先被分类时，电子设备1000可以仅从被分类为“食物”的图像中提取特征，而不从在电子设备1000中所存储的所有图像中提取特征。通过这样做，电子设备1000可以防止使用对于图像特征提取不必要的资源。
另外地或者可替换地，根据本公开的实施例，在提取特征之前，图像处理模块103可以选择所获得的图像的包括特定的感兴趣对象的部分。例如，当用户拍摄桌子上的牛排菜肴的图像时，可以剪裁图像的包含牛排菜肴的描绘的部分，并且基于所剪裁的部分来计算与牛排菜肴相对应的特征。作为剪裁的结果，在图像中所描绘的其它对象，诸如桌子上的玻璃杯、餐叉以及刀可以从特征提取目标中被排除。因此，可以大大地缩小作为特征提取目标的图像区域。
另外地或者可替换地，图像处理模块103可以在提取特征之前向图像应用特定的图像处理(例如，Y图像转换)。图像处理可以支持除了剪裁之外的有效的特征提取。
另外地或者可替换地，根据本公开的实施例，图像处理模块103可以获得与所获得的图像相关联的附加信息。通过示例的方式，附加信息可以包括图像的元数据、获得图像的时间的指示以及获得图像的位置的指示中的至少一个。
元数据例如可以包括进行拍摄的相机的类型、灵敏度、曝光信息、拍摄日期和时间、ISO值、焦距或者分辨率。例如，当图像获取模块101通过相机获得图像时，获得图像的时间的指示和/或获得图像的位置的指示可以对应于在元数据中所包括的拍摄日期和时间或者拍摄地点。然而，当从另一个外部设备接收图像时，获得图像的时间的指示和/或获得图像的位置的指示可以与在元数据中所包括的拍摄日期和时间或者拍摄位置不同。
通常，当执行诸如Y图像转换或者剪裁的图像处理时，被添加到图像的元数据可能被删除或者被改变。因此，图像处理模块103可以在执行图像处理之前预先获得元数据，或者将元数据存储在另外的存储空间或者图像DB105中。
图像DB105可以存储至少一个标准图像。例如，标准图像可以与具有已知类型的图像(或者图像的特征)对应。例如，当类型为“食物”时，关于“食物”的标准图像可以包括米饭、炖泡菜、牛排或者面包的图像；而在类型为“旅行”的情况下，关于“旅行”的标准图像可以包括景福宫、石窟庵、埃菲尔铁塔或者自由女神像的图像。图像处理模块103可以通过参考在图像DB105中所包括的标准图像、根据预定的类型对由图像获取模块101所获得的图像进行分类。
通信模块(或者通信电路)107可以向服务器2000传送从图像中提取的特征和/或附加信息。另外地或者可替换地，通信模块107还可以传送与电子设备1000相关联的用户信息。通过示例的方式，用户信息可以包括与使用电子设备1000的用户的特定账户(例如，三星账户)相关联的信息。
根据本公开的实施例，通信模块107可以从服务器2000接收分析信息。通过示例的方式，分析信息可以是与从图像所提取的特征有关的对象的分析信息。例如，当从图像所提取的特征与在图像中所描绘的牛排菜肴有关并且被传送至服务器2000时，服务器2000可以向电子设备1000传送下述中的至少一个：在图像中所描绘的菜肴的一个或者多个原料的指示、与在图像中所描绘的菜肴相关联的营养信息、材料(material)信息、用于准备菜肴的配方以及与菜肴和/或其原料中的一些相关联的医学信息。
通信模块107可以将电子设备1000连接至服务器2000。通信模块107例如可以包括3G/4G通信接口模块、WiFi模块、蓝牙模块以及射频(RF)模块中的至少一个。
根据本公开的实施例，通信模块107的传送/接收操作可以基于网络的计费信息而执行。例如，当连接至没有花费的网络(例如，WiFi)或者相对便宜的网络时，通信模块107可以执行用于传送所提取的特征和接收分析信息的操作。
当包括全球定位系统(GPS)模块时，位置信息获取模块109例如可以获得电子设备1000的地理位置信息。根据本公开的各种实施例，位置信息获取模块109可以基于当前所接入的基站(例如，eNB)信息或者当前所接入的接入点(AP)信息来获得或者补充位置信息。
显示器111可以可视地显示从服务器2000所接收的分析信息。电子设备100可以通过运行特定应用(例如，S健康应用、第三方应用等)来在显示器111上显示分析信息。
图3是根据本公开的实施例的服务器的示例的图。
参考图3，服务器2000可以包括通信模块(或者通信电路)201、图像分析模块203、图像DB205、分析信息DB207以及分析历史DB209。根据本公开的各方面，可以以硬件和/或软件和硬件的组合来实施图像分析模块203、图像DB205、分析信息DB207以及分析历史DB209中的任一个。例如，可以通过使用一个或者多个处理器来实施图像分析模块203。可以在一个或者多个内部/外部存储器中实施图像DB205、分析信息DB207和分析历史DB209中的任一个。处理器中的每个可以包括任何合适的类型的处理电路，诸如一个或者多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、特定应用集成电路(ASIC)、现场可编程门阵列(FPGA)等。
通信模块(或者通信电路)201可以接收由电子设备1000从图像(在下文中，被称为第一图像)中所提取的特征、与第一图像相关联的附加信息和/或电子设备1000的用户信息。根据本公开的实施例，通信模块201可以向电子设备1000传送由图像分析模块203所获得的分析信息。
如同电子设备1000的通信模块107那样，通信模块201可以被用于将电子设备1000连接至服务器2000。通信模块201例如可以包括3G、LTE、WiFi模块、蓝牙模块以及RF模块中的至少一个。
在操作中，图像分析模块203可以分析从电子设备1000所接收的特征以获得相对应的分析信息。例如，图像分析模块203可以识别与第一图像相匹配的另一个图像(在下文中被称为第二图像(例如，参考图像))。之后，图像分析模块203可以基于第二图像获得分析信息。根据本公开的各方面，第二图像可以是描绘与第一图像相同(或者相似)的对象(例如，牛排菜肴)的已知类型的图像。为了检测第一图像与第二图像相匹配，图像分析模块203可以使用局部/全局描述符、基于卷积神经网络(CNN)的分类器和/或支持向量机(SVM)分类器。
根据本公开的各种实施例，可以从在服务器中所包括的图像DB205中检索第二图像，并且可以从分析信息DB207中检索分析信息。然而，确定第二图像和获得分析信息的方法不限于上述。可以从包括更广阔范围的图像DB的另一个服务器接收第二图像，并且也可以从具有更加详细的分析信息的另一个服务器获得分析信息。
例如，当从电子设备1000所接收的特征是与图像中的牛排菜肴的描绘相关联的特征时，图像分析模块203可以分析特征并且识别也描绘了牛排菜肴的第二图像。可以从图像DB205(或者外部服务器)中检索第二图像。图像分析模块203可以获得链接至第二图像的分析信息(例如，原料信息、营养信息、材料信息、配方或者医学信息)，或可以从分析信息DB207(或者外部服务器)中检索。
根据本公开的各种实施例，除了特征之外服务器2000可以从电子设备1000接收附加信息。在这样的实例中，图像分析模块203可以基于特征和/或附加信息获得相对应的分析信息。附加信息可以包括第一图像的元数据、获得第一图像的时间的指示以及获得第一图像的位置信息的指示中的至少一个。
例如，从第一图像所提取的特征可以包括与在第一图像中所描绘的牛排菜肴相关联的特征。另外地或者可替换地，例如，附加信息可以包括指示第一图像在夜间被捕获的时间信息。在这种情况下，在通过分析牛排的特征来确定第二图像中，图像分析模块203可以考虑时间信息。即，当通过参考图像DB205(或者外部服务器)来识别第二图像时，图像分析模块203可以预先排除通常对于早餐所进食的食物的图像。因此，可以进一步提高确定第二图像的可靠性。
作为另一个示例，从第一图像中所提取的特征可以包括与在第一图像中的牛排菜肴的描绘相关联的特征，并且附加信息可以包括牛排餐馆的位置信息。在这种情况下，在确定第二图像中，图像分析模块203可以考虑牛排餐馆的位置信息。即，当通过参考图像DB205(或者外部服务器)来确定第二图像时，图像分析模块203可以首先考虑由典型的牛排餐馆所提供的食物(例如，各种牛排和土豆泥)的图像。因此，可以进一步提高识别第二图像的可靠性。
根据本公开的各种实施例，在第一图像的元数据中所包括的各种信息可以与从第一图像中提取的(一个或者多个)特征一起被分析，并且可以被用于搜索第二图像。
根据本公开的各种实施例，除了已经从第一图像中所提取的任何特征之外，服务器2000还可以接收与电子设备1000相关联的用户信息。在这样的实例中，图像分析模块203可以基于特征和/或用户信息来获得相对应的分析信息。作为用于从其他用户中识别电子设备1000的用户的信息的用户信息可以包括与整合的服务账户(例如，三星账户)相关联的信息，以用于提供本公开的各种实施例。
作为示例，从第一图像中所提取的(一个或者多个)特征可以包括牛排菜肴的描绘，并且用户信息可以包括用于标识用户A的用户账户。在这种情况下，当通过分析牛排菜肴的描绘的(一个或者多个)特征来识别第二图像时，图像分析模块203可以参考关于用户A的分析历史DB209。即，当通过参考分析历史DB209来确定第二图像时，图像分析模块209可以首先考虑用户A过去所进食的食物的图像。另外地或者可替换地，当获得分析信息时，图像分析模块203可以通过参考分析历史DB209来考虑与用户A过去所进食的食物相关联的第一分析信息。
可以通过以上提及的方法来进一步提高识别包括牛排的第二图像的可靠性。因为通常用户的食物摄入习惯趋向于遵循规律模式(regularpattern)，所以通过参考用户特定的分析历史可以进一步提高第一图像或者分析信息的可靠性。另外地或者可替换地，为了提高分析结果的可靠性，用户过去实际所进食的食物的图像和/或与该图像相对应的分析信息可以被存储在分析历史DB209中以用于将来使用。
图像DB205可以存储要由图像分析模块203所参考的多个图像。在一些实施方式中，在图像DB205中所存储的多个图像中的每个可以分别地与在分析信息DB207中所存储的分析信息记录相匹配。图像分析模块203可以通过执行对图像DB205的搜索来识别包括与从电子设备1000所接收的特征相对应的对象的第二图像。
根据本公开的各种实施例，当图像分析模块203通过参考额外准备的外部服务器来检索第二图像时，可以从服务器2000的配置中省略图像DB205。
分析信息DB207可以存储可以由图像分析模块203检索的多个分析信息记录。例如，与在图像DB205中所存储的多个图像相对应的多个分析信息记录可以被存储在分析信息DB207中。图像分析模块203可以通过参考分析信息DB207来获得与第二图像相对应的分析信息。
根据本公开的各种实施例，当图像分析模块203通过参考额外准备的外部服务器来获得分析信息时，可以从分析信息DB207中省略分析信息DB207。
分析历史DB209可以存储针对多个不同用户的、包括图像分析模块203过去所获得的分析信息的记录。例如，在分析历史DB209中所存储的每个记录可以具有下述格式：[用户信息]-[过去所确定的第二图像]-[与过去所确定的第二图像相对应的分析信息]。另外地或者可替换地，在一些实施方式中，可以以分别地存储记录字段的图像DB205或者分析信息DB207所指定的格式来配置记录字段[过去所确定的第二图像]或者[与过去所确定的第二图像相对应的分析信息]。
根据本公开的各种实施例，因为电子设备1000向服务器2000传送从所获得的图像所提取的特征而不传送所获得的图像自身，所以用于传输的数据可以大大地并且相对地减少。此外，通过向服务器传送附加信息和/或用户信息，可以进一步提高由服务器2000进行的分析信息的识别的可靠性。通过这样做，电子设备1000的用户可以接收有用的并且高度可靠的分析信息。
在下文中，将参照图4至图9描述根据本公开的各种实施例的图像分析方法。
图4是根据本公开的实施例的处理的示例的序列图。
参考图4，在操作401中，电子设备1000的图像获取模块101可以获得包括对象的图像。例如，图像获取模块101可以获得由相机所捕获的图像或者从内部存储设备或外部存储设备获得之前所生成的图像。另外地或者可替换地，图像获取模块101可以通过从特定的视频文件中提取一个或者多个帧来获得图像。
在操作403中，电子设备1000的图像处理模块103可以提取与在操作401中所获得的图像中所描绘的对象相关联的一个或者多个特征。对象的特征可以包括图像描述符、MPEG标准的CDVS、HOG特征、SIFT特征、稠密SIFT特征以及SURF特征中的至少一个。
在操作405中，电子设备1000的通信模块107可以向服务器2000传送对象的(一个或者多个)特征的指示。另外地或者可替换地，服务器2000的通信模块201可以接收对象的特征。
在操作407中，服务器2000的图像分析模块203可以分析所接收的(一个或者多个)特征。
在操作409中，服务器2000的图像分析模块203可以基于在操作407中所执行的分析来获得与对象相对应的分析信息。通过示例的方式，图像分析模块203可以参考图像DB205、分析信息DB207以及分析历史DB209中的至少一个。
在操作411中，服务器2000的通信模块201可以向电子设备1000传送所获得的分析信息。另外地或者可替换地，电子设备1000的通信模块107可以接收与对象相关联的分析信息。
在操作413中，电子设备1000的显示器111例如可以通过使用在电子设备1000上所运行的应用来输出所接收的分析信息。
图5是根据本公开的实施例用于获得与特定图像相关联的分析信息的处理的示例的流程图。图6至图8是根据本公开的实施例用于获得并且呈现分析信息的用户界面的图。
参考图5，在操作501中，电子设备1000的图像获取模块101可以获得包括对象的图像。例如，图像获取模块101可以获得包括对象(例如，牛排菜肴)的图像，如图6A所示。
在操作503中，电子设备1000的图像处理模块103可以基于在图像DB105中所存储的至少一个标准图像来识别由图像获取模块101所获得的图像的类型。例如，如图6B所示，包括对象(例如，牛排菜肴)601的图像可以被分类为“食物”图像。换言之，响应于检测到图像和与“食物”类别相关联的标准图像相匹配，图6B所示的图像可以被分类为“食物”类别603。根据本公开的各方面，当指示两个图像之间的相似性的分数超过阈值时和/或当分数在与不同标准图像对应的多个分数中为最高时，包括对象的图像可以被认为与标准图像相匹配。
在操作505中，电子设备1000的图像处理模块103可以获得与在操作501中所获得的图像相关联的附加信息。附加信息可以包括图像的元数据、获得图像的时间的指示以及获得图像的位置的指示中的至少一个。
在操作507中，电子设备1000的图像处理模块103可以选择图像的描绘特定对象的指定部分。例如，图像处理模块103可以剪裁图像的包括已经被分类为“食物”类别(或者另一个预定的类别)的对象的部分。通过示例的方式，可以额外地应用图像处理(例如，Y图像转换)。
例如，如图6C所示，图像处理模块103可以在图6B的图像上留下包括对象(牛排)601的指定区域，并且从图像中去除餐叉和杯子的描绘。另外地或者可替换地，图6C的图像可以与当向图6A或者图6B的图像应用预定的图像处理(例如，Y图像转换处理)时所获得的图像对应。
在操作509中，电子设备1000的图像处理模块103可以计算在图像的所选择的部分中所描绘的对象的特征。关于这点，图6D示出了基于从图6C所示的图像中选择的对象(例如，牛排菜肴)601所计算的HOG特征的示例。
在操作511中，电子设备1000的图像处理模块103可以获得与电子设备1000相关联的用户信息。例如，可以获得与电子设备1000的用户A的服务账户有关的信息。
在操作513中，电子设备1000的通信模块107可以向服务器2000传送在操作509中所提取的(一个或者多个)特征的指示、在操作505中所获得的附加信息和/或在操作511中所获得的用户信息。
在操作515中，电子设备1000的通信模块107可以从服务器2000接收与对象相关联的分析信息。例如，分析信息可以包括图6A至图6C所示的对象(牛排)601的原料信息、营养信息、材料信息、配方或者医学信息。
在操作517中，所接收的分析信息可以被提供给正在被运行的应用，诸如食物追踪器(tracker)或者健康保健应用。
图7A至图7F示出了可以接收分析信息的健康保健应用(S健康)的食物追踪器的示例。
参考图7A至图7C，用户可以运行作为用于显示图像的查看器应用的“图库”应用，并且从预定的图像分类中选择“食物”项711(参见图7A)。当选择“食物”项711时，在后台运行的健康保健应用可以向用户提供接收到与在图像中所描绘的牛排菜肴有关的分析信息的通知713(参见图7B)。如果用户按下在通知713中所提供的按钮“是”，则健康保健应用可以通过如图7C所示地反映分析信息来通知用户作为晚餐消费了852千卡的牛排。
类似地，参考图7D至图7F，用户可以通过运行健康保健应用(参见图7D)来从各种功能列表中选择“食物”项。当用户通过激活输入组件721(例如，按钮)来选择“食物”项时，健康保健应用可以向用户提供接收到与牛排菜肴相关联的分析信息的通知723(参见图7E)。如果用户按下按钮“是”，则健康保健应用可以通过如图7F所示地反应分析信息来通知用户作为晚餐消费了852千卡的牛排。
在操作519中，电子设备1000的显示器111可以向用户显示分析信息。例如，当用户选择输入组件715和725(例如，按钮)之一时，图8的屏幕801可以显示在显示器111。屏幕801提供和与所选择的输入组件相关联的食物项相对应的所接收的分析信息。如图所示，屏幕801可以包括牛排菜肴的营养信息(例如，卡路里852千卡、脂肪60克、胆固醇268毫克、钠219毫克等)。根据本公开的各种实施例，还可以在屏幕801上提供牛排菜肴的一个或者多个原料、与牛排菜肴的一个或者多个原料相关联的医学信息、供应牛排菜肴的餐馆的位置的列表。
图9是根据本公开的实施例的处理的示例的流程图。
参考图9，例如，可以在图5的操作513与操作515之间执行图9的操作901至操作907。
在操作901中，服务器2000的通信模块201可以接收在第一图像中所包括的对象的特征、与第一图像相关联的附加信息和/或电子设备1000的用户信息。
在操作903中，服务器2000的图像分析模块203可以基于特征和附加信息并且通过参考图像DB205和/或与用户信息相对应的分析历史DB209来识别第二图像。
在操作905中，服务器2000的图像分析模块203可以通过参考分析信息DB207和/或与用户信息相对应的分析历史DB209来获得与第二图像中的食物的描绘相关联的分析信息。
在操作907中，服务器2000的通信模块201可以向电子设备1000传送在操作905中所获得的分析信息。
图10是根据本公开的各种实施例的电子设备1001的框图。
参考图10，电子设备1001例如可以构成(configure)图1所示的以上提及的电子设备1000的所有或者一部分。电子设备1001可以包括至少一个处理器(例如，应用处理器(AP)1010)、通信模块1020、用户身份识别模块(SIM)1024、存储器1030、传感器模块1040、输入设备1050、显示器1060、接口1070、音频模块1080、相机模块1091、电源管理模块1095、电池1096、指示器1097以及电机1098。
处理器1010可以包括任何适合类型的处理电路，诸如一个或者多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。在操作中，处理器1010可以控制连接至其的多个硬件或软件组件，并且还可以通过运行操作系统或者应用程序来执行各种数据处理和操作。例如，处理器1010可以被实施为片上系统(SoC)。根据本公开的实施例，处理器1010还可以包括图形处理单元(GPU)和/或图像信号处理器(例如，图2的图像获取模块101和图像处理模块103)。处理器1010可以加载从至少一个其它组件(例如，非易失性存储器)所接收的命令或者数据并且对其进行处理，以及可以将各种数据存储在非易失性存储器中。
通信单元1020(例如，通信模块107)可以包括蜂窝模块1021、WiFi模块1023、BT模块1025、GPS模块1027(例如，位置信息获取模块109)、NFC模块1028以及射频(RF)模块1029。
蜂窝模块1021例如可以经由通信网络提供语音呼叫、视频呼叫、文本服务或者因特网服务。根据本公开的实施例，蜂窝模块1021可以通过使用SIM(例如，SIM卡)1024对在通信网络中的电子设备1001执行区分和认证操作。根据本公开的实施例，蜂窝模块1021可以执行处理器1010所提供的功能的至少一部分。根据本公开的实施例，蜂窝模块1021还可以包括通信处理器(CP)。
WiFi模块1023、BT模块1025、GPS模块1027以及NFC模块1028中的每个可以包括用于对通过相对应的模块所传送的/所接收的数据进行处理的处理器。根据本公开的实施例，蜂窝模块1021、WiFi模块1023、BT模块1025、GPS模块1027以及NFC模块1028中的至少一部分(例如，至少一个)可以被包括在一个集成电路(IC)或IC封装中。
RF模块1029例如可以传送/接收通信信号(例如，RF信号)。RF模块1029例如可以包括收发器，功率放大模块(PAM)、频率滤波器、低噪放大器(LNA)或者天线。根据本公开的另一个实施例，蜂窝模块1021、WiFi模块1023、BT模块1025、GPS模块1027以及NFC模块1028中的至少一个可以通过单独的RF模块来传送/接收RF信号。
SIM1024例如可以包括包含SIM和/或嵌入式SIM的卡，并且还可以包括唯一身份识别信息(例如，集成电路卡标识符(ICCID))或者用户信息(例如，国际移动用户身份识别(IMSI))。
存储器1030可以包括任何合适类型的易失性或非易失性存储器，诸如随机存取存储器(RAM)、只读存储器(ROM)、网络可接入存储装置(NAS)、云存储装置、固态驱动器(SSD)等。例如，存储器1030可以包括内部存储器1032或者外部存储器1034。例如，图1的图像DB105可以被内置在存储器1030中。
内部存储器1032可以包括易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))和非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦写可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪速存储器(例如，NAND闪速存储器或者NOR闪速存储器)、硬驱或者固态驱动器(SSD))中的至少一个。
外部存储器1034还可以包括闪速驱动器，例如，紧凑式闪存(CF)、安全数字(SD)、微型Micro-SD、迷你SD、极速数字(xD)、多媒体卡(MMC)或者记忆棒。外部存储器1034可以通过各种接口功能地和/或物理地连接至电子设备1000。
传感器模块1040测量物理量或者检测电子设备1000的操作状态，从而将所测量的或所检测的信息转换为电信号。传感器模块1040可以包括手势传感器1040A、陀螺仪传感器1040B、气压传感器1040C、磁传感器1040D、加速度传感器1040E、抓握传感器1040F、接近传感器1040G、色彩传感器1040H(例如，红色、绿色、蓝色(RGB)传感器)、生物传感器1040I、温度/湿度传感器1040J、亮度传感器1040K以及紫外(UV)传感器1040M中的至少一个。另外地或者可替换地，传感器模块1040可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或者指纹传感器。传感器模块1040还可以包括用于控制其中的至少一个传感器的控制电路。根据本公开的实施例，电子设备1000还可以包括作为处理器1010的一部分或者与处理器1010分离的、被配置为控制传感器模块1040的处理器，并且因此，电子设备1000可以在处理器1010处于睡眠状态时控制传感器模块1040。
输入设备1050可以包括触摸面板1052、(数字)笔传感器1054、键1056或者超声输入设备1058。触摸面板1052可以使用例如电容方法、电阻方法、红外方法和超声波方法中的至少一个。另外地或者可替换地，触摸面板1052还可以包括控制电路。触摸面板1052还可以包括触觉层以向用户提供触觉响应。
(数字)笔传感器1054例如可以包括作为触摸面板的一部分的板或分离的板以用于识别。键1056例如可以包括物理按钮、光学键或小键盘。超声波输入单元1058可以通过麦克风(例如，麦克风1088)来检测从输入工具所生成的超声波，以便检查与所检测的超声波相对应的数据。
显示器1060(例如，图1的显示器111)可以包括面板1062、全息设备1064或投影仪1066。面板1062可以例如被实施为柔性的、透明的或可穿戴的。面板1062和触摸面板1052可以被配置为一个模块。全息1064可以通过使用光干涉在空中示出三维图像。投影仪1066可以通过将光投影到屏幕上来显示图像。例如，屏幕可以被放置在电子设备1000内部或外部。根据本公开的实施例，显示器1060还可以包括用于控制面板1062、全息设备1064或投影仪1066的控制电路。
接口1070例如可以包括高清晰度多媒体接口(HDMI)1072、通用串行总线(USB)1074、光接口1076或者D超小型(sub)1078。另外地或者可替换地，接口1070例如可以包括移动高清晰度链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外线数据协会(IrDA)标准接口。
音频模块1080可以将声音转换为电信号，以及将电信号转换为声音。音频模块1080可以处理通过扬声器1082、接收器1084、耳机1086或者麦克风1088输入/输出的语音信息。
作为用于捕获静态图像和视频的设备的相机模块1091可以包括至少一个图像传感器(例如，正面传感器或背面传感器)、透镜(未示出)、图像信号处理器(ISP)(未示出)或者闪光灯(未示出)(例如，LED或氙气灯)。
电源管理模块1095可以管理电子设备1001的电源。根据本公开的实施例，电源管理模块1095可以包括例如电源管理IC(PMIC)、充电器IC，或者电池或电量计。PMIC可以具有有线和/或无线充电方法。作为无线充电方法，例如，存在磁共振方法、磁感应方法或电磁方法。例如可以添加用于无线充电的附加电路，诸如线圈环路、谐振电路、整流器电路的电路。电池电量计可以测量电池1096的余量、或者充电期间电池1096的电压、电流或者温度。电池2196例如可以包括可再充电电池和/或太阳能电池。
指示器1097可以显示电子设备1001或其一部分(例如，处理器1010)的指定状态，例如，启动状态、消息状态或者充电状态。电机1098可以将电信号转换为机械振动，并且可以生成振动或触觉效果。尽管在附图中未示出，但电子设备1000可以包括用于移动TV支持的处理设备(例如，GPU)。用于移动TV支持的处理设备可以根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)或者mediaFLOTM的标准来处理媒体数据。
根据本公开的各种实施例，因为电子设备向服务器传送从所获得的图像中提取的特征而不是向服务器传送所获得的图像自身，所以可以大大地减少网络的数据流量。另外地或者可替换地，可以向用户提供与特征相对应的有用的并且高度可靠的分析信息。
根据本公开的各种实施例的电子设备的以上提及的组件中的每个可以被配置有至少一个组件，并且相对应的组件的名称可以根据电子设备的种类而变化。根据本公开的各种实施例，根据本公开的各种实施例的电子设备可以包括以上提及的组件中的至少一个，可以不包括以上提及的组件中的一些或者还可以包括其它组件。另外地或者可替换地，根据本公开的各种实施例的电子设备的组件中的一些被配置为一个实体，使得之前相对应的组件的功能一致地被执行。
图1至图10仅作为示例而被提供。关于这些附图所讨论的操作中的至少一些可以并发地执行、可以按照不同的顺序执行和/或一起被省略。将理解的是，本文所描述的示例的提供以及如“诸如”、“例如”、“包括”、“在一些方面中”、“在一些实施方式中”等所叙述的语句不应当被解释为将所要求保护的主题限制为具体的示例。尽管以上所讨论的处理中的一些由电子设备1000和服务器2000以客户端-服务器方式执行，但是将理解，另外的实施方式也是可能的，其中，在以上所讨论的处理中由服务器2000所执行的任务的一些或所有由电子设备1000本地地执行。
本公开的上述各方面可以被实施为硬件、固件；或者可以经由可以被存储在诸如CDROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘的记录介质中的软件或计算机代码，或经由网络下载的、原始地被存储在远程记录介质或非瞬时机器可读介质上并且要被存储在本地记录介质上的计算机代码的运行来实施，使得可以使用通用计算机或者诸如ASIC或FPGA的可编程或专用硬件中的特定处理器、经由在记录介质上所存储的这样的软件来提出本文所描述的方法。如在本技术领域内将理解地，计算机、处理器、微处理器控制器或可编程硬件包括存储器组件，例如，RAM、ROM、闪存等，该存储器组件可以存储或接收软件或计算机代码，该软件或计算机代码当由计算机、处理器或硬件访问并且运行时实施本文所描述的处理方法。另外，应当意识到，当通用计算机访问代码以用于实施本文所示的处理时，代码的运行将通用计算机转换为用于运行本文所示的处理的专用计算机。在附图中所提供的任何功能和步骤可以实施为硬件、软件或两者的组合，并且可以在计算机的编程指令内整体地或部分地执行。本文要求保护的元件不应根据35U.S.C112第六段的规定来解释，除非使用词语“装置，用于”明确地陈述该元件。
此外，针对技术内容的描述和理解建议了在本说明书中所公开的实施例，但是在本说明书中所公开的实施例不限制本公开的范围。因此，本公开的范围应当被解释为包括基于本公开的技术构思的所有修改或者各种其它实施例。

Claims (15)

1.一种电子设备，包括：
存储器；
通信电路；以及
至少一个处理器，可操作地耦接至所述存储器和所述通信电路，所述至少一个处理器被配置为：
获得第一图像；
提取与在所述第一图像中所描绘的对象相关联的特征；和
控制所述通信电路以向服务器传送所述特征的指示；以及
通过所述通信电路从所述服务器接收与所述对象相关联的分析信息。
2.根据权利要求1所述的电子设备，其中，所述对象包括食物项。
3.根据权利要求2所述的电子设备，其中，所述分析信息包括下述中的至少一个：
(i)所述食物项的一个或多个原料的指示，
(ii)与所述食物项相关联的营养信息，
(iii)材料信息，
(iv)与所述食物项相关联的配方，以及
(v)与所述食物项相关联的医学信息。
4.根据权利要求1所述的电子设备，其中：
所述至少一个处理器还被配置为选择所述第一图像的包括所述对象的部分，并且
所述特征是从所述部分中提取的。
5.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
获得与所述第一图像相关联的附加信息；以及
向所述服务器传送所述附加信息。
6.根据权利要求5所述的电子设备，其中，所述附加信息包括与所述第一图像相关联的元数据。
7.根据权利要求5所述的电子设备，其中，所述附加信息包括获得所述第一图像的时间的指示和/或获得所述第一图像的位置的指示。
8.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为向所述服务器传送与所述电子设备相关联的用户信息。
9.根据权利要求1所述的电子设备，其中，所述存储器被配置为存储第二图像，以及所述至少一个处理器还被配置为：
将所述第一图像与所述第二图像进行比较；以及
响应于检测到所述第一图像与所述第二图像相匹配，从所述第一图像中提取所述特征。
10.一种服务器，包括：
存储器；
通信电路；以及
至少一个处理器，可操作地耦接至所述存储器和所述通信电路，所述至少一个处理器被配置为：
通过所述通信电路从电子设备接收在第一图像中所描绘的对象的特征的指示；
分析所述特征以获得相对应的分析信息；以及
控制所述通信电路以向所述电子设备传送所述分析信息。
11.根据权利要求10所述的服务器，其中：
所述至少一个处理器还被配置为识别与所述特征相匹配的第二图像；以及
所述分析信息是基于所述第二图像获得的。
12.根据权利要求10所述的服务器，其中：
所述至少一个处理器还被配置为从所述电子设备接收与所述第一图像相关联的附加信息，以及
基于所述第二图像和所述附加信息来获得所述分析信息。
13.根据权利要求12所述的服务器，其中，所述附加信息包括获得所述第一图像的时间的指示和获得所述第一图像的位置的指示中的至少一个。
14.根据权利要求10所述的服务器，其中：
所述存储器被配置为存储包含由多个用户之前所获得的分析信息的分析历史数据库，
所述至少一个处理器还被配置为接收与所述电子设备相关联的用户信息，以及
基于所述用户信息和从所述分析历史数据库中所检索的之前的分析信息来获得所述分析信息。
15.一种方法，包括：
通过电子设备获得图像；
通过所述电子设备提取关于在所述图像中所描绘的对象的特征；
向服务器传送所述特征的指示；以及
从所述服务器接收与所述对象相关联的分析信息。
CN201610028209.8A 2015-01-15 2016-01-15 用于图像分析的方法和装置 Pending CN105808635A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0007236 2015-01-15
KR1020150007236A KR102251960B1 (ko) 2015-01-15 2015-01-15 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버

Publications (1)

Publication Number Publication Date
CN105808635A true CN105808635A (zh) 2016-07-27

Family

ID=55299205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610028209.8A Pending CN105808635A (zh) 2015-01-15 2016-01-15 用于图像分析的方法和装置

Country Status (4)

Country Link
US (1) US9953248B2 (zh)
EP (1) EP3046041A1 (zh)
KR (1) KR102251960B1 (zh)
CN (1) CN105808635A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843439B2 (ja) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム
CN109214238B (zh) * 2017-06-30 2022-06-28 阿波罗智能技术(北京)有限公司 多目标跟踪方法、装置、设备及存储介质
US10572632B2 (en) * 2017-10-02 2020-02-25 Robert M. Buckley Using augmented reality interface and real-time glucose data to control insulin delivery device
KR102104397B1 (ko) * 2017-12-05 2020-04-24 이원 유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램
WO2019182378A1 (en) * 2018-03-21 2019-09-26 Lg Electronics Inc. Artificial intelligence server
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
KR102172772B1 (ko) * 2018-07-18 2020-11-02 엘지전자 주식회사 인공지능 서버 및 인공지능 디바이스
KR102528453B1 (ko) 2018-10-18 2023-05-02 삼성전자주식회사 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법
WO2020116177A1 (ja) 2018-12-05 2020-06-11 ソニー株式会社 撮像素子、撮像装置および方法
WO2020180131A1 (ko) * 2019-03-06 2020-09-10 씨제이제일제당 (주) 레시피 제공 시스템 및 방법
US20220150088A1 (en) * 2019-03-06 2022-05-12 Cj Cheiljedang Corporation Recipe providing system and method
CN110705621A (zh) * 2019-09-25 2020-01-17 北京影谱科技股份有限公司 基于dcnn的食物图像的识别方法和系统及食物热量计算方法
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102393802B1 (ko) * 2019-12-13 2022-05-03 주식회사리디쉬 포인트 보상 기반의 그릇을 회수하기 위한 방법 및 이를 위한 장치
US12016487B2 (en) * 2020-07-15 2024-06-25 June Life, Llc Method and system for foodstuff identification
CN113592003B (zh) * 2021-08-04 2023-12-26 智道网联科技(北京)有限公司 一种图片传输方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
CN102214269A (zh) * 2010-04-06 2011-10-12 索尼公司 信息处理设备，信息输出方法和计算机程序存储装置
CN102395966A (zh) * 2009-04-14 2012-03-28 高通股份有限公司 用于使用移动装置进行图像辨识的系统和方法
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060122111A (ko) 2005-05-25 2006-11-30 주식회사 팬택 음식물 영상을 통한 칼로리 계산 방법
KR20090046991A (ko) 2007-11-07 2009-05-12 주식회사 휴민텍 패턴 인식 기법을 통한 식단 인식
US8363913B2 (en) 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
US8392957B2 (en) 2009-05-01 2013-03-05 T-Mobile Usa, Inc. Automatic content tagging, such as tagging digital images via a wireless cellular network using metadata and facial recognition
WO2012094569A2 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US20130004923A1 (en) 2011-06-10 2013-01-03 Aliphcom Nutrition management method and apparatus for a wellness application using data from a data-capable band
US8548459B1 (en) * 2011-09-27 2013-10-01 Emc Corporation Replacing field hardware involving utilization of a smart phone
TWI498845B (zh) * 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
US9111143B2 (en) * 2013-09-27 2015-08-18 At&T Mobility Ii Llc Method and apparatus for image collection and analysis
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
CN102395966A (zh) * 2009-04-14 2012-03-28 高通股份有限公司 用于使用移动装置进行图像辨识的系统和方法
CN102214269A (zh) * 2010-04-06 2011-10-12 索尼公司 信息处理设备，信息输出方法和计算机程序存储装置
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822390A (zh) * 2019-11-15 2021-05-18 三星电子株式会社 处理图像的方法和图像处理设备

Also Published As

Publication number Publication date
US20160210536A1 (en) 2016-07-21
KR102251960B1 (ko) 2021-05-14
EP3046041A1 (en) 2016-07-20
US9953248B2 (en) 2018-04-24
KR20160088049A (ko) 2016-07-25

Similar Documents

Publication Publication Date Title
CN105808635A (zh) 用于图像分析的方法和装置
US10003785B2 (en) Method and apparatus for generating images
US20180341705A1 (en) Portable electronic device and method for controlling the same
US9794441B2 (en) Electronic device using composition information of picture and shooting method using the same
CN105825522B (zh) 图像处理方法和支持该方法的电子设备
EP3131302B1 (en) Method and device for generating video content
EP3062246A1 (en) Electronic device and method thereof for displaying and classifying images
US20150296317A1 (en) Electronic device and recording method thereof
KR20160058519A (ko) 복수의 영상들에 대한 영상 처리
EP3104304B1 (en) Electronic apparatus and method of extracting still images
CN105320402B (zh) 管理数据的方法和用于处理该方法的电子设备
KR20170077730A (ko) 컨텐트 인식 장치 및 그 동작 방법
CN106454005B (zh) 电子装置和电子装置的图像编码方法
CN107784268B (zh) 基于红外线传感器使用其来测量心率的方法和电子设备
EP3876139B1 (en) Method for estimating object parameters and electronic device
EP3608794B1 (en) Method for outputting content corresponding to object and electronic device therefor
EP3480790B1 (en) Method and apparatus for continuously displaying images on basis of similarity of images
US20180033463A1 (en) Electronic device and operation method thereof
KR20160142163A (ko) 전자 장치 및 전자 장치의 이미지 파일 생성 방법
KR20150137504A (ko) 영상처리 방법 및 이를 구현한 전자 장치
CN106471493B (zh) 用于管理数据的方法和装置
US10185724B2 (en) Method for sorting media content and electronic device implementing same
KR20150141426A (ko) 전자 장치 및 전자 장치에서의 이미지 처리 방법
KR20160038563A (ko) 하나 이상의 이미지들을 추천하는 방법 및 그를 위한 전자 장치
EP3446240B1 (en) Electronic device and method for outputting thumbnail corresponding to user input

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination