CN108292311B - 用于处理元数据的设备和方法 - Google Patents

用于处理元数据的设备和方法 Download PDF

Info

Publication number
CN108292311B
CN108292311B CN201680066127.0A CN201680066127A CN108292311B CN 108292311 B CN108292311 B CN 108292311B CN 201680066127 A CN201680066127 A CN 201680066127A CN 108292311 B CN108292311 B CN 108292311B
Authority
CN
China
Prior art keywords
information
image
electronic device
database
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680066127.0A
Other languages
English (en)
Other versions
CN108292311A (zh
Inventor
金祐赞
许峻硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108292311A publication Critical patent/CN108292311A/zh
Application granted granted Critical
Publication of CN108292311B publication Critical patent/CN108292311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Abstract

根据各种示例，一种电子设备通过其处理元数据的方法可以包括以下步骤：获取图像；将该图像上的识别信息和与该图像相关的信息整合；将该组合的信息储存为该图像的元数据或提供服务或提供功能，其中每一个都使用该组合的信息。

Description

用于处理元数据的设备和方法
技术领域
本发明涉及处理图像的元数据的方法以及用于处理图像的元数据的电子设备。
背景技术
配备相机的常规电子设备可对通过相机拍摄的图像进行图像处理，压缩处理的图像并产生图像文件，并将生成的图像文件存储在存储器中。
常规电子设备可收集有关图像的数据并将收集到的数据作为图像的元数据存储。
发明内容
技术问题
常规电子设备仅提供元数据作为关于图像的辅助信息，因此需要有效使用元数据的方法。
技术方案
根据各种实施例，电子设备的操作方法可包括获取图像，将关于图像的识别信息与有关图像的信息整合，并将整合的信息作为图像的元数据进行存储或使用整合的信息提供服务或功能。
根据各种实施例，电子设备可包括存储器和处理器，该处理器被配置成获取图像、将有关图像的识别信息与有关图像的信息整合、并将整合的信息作为图像的元数据存储在存储器中、或使用整合的信息提供服务或功能。
有益效果
根据各种实施例，可使用元数据提供各种服务，方法是收集图像的各种元数据，并根据本体有效地组合/整合收集的元数据，或将收集的元数据作为本体存储。
附图说明
图1是示出根据各种实施例在网络环境中的电子设备的视图；
图2是示出根据各种实施例的电子设备的框图；
图3是示出根据各种实施例的程序模块的框图；
图4是示出用于执行元数据处理方法的电子设备的主要组件的视图；
图5是示出根据各种实施例的电子设备上的元数据处理方法的流程图；
图6是示出根据各种实施例的电子设备上的元数据处理方法的流程图；
图7a至7d是示出根据各种实施例的电子设备上的元数据建模方法的视图；
图8是示出根据各种实施例的电子设备上的图像分类方法的流程图；
图9是示出根据各种实施例的电子设备上的图像搜索方法的流程图；
图10a至10d是示出根据各种实施例的电子设备上的图像搜索方法的视图；
图11是示出根据各种实施例的电子设备上的图像搜索方法的流程图；
图12a和12b是示出根据各种实施例的电子设备上的图像搜索方法的视图；
图13是示出根据各种实施例的电子设备上的图像标题确定方法的流程图；
图14a和14b是示出根据各种实施例的电子设备上的图像标题确定方法的视图；
图15a至15c是示出根据各种实施例的电子设备上的统计信息提供方法的视图；
图16是示出根据各种实施例的电子设备上的元数据模型生成方法的流程图；以及
图17是示出根据各种实施例的电子设备上的本体更新/备份方法的流程图。
具体实施方式
在下文中，将参照附图对本公开的实施例进行描述。然而，应当理解，本公开不限于实施例，并且所有更改和/或等同物或对于其的替换也属于本公开的范围。在整个书名书和附图中可将相同或相似的参考符号用于指代相同或相似的元件。
如本文所用，术语“具有”、“可能有”、“包含”或“可能包含”特征(例如，数字、功能、操作或组件诸如部件)指示特征的存在，并且不排除其他特征的存在。
如本文所用，术语“A或B”、“A和/或B中的至少一个”或“A和/或 B中的一个或多个”可包括A和B的所有可能的组合。例如“A或B”、“A 和B中的至少一个”、“A或B中的至少一个”可指示以下全部：(1)包含至少一个A，(2)包含至少一个B，或(3)包含至少一个A以及至少一个 B。
如本文所用，术语“第一”和“第二”可修饰各种组件，无论重要性和 /或顺序如何，并且用于将组件与另一组件进行区分而不限制这些组件。例如，第一用户设备和第二用户设备可指示彼此不同的用户设备而无论设备的顺序或重要性如何。例如，在不偏离本公开的范围的情况下，第一组件可由第二组件表示，并且反之亦然。
应当理解，当元件(例如，第一元件)被称为(可操作地或可通信地) “耦合/耦合至”或“连接/连接至”另一元件(例如，第二元件)时，其可直接或经由第三元件耦合或连接/或连接至其他元件。相比之下，应当理解，当元件(例如，第一元件)被称为“直接耦合/耦合至”或“直接连接/连接至”另一元件(例如，第二元件)时，没有其他元件(例如，第三元件)在该元件与其他元件之间干预。
如本文所用，术语“被配置(或设置)成用于”可能可互换的与术语“适用于”、“有能力”、“被设计用于”、“适于”、“被制造成用于”或“能够”一起使用，具体取决于环境。术语“被配置(或设置)成用于”不一定是指“在硬件上被专门设计用于”。相反，术语“被配置成”可能是指设备可以连同另一设备或组件一起执行操作。例如，术语“处理器被配置(或设置)成执行A、B和C”可能是指通用处理器(例如，CPU或应用处理器)，该处理器可通过执行存储在存储器设备或专用处理器(例如，嵌入式处理器)中的一个或多个用于执行操作的软件程序来执行这些操作。
如本文所用的术语仅提供用于描述本公开的一些实施例，而不限制本公开的其他实施例的范围。应当理解，除非上下文明确地另有规定，否则单数形式“一个”(a)、“一个”(an)和“该”包括复数形式的参考。包括在本文使用的技术和科技术语的术语的含义与本公开的实施例所述的领域的普通技术人员的普遍理解一致。还应当理解术语，诸如常用字典中定义的那些，应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非在本文明确定义，不应当被理想化或过于正式解释。在一些情况下，本文定义的术语可被解释为排除本公开的实施例。
例如，根据各种实施例的电子设备的示例可包括以下各项中的至少一者：智能手机、平板个人电脑(PC)、手机、视频手机、电子书阅读器、台式PC、膝上型电脑、笔记本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备。根据各种实施例，该可穿戴设备可包括以下各项中的至少一者：装饰品型设备(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴设备(HMD))、织物或衣物整合的设备(例如，电子衣物)、身体附着型设备(例如，护皮垫或纹身)、或身体植入设备(例如，可植入的电路)。
根据一些实施例，电子设备可为家用电器。家用电器的示例可包括以下各项中的至少一者：电视、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、干燥机、空气过滤器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，Samsung HomeSyncTM、 Apple TVTM或Google TVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子钥匙、便携式摄像机或电子相框。
根据其他实施例，电子设备的示例可包括以下各项中的至少一者：各种医疗设备(例如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声波设备)、导航设备、全球导航卫星系统(GNSS)接收器、行车纪录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、航海电子设备(例如，航海导航设备或陀螺罗盘)、航空电子设备、安全设备、车辆头部单元、工业用或家用机器人、自动取款机(ATM)、销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、电表或气表、洒水器、火警警报器、恒温器、街灯、烤面包器、健身设备、热水箱、加热器或锅炉)。
根据一些实施例，电子设备的示例可为以下各项中的至少一者：家具件或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪、各种测量设备(例如，用于测量水、电、气或电磁波的设备)。根据各种实施例，电子设备可为以上所列设备中的一种或它们的组合。根据一些实施例，电子设备可为柔性电子设备。本文披露的电子设备不限于以上所列设备并且可包括新的电子设备，取决于技术的开发。
在下文中，参考附图描述了根据各种实施例的电子设备。如本文所用，术语“用户”可以指使用电子设备的人类或另一设备(例如，人工智能电子设备)。
参考图1，根据各种实施例，电子设备100包括在网络环境101中。电子设备101可包括总线110、处理器120、存储器130、输入/输出接口150、显示器160以及通信模块170(或通信接口)。在一些实施例中，电子设备 101可包括组件中的至少一者或可添加另一组件。
总线110可包括用于将组件120、130、150、160和170彼此连接并在组件之间传输通信(例如，控制消息和/或数据)的电路。
处理器120可包括以下各项中的一者或多者：中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)。处理器120可在电子设备101的其他组件中的至少一个上执行控制，以及/或者执行与通信相关的操作或数据处理。处理器120可由控制器表示，或者处理器120可包括控制器作为其一部分或者可配置控制器。
存储器130可包括易失性和/或非易失性存储器。例如，存储器130可存储与电子设备101的至少一个其他组件相关的命令或数据。根据实施例，存储器130可存储软件和/或程序140。程序140可包括，例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核 141、中间件143或API 145的至少一部分可由操作系统(OS)表示。
例如，内核141可控制或管理系统资源(例如，总线110、处理器120 或存储器130)，这些系统资源用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能。内核141可提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源。
例如，中间件143可用作继电器以允许API 145或应用147与内核141 通信数据。
另外，中间件143可按优先级顺序处理一个或多个接收自应用程序147 的任务请求。例如，中间件143可向至少一个应用程序147分配使用至少一个电子设备101的系统资源(例如，总线110、处理器120或存储器130) 的优先权。例如，中间件143可在一个或多个任务请求上执行计划或负载平衡，方法是根据分配给至少一个应用程序147的优先权处理一个或多个任务请求。
API 145是允许应用147控制由内核141或中间件143提供的功能的接口。例如，API133可包括至少一个接口或功能(例如，命令)用于文件控制、窗口控制、图像处理或文本控制。
输入/输出接口150可用作接口，该接口可例如将来自用户或其他外部设备的命令或数据输入传输至电子设备101的其他组件。另外，输入/输出接口 150可将接收自电子设备101的其他组件的命令或数据输出至用户或其他外部设备。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机电致发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160可向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏并且可接收例如使用电子笔或用户的身体部分的触摸、手势、接近或悬停输入。
例如，通信模块170可在电子设备101与外部设备(例如，第一电子设备102、第二电子设备104或服务器106)之间建立通信。例如，通信模块 170可通过无线或有线通信与网络162连接，以与外部电子设备(例如，第二外部电子设备104或服务器106)通信。通信模块170可包括通信处理器 (CP)，并且该通信处理器可配置通信模块170中的多个模块中的一个。根据实施例，通信处理可包括在处理器120中。
无效通信可使用以下各项中的至少一者作为蜂窝通信协议：长期演进 (LTE)、先进的长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址 (WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。另外，无线通信可包括例如近程通信164。该近程通信164可包括例如以下各项中的至少一者：无线保真(Wi-Fi)、蓝牙、近场通信(NFC)或全球导航卫星系统(GNSS)。该GNSS可包括例如以下各项中的至少一者：全球位置测定系统(GPS)、全球导航卫星系统(Glonass)、北斗卫星导航系统(下文简称为“北斗”)或伽利略导航系统或欧洲全球卫星导航系统。在下文中，术语“GPS”和“GNSS”可在本文可互换地使用。有线连接可包括例如以下各项中的至少一者：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐性标准(RS)-232或普通老式电话服务 (POTS)。网络162可包括例如以下通信网络中的至少一种：计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104各自可为与电子设备 101的类型相同或不同的设备。根据实施例，服务器106可包括一个或多个服务器的组。根据各种实施例，在电子设备101上执行的操作的全部或一些可在另一电子设备或多个其他电子设备(例如，电子设备102和104或服务器106)上执行。根据实施例，当电子设备101应当自动或应请求执行一些功能或服务时，该电子设备101不是自身或另外地执行功能或服务，而是可能请求另一设备(例如，电子设备102和104或服务器106)执行与其相关联的至少一些功能。其他电子设备(例如，电子设备102和104或服务器106) 可执行请求的功能或另外的功能并向该电子设备101传输执行的结果。该电子设备101可通过原样或另外地处理收到的结果来提供请求的功能或服务。为此目的，例如可使用云计算、分布式计算或客户端服务器计算技术。
图2是示出根据各种实施例的电子设备201的框图。该电子设备201可包括例如图1中所示的电子设备101的配置的全部或部分。该电子设备201 可包括一个或多个处理器(例如，应用处理器(AP))210、通信模块220、存储器230、传感器模块240、输入设备250以及显示器260，并且该电子设备201还可包括以下各项中的至少一者：用户识别模块224、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示灯297以及电机298。
处理器210可控制与该处理器210连接的多个硬件和软件组件，方法是运行例如操作系统或应用程序，并且该处理器210可处理和计算各种数据。可在例如片上系统(SoC)中实现处理器210。根据实施例，该处理器210 可进一步包括图形处理单元(GPU)和/或图像信号处理器。该处理器210 可包括图2中所示的组件中的至少一些(例如，蜂窝模块221)。该处理器 210可加载接收自易失性存储器上其他组件(例如非易失性存储器)中的至少一个的命令或数据，处理命令或数据，并在非易失性存储器中存储各种数据。
通信模块220可具有和图1的通信模块170相同或相似的配置。该通信模块220可包括例如以下各项中的至少一者：蜂窝模块221、无线保真(Wi-Fi) 模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228以及RF 模块229。
蜂窝模块221可通过例如通信网络提供语音通话、视频通话、文本或互联网服务。该蜂窝模块221可使用用户识别模块224(例如，SIM卡)在通信网络中的电子设备201上执行识别或认证。根据实施例，该蜂窝模块221 可执行可由处理器210提供的功能中的至少一些。根据实施例，该蜂窝模块 221可包括通信处理器(CP)。
Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228可包括用于例如处理通过模块通信的数据的过程。根据一些实施例，在单个集成电路(IC)或IC封装体中可包括蜂窝模块221、Wi-Fi模块223、蓝牙模块 225、GNSS模块227或NFC模块228中的至少一些(例如，两种或更多种)。
RF模块229可通信数据，例如通信信号(例如，RF信号)。RF模块229 可包括例如收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA) 或天线。根据另一实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、 GNSS模块227或NFC模块228中的至少一者可通过单独的RF模块通信 RF信号。
用户识别模块224可包括例如包括用户识别模块和/或嵌入的SIM的卡，并且可包含唯一识别信息(例如，集成电路卡标识符(ICCID)或用户信息 (例如，国际移动用户识别码(IMSI))。
存储器230(例如，存储器130)可包括例如内部存储器232或外部存储器234。该内部存储器232可包括例如以下各项中的至少一者：易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM (SDRAM)等)或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除以及可编程ROM(EPROM)、电可擦除以及可编程ROM(EEPROM)、掩模型ROM、闪速ROM、闪速存储器(例如， NAND闪存或NOR闪存)、硬盘或固态硬盘(SSD)。
该外部存储器234可包括闪存驱动器，例如紧凑式闪速(CF)存储器、安全数字(SD)存储器、微型SD存储器、迷你SD存储器、极速(xD)存储器、多媒体卡(MMC)或memory stickTM。该外部存储器234可功能地和 /或物理地经由各种接口与电子设备201连接。
例如，传感器模块240可测量物理数量或检测电子设备201的运动状态，并且该传感器模块240可将测量或检测的信息转换为电信号。该传感器模块 240可包括例如以下各项中的至少一者：手势传感器240A、陀螺仪传感器 240B、大气压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、色彩传感器240H(例如，红绿蓝(RGB) 传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外光(UV)传感器240M。此外或替代性地，该感测模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG) 传感器、红外线(IR)传感器、虹膜传感器或指纹传感器。该传感器模块240 还可包括控制电路，用于控制该感测模块中包括的传感器中的至少一个或多个。根据一些实施例，电子设备201还可包括处理器，该处理器被配置成将传感器模块240作为处理器210的一部分或独立于处理器210进行控制，并且电子设备2701可在处理器210处于休眠模式时控制传感器模块240。
输入单元250可包括例如触摸面板252，并且输入设备250还可包括(数字)笔传感器254、按键256或超声波输入设备258中的至少一个。该触摸面板252可使用电容式、电阻式、红外线或超声波方法中的至少一种。该触摸面板252还可包括控制电路。该触摸面板252还可包括触觉层，并且可向用户提供触觉反应。
该(数字)笔传感器254可包括例如触摸面板的一部分或单独的识别片。该按键256可包括例如物理按钮、光学按键或键盘。该超声波输入设备258 可通过麦克风(例如，麦克风288)感应从输入工具生成的超声波，以识别对应于感测到的超声波的数据。
显示器260(例如，显示器160)可包括面板262，并且该显示器260 还可包括全息图设备264和/或投影仪266。该面板262可具有与图1的显示器160相同或相似的配置。该面板262可实现为柔性、透明或可穿戴的。该面板262还可在模块中与触摸面板252结合。该全息图设备264可通过使用光干涉在空气中创建三维(3D)图像(全息图)。该投影仪266可通过将光投射到屏幕上来显示图像。该屏幕可例如位于电子设备201的内部或外部。根据实施例，该显示器260还可包括控制电路来控制面板262、全息图设备 264或投影仪266。
接口270可包括例如高清晰度多媒体接口(HDMI)272、USB 274、光学接口276或超小型(D-sub)接口278中的至少一个。该接口270可包括在例如图1中所示的通信模块170中。此外或替代性地，接口270可包括移动高分辨率连接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外线数据协会(IrDA)标准接口。
音频模块280可将声音转换为例如电信号或反之亦然。该音频模块280 的至少一部分可包括在例如如图1所示的输入/输出接口150中。该音频模块 280可通过例如扬声器282、接收器284、耳机286或麦克风288处理声音信息输入或输出。
例如，相机模块291可为用于拍摄静止图像和视频的设备，并且根据实施例可包括一个或多个图像传感器(例如，前和后传感器)、镜头、图像信号处理器(ISP)或诸如LED或氙气灯的闪光灯。
电源管理器模块295可管理例如电子设备201的电源。根据实施例，该电源管理器模块295可包括电源管理集成电路(PMIC)、充电器IC或电池或电量计。该PMIC可具有有线和/或无线再充电方案。该无线充电方案可包括例如磁共振方案、磁感应方案或基于电磁波的方案，并且可添加另外的电路，诸如线圈回路、共振电路、整流器等，用于无线充电。电池量表可在对电池296充电时测量电池296的剩余电量、电压、电流或温度。该电池296 可包括例如可再充电电池或太阳能电池。
指示灯297可指示电子设备201或组件(例如，处理器210)的具体状态，包括例如启动状态、消息状态或再充电状态。电机298可将电信号转换为机械振动并且可产生振动或触觉效果。尽管未示出，但用于支持移动电视的处理单元，诸如GPU可包括在电子设备201中。用于支持移动电视的处理单元可遵循数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM的标准处理元数据。
电子设备的前述组件中的每一个可包括一个或多个组件，并且组件的名称可随电子设备的类型而变化。根据本公开的各种实施例的电子设备可包括前述组件中的至少一个，排除它们中的一些，或包括其他另外的组件。组件中的一些可组合为实体，但是该实体可执行与组件可执行的功能一样的功能。
图3是示出根据各种实施例的程序模块的框图。根据实施例，程序模块 310(例如，程序140)可包括操作系统(OS)，该操作系统控制与在操作系统上驱动的电子设备(例如，电子设备101)和/或各种应用(例如，应用处理器147)相关的资源。该操作系统可包括例如Android、iOS、Windows、 Symbian、Tizen或Bada。
该程序模块310可包括，例如内核320、中间件330、应用编程接口(API) 360和/或应用370。该程序模块310的至少一部分可在电子设备上预加载或者可从外部电子设备(例如，电子设备102和104或服务器106中的至少一者)下载。
该内核320(例如，内核141)可包括例如系统资源管理器321和/或设备驱动程序323。该系统资源管理器321可执行系统资源的控制、分配或恢复。根据实施例，该系统资源管理器321可包括过程管理单元、存储器管理单元或文件系统管理单元。该设备驱动程序323可包括例如显示器驱动程序、相机驱动程序、蓝牙驱动程序、共享存储器驱动程序、USB驱动程序、键盘驱动程序、Wi-Fi驱动程序、音频驱动程序或过程间通信(IPC)驱动程序。
该中间件330可通过API 360向应用370提供各种功能，使得该应用370 可有效地使用电子设备中有限的系统资源，或共同提供应用370所需的功能。根据实施例，该中间件330(例如，中间件143)可包括以下各项中的至少一者：运行时间库335、应用管理器341、窗口管理器342、多媒体管理器 343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
该运行时间库335可包括由编译程序使用的库模块，以在例如执行应用 370时通过编程语言增加新功能。该运行时间库335可执行输入/输出管理、存储器管理或对于算术函数的运算。
该应用管理器341可管理例如应用370中的至少一个应用的生命周期。该窗口管理器342可管理在屏幕上使用的图形用户界面(GUI)资源。该多媒体管理器343可获取播放各种媒体文件必需的格式，并使用适合格式的编码解码器以在媒体文件上执行编码或解码。该资源管理器344可管理资源，诸如应用370、存储器或存储空间中至少一者的源代码。
该电源管理器345可与例如基本输入/输出系统(BIOS)一起操作以管理电池或电源，并提供用于操作电子设备必需的电源信息。该数据库管理器 346可生成、搜索或改变在应用370中的至少一个中使用的数据库。该包管理器347可管理以包文件形式分发的应用的安装或更新。
该连接管理器348可管理无线连接，诸如Wi-Fi或蓝牙。该通知管理器 349可显示或通知用户的事件，诸如用户收到的消息、约定、或距离通知，而不会妨碍用户。该位置管理器350可在电子设备上管理位置信息。该图形管理器351可管理要提供给用户的图形效果及其相关的用户界面。该安全管理器352可提供系统安全或用户身份验证必需的各种安全功能。根据实施例，当电子设备(例如，电子设备101)具有电话功能时，中间件330还可包括电话管理器，用于管理电子设备的语音通话或视频通话功能。
该中间件330可包括中间件模块，该中间件模块形成上述组件的各种功能的组合。该中间件330可根据操作系统的类型提供指定的模块以提供不同的功能。另外，该中间件330可动态地忽略一些现有组件或新增组件。
API 360(例如，API 145)可为例如API编程功能集，并且可根据操作系统具有不同的配置。例如，对于Android或iOS，每个平台可提供一个API 集，而对于Tizen，每个平台可提供两个或更多个API集。
应用370(例如，应用处理器147)可包括一个或多个应用，这些应用可提供功能，如主屏幕371、拨号程序372、短信服务(SMS)/多媒体信息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383或时钟384、卫生保健(例如，测量锻炼程度或血糖)，或者提供环境信息(例如，提供空气压力、湿度或温度信息)。
根据实施例，应用370可包括应用(为方便起见，下文称为“信息交换应用”)，该应用支持电子设备(例如，电子设备101)与外部电子设备(例如，电子设备102和104)之间的信息交换。该信息交换应用的示例可包括但不限于通知中继应用，该通知中继应用用于将特定信息传输至外部电子设备，或设备管理应用，该设备管理应用用于管理外部电子设备。
例如，该通知中继应用可包括用于中继通知信息到外部电子设备(例如，电子设备102和104)的功能，该通知信息由电子设备的其他应用(例如， SMS/MMS应用、电子邮件应用、卫生保健应用或环境信息应用)生成。另外，通知中继应用可从例如外部电子设备接收通知信息，并且可将收到的通知信息提供给用户。
设备管理应用可执行与电子设备通信的外部电子设备(例如，电子设备 102和104)的至少一些功能(例如，打开/关闭外部电子设备(或外部电子设备的一些组件)或控制显示器的亮度(或分辨率))，并且该设备管理应用可管理(例如，安装、删除或更新)在外部电子设备中操作的应用或由外部电子设备提供的服务(例如，通话服务或消息服务)。
根据实施例，应用370可包括根据外部电子设备(例如，电子设备102 和104)的特性指定的应用(例如，移动医疗设备的卫生保健应用)。根据实施例，应用370可包括接收自外部电子设备(例如，服务器106或电子设备 102和104)的应用。根据实施例，应用370可包括预加载的应用或可从服务器下载的第三方应用。根据所示的实施例的程序模块310的组件的名称可根据操作系统的类型变化。
根据各种实施例，该程序模块310的至少一部分可以软件、固件、硬件或它们的两个或更多个的组合实现。该编程模块310的至少一部分可由例如处理器(例如处理器210)实现(例如执行)。该程序模块310的至少一部分可包括用于执行一个或多个功能的例如模块、程序、例程、命令集、过程等。
图4是示出用于执行元数据处理方法的电子设备的主要组件的视图。
电子设备401(例如，电子设备101或201)可包括例如相机490(例如，相机模块291)、存储器430(例如，存储器130或230)、显示器460(例如，显示器160或260)、传感器440(例如，传感器模块240、触摸面板252、 GNSS模块227和麦克风288中的至少一个)、通信模块420(例如，通信模块170或220)以及处理器410(例如，处理器120或210)。
相机490可拍摄电子设备401前方或后方的对象并输出拍摄到的对象的图像。例如，该相机490可包括第一相机模块(或背面/后置相机模块)，用于拍摄电子设备401背后的对象，并包括第二相机模块(或正面/前置相机模块)，用于拍摄电子设备401前方的对象。例如，每个相机模块可在处理器 410的控制下拍摄静止图像或视频，并将拍摄的静止图像或视频输出至处理器410或存储器430。该处理器410可在存储器430中存储拍摄的静止图像或视频或将它们显示在显示器460上。例如，每个相机模块可为前方或后方的目标生成预览图像(或实时预览图像)并将生成的预览图像输出至处理器 410或显示器460。该处理器410可在显示器460上显示预览图像。例如，该处理器410可在显示器460上显示保留在存储器430中的图像。
该显示器460可在屏幕上显示图像、信号、数据或来自相机490、存储器430或处理器410的信息输入。
该存储器430可包括本体数据库411、图像/元数据数据库412、元数据模型数据库413以及目标数据库414。该图像/元数据数据库412、本体数据库411以及元数据模型数据库413可为一个数据库的部分。该本体数据库411 以及元数据模型数据库413可为一个数据库的部分。本体数据库411和元数据模型数据库413的至少一部分可与图像/元数据数据库412整合。该数据库 411至414可为至少一个数据库的部分。该本体和元数据模型可被视为元数据或元数据的部分。
该本体数据库411可包括多个本体，并且每个本体可包括多个信息/数据元素以及数据，并且数据限定多个信息/数据元素之间关系。
例如，作为指定具体域的数据模型的本体可由属于具体域的概念(或信息/数据元素)集以及指定概念之间关系的正式词组成。本体是以正式语言编写的词集，可用于演绎和推理。例如，本体可包括类，该类指示事物或概念的名称或类别；实例，该实例指示特定项目或事件；事物或概念的表示的实体形式；特性；类或实例与具体值之间的联系，用于表示类或实例的具体性质或习性；以及关系(例如包含关系、恒等关系和因果关系中的至少一个)，该关系指示存在于类或示例之间的关系。此时，特性可包含在关系中。
本体数据库411可具有各种数据结构。例如，多个信息/数据元素可根据多个信息/数据元素之间的关系以数据/对象树的形式表示或作为多个记录，这些记录指定多个信息/数据元素以及这些多个信息/数据元素之间的关系。
作为本体数据库411的示例，本体数据库411可以多个记录的形式存储多种信息，如下面表1中所列。
[表1]
ID 类型 内容 特性 关系
L1 M1 N1 O1 P1
L2 M2 N2 O2 P2
L3 M3 N3 O3 P3
L4 M4 N4 O4 P4
... ... ... ... ...
Ln Mn Nn On Pm
ID Li(1≤i≤n，其中n是不小于1的整数)，表示关于信息/数据元素的唯一识别信息，类型Mi和内容Ni分别表示有关类/实例的识别信息以及信息/数据元素的名称，特性Oi表示具体值，例如准确度，而关系Pi表示与其他信息/数据元素的关系。本体数据库411中的每一个字段可具有一个或多个值；每个值可为例如常数、坐标、矢量、矩阵或文本。
例如，本体数据库411可包括本体“[父亲]-{已婚夫妇}-[母亲]”。在此，“[父亲]”和“[母亲]”对应于信息/数据元素(或实体)，而“{已婚夫妇}”对应于关系。另外，对于本体数据库411中的类别/主题/类“图(或人)”，“[父亲]”和“[母亲]”也可对应于信息/数据元素(或实体)。
图像/元数据数据库412可包括多个图像以及多个元数据，它们各自对应于多个图像中的相应一个。多个元数据可以通过多个数据记录以数据库形式存储。多个图像中的每一个可为静止图像或视频文件。
例如，静止图像可具有以下扩展名中的至少一者：BMP(*.BMP、*.RLE)、 JPEG(*.JPG)、Compuserve GIF(*.GIF)、PNG(*.PNG)、Photoshop(*,PSD、*.PDD))、TIFF(*.TIF))、Acrobat PDF(*.PDF)、RAW(*.RAW)、Illustrator (*.AI)、Illustrator、Photoshop EPS(*.EPS)、Amiga IFF(*.IFF)、FlaschPix (*.FPX)、Filmstrip(*.FRM)、PCX(*.PCX)、PICTFile(*.PCT、*.PIC)、 Pixar(*.PXR)、Scitex(*.SCT)或Targa(*.TGA、*.VDA、*.ICB、*.VST)。
例如，视频文件可包括图像信息和音频信息。例如，视频文件可具有以下扩展名中的至少一者：mpeg、mpg、mp4、avi、mov或mkv。例如，当通过相机490拍摄图像时，可连同图像一起记录音频信息。
多个元数据中的每一个可包括关于对应图像的识别信息以及与通过相机490、存储器430、传感器440和/或通信模块420获得的图像相关的信息。
元数据模型数据库413可包括信息(或值)或数据模型，该信息(或值) 或数据模型指示多个元数据中公共信息/数据元素之间的相关性。
可提供目标数据库414以识别预设对象(或人类的整体或部分或事物(包括自然事物，诸如云、天空和海洋)的整体或部分)。用于识别对象的目标数据可包括例如对象的图像或关于对象图像的特征点(或者也指特征图像或特征图案)的信息。这些特征点可为边缘、边角、图像图案或轮廓。
在一个实施例中，用于识别对象的目标数据可包括识别参考，该识别参考可由形状特征诸如事物/人类的外型/动作/大小/颜色/亮度限定，并被限定为诸如人物/花/天空/宠物/建筑物的类别。
传感器440可用于检测用户输入信息或上下文信息，该输入信息或上下文信息指示在其中拍摄图像的上下文/条件。例如，传感器440可检测以下各项中的至少一者：拍摄的目标、拍摄时间、拍摄位置/地点以及拍摄时/期间的环境声。
通信模块420可用于在外部数据库/系统/网络上搜索图像，或从外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106) 接收关于图像的识别。
处理器410可包括以下各项中的至少一者：中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)、ISP或GPU。
处理器410可从相机490接收由相机490拍摄的图像或读取存储在存储器430中的图像。
在一个实施例中，处理器410可根据目标数据库414识别包括在图像中的信息。
在一个实施例中，处理器410可向外部设备(例如，第一外部电子设备 102、第二外部电子设备104或服务器106)传输图像和/或与图像相关的信息，并从外部设备接收关于图像的识别信息。
在一个实施例中，处理器410可通过传感器440检测上下文信息(例如，拍摄时间、拍摄位置/地点或拍摄时/期间的环境声中的至少一者)，该上下文信息指示在其中拍摄图像的上下文/条件。
在一个实施例中，处理器410可通过传感器440或显示器460检测与图像相关的用户输入信息(例如，图像的标题、标签和备忘录中的至少一者)。
在一个实施例中，处理器410可检测通过相机490或存储器430拍摄图像时/期间关于相机490的设置信息。例如，设置信息可包括以下各项中的至少一者：拍摄开始/结束/整段时间信息、拍摄模式信息(例如，夜间模式、人物模式、室内模式、面部识别模式或全景模式中的至少一者)、关于部分/ 区域/感兴趣部分信息的信息或拍摄速率(或帧速)信息。
处理器410可根据本体数据库411和/或元数据模型数据库413将识别信息与图像相关信息整合。处理器410可将整合的信息作为图像的元数据存储在图像/元数据数据库412、本体数据库411和/或元数据模型数据库413中，或者可使用元数据提供服务或功能。
在一个实施例中，服务或功能可包括以下各项中的至少一者：数据库更新功能/服务、图像发现/搜索服务、关键字建议服务、图像标题提供服务以及统计信息提供服务。
在一个实施例中，目标数据库414可存储关于目标组成/安排的数据或信息。此类组成信息可包括关于多个对象的信息，并且关于每一个对象的信息可包括关于对象的类型(或名称)的信息，以及关于对象的位置、大小、方向和场景类别的信息。
对象类型信息可为例如人、植物、动物、建筑物、道路、地理和自然(例如，海洋、河流、湖泊或天空中的至少一者)。
对象位置信息可为对象的代表点(例如中心点)的位置，以及限定对象的拐角点的位置。此位置可由例如坐标或比率(例如背离图像的最左端达图像总体宽度的1/3处定位的点，或背离图像的顶部达图像总体高度的1/3处定位的点)表示。
对象大小信息可由例如常量、坐标(拐角点的坐标)、比率(例如背离图像的最左端达图像总体宽度的1/3处定位的点，或背离图像的顶部达图像总体高度的1/3处定位的点)表示。
对象方向信息代表姿态、取向、对象的方向，例如有关对象面向的方向 (例如前、左、右、上或下)的信息。对象方向信息可由二维或三维笛卡尔坐标系或五个方向表示，这五个方向包括前、左、右、上、下，或由九个方向表示，这九个方向包括前、左、右、上、下、左上、左下、右上以及右下。
场景类别可表示输入的图像的整体场景的类别/类型(例如，闹市区十字路口、人行横道前方、海滩、河边、建筑前方或旁边的街道/人行道中的至少一者)。
目标数据库414可具有各种数据结构并且可以多个记录的形式存储多种信息，如下面的表2中所列。
[表2]
Figure BDA0001657660670000171
每个记录Ai(1≤i≤n，其中n为不小于1的整数)包括字段，诸如对象类型Bi、对象位置/大小Ci、对象方向Di以及整体场景类别Ei。多个对象信息可对应于每个场景类别Ei。每个对象信息块可包括对象类型Bi、多个对象位置/大小Ci以及多个对象方向Di。m是不小于1并且小于n的整数。每个对象信息块可对应于多个场景类别。对象位置/大小Ci可表示为限定对象的对角点的坐标，或表示为对象的中心位置或大小。每个字段可具有一个或多个值；每个值可为例如常数、坐标、矢量、矩阵或文本。
处理器410可从由相机490拍摄的图像或存储在存储器430中的图像识别对象。处理器410可通过识别算法根据对象的类型识别图像中的对象是什么。处理器410还可识别对象在什么位置面向什么方向(即，对象的位置和姿态)。
处理器410可通过算法(诸如尺度不变特征变换(SIFT)或加速稳健特征(SURF))从输入图像中识别在目标数据库414中注册的对象来估计姿态，并向识别的对象应用基于模板的匹配方法。SIFT披露于“Lowe,David G. (1999)，"Object recognition from localscale-invariant features"(从局部不变的特征进行对象识别)，Proceedings of theInternational Conference on Computer Vision(《计算机视觉国际会议记录》)，2.pp.11501157. doi,10.1109/ICCV.1999.790410”，并且SURF披露于“Bay,H.、Tuytelaars,T.、 Gool,L.V.，"SURF,Speeded Up Robust Features"(SURF，加速稳健特征)， Proceedings of the ninth European Conference on Computer Vision(《第九届欧洲计算机视觉会议记录》)，2006年5月”。使用基于模板的匹配的姿态估计披露于“DanielWagner、Gerhard Reitmayr、Alessandro Mulloni、Tom Drummond、Dieter Schmalstieg，"Real Time Detection and Tracking for Augmented Reality on Mobile Phones”(在手机上实时检测和跟踪增强现实)， Visualization and Computer Graphics(《可视化和计较机图形学》)，2009年8 月”。处理器410可从输入图像中识别在目标数据库414中注册的对象，并根据存储在目标数据库414中的2D或3D对象信息估计对象的姿态。
处理器410可从输入图像中识别与在目标数据库414中注册的对象匹配的图像区域。根据识别的目标的类型，处理器410可在不参考目标数据库414 的情况下识别对象。例如，处理器410可从输入图像中检测边缘特征点和拐角特征点，并识别由边缘特征点和拐角特征点限定的屏幕对象，诸如矩形、圆形或多边形。
处理器410可搜索与从目标数据库414识别的对象的组成/安排匹配的场景类别信息。处理器410可根据类型、位置和/或对象的方向检测对应的场景类别。
处理器410可根据以下各项中的至少一者识别拍摄的目标、拍摄位置/ 地点或其他上下文信息：有关识别的对象的信息(例如，类型、位置和/或识别的对象的方向)、关于识别的对象的场景类别信息、以及关于电子设备401 的位置信息(例如，通过GNSS模块227或GPS模块得到的位置信息)。
在一个实施例中，处理器410可根据识别信息和/或通过通信模块420 接收的无线信号(例如，Wi-Fi信号、蓝牙(BT)信号或NFC信号中的至少一者)的强度识别上下文信息，诸如拍摄的目标或拍摄位置/地点。
在一个实施例中，处理器410可使用通信模块420的NFC模块(例如， NFC模块228)获取有关室内拍摄位置的信息。例如，在NFC设备(例如， NFC读取器或传感器)以预定间隔安装在室内空间或室内空间内的预定位置 (例如，每个房间的门或拐角、灯、墙中心、地板或天花板)的情况中，处理器410可通过经由NFC模块接收NFC信号来获取电子设备401的位置，或者从NFC读取器获取位置相关的信息，该NFC读取器从NFC模块接收 NFC信号。例如，可根据部署NFC设备的间隔来实现进一步增强的准确度。处理器410在检测NFC信号后可通过获取行进距离和方向预测电子设备401 的坐标。
在一个实施例中，处理器410可确定关于电子设备401或通过标记技术拍摄的对象的位置信息。标记技术是一种用于通过解释标记获取包括在图像中的具体标记的位置，以及获取标记与电子设备401之间的相对位置的技术。标记可为以下各项中的一者或多者：条形码、二维码(QR码、PDF-417、数据矩阵或ColorCodeTM)或水印。处理器410可通过将标记解码获取坐标或方向信息。由于标记根据相机490的拍摄方向变形，可通过姿态或方向信息、或关于电子设备401的大小信息、或图像上标记的位置来预测关于相机的位置信息。
在一个实施例中，目标数据库414可包括无线电信号指纹数据库，该数据库可包括关于室内空间中无线信号分布的信息(例如，识别信息和每个位置的无线信号的强度)。例如，处理器410可通过通信模块420从外部设备接收至少一个包括识别信息的无线信号，并且处理器410可将识别信息和无线信号的强度与无线信号指纹数据库中的信号信息(即，识别信息和强度) 进行比较和/或匹配，并且可由无线信号指纹数据库中对应于匹配的信号信息的位置信息确定关于电子设备401的位置信息。
根据各种实施例，电子设备可包括存储器和处理器，该处理器被配置成获取图像、将有关图像的识别信息与有关图像的信息整合、并将整合的信息作为图像的元数据存储在存储器中、或使用整合的信息提供服务或功能。
根据各种实施例，将识别信息与图像相关的信息整合可包括基于限定多个信息/数据元素以及多个信息/数据元素之间关系的数据库，将识别信息与图像相关的信息整合。
根据各种实施例，图像相关信息可由电子设备的传感器或通信模块检测到。
根据各种实施例，该方法可被配置成执行以下操作中的至少一个：从外部设备接收图像、通过用电子设备的相机拍摄来获取图像、以及读取存储在电子设备的存储器中的图像。
根据各种实施例，图像可为静止图像或视频。
根据各种实施例，识别信息可包括以下各项中的至少一者：关于包括在图像中的用户的识别信息、关于包括在图像中的事物的识别信息、关于包括在图像中的对象的组成信息、关于包括在图像中的文本的信息、以及关于图像的色彩/浓度/明度/亮度信息。
根据各种实施例，图像相关信息可包括以下各项中的至少一者：指示图像拍摄上下文/条件的上下文信息、用户输入信息、以及使用外部数据库/系统/网络的搜索信息，并且上下文信息可包括以下各项中的至少一者：拍摄时间或位置、拍摄时/期间的环境声、或拍摄时/期间的相机设置信息。
根据各种实施例，该方法可被配置成从图像中识别对象并从用户接收关于识别的对象的信息。
根据各种实施例，该方法可被配置成从图像中识别对象，并在电子设备的存储器中存储有关识别的对象的信息以及关于识别准确度/速率的信息。
根据各种实施例，该方法可被配置成从图像中识别对象并针对关于识别的对象的信息搜索电子设备的存储器。
根据各种实施例，该方法可被配置成将图像传输至外部设备并从外部设备接收关于图像的识别信息。
根据各种实施例，该方法可被配置成访问外部数据库/系统/网络、针对关于图像相关信息或图像信息的至少一部分的信息搜索数据库/系统/网络、以及将搜索信息作为图像相关信息的部分存储。
根据各种实施例，图像相关信息可包括文本。该方法可被配置成基于限定多个信息/数据元素以及多个信息/数据元素之间关系的数据库，将文本拆分成多个文本元素，并且允许多个文本元素对应于数据库中的类别/主题/类。
根据各种实施例，该方法可被配置成生成信息(或值)，该信息(或值) 指示存储在电子设备的存储器中的多个元数据中的信息/数据元素之间的相关性。
根据各种实施例，该方法可被配置成确定是否满足预设条件，并且在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据中信息/数据元素之间的相关性。
根据各种实施例，该方法可被配置成确定是否满足预设条件，在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据的信息/数据元素之间的相关性，并将生成的值作为数据模型存储。
根据各种实施例，该方法可被配置成确定是否满足预设条件，并且在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据的信息/数据元素之间的相关性。预设条件可包括以下各项中的至少一者：预设周期的到达、电子设备的计算资源的使用不超过预设阈值、电子设备的剩余电池寿命不小于预设阈值、自上次生成元数据模型起经过了预设时间、获得的新图像的数目不小于预设阈值、使用元数据提供服务或功能、接收用户输入、电子设备启动、从电子设备的休眠模式转变为普通模式、在进入电子设备的休眠模式之后显示屏幕/开机、执行需要元数据模型的包括图形元素 (或项目)(例如，按钮、图标、菜单或菜单项中的至少一者)的应用、显示需要元数据模型的包括图形元素的屏幕、用户访问需要元数据模型的图形元素、检测与电子设备相关联的与预设上下文匹配的上下文、或者检测与至少一个预设词匹配的至少一个词。
根据各种实施例，该方法可被配置成基于值估计有关图像的信息，这些值指示存储在电子设备的存储器中的多个元数据的信息/数据元素之间的相关性。
根据各种实施例，该方法可被配置成使用识别信息或图像相关信息的至少一部分，更新限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库。
根据各种实施例，该方法可被配置成从外部设备接收限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库的至少一部分。
根据各种实施例，该方法可被配置成确定是否满足预设条件，并且在满足预设条件时将限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库的至少一部分传输至外部设备。
根据各种实施例，该方法可被配置成基于限定多个信息/数据元素以及多个信息/数据元素和图像元数据之间的关系的数据库，将存储在电子设备的存储器中的图像划分为多个类别，并且在选择多个类别中的一个时，显示属于所选类别的图像。
根据各种实施例，该方法可被配置成基于限定多个信息/数据元素以及多个信息/数据元素和图像元数据之间的关系的数据库，将存储在电子设备的存储器中的图像划分为多个类别，在选择多个类别中的一个时，显示属于所选类别的图像，显示属于所选类别的子类别，并且在选择子类别中的一个时，显示属于所选子类别的图像。
根据各种实施例，该方法可被配置成，响应于第一输入，显示限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库中多个信息/数据元素中的第一组信息/数据元素，以及响应于第二输入，显示存储在电子设备的存储器中的与第一组信息/数据元素中的第一信息/数据元素相关的图像。
根据各种实施例，该方法可被配置成，响应于第三输入，显示与第一信息/数据元素相关的多个信息/数据元素中的第二组信息/数据元素，以及响应于第四输入，显示存储在电子设备的存储器中的与第一信息/数据元素和第二组信息/数据元素中的第二信息/数据元素相关的图像。
根据各种实施例，该方法可被配置成，响应于第一输入，连同第一组信息/数据元素一起显示多个信息/数据元素中的第三组信息/数据元素，包括与第一组信息/数据元素相关的第三信息/数据元素。
根据各种实施例，该方法可被配置成响应于第三输入，连同第二组信息 /数据元素一起显示多个信息/数据元素中的第四组信息/数据元素，包括与第二组信息/数据元素相关的第四信息/数据元素。
根据各种实施例，第三组或第四组信息/数据元素可显示在图形元素上，该图形元素随着旋转允许选择它们中的任何一个。
根据各种实施例，第三输入可为预设图案(例如，L形状或C形状)的滑动手势。
根据各种实施例，该方法可被配置成基于限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库，整合元数据的文本元素，并将文本元素的组合存储为图像的标题。
根据各种实施例，该方法可被配置成基于限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库，整合元数据的文本元素，比较文本元素组合的相应估计值，并根据比较确定文本元素的组合中的一个作为图像的标题。
根据各种实施例，该方法可被配置成接收关键字，并且响应于接收关键字，显示存储在电子设备的存储器中的图像中的包括元数据中关键字的图像。
根据各种实施例，该方法可被配置成接收关键字，通过整合限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库中的至少一个信息 /数据元素，生成至少一个建议的关键字，并连同至少一个建议的关键字显示关键字。
根据各种实施例，该方法可被配置成，响应于选择至少一个建议的关键字中的一个，显示存储在电子设备的存储器中的图像中的包括元数据中所选建议的关键字的图像。
根据各种实施例，该方法可被配置成生成关于存储在电子设备的存储器中的多个元数据的统计信息，并显示统计信息。
根据各种实施例，服务/功能可包括以下各项中的至少一者：图像发现/ 搜索服务、关键字建议服务、图像标题提供服务以及统计信息提供服务。
图5是示出根据各种实施例的电子设备上的元数据处理方法的流程图。电子设备的元数据处理方法可包括操作510至540。电子设备的元数据处理方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
在操作510中，电子设备可获取图像。
在一个实施例中，电子设备可使用与电子设备功能地连接的相机(例如，相机模块291或相机490)来获取对象的图像。
在一个实施例中，在拍摄图像时/期间，电子设备可实时显示与电子设备功能地连接的显示器(例如，显示器160、260或460)上的图像，或显示器的第一区域(或第一屏幕区域或第一窗口)。
在一个实施例中，图像的拍摄可通过接收来自用户的拍摄命令启动，或根据存储在与电子设备功能地连接的存储器(例如，存储器130、230或430) 中的设置信息自动启动。
在一个实施例中，图像拍摄的结束可通过接收来自用户的拍摄结束命令执行，或根据存储在存储器中的设置信息自动执行。例如，电子设备可通过输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)建议拍摄命令和/或拍摄结束命令。
在一个实施例中，电子设备可从与电子设备功能地连接的存储器读取图像。
在一个实施例中，电子设备可通过通信模块(例如，通信模块170、220 或420)从外部设备(例如，电子设备102、104，或服务器106)接收图像，该通信模块与电子设备功能地连接。
在操作520中，电子设备可将关于图像的识别信息与图像相关信息整合。
在一个实施例中，电子设备可基于第一数据库(例如，本体数据库411 或元数据模型数据库413中的至少一者)，将关于图像的识别信息与图像相关信息合并，该第一数据库限定多个信息/数据元素以及多个信息/数据元素之间的关系。
在一个实施例中，识别信息可包括以下各项中的至少一者：关于包括在图像中的用户的识别信息、关于包括在图像中的事物的识别信息、关于包括在图像中的对象的组成信息、关于包括在图像中的文本的信息、以及关于图像的色彩/浓度/明度/亮度信息。
在一个实施例中，电子设备可根据存储在存储器中的第二数据库(例如，目标数据库414)识别包含在图像中的信息。
在一个实施例中，电子设备可向外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)传输图像和/或与图像相关的信息，并从外部设备接收关于图像的识别信息。
在一个实施例中，图像相关信息可包括以下各项中的至少一者：指示图像拍摄上下文/条件的上下文信息、用户输入信息、以及使用外部数据库/系统/网络的搜索信息。
在一个实施例中，上下文信息可包括以下各项中的至少一者：拍摄时间或位置、拍摄时/期间的环境声、或拍摄时/期间有关相机的设置信息。
在一个实施例中，电子设备可检测上下文信息(例如，拍摄时间或位置 /地点或拍摄时/期间的环境声中的至少一者)，该上下文信息通过通信模块或传感器(例如，传感器440、传感器模块240、触摸面板252、GNSS模块 227或麦克风288中的至少一者)指示图像的拍摄上下文/条件。
在一个实施例中，电子设备可通过传感器或显示器检测与图像相关的用户输入信息(例如，图像的标题、标签和备忘录中的至少一者)。
在一个实施例中，电子设备可检测通过相机或存储器拍摄图像时关于相机490的设置信息。
在一个实施例中，设置信息可包括以下各项中的至少一者：拍摄开始/ 结束/整段时间信息、拍摄模式信息(例如，夜间模式、人物模式、室内模式、面部识别模式或全景模式中的至少一者)、关于部分/区域/感兴趣部分信息的信息或拍摄速率(或帧速)信息。
在操作530中，电子设备可将整合的信息作为图像的元数据存储在存储器、第三数据库(例如，图像/元数据数据库412)、或第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)中。
在一个实施例中，电子设备可在对应于图像的一个图像文件中存储元数据。
在一个实施例中，电子设备可在对应于图像的和一个图像文件相关的单独文件中存储元数据。
第三数据库(例如，图像/元数据数据库412)可具有各种数据结构并且可以多个记录的形式存储多个元数据，如下面的表3中所列。
[表3]
Figure BDA0001657660670000251
Figure BDA0001657660670000261
图像/元数据数据库412中的每个记录可包括字段，诸如图像识别信息 Fi(1≤i≤n，其中n为不小于1的整数)、对象识别信息Gi、组成信息Hi、上下文信息Ii、用户输入信息Ji、以及图像描述信息Ki。
图像识别信息Fi可包括至少一个信息块，诸如图像名称、图像ID或存储的图像的位置。对象识别信息Gi可包括至少一个信息块，诸如对象类型/ 类别、对象名称/ID或对象识别速率(或识别准确度)。组成信息Hi可包括至少一个信息块，诸如对象数目、对象类型、对象位置/大小、对象方向、整个场景的类别或组成信息的识别速率(或识别准确度)。上下文信息Ii可包括至少一个信息块，诸如目标、时间、拍摄位置/地点、拍摄时/期间环境声、以及搜索到的与图像有关的信息。用户输入信息Ji可包括至少一个信息块，诸如图像标题、标签或备忘录。图像描述信息(或估计信息)可包括至少一个信息块，诸如图像标题、对象/场景/上下文的描述或估计准确度。每个字段可具有一个或多个值；每个值可为例如常数、坐标、矢量、矩阵或文本。
在一个实施例中，除非识别的对象是在第二数据库(例如，目标数据库 414)中注册的对象，否则电子设备可能在显示器上显示GUI以询问用户关于识别信息诸如对象的类型或名称，检测GUI上的用户输入(即，识别信息诸如对象类型或名称)，并将检测到的用户输入作为对象识别信息Gi存储。另外，电子设备可将对象ID分配至检测到的用户输入，并在第二数据库中注册对象ID和检测到的用户ID。
在一个实施例中，电子设备可将组成信息Hi和对象识别信息Gi的至少一部分与用户输入信息Ji和上下文信息Ii的至少一部分整合，并根据整合的信息生成/估计图像描述信息Ki。
在操作540中，电子设备可使用元数据(或整合的信息)提供服务或功能。
在一个实施例中，服务或功能可包括以下各项中的至少一者：图像发现 /搜索服务、关键字建议服务、图像标题/描述提供服务、统计信息提供服务或数据库更新功能/服务。
在一个实施例中，可省略或可以相反的顺序执行操作530和540中的任一个。
在一个实施例中，操作530可对应于以下各项中的至少一者：图像发现 /搜索服务、关键字建议服务、图像标题/描述提供服务、统计信息提供服务或数据库更新功能。
根据各种实施例，电子设备的操作方法可包括获取图像，将关于图像的识别信息与有关图像的信息整合，并将整合的信息作为图像的元数据进行存储或使用整合的信息提供服务或功能。
根据各种实施例，将识别信息与图像相关的信息整合可包括基于限定多个信息/数据元素以及多个信息/数据元素之间关系的数据库，将识别信息与图像相关的信息整合。
根据各种实施例，该方法可包括以下各项中的至少一个：从外部设备接收图像、通过由电子设备的相机进行拍摄来获取图像、以及读取存储在电子设备的存储器中的图像。
根据各种实施例，该方法可包括从图像中识别对象并从用户接收关于识别的对象的信息。
根据各种实施例，该方法可包括从图像中识别对象，并在电子设备的存储器中存储有关识别的对象的信息以及关于识别准确度/速率的信息。
根据各种实施例，该方法可包括从图像中识别对象并针对关于识别的对象的信息搜索电子设备的存储器。
根据各种实施例，该方法可包括将图像传输至外部设备并从外部设备接收关于图像的识别信息。
根据各种实施例，该方法可包括访问外部数据库/系统/网络、针对关于图像相关信息或图像信息的至少一部分的信息搜索数据库/系统/网络、以及将搜索信息作为图像相关信息的部分存储。
根据各种实施例，图像相关信息可包括文本。该方法可包括基于限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库，将文本拆分成多个文本元素，并且允许多个文本元素对应于数据库中的类别/主题/类。
根据各种实施例，该方法可包括生成信息(或值)，该信息(或值)指示存储在电子设备的存储器中的多个元数据中的信息/数据元素之间的相关性。
根据各种实施例，该方法可包括确定是否满足预设条件，并且在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据中信息/数据元素之间的相关性。
根据各种实施例，该方法可包括确定是否满足预设条件，在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据的信息/ 数据元素之间的相关性，并将生成的值作为数据模型存储。
根据各种实施例，该方法可被配置成确定是否满足预设条件，并且在满足预设条件时生成值，这些值指示存储在电子设备的存储器中的多个元数据的信息/数据元素之间的相关性。预设条件可包括以下各项中的至少一者：预设周期的到达、电子设备的计算资源的使用不超过预设阈值、电子设备的剩余电池寿命不小于预设阈值、自上次生成元数据模型起经过了预设时间、获得的新图像的数目不小于预设阈值、使用元数据提供服务或功能、接收用户输入、电子设备启动、从电子设备的休眠模式转变为普通模式、在进入电子设备的休眠模式之后显示屏幕/开机、执行需要元数据模型的包括图形元素 (或项目)(例如，按钮、图标、菜单或菜单项中的至少一者)的应用、显示需要元数据模型的包括图形元素的屏幕、用户访问需要元数据模型的图形元素、检测与电子设备相关联的与预设上下文匹配的上下文、或者检测与至少一个预设词匹配的至少一个词。
根据各种实施例，该方法可包括基于值估计有关图像的信息，这些值指示存储在电子设备的存储器中的多个元数据的信息/数据元素之间的相关性。
根据各种实施例，该方法可包括使用识别信息或图像相关信息的至少一部分，更新限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库。
根据各种实施例，该方法可包括从外部设备接收限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库的至少一部分。
根据各种实施例，该方法可包括确定是否满足预设条件，并且在满足预设条件时将限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库的至少一部分传输至外部设备。
根据各种实施例，该方法可包括基于限定多个信息/数据元素以及多个信息/数据元素和图像元数据之间的关系的数据库，将存储在电子设备的存储器中的图像划分为多个类别，并且在选择多个类别中的一个时，显示属于所选类别的图像。
根据各种实施例，该方法可包括基于限定多个信息/数据元素以及多个信息/数据元素和图像元数据之间的关系的数据库，将存储在电子设备的存储器中的图像划分为多个类别，在选择多个类别中的一个时，显示属于所选类别的图像，显示属于所选类别的子类别，并且在选择子类别中的一个时，显示属于所选子类别的图像。
根据各种实施例，该方法可包括，响应于第一输入，显示限定多个信息 /数据元素以及多个信息/数据元素之间的关系的数据库中多个信息/数据元素中的第一组信息/数据元素，以及响应于第二输入，显示存储在电子设备的存储器中的与第一组信息/数据元素中的第一信息/数据元素相关的图像。
根据各种实施例，该方法可包括，响应于第三输入，显示与第一信息/ 数据元素相关的多个信息/数据元素中的第二组信息/数据元素，以及响应于第四输入，显示存储在电子设备的存储器中的与第二组信息/数据元素中的第一信息/数据元素和第二信息/数据元素相关的图像。
根据各种实施例，该方法可被配置成，响应于第一输入，连同第一组信息/数据元素一起显示多个信息/数据元素中的第三组信息/数据元素，包括与第一组信息/数据元素相关的第三信息/数据元素。
根据各种实施例，该方法可被配置成，响应于第三输入，连同第二组信息/数据元素一起显示多个信息/数据元素中的第四组信息/数据元素，包括与第二组信息/数据元素相关的第四信息/数据元素。
根据各种实施例，该方法可包括基于限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库，整合元数据的文本元素，并将文本元素的组合存储为图像的标题。
根据各种实施例，该方法可包括基于限定多个信息/数据元素以及多个信息/数据元素之间的关系的数据库，整合元数据的文本元素，比较文本元素组合的相应估计值，并根据比较确定文本元素的组合中的一个作为图像的标题。
根据各种实施例，该方法可包括接收关键字，并且响应于接收关键字，显示存储在电子设备的存储器中的图像中的包括元数据中关键字的图像。
根据各种实施例，该方法可包括接收关键字，通过整合限定多个信息/ 数据元素以及多个信息/数据元素之间的关系的数据库中的至少一个信息/数据元素，生成至少一个建议的关键字，并连同至少一个建议的关键字显示关键字。
根据各种实施例，该方法可包括，响应于选择至少一个建议的关键字中的一个，显示存储在电子设备的存储器中的图像中的包括元数据中所选建议的关键字的图像。
根据各种实施例，该方法可包括生成关于存储在电子设备的存储器中的多个元数据的统计信息，并显示统计信息。
图6是示出根据各种实施例的电子设备上的元数据处理方法的流程图。电子设备的元数据处理方法可包括操作610至640。电子设备的元数据处理方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
在操作610中，电子设备可获取图像。
在操作620中，电子设备可通过以下各项中的至少一者收集至少一个元数据(或信息/数据元素)：相机(例如，相机模块291或相机490)、存储器 (例如，存储器130、230或430)、通信模块(例如，通信模块170、220 或420)或与电子设备功能地连接的传感器(例如，传感器440、传感器模块240、触摸面板252、GNSS模块227或麦克风288中的至少一者)。例如，收集到的元数据可包括关于图像以及图像相关信息的识别信息。
在一个实施例中，识别信息可包括以下各项中的至少一者：关于包括在图像中的用户的识别信息、关于包括在图像中的事物的识别信息、关于包括在图像中的对象的组成信息、关于包括在图像中的文本的信息、以及关于图像的色彩/浓度/明度/亮度信息。
在一个实施例中，图像相关信息可包括以下各项中的至少一者：指示用于图像的拍摄上下文/条件的上下文信息、用户输入信息、以及使用外部数据库/系统/网络的搜索信息。
在操作630中，电子设备可将关于图像的识别信息与图像相关信息整合。
在一个实施例中，电子设备可基于第一数据库(例如，本体数据库411 或元数据模型数据库413中的至少一者)，将关于图像的识别信息与图像相关信息合并，该第一数据库限定多个信息/数据元素以及多个信息/数据元素之间的关系。
在操作640中，电子设备可将整合的信息作为图像的元数据存储在存储器(例如，图像/元数据数据库412、本体数据库411或元数据模型数据库413 中的至少一者)中，或者可使用元数据(或整合的信息)提供服务或功能。
例如，第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)可包括本体“[父亲]-{已婚夫妇}-[母亲]”。在此，“[父亲]”和“[母亲]”对应于信息/数据元素(或实体)，而“{已婚夫妇}”对应于关系。另外，本体“[父亲]-{已婚夫妇}-[母亲]”可对应于通用本体。
在一个实施例中，电子设备可通过通信模块从外部设备(例如，第一外部设备102、第二外部设备104或服务器106)接收通用本体。电子设备可将通用本体存储/整合在第一数据库中/与第一数据库存储/整合。
在一个实施例中，电子设备可通过相机获取图像并通过传感器从用户接收标签“我的父亲Chulsoo，已婚夫妇照片”。电子设备可根据第二数据库(目标数据库414)识别两个人物，即未知人物和已经在第二数据库(例如，目标数据库414)中注册的父亲。电子设备可将“我的父亲Chulsoo，已婚夫妇照片”标记为“我的”-“父亲”-“Chulsoo”-“已婚夫妇”-“照片”，并通过指定的实体识别(NER)过程生成/衍生更新的本体“[Chulsoo]-{同一人物}-[父亲]-{已婚夫妇}-[母亲]”，该过程使“父亲”和“Chulsoo”能够对应于第一数据库中的类别/主题/类“人物(或人)”以及“姓名”。在此，部分或更新的本体“[Chulsoo]-{同一人物}-[父亲]”可对应于个人本体，并且标记和NER过程可调用自然语言理解(NLU)过程。电子设备可通过将通用本体替换为第一数据库中的个人本体或将个人本体添加至通用本体来更新第一数据库。
在一个实施例中，电子设备可根据标签和第一数据库将未知人物视为“母亲”，并且在第二数据库中注册识别信息“母亲”和图像或图像中母亲的部分。另外，电子设备可将标签“我的父亲Chulsoo，已婚夫妇照片”更改为标签“我的父亲Chulsoo，我的母亲，已婚夫妇照片”，并且可在第三数据库(例如，图像/元数据数据库412)中将标签“我的父亲Chulsoo，我的母亲，已婚夫妇照片”作为单独的图像描述信息存储在第三数据库中。
在一个实施例中，第二数据库可具有在其中注册的父亲Chulsoo、母亲 Younghee。电子设备可基于第二数据库和标签“我的父亲Chulsoo，已婚夫妇照片”，通过标记和NLU过程生成/衍生更新的本体“[Chulsoo]-{同一人物}-[父亲]-{已婚夫妇}-[母亲]-{同一人物}-[Younghee]”。另外，电子设备可将标签“我的父亲Chulsoo，已婚夫妇照片”更改为标签“我的父亲Chulsoo，我的母亲Younghee，已婚夫妇照片”，并且可存储在第三数据库中或将标签“我的父亲Chulsoo，我的母亲Younghee，已婚夫妇照片”作为单独的图像描述信息存储在第三数据库中。
在一个实施例中，电子设备可从用户接收标签“我的父亲Chulsoo”，并且第二数据库可在其中注册父亲Chulsoo、母亲Younghee。电子设备可基于第二数据库和标签“我的父亲Chulsoo”，通过标记和NLU过程生成/衍生更新的本体“[Chulsoo]-{同一人物}-[父亲]-{已婚夫妇}-[母亲]-{同一人物}-[Younghee]”。另外，电子设备可将标签“我的父亲Chulsoo”更改为标签“我的父亲Chulsoo，我的母亲Younghee”或“我的父亲Chulsoo，我的母亲Younghee，已婚夫妇照片”，并且可存储在第三数据库中或将标签“我的父亲Chulsoo，我的母亲Younghee”或“我的父亲Chulsoo，我的母亲 Younghee，已婚夫妇照片”作为单独的图像描述信息存储在第三数据库中。
在一个实施例中，电子设备可从用户接收标签“我的爸爸”，并且第二数据库可在其中注册父亲Chulsoo、母亲Younghee。电子设备可基于第二数据库和标签“我的爸爸”，通过标记和NLU过程生成/衍生更新的本体“[Chulsoo]-{同一人物}-[爸爸]-{同一人物}-[父亲]-{已婚夫妇}-[母亲]-{同一人物}-[Younghee]”。另外，电子设备可将标签“我的爸爸”更改为标签“我的爸爸Chulsoo，我的母亲Younghee”或“我的爸爸Chulsoo，我的母亲Younghee，已婚夫妇照片”，并且可存储在第三数据库中或将标签“我的爸爸Chulsoo，我的母亲Younghee”或“我的爸爸Chulsoo，我的母亲Younghee，已婚夫妇照片”作为单独的图像描述信息存储在第三数据库中。例如，在电子设备无法在标记和NLU过程中识别“爸爸”的情况下，电子设备可通过显示包括询问“爸爸是什么？”的GUI并接收用户对于询问的响应(例如“爸爸是指父亲”)来生成/衍生更新的本体。
在一个实施例中，电子设备可通过相机获取图像并通过传感器从用户接收标签“我的父亲Chulsoo”。电子设备可根据第二数据库识别两个人物，即未知人物和已经在第二数据库中注册的父亲。电子设备可通过传感器或相机检测第一上下文信息“白天”，或通过通信模块检测第二上下文信息“家”。电子设备可根据检测到的第一上下文信息和第二上下文信息以及第一数据库将未知人物视为“母亲”，并且在第二数据库中注册识别信息“母亲”和图像或图像中母亲的部分。第一数据库可包括信息(或值)或数据模型，该信息(或值)或数据模型指示存储在第三数据库中多个图像的多个元数据中公共信息/数据元素之间的相关性。例如，第一数据库可包括如以下信息：母亲出现在白天于家中拍摄的图像中的次数、频率或百分比，或将在夜间于家中拍摄的图像中的人物估计为母亲的可能性或准确度。电子设备可将标签“我的父亲Chulsoo，已婚夫妇照片”更改为标签“我的父亲Chulsoo，我的母亲，已婚夫妇照片”或“我的父亲Chulsoo，我的母亲，白天于家中拍摄的已婚夫妇照片”，并且可存储在第三数据库(例如，图像/元数据数据库412) 中或将标签“我的父亲Chulsoo，我的母亲，已婚夫妇照片”或“我的父亲 Chulsoo，我的母亲，白天于家中拍摄的已婚夫妇照片”作为单独的图像描述信息存储在第三数据库中。
图7a至7d是示出根据各种实施例的电子设备上的元数据建模方法的视图。
电子设备的元数据建模方法可由电子设备(例如，电子设备101、201 或401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
图7a示出了存储在电子设备(或存储器130、230或430)中的第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)的数据结构701。第一数据库可包括多个类别(或主题/类)710、720和730，以及属于每个类别710、720和730的信息(或数据)元素711、712、713、721、 722、731、732、733和734。
例如，人物类别710可包括妻子711、同事712和philip 713。地点类别 720可包括家721和公司722。时间类别730可包括早上731、下午732、傍晚733和夜晚734。
参考图7b和7c，电子设备可产生信息(或值)，这些信息(或值)指示存储在第三数据库(例如，图像/元数据数据库412)中的多个图像的多个元数据中第一数据库的信息(或数据)元素711、712、713、721、722、731、 732、733和734之间的相关性。例如，电子设备可计算与所有三个信息元素相关的图像的数目。参考图7b中示出的第一元数据模型702，可能会显示与早上731、同事712和公司722相关的图像数目为21。参考图7c中示出的第二元数据模型702，可能会显示与晚上733、家721和妻子711相关的图像数目为67。
在一个实施例中，电子设备可考虑例如计算的图像数目与图像总数的比率，确定早上731、同事712和公司722或晚上733、家721和妻子711中任一个的估计的准确度。
参考图7d，可以显示存储在第三数据库中的第一照片的元数据740包括人物类别710中的同事712，和时间类别730中的早上731，但不包括地点类别720中的信息元素。例如，电子设备可根据第一元数据模型702估计地点类别720的信息元素为公司722。
可以显示存储在第三数据库中的第二照片的元数据750包括时间类别 730中的晚上733和地点类别720中的家721，但是不包括人物类别710中的信息元素。例如，电子设备可根据第二元数据模型703估计人物类别710 的信息元素为妻子711。
在一个实施例中，在无法获取图像的具体类别的元数据(或信息/数据元素)的情况下，电子设备可使用由该电子设备收集的其他图像的具体类别的元数据(或信息/数据元素)估计图像的特定类别的元数据。或者，在无法获取图像的具体类别的元数据(或信息/数据元素)的情况下，电子设备可使用元数据模型(例如，元数据模型702或703)或元数据模型数据库(例如，元数据模型数据库413)估计图像具体类别的元数据。
在一个实施例中，电子设备可基于第一数据库修改关于图像的识别信息。例如，电子设备可根据第二数据库(目标数据库414)，将图像中的人物视为妻子，并确定准确度为50％。例如，在基于第一数据库将图像中的人物估计为妻子的情况下，电子设备可以增大准确度。例如，在基于第一数据库将图像中的人物估计为同事的情况下，电子设备可以降低准确度或者进行修改，使得图像中的人物为同事。
图8是示出根据各种实施例的电子设备上的图像分类方法的流程图。
电子设备的图像分类方法可由电子设备(例如，电子设备101、201或 401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
电子设备可根据对应的元数据进行关联，并用图解法表示存储在第三数据库(例如，图像/元数据数据库412)中的多个图像801。
电子设备可基于存储在电子设备(或存储器130、230或430)中的第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)的数据结构(例如，数据结构701)，将存储在第三数据库中的多个图像分类。电子设备可根据第一数据库的类别/主题/类(例如，类别710、720和730) 将多个图像分类。例如，电子设备可将多个图像分类为人物类别811至814 (例如，人物类别710)和地点类别821至824(例如地点类别720)。另外，电子设备可将第一数据库的信息/数据元素(例如，信息/数据元素711、712、 713、721、722、731、732、733和734)设置为子类别，并根据子类别将每个类别中的多个图像分类。例如，电子设备可将人物类别811至814的图像分类为母亲类别811、父亲类别812、Muzie类别813以及不知道 (how-on-earth)类别814。例如，电子设备可将地点类别821至824的图像分类为国外类别821、济州岛类别822、Muzie的家类别823以及秘密地点类别824。
图9是示出根据各种实施例的电子设备上的图像搜索方法的流程图。电子设备的图像搜索方法可包括操作910至940。电子设备的图像搜索方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如处理器120、210或410)中的至少一者执行。
在操作910中，响应于第一输入，电子设备可在与电子设备功能地连接的显示器(例如，显示器160、260或460)上，显示存储在电子设备(或存储器130、230或430)中的第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)中的多个信息/数据元素中的第一组信息/数据元素和/或第二组信息/数据元素。
在一个实施例中，响应于第一输入，电子设备可在显示器的第一区域(或第一屏幕区域或第一窗口)上显示第一组信息/数据元素。多个信息/数据元素可与存储在电子设备(或存储器130、230或430)或第三数据库(例如，图像/元数据数据库412)中的多个元数据相关。
例如，第一输入可通过电子设备的输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)接收。
例如，第一输入可为用于选择显示在显示器上的图标的触摸输入。
在一个实施例中，电子设备可在第一图形元素上显示第一组信息/数据元素，当该第一图形元素旋转时，允许可选择它们中的任一个。
在一个实施例中，电子设备可在显示器的第二区域(或第二屏幕区域或第二窗口)上显示多个信息/数据元素中的第二组信息/数据元素，这些多个信息/数据元素与第一组信息/数据元素中的第一信息/数据元素相关。例如，第一图形元素可透明地/半透明地/不透明地覆盖在第二区域上。
例如，响应于旋转第一图形元素的用户输入，电子设备可在第二区域上显示对应组的信息/数据元素，该对应组与根据旋转在第一组信息/数据元素中选择的信息/数据元素相关。
在操作920中，响应于第二输入，电子设备可在第二区域(或第三区域) 上显示与第二组信息/数据元素中的第二信息/数据元素相关的图像。例如，第二输入可为选择第二信息/数据元素的触摸输入。
在操作930中，响应于第三输入，电子设备可在第一区域上显示与第二信息/数据元素相关的多个信息/数据元素中的第三组信息/数据元素。
例如，第三输入可为第二区域(或第三区域)上预设图案(例如，L形状或C形状)的滑动手势。
在一个实施例中，电子设备可在第二图形元素上显示第三组信息/数据元素，当该第二图形元素旋转时，允许可选择它们中的任一个。
在一个实施例中，电子设备可在显示器的第二区域上显示多个信息/数据元素中的第四组信息/数据元素，这些多个信息/数据元素与第三组信息/数据元素中的第三信息/数据元素相关。
例如，第二图形元素可透明地/半透明地/不透明地覆盖在第二区域上。
例如，响应于旋转第二图形元素的用户输入，电子设备可在第二区域上显示对应组的信息/数据元素，该对应组与根据旋转在第二组信息/数据元素中选择的信息/数据元素相关。
在操作940中，响应于第四输入，电子设备可在第二区域(或第三区域) 上显示与第二信息/数据元素和第四组信息/数据元素中的第四信息/数据元素相关的图像。例如，第四输入可为选择第四信息/数据元素的触摸输入。
图10a至10d是示出根据各种实施例的电子设备上的图像搜索方法的视图。电子设备的图像搜索方法可由电子设备(例如，电子设备101、201或 401)或电子设备的控制器或处理器(例如处理器120、210或410)中的至少一者执行。
参考图10a，响应于第一输入，电子设备可在与电子设备功能地连接的显示器(例如，显示器160、260或460)上，显示存储在电子设备(或存储器130、230或430)中的第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)中的多个信息/数据元素中的第一组信息/数据元素1031至1034(例如，类别/主题/类)以及第二组信息/数据元素1011至1014 (例如，人物类别710和811至814)。
响应于第一输入，电子设备可在显示器的第一区域(或第一屏幕区域或第一窗口)上显示第一组信息/数据元素1031至1034。多个信息/数据元素可与存储在电子设备(或存储器130、230或430)或第三数据库(例如，图像/元数据数据库412)中的多个元数据相关。
例如，第一组信息/数据元素1031至1034可包括人物1031、地点1032、时间1033和事物1034，而第二组信息/数据元素1011至1014可包括与母亲在一起1011、与父亲在一起1012、与Muzie在一起1013以及不知道1014。
例如，第一输入可通过电子设备的输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)接收。例如，第一输入可为用于选择显示在显示器上的图标的触摸输入。
电子设备可在第一图形元素上显示第一组信息/数据元素1031至1034，当该第一图形元素旋转时，允许可自动选择它们中的任一个。
电子设备可在显示器的第二区域1001(或第二屏幕区域或第二窗口)上显示第一组信息/数据元素1031至1034中与人物1031相关的第二组信息/ 数据元素1011至1014。例如，第二区域1001可对应于显示器的整个显示区域。例如，第一图形元素1030可透明地/半透明地/不透明地覆盖在第二区域 1001上。
例如，响应于旋转第一图形元素1030的用户输入，电子设备可在第二区域1001上显示对应组的信息/数据元素，该对应组与根据旋转在第一组信息/数据元素中选择的信息/数据元素相关。
电子设备可连同第二组信息/数据元素1011至1014一起显示分别与第二组信息/数据元素1011至1014相关联的代表性图像1021、1022、1023和1024。例如，电子设备可分别连同信息/数据元素1011至1014一起显示分别与第二组信息/数据元素1011至1014最相关的对应代表性图像1021、1022、1023 和1024。
在一个实施例中，电子设备可按顺序地或自动地显示分别与第二组信息 /数据元素1011至1014相关的图像。
参考图10b，响应于第二输入，电子设备可在第二区域1001上显示与第二组信息/数据元素1011至1014中的第二信息/数据元素1013相关的图像 1041和1042。例如，响应于第二输入，电子设备可在第二区域1001上显示多个图像中的具有元数据的图像1041和1042，该元数据包含第二信息/数据元素1013。例如，电子设备可首先显示与具有元数据的图像1041和1042 中的第二信息/数据元素1013具有高匹配准确度的图像，该元数据包含第二信息/数据元素1013。
例如，第二输入可为选择第二信息/数据元素1013的触摸输入。
参考图10c，响应于第三输入，电子设备可在显示器上显示与第二信息/ 数据元素1013相关的多个信息/数据元素中的第四组信息/数据元素1051至 1054(例如，地点类别720和821至824)以及第三组信息/数据元素1032、 1033、1061和1064(例如，类别/主题/类710、720和730)。
响应于第三输入，电子设备可在第一区域上显示第三组信息/数据元素 1032、1033、1061和1064。
例如，第三组信息/数据元素1032、1033、1061和1064可包括季节1061、地点1032、时间1033和每月1064，并且第四组信息/数据元素1051至1054 可包括国外1051、济州岛1052、Muzie的家1053以及秘密地点1054。
例如，第三输入可为第二区域1001上预设图案(例如，L形状或C形状)的滑动手势。
在一个实施例中，电子设备可在第二图形元素上显示第三组信息/数据元素1032、1033、1061和1064，当该第二图形元素旋转时，允许选择它们中的任一个。
在一个实施例中，电子设备可在第二区域1001上显示第四组信息/数据元素1051至1054，该第四组信息/数据元素与第三组信息/数据元素1032、 1033、1061和1064中的第三信息/数据元素1032相关。
例如，第二图形元素1060可透明地/半透明地/不透明地覆盖在第二区域 1001上。
例如，响应于旋转第二图形元素1060的用户输入，电子设备可在第二区域1001上显示对应组的信息/数据元素，该对应组与根据旋转在第三组信息/数据元素1032、1033、1061和1064中选择的信息/数据元素相关。
电子设备可连同第四组信息/数据元素1051至1054一起显示分别与第四组信息/数据元素1051至1054相关的代表性图像1025、1026、1027和1028。例如，电子设备可分别连同信息/数据元素1051至1054一起显示分别与第四组信息/数据元素1051至1054最相关的对应代表性图像1025、1026、1027 和1028。
在一个实施例中，电子设备可按顺序地或自动地显示分别与第四组信息 /数据元素1051至1054相关的图像。
参考图10d，响应于第四输入，电子设备可在第二区域1001上显示与第四组信息/数据元素1051至1054中的第二信息/数据元素1053(以及第二信息/数据元素1013)相关的图像1071和1072。例如，第四输入可为选择第四信息/数据元素1053的触摸输入。例如，电子设备可首先显示与具有元数据的图像1071和1072中的第二信息/数据元素1013和第四信息/数据元素1053 具有高匹配准确度的图像，该元数据包含第二信息/数据元素1013和第四信息/数据元素1053。
图11是示出根据各种实施例的电子设备上的图像搜索方法的流程图。电子设备的图像搜索方法可包括操作1110至1130。电子设备的图像搜索方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如处理器120、210或410)中的至少一者执行。
在操作1110中，响应于第一输入，电子设备可在与电子设备功能地连接的显示器(例如，显示器160、260或460)上显示图像搜索应用(或应用屏幕/GUI)。
例如，第一输入可通过电子设备的输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)接收。
例如，第一输入可为用于选择显示在显示器上的图标的触摸输入。
在一个实施例中，可以省略操作1110。例如，电子设备可检测主屏幕、语音识别屏幕或搜索屏幕上的用户输入。
在操作1120中，响应于键盘输入，电子设备可通过将关键字与存储在电子设备(或存储器130、230或430)中的第一数据库(例如，本体数据库 411或元数据模型数据库413中的至少一者)中的至少一个信息/数据元素整合，生成至少一个建议的关键字。电子设备可在显示器上一起显示关键字和至少一个建议的关键字。
在操作1130中，响应于第二输入，电子设备可在显示器上显示图像，在这些图像中，从至少一个建议的关键字中选择的关键字包含在图像中的元数据中，这些图像存储在电子设备(或存储器130、230或430)中。例如，第二输入可为选择至少一个建议的关键字中的一个的触摸输入。
图12a至12b 是示出根据各种实施例的电子设备上的图像搜索方法的视图。电子设备1201的图像搜索方法可由电子设备1201(例如，电子设备101、 201或401)或电子设备1201的控制器或处理器(例如，处理器120、210 或410)中的至少一者执行。
参考图12a，响应于第一输入，电子设备1201可在与电子设备1201功能地连接的显示器1206(例如，显示器160、260或460)上显示图像搜索应用1210(或应用屏幕/GUI)。例如，第一输入可通过电子设备1201的输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)接收。例如，第一输入可为用于选择显示在显示器1206上的图标的触摸输入。
图形搜索应用1210可包括用于从用户接收关键字的搜索窗口。
例如，电子设备1201可通过搜索窗口1212从用户接收关键字1220(例如，Muzie)。
响应于关键字1220的输入，电子设备1201可通过将关键字1220与存储在电子设备1201(或存储器130、230或430)中的第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)中的至少一个信息 /数据元素(例如，Muzie的家、早上或圣诞节)整合，生成至少一个建议的关键字1231、1232和1233。例如，至少一个建议的关键字1231、1232和1233可包括在Muzie的家1231、早上与Muzie在一起1232以及圣诞节与 Muzie在一起1233。电子设备1201可在显示器1206上连同至少一个建议的关键字1231、1232和1233一起显示关键字1220。
参考图12b，响应于第二输入，电子设备1201可在显示器1206上显示图像1241和1242，在这些图像中，从至少一个建议的关键字1231、1232 和1233中选择的一个(例如，Muzie的家)包含在图像中的元数据中，这些图像存储在电子设备1201(或存储器130、230或430)中。例如，第二输入可为选择至少一个建议的关键字1231、1232和1233中的一个的触摸输入。例如，电子设备1201可首先显示与从具有元数据的图像1241和1242 中的至少一个建议的关键字1231、1232和1233中选择的一个(例如，Muzie 的家)具有高度匹配准确度的图像，这些元数据包含从至少一个建议的关键字1231、1232和1233中选择的一个(例如，Muzie的家)。
图13是示出根据各种实施例的电子设备上的图像标题确定方法的流程图。电子设备的图像标题确定方法可包括操作1310至1340。电子设备的图像标题确定方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如处理器120、210或410)中的至少一者执行。
在操作1310中，电子设备可获取图像。
在一个实施例中，电子设备可使用与电子设备功能地连接的相机(例如，相机模块291或相机490)来获取对象的图像。
在一个实施例中，在拍摄图像时/期间，电子设备可实时显示与电子设备功能地连接的显示器(例如，显示器160、260或460)上的图像，或显示器的第一区域(或第一屏幕区域或第一窗口)。
在一个实施例中，图像的拍摄可通过接收来自用户的拍摄命令启动，或根据存储在与电子设备功能地连接的存储器(例如，存储器130、230或430) 中的设置信息自动启动。
在一个实施例中，图像拍摄的结束可通过接收来自用户的拍摄结束命令执行，或根据存储在存储器中的设置信息自动执行。例如，电子设备可通过输入设备(例如，输入设备250，显示器160、260或460，麦克风288，传感器模块240，或传感器440中的至少一者)建议拍摄命令和/或拍摄结束命令。
在一个实施例中，电子设备可从与电子设备功能地连接的存储器读取图像。
在一个实施例中，电子设备可通过通信模块(例如，通信模块170、220 或420)从外部设备(例如，电子设备102、104，或服务器106)接收图像，该通信模块与电子设备功能地连接。
在操作1320中，电子设备可将存储在存储器或第三数据库(例如，图像/元数据数据库412)中的图像的元数据的文本元素整合。
在一个实施例中，电子设备可基于第一数据库(例如，本体数据库411 或元数据模型数据库413中的至少一者)，将图像的元数据的文本元素合并，该第一数据库限定多个信息/数据元素以及多个信息/数据元素之间的关系。
例如，第一数据库可包括文本元素之间的关系以及这些关系的权重。例如，权重可由例如以下项确定：文本元素出现在存储于存储器或第三数据库中的多个元数据中的次数、频率以及百分比。
在操作1330中，电子设备可比较文本元素的组合的相应估计值。例如，可将每个组合的估计值确定为包括在每个组合中的文本元素的关系权重的总和。
在操作1340中，电子设备可基于比较确定文本元素组合中的一个作为图形的标题。电子设备可在图形的元数据中包括确定的标题。
图14a至14b 是示出根据各种实施例的电子设备上的图像标题确定方法的视图。电子设备的图像标题确定方法可由电子设备(例如，电子设备101、 201或401)或电子设备的控制器或处理器(例如处理器120、210或410) 中的至少一者执行。
参考图14a，电子设备可基于第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)，整合存储在与电子设备功能地连接的存储器(例如，存储器130、230或430)或第三数据库(例如，图像/元数据数据库412)中的图像的元数据的文本元素1422至1428，该第一数据库限定多个信息/数据元素1411至1428以及多个信息/数据元素1411至1428 之间的关系。
例如，第一数据库可包括多个类别/主题/类1411至1417，以及分别属于类别/主题/类1411至1417的信息/数据元素1422至1428。另外，第一数据库可包括多个类别/主题/类1411至1417之间的关系以及这些关系的权重。例如，多个类别/主题/类1411至1417可包括年份1411、天气1413、季节1415、人数1417，并且信息/数据元素1422至1428可包括去年1422、晴天1424、春季1426和独照1428(或独自拍摄的照片)。例如，年份1411与天气1413 之间的关系、年份1411与人数1417之间的关系、天气1413与人数1417之间的关系、以及季节1415与人数1417之间的关系各自可被分配权重3，并且年份1411与天气1415之间的关系、以及天气1413与季节1415之间的关系各自可被分配权重2。
参考图14b，电子设备可比较文本元素1422至1428的组合1432至1438 的相应估计值。例如，可将每个组合1432至1438的估计值确定为包括在每个组合中的文本元素1422至1428的(多个)关系权重的总和。例如，去年独自拍摄的照片1432的估计值可为3、去年春季独自拍摄的照片1434的估计值可为5、去年晴天独自拍摄的照片1436的估计值可为6、以及去年春季晴天独自拍摄的照片1438的估计值可为8。
电子设备可基于比较来确定文本元素1422至1428的组合1432至1438 中的一个作为图像的标题。例如，电子设备可确定在组合1432至1438中，具有最高估计值的一个(即去年晴天独自拍摄的照片1438)为图像的标题。
电子设备可在图像的元数据中包括确定的标题。
在一个实施例中，电子设备可在与电子设备功能地连接的显示器(例如，显示器160、260或460)上，显示组合1432至1438(以及图像)，并且可根据选择组合1432至1438中的一个的用户输入确定所选的组合作为图像的标题。
图15a至15c是示出根据各种实施例的电子设备上的统计信息提供方法的视图。电子设备的统计信息提供方法可由电子设备(例如，电子设备101、 201或401)或电子设备的控制器或处理器(例如处理器120、210或410) 中的至少一者执行。
参考图15a，电子设备可产生关于多个元数据的肖像数目的统计信息 1510，这些元数据存储在与电子设备功能地连接的第三数据库(例如，图像 /元数据数据库412)或存储器(例如，存储器130、230或430)中，并在与电子设备功能地连接的显示器(例如，显示器160、260或460)上显示统计信息1510。
电子设备可生成并显示关于照片的计数统计信息1510，这些照片包括第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者) 的信息/数据元素(例如，与母亲在一起1011、与父亲在一起、与Muzie在一起1013和不知道1014)作为元数据，该第一数据库存储在电子设备(或存储器130、230或430)中。
参考图15b，电子设备可为多个元数据生成关于优选的地点中照片的比率的统计信息1520，并在显示器上显示生成的统计信息1520。
电子设备可生成和显示关于照片的比率统计信息1520，这些照片包括第一数据库的信息/数据元素(例如，国外1051、济州岛1052、Muzie的家1053 以及秘密地点1054中的至少一者)作为元数据。
参考图15c，电子设备可为多个元数据生成关于拍摄时区的每月变化统计信息1530，并在显示器上显示生成的统计信息1530。
电子设备可生成和显示关于照片的每月时区变化统计信息1530，这些照片包括第一数据库的信息/数据元素(例如，早上731、下午732、晚上733 以及夜晚734中的至少一者)作为元数据。
图16是示出根据各种实施例的电子设备上的元数据模型生成方法的流程图。电子设备的元数据模型生成方法可包括操作1610至1630。电子设备的元数据模型生成方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
在操作1610中，电子设备可确定是否满足预设条件。电子设备可在满足预设条件时执行操作1620，或者在未能满足预设条件时以其他方式定期/ 不定期重复操作1610。
例如，预设条件可包括以下各项中的至少一者：预设周期的到达、电子设备的计算资源的使用不超过预设阈值、电子设备的剩余电池寿命不小于预设阈值、自上次生成元数据模型起经过了预设时间、获得的新图像的数目不小于预设阈值、使用元数据提供服务或功能、接收用户输入、电子设备启动、从电子设备的休眠模式转变为普通模式、在进入电子设备的休眠模式之后显示屏幕/开机、执行需要元数据模型的包括图形元素(或项目)(例如，按钮、图标、菜单或菜单项中的至少一者)的应用、显示需要元数据模型的包括图形元素的屏幕、用户访问需要元数据模型的图形元素、检测与电子设备相关联的与预设上下文匹配的上下文、或者检测与至少一个预设词匹配的至少一个词。
在一个实施例中，电子设备的预设上下文可包括以下各项中的至少一者：电子设备正在定位或到达预设区域/地点、达到预设时间、电子设备根据预设操作模式(例如，执行应用)操作、或者匹配预设状态的电子设备的当前状态(例如，电池状态、无线信号接收状态或存储器状态中的至少一者)。
在一个实施例中，可基于关于电子设备的使用历史信息(例如，电子设备在具体地点已经在休眠模式下工作的历史)，确定电子设备的预设上下文。
在操作1620中，电子设备可生成信息(或值)，这些信息(或值)指示多个元数据的信息/数据元素之间的相关性，这些元数据存储在与电子设备功能地连接的第三数据库(例如，图像/元数据数据库412)或存储器(例如，存储器130、230或430)中。电子设备可基于第一数据库(例如，本体数据库411或元数据模型数据库413中的至少一者)，生成指示信息/数据元素之间的相关性的信息(或值)，该第一数据库限定多个信息/数据元素以及多个信息/数据元素之间的关系。
在操作1630中，电子设备可将生成的信息(或值)存储为元数据模型 (例如，元数据模型702和704)。例如，电子设备可在第一数据库中存储元数据模型。
图17是示出根据各种实施例的电子设备上的本体更新/备份方法的流程图。电子设备的本体更新/备份方法可包括操作1710至1720。电子设备的本体更新/备份方法可由电子设备(例如，电子设备101、201或401)或电子设备的控制器或处理器(例如，处理器120、210或410)中的至少一者执行。
在操作1710中，电子设备可确定是否满足预设条件。电子设备可在满足预设条件时执行操作1720，或者在未能满足预设条件时以其他方式定期/ 不定期重复操作1710。
例如，预设条件可包括以下各项中的至少一者：预设周期的到达、电子设备的计算资源的使用不超过预设阈值、电子设备的剩余电池寿命不小于预设阈值、自上次更新/备份本地起经过了预设时间、从外部设备(例如，第一外部电子设备102、第二外部电子设备104、或服务器106)接收更新/备份请求、使用本体提供服务或功能、接收用户输入、电子设备启动、从电子设备的休眠模式转变为普通模式、在进入电子设备的休眠模式之后显示屏幕/开机、执行需要本体的包括图形元素(或项目)(例如，按钮、图标、菜单或菜单项中的至少一者)的应用、显示需要本体的包括图形元素的屏幕、用户访问需要本体的图形元素、检测与电子设备相关联的与预设上下文匹配的上下文、或者检测与至少一个预设词匹配的至少一个词。
在操作1720中，电子设备可更新本体或本体数据库(例如，本体数据库411)，或者可在外部设备(例如，第一外部电子设备102、第二外部电子设备104、服务器106、本体云存储)中备份本体或本体数据库。例如，电子设备可从外部设备接收通用本体，并将收到的通用本体与个人本体整合。
术语“模块”可指单元，该单元包括硬件、软件和固件中的一者，或它们的组合。术语“模块”可互换地与单元、逻辑、逻辑块、组件或电路一起使用。模块可为集成组件的最小单元或部分。模块可为执行一个或多个功能的最小单元或部分。可以机械方式或电子方式实现模块。例如，模块可包括执行一些操作的以下各项中的至少一者：专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、或可编程逻辑阵列(PLA)，它们是已知的或者将在未来开发。
根据各种实施例，设备(例如，模块或其功能)或方法(例如，操作) 的至少一部分可实现为例如以程序模块的形式存储在计算机可读存储介质中的指令。这些指令在由处理器(例如，处理器120)执行时，可使处理器能够执行对应的功能。计算机可读存储介质可为例如存储器130。
计算机可读存储介质可包括硬件设备诸如硬盘、软盘以及磁带(例如，磁带)，光学介质诸如光碟ROM(CD-ROM)和数字通用光盘(DVD)，磁光介质诸如软盘，ROM，RAM，闪存等等。程序指令的示例可不仅包括机器语言代码，还包括高级语言代码，该高级语言代码可由各种计算装置使用解释器执行。前述硬件设备可被配置成作为一个或多个软件模块操作，以执行各种实施例，反之亦然。
根据各种实施例的模块或编程模块可包括前述组件中的至少一个或多个，排除它们中的一些，或进一步包括其他另外的组件。可按顺序地、同时地、重复地或启发式地执行由根据各种实施例的模块、编程模块或其他组件执行的操作。此外，一些操作可能以不同的顺序执行，或被排除，或包括其他另外的操作。
根据各种实施例，提供了存储命令的存储介质，这些命令被配置成当由至少一个处理器执行时，使至少一个处理器能够执行至少一个操作，该操作可包括获取图像、将关于图像的识别信息与图像相关信息整合、以及将整合的信息作为图像的元数据存储或使用整合的信息提供服务或功能。
为了描述和理解公开的技术，提出了本文公开的实施例，并且不限制本公开的范围。因此，基于本公开的技术精神，本公开的范围应当被解释为包括所有变化或各种实施例。

Claims (12)

1.一种用于通过电子设备处理元数据的计算机实施的方法，所述方法包括：
提供包括多个本体的本体数据库，每个本体包括多个信息元素和定义所述多个信息元素之间的关系的数据；
获取图像；
获取关于所述图像的至少部分识别信息，所述识别信息包括关于包括在所述图像中的用户的识别信息、关于包括在所述图像中的事物的识别信息、关于包括在所述图像中的对象的组成信息、关于包括在所述图像中的文本的信息、以及关于所述图像的色彩/浓度/明度/亮度信息；
获取与所述图像相关的信息，与所述图像相关的信息包括指示用于所述图像的拍摄上下文/条件的上下文信息和用户输入信息中的至少一个，并且所述上下文信息可以包括拍摄时间或位置、拍摄时/期间的环境声和拍摄时/期间的相机设置信息；
使用至少部分识别信息和与所述图像相关的信息更新所述本体数据库；
基于所述本体数据库将关于所述图像的识别信息和与所述图像相关的信息整合，以估计在获取识别信息和与所述图像相关的信息期间未能获取的识别信息或与所述图像相关的信息的至少一个信息元素；以及
将整合的信息作为所述图像的所述元数据存储用于使用所述整合的信息提供服务或功能。
2.如权利要求1所述的计算机实施的方法，其中所述图像相关信息包括文本，所述方法还包括：
将所述文本分为对应于所述本体数据库中的信息元素的多个文本。
3.如权利要求1所述的计算机实施的方法，还包括：
确定是否满足预定条件；
在满足所述预定条件时生成值，所述值指示存储在所述电子设备的存储器中的多个元数据的信息元素之间的所述关系；以及
将生成的值存储在所述本体数据库中。
4.如权利要求1所述的计算机实施的方法，还包括基于值估计关于所述图像的信息，所述值指示存储在所述电子设备的存储器中的多个元数据的信息元素之间的所述关系。
5.如权利要求1所述的计算机实施的方法，还包括：
响应于第一输入，显示数据库中多个信息元素之中的第一组信息元素，所述数据库限定所述多个信息元素和所述多个信息元素之间的关系；以及
响应于第二输入，显示存储在所述电子设备的存储器中的图像，所述图像与所述第一组信息元素之中的第一信息元素相关。
6.如权利要求5所述的计算机实施的方法，还包括：
响应于第三输入，显示与所述第一信息元素相关的所述多个信息元素之中的第二组信息元素；以及
响应于第四输入，显示存储在所述电子设备的存储器中的图像，所述图像与所述第一信息元素和所述第二组信息元素之中的第二信息元素相关。
7.如权利要求1所述的计算机实施的方法，还包括：
基于所述本体数据库整合所述整合的信息的文本元素；
为所述文本元素的组合比较相应的估计值；以及
基于所述比较来确定所述文本元素的组合中的一个作为所述图像的标题。
8.如权利要求1所述的计算机实施的方法，还包括：
接收关键字；
通过将所述关键字与所述本体数据库中的至少一个信息元素整合生成至少一个建议的关键字；
连同所述至少一个建议的关键字一起显示所述关键字；以及
响应于选择所述至少一个建议的关键字中的一个，显示在存储于所述电子设备的存储器中的图像之中的元数据中包括所选择的建议的关键字的图像。
9.一种电子计算机设备，包括：
存储器，包括包括多个本体的本体数据库，每个本体包括多个信息元素和定义所述多个信息元素之间的关系的数据；以及
处理器：
获取图像，
获取关于所述图像的至少部分识别信息，所述识别信息包括关于包括在所述图像中的用户的识别信息、关于包括在所述图像中的事物的识别信息、关于包括在所述图像中的对象的组成信息、关于包括在所述图像中的文本的信息、以及关于所述图像的色彩/浓度/明度/亮度信息，
获取与所述图像相关的信息，与所述图像相关的信息包括指示用于所述图像的拍摄上下文/条件的上下文信息和用户输入信息中的至少一个，并且所述上下文信息可以包括拍摄时间或位置、拍摄时/期间的环境声和拍摄时/期间的相机设置信息，
使用至少部分识别信息和与所述图像相关的信息更新所述本体数据库，
基于所述本体数据库将关于所述图像的识别信息和与所述图像相关的信息整合，以估计在获取识别信息和与所述图像相关的信息期间未能获取的识别信息或与所述图像相关的信息的至少一个信息元素，以及
将整合的信息作为所述图像的元数据存储在所述存储器中用于使用所述整合的信息提供服务或功能。
10.如权利要求9所述的电子计算机设备，其中所述处理器配置成将包含在所述图像相关信息中的文本分为对应于所述本体数据库中的信息元素的多个文本元素。
11.如权利要求9所述的电子计算机设备，其中所述处理器配置成确定是否满足预定条件，在满足所述预定条件时生成值，所述值指示存储在所述存储器中的多个元数据的信息元素之间的所述关系，并将生成的值储存在所述本体数据库中。
12.如权利要求9所述的电子计算机设备，其中响应于第一输入，所述处理器配置成显示数据库中多个信息/数据元素之中的第一组信息元素，所述数据库限定所述多个信息元素和所述多个信息元素之间的关系，并且响应于第二输入，显示存储在所述电子计算机设备的存储器中的与所述第一组信息元素之中的第一信息元素相关的图像。
CN201680066127.0A 2015-11-11 2016-11-09 用于处理元数据的设备和方法 Active CN108292311B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150158197A KR102545768B1 (ko) 2015-11-11 2015-11-11 메타 데이터를 처리하기 위한 장치 및 방법
KR10-2015-0158197 2015-11-11
PCT/KR2016/012871 WO2017082630A1 (ko) 2015-11-11 2016-11-09 메타 데이터를 처리하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
CN108292311A CN108292311A (zh) 2018-07-17
CN108292311B true CN108292311B (zh) 2022-11-15

Family

ID=58695838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066127.0A Active CN108292311B (zh) 2015-11-11 2016-11-09 用于处理元数据的设备和方法

Country Status (5)

Country Link
US (4) US10909428B2 (zh)
EP (1) EP3343399B1 (zh)
KR (2) KR102545768B1 (zh)
CN (1) CN108292311B (zh)
WO (1) WO2017082630A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545768B1 (ko) 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US20180267995A1 (en) * 2017-03-20 2018-09-20 International Business Machines Corporation Contextual and cognitive metadata for shared photographs
US10942988B2 (en) 2017-06-02 2021-03-09 Thinkspan, LLC Zero-knowledge encryption in universal data scaffold based data management platform
US10839002B2 (en) * 2017-06-04 2020-11-17 Apple Inc. Defining a collection of media content items for a relevant interest
KR102041987B1 (ko) * 2017-10-23 2019-11-07 전자부품연구원 단일 추론 다중 레이블 생성 기반의 객체 인식 장치 및 방법
US10719702B2 (en) * 2017-11-08 2020-07-21 International Business Machines Corporation Evaluating image-text consistency without reference
KR102259740B1 (ko) * 2017-12-04 2021-06-03 동국대학교 산학협력단 제스처 분석에 기반을 둔 차량의 이미지 처리 장치 및 방법
CN110762943B (zh) * 2018-07-26 2020-11-10 珠海格力电器股份有限公司 物品的展示方法、装置以及家电设备
KR101981068B1 (ko) * 2018-10-17 2019-05-22 주식회사 리더스코스메틱 액정 유화 조성물을 함유하는 폼형 마스크팩 및 이의 제조방법
CN110052026B (zh) * 2019-04-28 2023-03-21 网易（杭州）网络有限公司 游戏中的信息记录方法及装置、电子设备
AU2019455964A1 (en) * 2019-07-09 2021-05-13 Visuo Technology Pty Limited A method and a system for processing an image, and for generating a contextually coherent video based on images processed thereby
WO2021077038A1 (en) 2019-10-18 2021-04-22 Taylor Brian Samuel Scalable scaffolding and bundled data
WO2021077035A1 (en) 2019-10-18 2021-04-22 Taylor Brian Samuel Algorithmic suggestions based on a universal data scaffold
CN111221991A (zh) * 2019-11-06 2020-06-02 北京旷视科技有限公司 人员身份属性的确定方法、装置和电子设备
US11475709B2 (en) 2020-03-30 2022-10-18 Tina Elizabeth LAFRENIERE Systems, methods, and platform for facial identification within photographs
US20230179811A1 (en) * 2020-06-10 2023-06-08 Sony Group Corporation Information processing apparatus, information processing method, imaging apparatus, and image transfer system
CN116367765A (zh) * 2020-10-19 2023-06-30 富士胶片株式会社 医疗图像处理装置、医疗图像处理装置的工作方法及医疗图像处理装置用程序
US11694441B2 (en) 2020-11-19 2023-07-04 Samsung Electronics Co., Ltd. Electronic device correcting meta information of image and operating method thereof
KR20220068618A (ko) * 2020-11-19 2022-05-26 삼성전자주식회사 이미지의 메타 정보를 정정하는 전자 장치 및 이의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
CN1525763A (zh) * 2002-12-12 2004-09-01 三星电子株式会社 产生用户偏爱数据的方法和装置及转换色彩的方法和装置
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition
JP2008090570A (ja) * 2006-10-02 2008-04-17 Hitachi Ltd 情報処理装置及び情報処理方法
CN102422286A (zh) * 2009-03-11 2012-04-18 香港浸会大学 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US20060195361A1 (en) * 2005-10-01 2006-08-31 Outland Research Location-based demographic profiling system and method of use
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
KR101329266B1 (ko) 2005-11-21 2013-11-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 관련된 오디오 반주를 찾도록 디지털 영상들의 컨텐트특징들과 메타데이터를 사용하는 시스템 및 방법
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
US7930647B2 (en) 2005-12-11 2011-04-19 Topix Llc System and method for selecting pictures for presentation with text content
US7657546B2 (en) * 2006-01-26 2010-02-02 International Business Machines Corporation Knowledge management system, program product and method
KR100868187B1 (ko) 2006-11-02 2008-11-10 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
JP4854579B2 (ja) * 2007-04-20 2012-01-18 三洋電機株式会社 ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器や、画像ファイル及び画像ファイル作成装置
EP3438883B1 (en) 2007-06-04 2023-11-29 Enswers Co., Ltd. Method and apparatus for detecting a common section in moving pictures
WO2008157810A2 (en) * 2007-06-21 2008-12-24 Baggott Christopher C System and method for compending blogs
CN101149750A (zh) * 2007-10-29 2008-03-26 浙江大学 一种基于元数据的数据资源整合方法
JP4433327B2 (ja) 2007-12-11 2010-03-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7953690B2 (en) * 2008-01-25 2011-05-31 Eastman Kodak Company Discovering social relationships from personal photo collections
CA2726037A1 (en) 2008-06-06 2009-12-10 Thomson Licensing System and method for similarity search of images
US8948513B2 (en) * 2009-01-27 2015-02-03 Apple Inc. Blurring based content recognizer
CN101571875A (zh) * 2009-05-05 2009-11-04 程治永 一种基于图像识别的图像搜索系统的实现方法
US20100331016A1 (en) * 2009-05-27 2010-12-30 Geodelic, Inc. Location-based promotion for a mobile communication network
US20110044563A1 (en) * 2009-08-24 2011-02-24 Blose Andrew C Processing geo-location information associated with digital image files
EP2529184A4 (en) * 2010-01-29 2016-03-09 Nokia Technologies Oy SYSTEMS, METHODS AND APPARATUSES FOR DELIVERING CONTEXT-BASED NAVIGATION SERVICES
JP5639417B2 (ja) * 2010-08-31 2014-12-10 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9760764B2 (en) * 2010-12-30 2017-09-12 Nokia Technologies Oy Methods, apparatuses and computer program products for efficiently recognizing faces of images associated with various illumination conditions
US8750557B2 (en) * 2011-02-15 2014-06-10 Ebay Inc. Identifying product metadata from an item image
JP2012221108A (ja) 2011-04-06 2012-11-12 Sony Corp 情報処理装置、情報処理方法、プログラム、履歴管理サーバ、履歴管理方法および情報処理システム
JP2013012820A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101590386B1 (ko) 2011-09-07 2016-02-01 네이버 주식회사 검색 서비스 제공 장치 및 방법
WO2013039025A1 (ja) 2011-09-16 2013-03-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報管理編集機能を備えた情報処理装置
US9165017B2 (en) 2011-09-29 2015-10-20 Google Inc. Retrieving images
US8593452B2 (en) * 2011-12-20 2013-11-26 Apple Inc. Face feature vector construction
WO2013130478A1 (en) 2012-02-29 2013-09-06 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US8855901B2 (en) * 2012-06-25 2014-10-07 Google Inc. Providing route recommendations
US9179056B2 (en) * 2012-07-16 2015-11-03 Htc Corporation Image capturing systems with context control and related methods
JP2014021905A (ja) 2012-07-23 2014-02-03 Fujitsu Ltd 入力支援プログラム、入力支援方法および入力支援装置
US20140075393A1 (en) * 2012-09-11 2014-03-13 Microsoft Corporation Gesture-Based Search Queries
KR101482143B1 (ko) * 2012-09-21 2015-01-21 주식회사 케이티 자동 완성어의 유형에 기초하여 부가 정보를 제공하는 장치 및 방법
US9773229B2 (en) * 2012-11-01 2017-09-26 Google Inc. Systems and methods for providing contact group member suggestions
KR102057937B1 (ko) * 2012-12-06 2019-12-23 삼성전자주식회사 디스플레이 장치 및 그 이미지 표시 방법
KR101997447B1 (ko) 2012-12-10 2019-07-08 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN104598439B (zh) * 2013-10-30 2021-03-05 阿里巴巴集团控股有限公司 信息对象的标题修正方法及装置和推送信息对象的方法
US9311340B2 (en) 2014-04-15 2016-04-12 International Business Machines Corporation Multiple partial-image compositional searching
WO2015163140A1 (ja) * 2014-04-22 2015-10-29 シャープ株式会社 表示装置および表示制御プログラム
WO2016013915A1 (ko) 2014-07-25 2016-01-28 오드컨셉 주식회사 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
WO2016033493A1 (en) * 2014-08-29 2016-03-03 Akana, Inc. Dynamic ontology schema generation and asset management for standards for exchanging data
US10078440B2 (en) 2015-03-25 2018-09-18 Ebay Inc. Media discovery and content storage within and across devices
EP3086562B1 (en) * 2015-04-23 2017-05-24 Axis AB Method and device for processing a video stream in a video camera
US10599764B2 (en) * 2015-11-02 2020-03-24 Microsoft Technology Licensing, Llc Operations on images associated with cells in spreadsheets
KR102545768B1 (ko) 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US10491963B1 (en) * 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
US10321872B2 (en) 2017-03-13 2019-06-18 VivaLnk, Inc. Multi-purpose wearable patch for measurement and treatment
US20180267995A1 (en) * 2017-03-20 2018-09-20 International Business Machines Corporation Contextual and cognitive metadata for shared photographs
US11170055B2 (en) * 2018-12-28 2021-11-09 Open Text Sa Ulc Artificial intelligence augmented document capture and processing systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
CN1525763A (zh) * 2002-12-12 2004-09-01 三星电子株式会社 产生用户偏爱数据的方法和装置及转换色彩的方法和装置
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition
JP2008090570A (ja) * 2006-10-02 2008-04-17 Hitachi Ltd 情報処理装置及び情報処理方法
CN102422286A (zh) * 2009-03-11 2012-04-18 香港浸会大学 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签
CN103793450A (zh) * 2012-10-30 2014-05-14 索尼公司 信息处理设备以及信息处理方法

Also Published As

Publication number Publication date
US10360479B2 (en) 2019-07-23
US11328186B2 (en) 2022-05-10
EP3343399B1 (en) 2022-05-18
US20190279050A1 (en) 2019-09-12
KR20170055254A (ko) 2017-05-19
US10909428B2 (en) 2021-02-02
KR20230095895A (ko) 2023-06-29
WO2017082630A1 (ko) 2017-05-18
US10558896B2 (en) 2020-02-11
US20180330204A1 (en) 2018-11-15
EP3343399A4 (en) 2018-08-01
CN108292311A (zh) 2018-07-17
US20190197365A1 (en) 2019-06-27
EP3343399A1 (en) 2018-07-04
US20200134397A1 (en) 2020-04-30
KR102545768B1 (ko) 2023-06-21

Similar Documents

Publication Publication Date Title
CN108292311B (zh) 用于处理元数据的设备和方法
KR102332752B1 (ko) 지도 서비스를 제공하는 전자 장치 및 방법
CN108475326B (zh) 用于提供与图像关联的服务的方法、存储介质和电子设备
US10068373B2 (en) Electronic device for providing map information
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR20180074316A (ko) 장소 정보를 제공하기 위한 시스템 및 이를 지원하는 방법 및 전자 장치
US20180249062A1 (en) Photographing method using external electronic device and electronic device supporting the same
US10657172B2 (en) Method and apparatus for managing image metadata
CN106228511B (zh) 电子装置以及用于在电子装置中产生图像文件的方法
CN110178110B (zh) 电子设备及用于通过其显示屏幕的方法
EP3608794B1 (en) Method for outputting content corresponding to object and electronic device therefor
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
US20160378311A1 (en) Method for outputting state change effect based on attribute of object and electronic device thereof
KR102316846B1 (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
US10198828B2 (en) Image processing method and electronic device supporting the same
KR20170098113A (ko) 전자 장치의 이미지 그룹 생성 방법 및 그 전자 장치
KR20170096711A (ko) 전자 장치 및 전자 장치의 사진 클러스터링 방법
KR20180014586A (ko) 사용자 입력에 대응하는 섬네일을 출력하는 전자 장치 및 방법
CN114170366A (zh) 基于点线特征融合的三维重建方法及电子设备
KR102638876B1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant