CN108475326B - 用于提供与图像关联的服务的方法、存储介质和电子设备 - Google Patents

用于提供与图像关联的服务的方法、存储介质和电子设备 Download PDF

Info

Publication number
CN108475326B
CN108475326B CN201680074181.XA CN201680074181A CN108475326B CN 108475326 B CN108475326 B CN 108475326B CN 201680074181 A CN201680074181 A CN 201680074181A CN 108475326 B CN108475326 B CN 108475326B
Authority
CN
China
Prior art keywords
image
information
electronic device
images
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680074181.XA
Other languages
English (en)
Other versions
CN108475326A (zh
Inventor
朴安拏
孙秉准
金树完
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108475326A publication Critical patent/CN108475326A/zh
Application granted granted Critical
Publication of CN108475326B publication Critical patent/CN108475326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于提供与图像关联的服务的电子设备。所述电子设备包括：存储器和处理器，其中，处理器被配置为：获取多个图像，获取与所述多个图像中的至少一个图像关联的信息，基于与所述多个图像中的所述至少一个图像关联的信息，将所述多个图像中的至少一些图像分类到至少一个组，基于所述多个图像中的所述至少一些图像的分类的信息，提供服务。

Description

用于提供与图像关联的服务的方法、存储介质和电子设备
技术领域
本公开涉及一种用于提供与图像关联的服务/功能的方法和电子设备。
背景技术
根据相关技术，电子设备可以包括相机，对通过相机拍摄的图像进行处理，将经过处理的图像压缩以产生图像文件，并将产生的图像文件存储在存储器中。
此外，根据相关技术，电子设备可周期性地拍摄图像，并根据用户的输入使用拍摄的图像来产生故事相册。
以上信息仅作为背景信息被提供，以助于理解本公开。至于上述任何内容是否可用作关于本公开的现有技术，没有作出任何决定，也没有作出任何断言。
发明内容
【技术问题】
根据相关技术，电子设备需要周期性地进行拍摄，并且在产生生活日志或故事相册时需要用户的手动输入等，因此，浪费了大量的存储器/操作资源，并且难以实现高效便捷的生活日志记录和故事相册的制作。
【技术方案】
本公开的各方面是为了至少解决上面提到的问题和/或缺点，并至少提供下面描述的优点。因此，本公开的一方面在于提供一种用于提供与图像关联的服务的设备和方法。
根据本公开的一方面，提供了一种用于提供与图像关联的服务的电子设备。所述电子设备包括：存储器；以及处理器，被配置为：获取多个图像，获取与所述多个图像中的至少一个图像关联的信息，基于与所述多个图像中的所述至少一个图像关联的信息，将所述多个图像中的至少一些图像分类到至少一个组，基于所述多个图像中的所述至少一些图像的分类的信息提供服务。
根据本公开的另一方面，提供了一种在电子设备中提供与图像关联的服务的方法。所述方法包括：获取多个图像；获取与所述多个图像中的至少一个图像关联的信息，基于与所述多个图像中的所述至少一个图像关联的信息，将所述多个图像中的至少一些图像分类到至少一个组，以及基于所述多个图像中的所述至少一些图像的分类的信息提供服务。
从以下结合附图的公开了本公开的各种实施例的详细描述中，本领域的技术人员将清楚本公开的其他方面、优点和突出特征。
【有益效果】
在各种实施例中，通过有效的图像检查和对每个事件的拍摄间隔的调整，可以有效地使用存储器/操作资源，从而实现高效便捷的生活日志记录和故事相册制作。
附图说明
从以下结合附图的描述，本公开的特定实施例的上述和其他方面、特征和优点将会更加清楚，其中：
图1是示出根据本公开的实施例的在网络环境中的电子设备的框图；
图2是示出根据本公开的实施例的电子设备的示例的框图；
图3是示出根据本公开的实施例的程序模块的示例的框图；
图4是示出根据本公开的实施例的用于执行提供与图像关联的服务的方法的电子设备的主要构造的示图；
图5是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图；
图6是示出根据本公开的实施例的电子设备的获取图像的方法的流程图；
图7a和图7b是示出根据本公开的实施例的电子设备的获取图像的方法的示图；
图8a、图8b和图8c是示出根据本公开的实施例的电子设备的选择代表图像的方法的示图；
图9a、图9b和图9c是示出根据本公开的实施例的电子设备的显示/播放图像的方法的示图；
图10是示出根据本公开的实施例的电子设备的获取与图像关联的信息的方法的流程图；
图11是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图；
图12和图13是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图；
图14是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图；
图15以及图16a和图16b是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图；
图17a、图17b和图17c是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图；
图18a和图18b是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图；
图19、图20和图21是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图；
图22和图23是示出根据本公开的实施例的电子设备的获取图像的方法的示图；
图24、图25和图26是示出根据本公开的实施例的电子设备的确定故事相册的标题/分类的方法的示图；
贯穿附图，应注意的是相同的参考标号被用于描述相同或类似的元件、特征和结构。
具体实施方式
提供参照附图的下列描述以助于全面理解由权利要求以及它们的等同物所限定的本公开的各种实施例。它包括各种具体的细节以助于理解，但是这些细节应仅被视为是示例性的。因此，本领域的普通技术人员将理解的是，在不脱离本公开的范围和精神的情况下，可做出这里描述的各种实施例的各种改变和修改。此外，为了清楚和简洁，可省略已知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面的含义，而仅是被发明人使用来使本公开能够被清楚和一致地理解。因此，本领域的技术人员应清楚的是提供本公开的各种实施例的下列描述仅是为了说明的目的，而不是为了限制由权利要求以及它们的等同物所限定的本公开的目的。
除非上下文另外清楚地指明，否则单数形式包括复数指示物。因此，例如，提及“一个组件表面”包括提及一个或更多个这样的表面。
如在此使用的，表述“具有”、“可具有”、“包括”或“可包括”指示相应特征(例如，数字、功能、操作或组成元件(诸如组件))的存在，但是不排除一个或更多个另外的特征。
在本公开中，表述“A或B”、“A或/和B中的至少一个”、“A/B”或“一个或更多个A或/和B”可包括所列项的所有可能的组合。例如，表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”指示以下项的全部：(1)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B的全部。
在本公开的各种实施例中使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种组件而不管顺序和/或重要性，但是所述表述不限制相应组件。例如，尽管第一用户装置和第二用户装置二者都是用户装置，但是它们指示不同的用户装置。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，并且类似地，第二元件可被称为第一元件。
应该理解的是，当元件(例如，第一元件)被称为被(操作地或通信地)“连接”或“耦接”到另一元件(例如，第二元件)，它可被直接地连接或直接地耦接到其他元件，或者任何其他元件(例如，第三元件)可介于它们之间。相反地，可理解的是，当元件(例如，第一元件)被称为被“直接连接”或“直接耦接”到另一元件(第二元件)，则不存在介于它们之间的元件(例如，第三元件)。
在本公开中使用的表述“被配置为…”可根据情况与以下表述互换，例如，“适合…”、“有能力…”、“被设计为…”、“被适配为…”、“被制造为…”或“能够…”。术语“被配置为…”可不一定是指在硬件中“被专门设计为…”。可选地，在某些情况下，表述“被配置为…的装置”可表示装置与其他装置或组件一起“能够…”。例如,短语“被适配为(被配置为)执行A、B和C的处理器”可表示仅用于执行相应操作的专用处理器(例如，嵌入式处理器)或可通过执行存储在存储器装置中的一个或更多个软件来执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
这里使用的术语仅出于描述特定实施例的目的，而不意图限制其他实施例的范围。如这里所使用的，除非上下文清楚地指示，否则单数形式也可包括复数形式。除非另有定义，否则这里使用的所有术语(包括技术术语或科学术语)具有与本公开所属的领域的技术人员通常所理解的含义相同的含义。除非在本公开中清楚地定义，否则在通常使用的词典中定义的这样的术语可被解释为具有与相关技术领域中的上下文的含义相同的含义，而不被解释为具有理想化或过度正式的含义。在一些情况下，即使在本公开中定义的术语也不应被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可包括以下项中的至少一项：例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book阅读器)、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机和可穿戴装置。根据各种实施例，可穿戴装置可包括以下类型中的至少一个类型：配件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成类型(例如，电子服装)、身体安装类型(例如，皮肤垫或纹身)和生物植入类型(例如，植入电路)。
根据一些实施例，电子设备可以是家用电器。家用电器可包括以下项中的至少一项：例如，电视(TV)、数字视频盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如，SamsungHomesycnTM、Apple TVTM或Google TVTM等)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机和电子相框。
根据另一实施例，电子设备可包括以下项中的至少一项：各种医疗装置(例如，各种便携式医学测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机和超声机)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、用于船舶的电子设备(例如，用于船舶的导航装置、陀螺罗盘等)、航空电子设备、安全装置、汽车头单元、家庭或工业机器人、银行的自动柜员机(ATM)、商店的销售点或物联网装置(例如，灯泡、各种传感器、电表或燃气表、喷淋装置、火灾警报器、恒温器、路灯、烤面包机、运动用品、热水箱、加热器、烧水壶等)。
根据一些实施例，电子设备可包括以下项中的至少一个项：家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如，水表、电表、燃气表、无线电测波仪)。在各种实施例中，电子设备可以是上面提到的各种装置中的一个或更多个的组合。根据一些实施例，电子设备也可以是柔性装置。此外，根据本公开的实施例的电子设备不限于上面提到的装置，并可根据技术的发展包括新的电子设备。
在下文中，将参照附图描述根据各种实施例的电子设备。在本公开中，术语“用户”可指示使用电子设备的人或使用电子设备的装置(例如，人工智能电子装置)。
图1示出根据本公开的实施例的在网络环境中的电子设备。
参照图1，公开的是根据本公开的实施例的在网络环境100中的电子设备101。电子设备101可包括：总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信模块170(或被称为“通信接口”)。在一些实施例中，电子设备101中的组件中的至少一个组件可被省略，或者电子设备101可被额外地提供其他组件。
总线110可包括例如将组件120、组件130、组件150至组件170互相连接的电路，并在组件之间发送通信(例如，控制消息和/或数据)。
处理器120可包括CPU、AP和通信处理器(CP)中的一个或更多个。处理器120可执行例如与至少一个其他组件的控制和/或通信相关的操作或数据处理。处理器120可被称为控制器，或包括作为处理器120的一部分的控制器，或可构造控制器。
存储器130可包括易失性存储器和/或非易失性存储器。存储器130可存储例如与电子设备101的至少一个其他组件关联的指令或数据。根据实施例，存储器130可存储软件和/或程序140。程序140可包括：例如，内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147等。内核141、中间件143或API 145中的至少一些可被称为操作系统(OS)。
例如，内核141可对系统资源(例如，总线110、处理器120、存储器130等)进行控制或管理，其中，系统资源被用于执行在其他程序(诸如，中间件143、API 145或应用程序147)中实现的操作或功能。此外，内核141可访问电子设备101的在中间件143、API 145或应用程序147中的单独的组件，以提供能够对系统资源进行控制或管理的接口。
中间件143可执行中介功能，使得API 145或应用程序147能够与内核141进行通信以交换数据。
此外，中间件143可根据优先级顺序来处理从应用程序147接收的一个或更多个任务请求。例如，中间件143可将使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级顺序分配给应用程序147中的至少一个应用程序。例如，中间件143可根据被分配给应用程序147中的至少一个应用程序的优先级顺序来处理任务请求中的一个或更多个任务请求，以执行关于所述一个或更多个任务请求的调度或负载平衡。
API 145是例如用于通过应用程序147来控制从内核141或中间件143提供的功能的接口，例如，可包括用于文件控制、窗口控制、图像处理、文本控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可用作例如能够将来自用户或外部设备的指令或数据输入传送到电子设备101的其他组件的接口。此外，输入/输出接口150可将从电子设备101的其他组件接收的指令或数据输出给用户或外部设备。
显示器160可包括：例如，液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微电子机械系统(MEMS)显示器或电子纸显示器。例如，显示器160可向用户显示各种内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并可接收例如使用电子笔或用户身体的一部分的触摸、手势、接近或悬停。
通信模块170可在例如电子设备101和外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信模块170可通过无线通信或有线通信连接到网络162以与外部设备(例如，第二外部电子设备104或服务器106)进行通信。通信模块170可包括CP，CP可构成用于构成通信模块170的多个(即，两个或更多个)模块中的一个模块。在实施例中，CP可被包括在处理器120中。
例如，无线通信可以是蜂窝通信协议，并可使用以下项中的至少一项：例如，长期演进(LTE)，高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)。此外，无线通信可包括例如局域通信164。局域通信164包括：例如，Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球导航卫星系统(CNSS)等。GNSS可包括以下项中的至少一项：例如，GPS、全球导航卫星系统(Glonass)、北斗导航卫星系统(在下文中称为“北斗”)或伽利略(欧洲的基于全球卫星的导航系统)。在下文中，在本说明书中，“GPS”可与“GNSS”互换使用。有线通信可包括以下项中的至少一项：例如，通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)等。网络162可包括以下电信网络中的至少一种：诸如，计算机网络(例如，局域网(LAN)和广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104中的每个可以是与电子设备101同类或不同类的设备。根据实施例，服务器106可包括一个或更多个服务器的组。根据各种实施例，在电子设备101上执行的全部操作或一些操作可在其他一个或更多个电子设备(例如，外部电子设备102、外部电子设备104或服务器106)上执行。根据实施例，在电子设备101必须自动地或根据命令执行一些功能或服务的事件中，电子设备101可请求其他设备(例如，外部电子设备102、外部电子设备104或服务器106)执行电子设备101的功能中的至少一些功能，而不是独自或附加地执行功能或服务。其他电子设备(例如，外部电子设备102、外部电子设备104或服务器106)可执行所请求的功能或附加功能，并将结果传送到电子设备101。电子设备101可独自或附加地处理接收的结果以提供请求的功能或服务。为此，例如，可使用云计算技术、分布计算技术或客户机服务器计算技术。
图2是示出根据本公开的实施例的电子设备201的示例的框图。电子设备201可包括例如图1中示出的电子设备101的整体或一部分。电子设备201可包括：一个或更多个处理器(例如，AP)210、通信模块220、存储器230、传感器模块240、输入装置250和显示器260，电子设备201还可包括以下项中的至少一项：用户识别模块(SIM)224、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
例如，处理器210可驱动OS或应用程序来对耦接到处理器210的多个硬件组件或软件组件进行控制，并可执行各种数据处理和运算。可使用例如片上系统(SoC)来实现处理器210。根据实施例，处理器还可包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器210可包括图2中示出的组件中的至少一些组件(例如，蜂窝模块221)。处理器210可将从其他组件(例如，非易失性存储器)中的至少一个组件接收的命令或数据加载到易失性存储器中以进行处理，并可将各种数据存储在非易失性存储器中。
通信模块220可具有与图1的通信模块170相同或类似的构造。通信模块220可包括以下项中的至少一项：例如，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。
蜂窝模块221可通过通信网络来提供例如语音呼叫、视频呼叫、文本消息或互联网服务等。根据实施例，蜂窝模块221可使用SIM 224(例如，SIM卡)来对通信网络中的电子设备201进行识别和认证。根据实施例，蜂窝模块221可执行可由处理器210提供的至少一些功能。根据实施例，蜂窝模块221可包括CP。
Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的每一个可包括例如用于对通过相应模块发送和接收的数据进行处理的处理器。根据一些实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一些(例如，两个或更多个)可被包括在一个集成芯片(IC)或IC封装中。
RF模块229可发送和接收例如通信信号(例如，RF信号)。RF模块229可包括：例如，收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一个模块可通过单独的RF模块发送和接收RF信号。
SIM 224可包括例如包括SIM的卡和/或嵌入式SIM，并包括唯一识别信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。
存储器230(例如，存储器130)可包括例如内部存储器232和/或外部存储器234。内部存储器232可包括以下项中的至少一项：例如，易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和非易失性存储器(例如，一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、掩模ROM、闪速ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
外部存储器234还可包括：闪存驱动器(诸如紧凑式闪存(CF)驱动器、安全数字(SD)驱动器、微型-SD驱动器、迷你-SD驱动器、极速数字(xD)驱动器)、多媒体卡、记忆棒等。外部存储器234可通过各种接口功能性地和/或物理地连接到电子设备201。
例如，传感器模块240可测量物理量或感测电子设备201的操作状态，以将测量的或感测到的信息转换为电信号。传感器模块240包括以下项中的至少一项：例如，手势传感器240A、陀螺仪传感器240B、压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、红绿蓝(RGB)传感器240H、生物传感器240I、温度/湿度传感器240J、照度传感器240K和紫外线(UV)传感器240M。此外或可选地，传感器模块240可包括：例如，电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制属于传感器模块240的至少一个或更多个传感器的控制电路。在一些实施例中，电子设备201还可包括处理器，其中，所述处理器被配置为对作为处理器210的一部分的传感器模块240进行控制，或者在处理器210处于睡眠状态时对传感器模块240单独地进行控制。
输入装置250包括例如触摸面板252，并且还可包括(数字)笔传感器254、键256和超声输入装置258中的至少一个。触摸面板252可使用例如，静电类型、压敏类型、红外类型和超声类型中的至少一种类型。此外，触摸面板252还可包括控制电路。触摸面板252还可包括触觉层以向用户提供触觉响应。
例如，(数字)笔传感器254可以是触摸面板的一部分或可包括单独的识别片。键256可包括：例如，物理按扭、光学键或键盘。超声输入装置258可通过麦克风(例如，麦克风288)对由输入工具产生的超声波进行感测，并可确定与检测到的超声波相应的数据。
显示器260(例如，显示器160)包括面板262，并还可包括全息装置264和/或投影仪266。面板262可包括与图1的显示器160相同或类似的构造。例如，面板262可被实现为柔性的、透明的或可穿戴的。面板262可由触摸面板252和一个模块构成。全息装置264可利用光的干涉在空气中显示立体图像。投影仪266可通过在屏幕上投射光来显示图像。屏幕可位于例如电子设备201的内部或外部。根据实施例，显示器260还可包括用于控制面板262、全息装置264或投影仪266的控制电路。
接口270包括例如HDMI 272、USB 274、光学接口276和D-超小型(D-sub)278中的至少一个。例如，接口270可被包括在图1中示出的通信模块170中。此外或可选地，接口270可包括：例如，移动高清链路(MHL)接口、SD卡/MMC接口或红外数据协会(IrDA)标准接口。
例如，音频模块280可对声音和电信号进行双向地转换。例如，音频模块280的组件中的至少一些组件可被包括在图1中示出的输入/输出接口150中。音频模块280可对通过例如扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信号进行处理。
例如，相机模块291可以是能够拍摄静止图像和运动图像的装置。根据实施例，相机模块291可包括图像传感器(例如，前置传感器和后置传感器)、镜头、ISP或闪光灯(例如，LED或氙灯等)中的至少一个。
例如，电源管理模块295可管理电子设备201的电源。根据实施例，电源管理模块295可包括：电源管理集成电路(PMIC)、充电器IC或者电池或燃料表。PMIC可具有有线和/或无线充电方法。无线充电方法的示例可包括：例如，磁性谐振方法、磁感应方法或电磁波方法，并还可包括用于无线充电的附加电路(例如，线圈回路、谐振电路、或整流器)。例如，电池表可测量电池296的剩余电量、充电期间的电压、电流或温度。电池296可包括例如可再充电电池和/或太阳能电池。
指示器297可显示电子设备201或电子设备201中的一部分(例如，处理器210)的具体状态(例如，启动状态、消息状态、充电状态等)。电机298可将电信号转换成机械振动，并可产生振动效果、触觉效果等。尽管没有示出，但是电子设备201可包括用于支持移动TV的处理器(例如，GPU)。例如，用于支持移动TV的处理器可根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流TM等的标准来处理媒体数据。
在本说明书中描述的组件中的每个组件可由一个或更多个组件构成，并且组件的名称可根据电子设备的类型而改变。在各种实施例中，电子设备可被构造为包括这里描述的组件中的至少一个组件，并还可包括另外的组件，或可省略组件中的一些组件。此外，根据各种实施例的电子设备中的组件中的一些组件可被组合成一个实体，使得可以以相同的方式执行被组合之前相应组件的功能。
图3是示出根据本公开的实施例的程序模块的示例的框图。
参照图3，程序模块310(例如，程序140)可包括用于对与电子设备(例如，电子设备101)关联的资源和/或在OS上执行的各种应用(例如，应用程序147)进行控制的OS。例如，OS可以是Android、iOS、Windows、Symbian、Tizen、Bada等。
程序模块310可包括：内核320、中间件330、API 360和/或应用370。程序模块310中的至少一部分可被预加载在电子设备上，或可从外部设备(例如，外部电子设备102、外部电子设备104和服务器106中的至少一个)下载。
内核320(例如，内核141)可包括：例如，系统资源管理器321和/或装置驱动器323。系统资源管理器321可执行系统资源的控制、分配或恢复。根据实施例，系统资源管理器321可包括：进程管理单元、存储器管理单元、文件系统管理单元等。装置驱动器323可包括：例如，显示器驱动器、相机驱动器、BT驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
例如，中间件330可提供应用370常用的功能或可通过API 360来向应用提供各种功能，使得应用370能够有效地使用电子设备中有限的系统资源。根据实施例，中间件330(例如，中间件143)可包括以下项中的至少一项：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
运行时库335可包括例如被编译器使用以在应用370被执行期间通过编程语言来添加新的功能的库模块。运行时库335可执行输入/输出管理、存储器管理或用于算术函数的功能。
应用管理器341可管理例如应用370中的至少一个的生命周期。窗口管理器342可管理在屏幕上使用的图形用户界面(GUI)资源。多媒体管理器343可识别被用于再现各种媒体文件的格式，并可使用适用于该格式的编解码器来执行媒体文件的编码或解码。资源管理器344可管理应用370中的至少一个的源代码、存储器、存储器空间等。
例如，电源管理器345可与基本输入/输出系统(BIOS)等一起操作，以管理电池或电源，并可提供用于电子设备的操作的电源信息等。数据库管理器346可创建、搜索、或修改将在应用370中的至少一个中使用的数据库。包管理器347可管理以包文件的形式被分布的应用的安装或更新。
连接管理器348可管理无线连接，诸如Wi-Fi、BT等。通知管理器349可以以不打扰用户的方式显示或通知诸如到达消息、约定、接近警告等的事件。位置管理器350可管理电子设备的位置信息。图形管理器351可管理将被提供给用户的图形效果或与图形效果相关的用户界面。安全管理器352可提供用于系统安全或用户认证等的一个或更多个安全功能。根据实施例，如果电子设备(例如，电子设备101)包括电话功能，则中间件330还可包括用于管理电子设备的语音呼叫功能或视频呼叫功能的电话管理器。
中间件330可包括形成上面描述的组件的各种功能的组合的中间件模块。中间件330可提供针对OS的每种类型专用的模块以提供不同的功能。此外，中间件330可动态地删除一些现有的组件或可添加新的组件。
API 360(例如，API 245)可以是例如API编程功能的集合，并可根据OS以不同的构造被提供。例如，在Android或iOS的事件中，针对每个平台可提供一个API集合。在Tizen的事件中，针对每个平台可提供两个或更多个API集合。
应用370(例如，应用程序147)可包括例如能够执行功能(主页371、拨号器372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384、健康护理(例如，测量动量或血糖)或环境信息提供(例如，提供压力、湿度或温度信息))的一个或更多个应用。
根据实施例，应用370可包括用于支持电子设备(例如，电子设备101)与外部电子设备(例如，外部电子设备102、外部电子设备104)之间的信息交换的应用，并且在下文中，为了便于解释被称为“信息交换应用”。信息交换应用可包括例如用于将特定信息转发到外部电子设备的通知转发应用或用于管理外部电子设备的装置管理应用。
例如，通知转发应用可包括将在其他应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用、环境信息应用)中产生的通知信息转发到外部电子设备(例如，外部电子设备102、外部电子设备104)的功能。此外，通知转发应用可以例如从外部电子设备接收通知信息并提供给用户。
装置管理应用可管理(例如，安装、删除或更新)：例如，与电子设备通信的外部电子设备(例如，外部电子设备102、外部电子设备104)的至少一个功能(例如，调节外部电子设备自身(或一些组件)的打开/关闭或调节显示器的亮度)、在外部电子设备中执行的应用或由外部电子设备提供的服务(例如，电话服务、消息服务等)。
根据实施例，应用370可包括：外部电子设备(例如，外部电子设备102、外部电子设备104)的属性、或根据外部电子设备的属性而设计的应用(例如，移动医疗装置的健康护理应用)。根据实施例，应用370可包括从外部电子设备(例如，服务器106或外部电子设备102、外部电子设备104)接收的应用。根据实施例，应用370可包括预加载的应用或能够从服务器下载的第三方应用。根据示出的实施例的程序模块310的组件的名称可根据OS的类型而改变。
根据各种实施例，程序模块310的至少一部分可使用软件、固件、硬件或它们中至少两个的组合来实现。程序模块310的至少一部分可由例如处理器(例如，处理器210)来实现(例如，执行)。程序模块310的至少一部分可包括：例如，用于执行一个或更多个功能的模块、程序、例程、指令集、进程等。
图4是示出根据本公开的实施例的用于执行提供与图像关联的服务的方法的电子设备的主要构造的示图。
参照图4，电子设备401(例如，电子设备101、电子设备201)可包括：例如，相机490(例如，相机模块291)、存储器430(例如，存储器130、存储器230)、显示器460(例如，显示器160、显示器260)、传感器440(例如，传感器模块240、触摸面板252、GNSS模块227、麦克风288中的至少一个)、通信模块420(例如，通信模块170、通信模块220)和处理器410(例如，处理器120、处理器210)。
相机490可对处于电子设备401的正面和/或背面的主体进行拍摄，并可输出拍摄的主体的图像。例如，相机490可包括用于对电子设备401的背面主体进行拍摄的第一相机模块(或背面/背面方向相机模块)和用于对正面的主体进行拍摄的第二相机模块(或正面/正面方向相机模块)。例如，相机模块中的每个相机模块可根据处理器410的控制来拍摄静止图像或运动图像，并将拍摄的静止图像或运动图像输出到处理器410或存储器430。处理器410可将拍摄的静止图像或运动图像存储在存储器430中，或可显示在显示器460上。例如，相机模块中的每个相机模块可针对正面方向或背面方向的主体产生预览图像(或实时预览图像)，并将产生的预览图像输出到处理器410或显示器460。处理器410可将预览图像显示在显示器460上。例如，处理器410可将存储器430中存储的图像显示在显示器460上。
显示器460可将从相机490、存储器430或处理器410输入的图像、信号、数据或信息显示在屏幕上。
存储器430可存储多个图像，并存储图像相关信息数据库432和目标数据库434中的至少一个。图像相关信息数据库432和目标数据库434可以是一个数据库的部分。
图像相关信息数据库432可包括与多个图像中的至少一个图像关联的信息和与图像的组关联的信息中的至少一个。
在实施例中，与多个图像中的至少一个图像关联的信息可包括：关于图像的识别信息，以及与通过相机490、存储器430、传感器440和/或通信模块420获得的图像关联的信息。
与多个图像中的至少一个图像或一组图像关联的信息可被称为元数据/信息。例如，图像相关信息数据库432可包括分别与多个图像或图像组相应的多个元数据/信息。例如，多个元数据/信息可以以具有多个数据记录的数据库的形式被存储。
在实施例中，与多个图像中的至少一个图像或一组图像关联的信息可包括：指示电子设备401的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息、关于多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息、从外部设备接收的信息、用户输入信息、或使用外部网络的搜索信息。
在实施例中，情况信息可包括：关于电子设备410或用户的运动/状态的信息、关于主体的信息、关于图像的质量的信息、关于图像的场景或主体的识别信息、关于特定场景分类/特定主体的类型/对特定主体的拍摄次数/时间/频率的信息、针对图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前时间的信息、关于电子设备401的位置/地点的信息、或环境声。
多个图像的每个图像可以是静止图像文件、运动图像文件或运动图像文件的一个图像帧。
例如，静止图像文件可具有以下扩展名中的至少一种扩展名：bmp(*.bmp,*.rle)、jpeg(*.jpg)、compuserve gif(*.gif),png(*.png)、Photoshop(*.psd,*.pdd)、tiff(*.tif)、Acrobat pdf(*.pdf)、raw(*.raw)、Illustrator(*.ai)、Photoshop eps(*.eps)、Amiga iff(*.iff)、flashpix(*.fpx)、filmstrip(*.frm)、pcx(*.pcx)、pict file(*.pct,*.pic)、Pixar(*.pxr)、scitex(*.sct)和targa(*.tga,*.vda,*.icb,*.vst)。
例如，运动图像文件可包括图像信息和音频信息。例如，运动图像文件可具有以下扩展名中的至少一种扩展名：mpeg(*.mpeg)、mpg(*.mpg)、mp4(*.mpg)、avi(8*.avi)、mov(*.mov)或mkv(*.mkv)。例如，音频信息可以在通过相机490拍摄图像时与图像一起被记录。
在实施例中，图像和与图像相应的元数据可被包括在一个文件之内。
图像相关信息数据库432可包括多个本体，每个本体可包括多个信息/数据元素以及在多个信息/数据元素之间的数据定义关系。
例如，本体是描述特定域的数据模型，并可由(或可包括)属于特定域的一组概念(或信息/数据元素)以及描述概念之间的关系的正式词汇构成。本体(以正式语言描述的词汇的集合)可被用于演绎与推理。例如，本体可包括：代表指示对象或概念的名称或分类的类别，代表特定对象、事件等(其中，对象或概念以实际形式被表达)的实例，属性(其中，类别或实例与特定值关联以代表类别或实例的特定属性或趋势)，或代表类别或实例之间存在的关系(例如，包含关系、等价关系和因果关系)的相关关系。此时，属性可被包括在相关关系中。
上面描述的多个本体可具有各种数据结构，可以以例如数据/对象树(其中，多个信息/数据元素根据多个信息/数据元素的关系被连接)的形式被表达，或可被表达为描述多个信息/数据元素以及多个信息/数据元素之间的关系的多个记录。
如下面的表格1所示，作为多个本体的示例，图像相关信息数据库432可以以多个记录类型来存储与多个本体相应的多条信息。
【表格1】
Figure GDA0001698054260000161
Figure GDA0001698054260000171
ID Ai(1≤i≤n，n是大于或等于1的整数)表示信息/数据元素的唯一的识别信息，类型Bi表示类别/实例和/或分类/主题/类别的识别信息，内容Ci表示信息/数据元素的名称，相关关系Di表示信息/数据元素之间的关系。记录的每个字段(即，ID Ai、类型Bi、内容Ci、相关关系Di)可具有一个或更多个值，每个值可以是常数、坐标、向量、矩阵、文本等。
例如，图像相关信息数据库432可包括“[爸爸]-{夫妇}-[妈妈]”或“[chul-soo]-{相同的人}-[爸爸]-{夫妇}-[妈妈]-{相同的人}-[young-hee]”的本体。这里，“爸爸”、“chul-soo”、“妈妈”和“young-hee”与信息/数据元素(或实体)相应，并且“相同的人”和“夫妇”与相关关系相应。此外，“爸爸”和“妈妈”所属于的特征(或人)的分类/主题/类别可与信息/数据元素(或实体)相应。
在实施例中，图像相关信息数据库432可包括信息(或值)或数据模型，其中，数据模型表示与多个图像中的至少一个图像或一组多个图像关联的信息(或多个元数据/信息)中的公共信息/数据元素之间的关联。
目标数据库434可被提供以识别预构造的主体(或者，人的全部或部分、实体、对象的部分(包括诸如云、天空、海洋等的自然对象))。用于识别主体的目标数据可包括：主体图像、主体图像的特征点(或可被称为特征图像、特征图案等)信息等。这样的特征点可以是边缘、角、图像图案、轮廓等。
在实施例中，用于识别主体的目标数据可包括识别参考，识别参考可由诸如对象/人的形状/运动/尺寸/颜色/亮度的形态特征定义，或可由诸如食物/人/花/天空/宠物/建筑的分类定义。
传感器440可被用于检测表示电子设备401的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息或者用户输入信息。例如，传感器440可检测以下信息中的至少一个信息：关于电子设备401或用户的运动/状态的信息、关于主体的信息、关于图像质量的信息、关于图像的场景或主体的识别信息、关于图像的场景或主体所识别出的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备401的位置/地点的信息、或环境声。
通信模块420可从外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)接收多个图像。
在实施例中，通信模块420可被用于通过使用外部数据库/系统/网络来搜索与多个图像中的至少一个图像或一组多个图像(或多条元数据/信息)关联的信息。
在实施例中，通信模块420可被用于从外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)接收关于图像的识别信息。
在实施例中，通信模块420可从外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)接收关于多个图像中的至少一个图像或一组图像的选择信息、应用信息或消息。
在实施例中，通信模块420可向外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)发送图形元素，图形元素包括与多个图像中的至少一个图像或一组多个图像关联的至少一个文本元素。
处理器410可包括CPU、AP、CP、ISP和GPU中的至少一个。
处理器410可从相机490接收由相机490拍摄的图像，或可读取存储器430中存储的图像。
在实施例中，处理器410可基于目标数据库434识别图像中包括的信息。
在实施例中，处理器410可向第一外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)发送图像和/或与图像关联的信息，并可从第一外部设备或第二外部设备接收关于图像的识别信息。
在实施例中，处理器410可通过传感器440检测表示电子设备401的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息。
在实施例中，处理器410可通过传感器440或显示器460检测与图像关联的用户输入信息(例如，图像的标题、标签、备忘录、选择信息中的至少一个)。
在实施例中，处理器410可通过相机490或存储器430在图像的拍摄时/期间检测相机490的配置信息。例如，配置信息可包括以下信息中的至少一个信息：关于拍摄的开始/结束/全部时间的信息、拍摄模式信息(例如，夜晚模式、肖像模式、室内模式、脸部识别模式、全景模式中的至少一个)、关于感兴趣周期/区域/点的信息以及关于拍摄速度(或帧率)的信息。
处理器410可获取多个图像以及与多个图像中的至少一个图像关联的信息。处理器410可至少部分地基于与多个图像中的至少一个图像关联的信息将多个图像中至少一些图像分类到至少一个组。处理器410可至少部分地基于关于图像的分类的信息来提供服务/功能。
在实施例中，目标数据库434可存储关于主体的组合/布置的数据或信息。每条组合信息可包括关于多个主体的信息，关于每个主体的信息可包括：关于主体的类型(或名称)的信息、关于主体的位置、尺寸或方向的信息、场景分类等。
主体的类型信息可以是：人、植物、动物、食物、建筑、道路、特征、自然对象(例如，海洋、河流、湖泊和天空中的至少一个)等。
主体的位置信息可以是主体的代表性点(例如，中心点)的位置或定义主体的角点的位置。这样的位置可由坐标、比例(例如，从图像的左端开始到水平总尺寸的1/3的位置，从图像的顶端开始到垂直总尺寸的1/3的位置)等表示。
主体的尺寸信息可包括：常数值、坐标(角点的坐标)、比例(例如，从图像的左端开始到水平总尺寸的1/3的位置，从图像的顶端开始到垂直总尺寸的1/3的位置)等。
主体的方向信息表示主体的姿态、朝向或方向，例如，可表示关于主体所面向的方向(例如，前、左、右、上、下等)的信息。主体的方向信息可以在二维或三维直角坐标系等中被表示，前、左、右、上和下5个朝向；前、左、右、上、下、左上、左下、右上和右下9个朝向等。
场景分类可表示由整个输入图像呈现的整个场景(例如，城市十字路口、路口前方、海滩、河边、建筑正面/侧面、马路/人行路中的至少一个)的分类/类型。
目标数据库434可具有各种数据结构，例如，如下面的表格2所示，目标数据库434可以以多种记录格式存储多条信息。目标数据库434可由多条记录表示，其中，多条记录描述多个信息/数据元素以及多个信息/数据元素之间的关系。
【表格2】
记录号码 主体的类型 主体的位置/尺寸 主体的方向 场景分类
E1 F1 G1 H1 I1
E2 F2 G2 H2 I1
E3 F3 G3 H3 I2
E4 F4 G4 H4 I1/I2
... ... ... ... ...
En Fn Gn Hn Im
每个记录Ei(1≤i≤n，n是大于或等于1的整数)可包括诸如主体的类型Fi、主体的位置/尺寸Gi、主体的方向Hi和整个场景的分类Ii的字段。对于每个场景分类Ii，多条主体信息可与每个场景分类Ii对应，每条主体信息可包括：主体类型Fi、多个主体位置/尺寸、多个主体方向Hi等。字母m是大于或等于1并且小于或等于n的整数。此外，每条主体信息可与多个场景分类相应。主体位置/尺寸Gi可由限定主体的对角点的坐标来表示或由主体中心位置和主体的尺寸来表示。每个字段可具有一个或多个值，每个值可以是常数、坐标、向量、矩阵、文本等。
处理器410可从由相机490拍摄的图像或存储器430中存储的图像中识别主体。处理器410可根据主体的类型通过识别算法来识别输入图像中的主体是什么。此外，处理器410可识别主体处于哪个位置以及主体正在看哪个方向(即，主体的位置和姿势)。
处理器410可通过诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)等算法从输入图像识别在目标数据库434中注册的主体，并可通过将基于模板的匹配方法应用于识别出的主体来估计主体的姿势。SIFT已在下面的论文中公开：
Lowe,David G.,"Object recognition from local scale-invariantfeatures",Proceedings of the International Conference on Computer,Vision 2,pp.1150-1157.doi:10.1109/ICCV.1999.790410.,1999.
SURF已在下面的论文中公开：
Bay,H.；Tuytelaars,T.；Gool,L.V.,"SURF:Speeded Up Robust Features",Proceedings of the ninth European Conference on Computer Vision,May 2006.
使用基于模板的匹配方法来估计姿势的方法已在下面的论文中公开：
Daniel Wagner,Gerhard Reitmayr,Alessandro Mulloni,Tom Drummond,andDieter Schmalstieg,"Real Time Detection and Tracking for Augmented Reality onMobile Phones,"in Visualization and Computer Graphics,Aug.2009.
处理器410可从输入图像识别在目标数据库434中注册的主体，并可在目标数据库434中存储的2维(2D)或3维(3D)主体信息的基础上估计主体的姿势。
处理器410可从输入图像识别与在目标数据库434中注册的主体相匹配的图像区域。此外，处理器410可根据识别目标的类型，在不参考目标数据库434的情况下识别主体。例如，处理器410可检测输入图像中的边缘特征点和角特征点，并识别由边缘特征点和角特征点限定的诸如距形、圆、多边形等的平面主体。
处理器410可搜索与在目标数据库434中识别出的主体的组合/布置相匹配的场景分类信息。处理器410可基于主体的类型、位置和/或方向来检测相应的场景分类。
处理器410可基于识别出的主体的信息(例如，识别出的主体的类型、位置和/或方向)、识别出的主体的场景分类信息和电子设备401的位置信息(例如，通过GNSS模块227或GPS模块的位置信息)中的至少一个，识别诸如拍摄目标、拍摄位置/地点等的情况信息。
在实施例中，处理器410可基于通过通信模块420接收的无线信号(例如，WiFi信号、BT信号、NFC信号中的至少一个)的识别信息和/或强度，识别诸如拍摄目标、拍摄位置/地点等的情况信息。
在实施例中，处理器410可使用通信模块420的NFC模块(例如，NFC模块228)来获取关于室内拍摄位置的信息。例如，当NFC装置(例如，NCF读取器或传感器)以预定间隔被安装在室内空间中或被安装在室内空间的预定位置(例如，门位置、每个房间的角落位置、灯位置、墙中心、地板或天花板中的至少一个)，处理器410可通过NFC模块接收NFC信号，或从接收了NCF模块的NFC信号的NFC读取器接收位置相关信息以识别电子设备401的位置。例如，可根据更短的间隔的NFC装置来进一步提高精确度，处理器410可通过在检测到NFC信号后检测移动距离和方向来预测电子设备401的坐标。
在实施例中，处理器410可使用标记技术来确定拍摄对象或电子设备401的位置信息。标记技术是通过对图像中包括的特定标记进行解码来识别相应标记的位置并确定标记与电子设备401之间的相对位置的技术。标记可以是条形码、2D码(快速响应(QR)码、PDF-417、数据矩阵、ColorCodeTM)或水印中的一个。处理器410可通过对标记进行解码来确定坐标、方向信息等。由于标记的形状根据相机490的拍摄方向而变形，因此可通过拍摄标记的电子设备401的姿势或方向信息、标记的尺寸信息或标记在图像上的位置等来预测电子设备401的位置信息。
在实施例中，目标数据库434可包括无线电信号指纹数据库，无线电信号指纹数据库可包括关于无线电信号在室内空间中的分布的信息(例如，每个位置处的无线电信号的识别信息和强度)。例如，处理器410可通过通信模块420从外部设备接收包括识别信息的至少一个无线电信号，将无线电信号的识别信息和强度与无线电信号指纹数据库中的信号信息(即，识别信息和强度)进行比较和/或匹配，并从无线信号指纹数据库中与匹配到的信号信息相应的位置信息来确定电子设备401的位置信息。
在实施例中，电子设备401可以是项链/夹子类型的相机、运动型相机、眼镜、摄像机、生活日志相机、闭路电视(CCTV)、无人机和汽车/飞机的黑匣子中的至少一个。
根据各种实施例，提供与图像关联的服务的电子设备可包括存储器和处理器，其中，处理器执行以下操作：获取多个图像；获取与多个图像中的至少一个图像关联的信息；至少部分地基于与多个图像中的至少一个图像关联的信息将多个图像中的至少一些图像分类到至少一个组；至少部分地基于关于图像的分类的信息来提供服务/功能。
根据各种实施例，获取多个图像的操作可包括：获取表示电子设备的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息；至少部分地基于情况信息与预配置的条件的比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：获取表示电子设备的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息；至少部分地基于情况信息与预配置的条件的比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔，情况信息可包括以下信息中的至少一个信息：关于电子设备或用户的运动/状态的信息、关于主体的信息、关于图像的质量的信息、关于图像的场景或主体的识别信息、针对图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备的位置/地点的信息或环境声。
根据各种实施例，获取多个图像的操作可包括：检测表示电子设备和用户的运动的值；将表示电子设备和用户的运动的值与预配置的条件进行比较(例如，高于/低于阈值)；至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：根据预配置的周期/时间间隔拍摄图像。
根据各种实施例，获取多个图像的操作可包括：计算表示图像的质量的值；将表示图像的质量的值与预配置的条件进行比较(例如，高于/低于阈值)；至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：识别图像的场景或主体；将关于场景或主体的信息与预配置的条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超过阈值)；至少部分地基于比较结果(例如，匹配，匹配精确度大于阈值)来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：执行以下操作中的至少一个：检测表示电子设备和用户的运动的值、计算表示图像的质量的值、和识别图像的场景或主体；将表示电子设备和用户的运动的值、表示图像的质量的值和关于场景或主体的识别信息中的至少一个与预配置的条件中的至少一个进行比较；以及至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：将表示电子设备或用户的运动的值与预配置的第一条件进行比较(例如，高于/低于阈值)；当表示运动的值满足预配置的第一条件(例如，低于阈值)时，将关于图像的场景或主体的识别信息与预配置的第二条件进行比较(例如，与电子设备中的预配置的信息的匹配精确度是否超出阈值)；当关于场景或主体的识别信息满足预配置的第二条件(例如，匹配，匹配精确度大于阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：将表示图像的质量的值与预配置的第一条件进行比较(例如，高于/低于阈值)；当表示图像的质量的值满足与配置的第一条件(例如，高于阈值)时，将关于图像的场景或主体的识别信息与预配置的第二条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超出阈值)；以及当关于场景或对象的识别信息满足预配置的第二条件(例如，匹配，匹配精确度高于阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：将表示电子设备或用户的运动的值与预配置的第一条件进行比较(例如，高于/低于阈值)；当表示运动的值满足预配置的第一条件(例如，低于阈值)时，将表示图像的质量的值与预配置的第二条件进行比较(例如，高于/低于阈值)；当表示图像的质量的值满足预配置的第二条件(例如，高于阈值)时，将关于图像的场景或主体的识别信息与预配置的第三条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超出阈值)；当关于场景或主体的识别信息满足预配置的第三条件(例如，匹配，匹配精确度超出阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：检测表示电子设备或用户的运动的值；执行以下操作中的至少一个操作：计算表示图像的质量的值、识别图像的场景或主体；将表示运动的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个与电子设备中预配置的条件中的至少一个进行比较；当表示运动的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个不满足电子设备中预配置的条件中的至少一个时，停止/推迟图像的拍摄/获取或增加图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：检测表示电子设备或用户的状态的值；执行以下操作中的至少一个操作：计算表示图像的质量的值、识别图像的场景或主体；将表示状态的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个与电子设备中预配置的条件中的至少一个进行比较；至少部分地基于比较结果激活/停用电子设备的组件中的至少一个组件。
根据各种实施例，获取多个图像的操作可包括以下操作中的至少一个操作：从外部装置接收多个图像，通过使用电子设备的相机进行拍摄来获取多个图像，或读取电子设备的存储器中存储的多个图像。
根据各种实施例，获取多个图像的操作可包括：检测进入功能性地连接到电子设备的相机的视角的主体或进入视角内的预配置的区域的主体；响应于对主体的检测，开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，获取多个图像的操作可包括：通过功能性地连接到电子设备的相机来检测具有比预配置的尺寸更大的尺寸的主体；响应于对主体的检测，开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
根据各种实施例，至少一个组可与电子设备中预配置的用户的至少一个事件的类型相应。
根据各种实施例，与多个图像中的至少一个图像关联的信息可包括：表示电子设备的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息、关于对于多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息，从外部设备接收的信息，用户输入信息或使用外部网络的搜索信息。
根据各种实施例，获取与多个图像中的至少一个图像关联的信息的操作可包括：将多个图像发送到外部设备；以及接收对于多个图像中的至少一个图像的选择信息。
根据各种实施例，提供服务/功能的操作可包括：为至少一个组中的每个组选择至少一个代表性图像；以及显示/播放至少一个代表性图像。
根据各种实施例，提供服务/功能的操作可包括：至少部分地基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量/量/尺寸、与每个组相应的事件的类型或用户输入中的至少一个，为每个组选择至少一个代表性图像；以及显示/播放至少一个代表性图像。
根据各种实施例，提供服务/功能的操作可包括：至少部分地基于(例如，成比例的)每个组中的图像的总拍摄时间、每个组中的全部图像的数量/量/尺寸、与每个组相应的事件的类型中的至少一个，为每个组选择至少一个代表性图像；以及显示/播放至少一个代表性图像，其中，可至少部分地基于每个组中的图像的总拍摄时间、全部图像的数量/量/尺寸或与每个组相应的事件的类型中的至少一个来确定每个组中的全部代表性图像的数量/量/尺寸、显示/播放时间或显示/播放速度中的至少一个。
根据各种实施例，提供服务/功能的操作可包括：为至少一个组选择至少一个代表性图像；以及显示/播放至少一个代表性图像，其中，至少一个代表性图像可以是从每个组中的全部图像中按预配置的时间间隔所选择的图像或者是每个组中的全部图像中的与相邻图像不同的图像。
根据各种实施例，提供服务/功能的操作可包括：响应于用户输入顺序地播放至少一个组中的图像，其中，可至少部分地基于每个组中的图像的总拍摄时间、每个组中的一个或更多个(或所有)图像的数量/量/尺寸、与每个组相应的事件的类型或用户输入中的至少一个来确定每个组中的图像的播放时间或播放速度中的至少一个。
根据各种实施例，提供服务/功能的操作可包括：至少部分地基于与每个组相应的事件的类型将表示优先级的值分配给多个组中的每个组。
根据各种实施例，提供服务/功能的操作可包括：至少部分地基于与每个组中的至少一个图像关联的信息来配置每个组的标题或事件的类型。
根据各种实施例，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库将与每个组中的至少一个图像关联的信息的文本元素进行组合；显示文本元素的组合或将文本元素的组合存储为关于每个组或每个组中的图像的信息。
根据各种实施例，获取与多个图像中的至少一个图像相关的信息的操作可包括：将多个图像发送到外部装置；接收关于多个图像中至少一个图像的选择信息和应用信息，提供服务/功能的操作可包括：执行/激活与应用信息相应的应用；通过应用来显示/播放与选择信息相应的图像。
根据各种实施例，提供服务/功能的操作可包括：执行/激活应用；通过应用来显示/播放至少一个组中的图像。
根据各种实施例，提供服务/功能的操作可包括：将多个图像中的至少一个图像或关于多个图像中的至少一个图像的信息发送到外部装置；从外部装置接收消息；以及显示消息。
根据各种实施例，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库来选择与每个组中的至少一个图像关联的信息的至少一个文本元素；显示包括所述选择的至少一个文本元素的图形元素或者将图形元素发送到外部装置。
根据各种实施例，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库来选择与每个组中的至少一个图像关联的信息至少一个文本元素；以及执行与至少一个选择的文本元素关联的应用。
根据各种实施例，提供服务/功能的操作可包括：显示至少一个组中的至少一个图像以及至少部分地基于与至少一个图像关联的信息所产生的图形元素；接收针对图形元素的响应。
根据各种实施例，提供服务/功能的操作可包括：显示至少一个组中的至少一个图像以及至少部分地基于与至少一个图像关联的信息所产生的图形元素；接收针对图形元素的响应；显示与至少一个图像关联的信息与响应的比较结果。
根据各种实施例，提供服务/功能的操作可包括：显示多个组中的代表性图像；检测对多个组中的一个代表性图像的选择；响应于检测选择，显示代表性图像所属于的组中的图像。
根据各种实施例，提供服务/功能的操作可包括：显示至少一个组中的至少一个图像和至少部分地基于图像的拍摄的位置/地点/时间所产生的图形元素。
根据各种实施例，提供服务/功能的操作可包括：执行日程应用；在日程应用的屏幕上按时间顺序来对至少一个组中的图像进行排序和显示。
图5是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图。电子设备(例如，电子设备101、电子设备201和电子设备401)的提供与图像关联的服务的方法可包括操作510至操作540。电子设备的提供与图像关联的服务的方法可由电子设备或电子设备的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个执行。
参照图5，在操作510中，电子设备可执行获取多个图像。
在实施例中，电子设备可使用功能性地连接到电子设备的相机(例如，相机模块291、相机490)来获取主体的多个图像。
在实施例中，电子设备可在拍摄多个图像时/期间在功能性地连接到电子设备的显示器(例如，显示器160、显示器260和显示器460)上或者显示器的第一区域(或者，第一屏幕区域或第一窗口)上实时地显示多个图像。
在实施例中，可根据对来自用户拍摄指令的接收或根据功能性地连接到电子设备的存储器(例如，存储器130、存储器230和存储器430)中存储的配置信息，自动地开始多个图像的拍摄。
在实施例中，可根据对来自用户的拍摄指令的结束的接收或根据存储器中存储的配置信息来自动地执行对多个图像的拍摄的结束。例如，电子设备可通过输入装置(例如，输入装置250、显示器160、显示器260、显示器460、麦克风288、传感器模块240、传感器440中的至少一个)来接收拍摄指令和/或拍摄指令的结束。
在实施例中，可根据存储器中存储的周期/时间间隔信息自动地和周期性地开始多个图像的拍摄。
在实施例中，电子设备可从存储器读取多个图像。
在实施例中，电子设备可通过功能性地连接到电子设备的通信模块(例如，通信模块170、通信模块220和通信模块420)从外部设备(例如，外部电子设备102、外部电子设备104、服务器106等)接收多个图像。
在实施例中，获取多个图像的操作可包括：获取表示电子设备的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息；至少部分地基于情况信息与预配置的条件的比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，情况信息可包括以下信息中的至少一个信息：关于电子设备或用户的运动/状态的信息、关于主体的信息、关于图像的质量的信息、关于图像的场景或主体的识别信息、针对图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备的位置/地点的信息或环境声。
在实施例中，获取多个图像的操作可包括：检测表示电子设备或用户的运动的值；将表示电子设备或用户的运动的值与预配置的条件进行比较(例如，高于/低于阈值)；至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：计算表示图像的质量的值；将表示图像的质量的值与预配置的条件进行比较(例如，高于/低于阈值)；至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：识别图像的场景或主体；将关于场景或主体的信息与预配置的条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超过阈值)；至少部分地基于比较结果(例如，匹配，匹配精确度大于阈值)来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：检测表示电子设备和用户的运动的值，执行计算表示图像的质量的值和识别图像的场景或主体中的至少一个操作，将表示电子设备和用户的运动的值、表示图像的质量的值和关于场景或主体的识别信息中的至少一个与预配置的条件中的至少一个进行比较，以及至少部分地基于比较结果来开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：将表示电子设备或用户的运动的值与预配置的第一条件进行比较(例如，高于/低于阈值)，当表示运动的值满足与配置的第一条件(例如，低于阈值)时，将关于图像的场景或主体的识别信息与预配置的第二条件进行比较(例如，与电子设备中的预配置的信息的匹配精确度是否超出阈值)，当关于场景或主体的识别信息满足预配置的第二条件(例如，匹配，匹配精确度大于阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：将表示图像的质量的值与预配置的第一条件进行比较(例如，高于/低于阈值)，当表示图像的质量的值满足预配置的第一条件(例如，高于阈值)时，将关于图像的场景或主体的识别信息与预配置的第二条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超出阈值)，以及当关于场景或对象的识别信息满足预配置的第二条件(例如，匹配，匹配精确度高于阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：将表示电子设备或用户的运动的值与预配置的第一条件进行比较(例如，高于/低于阈值)，当表示运动的值满足预配置的第一条件(例如，低于阈值)时，将表示图像的质量的值与预配置的第二条件进行比较(例如，高于/低于阈值)；当表示图像的质量的值满足预配置的第二条件(例如，高于阈值)时，将关于图像的场景或主体的识别信息与预配置的第三条件进行比较(例如，与电子设备中预配置的信息的匹配精确度是否超出阈值)；当关于场景或主体的识别信息满足预配置的第三条件(例如，匹配，匹配精确度超出阈值)时，拍摄/获取图像或缩短图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：检测表示电子设备或用户的运动的值，执行计算表示图像的质量的值和识别图像的场景或主体中的至少一项操作，将表示运动的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个与电子设备中预配置的条件中的至少一个进行比较，当表示运动的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个不满足电子设备中预配置的条件中的至少一个时，停止/推迟图像的拍摄/获取或增加图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：检测表示电子设备或用户的状态的值，执行计算表示图像的质量的值和识别图像的场景或主体中的至少一项操作，将表示状态的值、表示图像质量的值和关于场景或主体的识别信息中的至少一个与电子设备中预配置的条件中的至少一个进行比较，至少部分地基于比较结果激活/停用电子设备的组件中的至少一个组件。
在实施例中，获取多个图像的操作可包括以下操作中的至少一个操作：从外部装置接收多个图像，通过使用电子设备的相机进行拍摄来获取多个图像，和读取电子设备的存储器中存储的多个图像。
在实施例中，获取多个图像的操作可包括：检测进入功能性地连接到电子设备的相机的视角的主体或进入视角内的预配置的区域的主体，响应于对主体的检测，开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在实施例中，获取多个图像的操作可包括：通过功能性地连接到电子设备的相机来检测具有比预配置的尺寸更大的尺寸的主体，响应于对主体的检测，开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。
在操作520中，电子设备可执行获取与多个图像中的至少一个图像关联的信息。
在实施例中，与多个图像中的至少一个图像关联的信息可包括：表示电子设备的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息、关于对于多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息，从外部装置接收的信息，用户输入信息或使用外部网络的发现的信息。
在实施例中，情况信息可包括以下信息中的至少一个信息：关于电子设备或用户的运动/状态的信息、关于主体的信息、于图像的质量的信息、关于图像的场景或主体的识别信息、关于特定场景分类/特定主体的类型/对特定主体的拍摄次数/时间/频率的信息、对于图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备的位置/地点的信息、或环境声。
在实施例中，识别信息可包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像中包括的文本的信息、图像的颜色/饱和度/光度/亮度信息。
在实施例中，电子设备可基于存储器中存储的第一数据库(例如，图像相关信息数据库432)和/或第二数据库(例如，目标数据库434)来识别图像中包括的信息。
在实施例中，电子设备可将图像和/或与图像关联的信息发送到第一外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)，并可从第一外部电子设备或第二外部电子设备接收图像的识别信息。
在实施例中，电子设备可通过传感器(例如，传感器440、传感器模块240、触摸面板252、GNSS模块227、麦克风288中的至少一个)检测表示图像的拍摄情况/条件的情况信息(例如，拍摄时间、拍摄位置/地点、在拍摄时/期间的环境声中的至少一个)。
在实施例中，电子设备可通过传感器或显示器检测与图像关联的用户输入信息(例如，关于图像的标题、标签、备忘录的至少一个选择信息)。
在实施例中，电子设备可通过相机或存储器检测在拍摄图像时/期间相机490的配置信息。
在实施例中，配置信息可包括以下信息中的至少一个信息：关于拍摄的开始/结束/全部时间的信息、拍摄模式信息(例如，夜晚模式、肖像模式、室内模式、脸部识别模式、全景模式中的至少一个)、关于感兴趣周期/区域/点的信息以及关于拍摄速度(或帧率)的信息。
在实施例中，获取与多个图像中的至少一个图像关联的信息的操作可包括：将多个图像发送到外部装置；以及接收对于多个图像中的至少一个图像的选择信息。
在操作530中，电子设备可执行：至少部分地基于与多个图像中的至少一个图像关联的信息来将多个图像中的至少一些图像分类到至少一个组。
在实施例中，电子设备可根据针对每个图像的场景或主体所识别的事件的类型将多个图像中的至少一些图像分类到至少一个组。例如，事件的类型可包括以下项中的至少一项：日程应用上的日程/事件、早餐、运动、体育活动、户外/室内婚礼拍摄、散步、午餐、看电视、晚餐、洗、睡觉、休闲活动、与朋友会面/交谈、与新的人会面/交谈、走访已知的地方/新的地方等。
在实施例中，电子设备可基于针对每个图像的场景或主体所识别的主体的类型/识别信息将多个图像中的至少一些图像分类到至少一个组。
例如，电子设备可将多个图像中的与食物关联的图像分类到一个组。
例如，电子设备可将多个图像中的包括第一用户(或身体的一部分)的图像分类到第一组，并将多个图像中的包括第二用户(或身体的一部分)的图像分类到第二组。
例如，电子设备可根据对于多个图像中的至少一个图像的显示/播放的次数/时间/频率，将多个图像中的至少一些图像分类到一个组。例如，电子设备可将多个图像中的包括相同/相同类型的主体的图像分类到一个组，其中，该主体是包括在具有相对高的或高于阈值的显示/播放的次数/时间/频率的图像中的主体。
在实施例中，电子设备可根据关于特定场景分类/特定主体的类型/对特定主体的拍摄次数/时间/频率的信息，将多个图像中的至少一些图像分类到一个组。例如，电子设备可将多个图像中的包括具有相对高的或高于阈值的拍摄次数/时间/频率的主体和/或场景的图像分类到一个组。
在操作540中，电子设备可至少部分地基于关于图像的分类的信息执行提供服务/功能的操作。
在实施例中，提供服务/功能的操作可包括：为至少一个组中的每个组选择至少一个代表性图像；以及显示/播放至少一个代表性图像。
在实施例中，提供服务/功能的操作可包括：至少部分地基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量/量/尺寸、与每个组相应的事件的类型或用户输入中的至少一个，为每个组选择至少一个代表性图像，以及显示/播放至少一个代表性图像。
在实施例中，提供服务/功能的操作可包括：至少部分地基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量/量/尺寸、与每个组相应的事件的类型中的至少一个，为每个组选择至少一个代表性图像，以及显示/播放至少一个代表性图像，其中，可至少部分地(例如，成比例地)基于每个组中的图像的总拍摄时间、全部图像的数量/量/尺寸或与每个组相应的事件的类型中的至少一个，确定每个组中的全部代表性图像的数量/量/尺寸、显示/播放时间或显示/播放速度中的至少一个。
在实施例中，提供服务/功能的操作可包括：为至少一个组选择至少一个代表性图像，以及显示/播放至少一个代表性图像，其中，至少一个代表性图像可以是从每个组中的全部图像中按预配置的时间间隔所选择的图像或者是每个组中的全部图像中的与相邻图像具有很大差别的图像。
在实施例中，提供服务/功能的操作可包括：响应于用户输入顺序地播放至少一个组中的图像，其中，可至少部分地基于每个组中的图像的总拍摄时间、每个组中的一个或更多个(或所有)图像的数量/量/尺寸、与每个组相应的事件的类型或用户输入中的至少一个，确定每个组中的图像的数量/量/尺寸、显示/播放时间或显示/播放速度。
在实施例中，提供服务/功能的操作可包括：至少部分地基于与每个组相应的事件的类型将表示优先级(或优先级顺序)的值分配到多个组中的每个组。例如，对于正常的老年人，可对不寻常的事件(以及与该事件相应的组)(诸如与新的人会面/交谈、走访已知的/新的地方等等)分配比寻常的事件(例如，吃饭/睡觉)相对更高的优选级。例如，对于患有糖尿病的老年人，可将相对高的优先级分配给吃饭事件。例如，对于患有老年痴呆症的老年人或经常无法认出人的老年人，可将相对高的优先级分配给与人脸检测相关的事件(诸如与朋友或新的人会面/交谈)。
例如，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的全部代表性图像的数量/量/尺寸或显示/播放时间中的至少一个变得大于(或变得长于)具有相对低的优先级的第二组中的全部代表性图像的数量/量/尺寸或显示/播放时间中的至少一个。例如，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的全部代表性图像的显示/播放速度变得低于(或变得慢于)具有相对低的优先级的第二组中的全部代表性图像的显示/播放速度。
例如，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的图像的数量/量/尺寸或显示/播放时间变得大于(或变得长于)具有相对低的优先级的第二组中的图像的数量/量/尺寸或显示/播放时间。例如，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的图像的显示/播放速度变得低于(或变得慢于)具有相对低的优先级的第二组中的图像的显示/播放速度。
在实施例中，提供服务/功能的操作可包括：至少部分地基于与每个组中的至少一个图像关联的信息来配置事件的类型或每个组的标题。
在实施例中，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库将与每个组中的至少一个图像关联的信息的文本元素进行组合，将文本元素的组合存储为关于每个组的信息或关于每个组中的图像的信息。
在实施例中，获取与多个图像中的至少一个图像关联的信息的操作可包括：将多个图像发送到外部装置，接收关于多个图像中的至少一个图像的选择信息和应用信息，提供服务/功能的操作可包括：执行/激活与应用信息相应的应用，通过应用来显示/播放与选择信息相应的图像。
在实施例中，提供服务/功能的操作可包括：执行/激活应用，通过应用来显示/播放至少一个组中的图像。
在实施例中，提供服务/功能的操作可包括：将多个图像中的至少一个图像或关于多个图像中的至少一个图像的信息发送到外部装置，从外部装置接收消息，以及显示消息。
在实施例中，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库来选择与每个组中的至少一个图像关联的信息的至少一个文本元素，显示包括所述选择的至少一个文本元素的图形元素(例如，文本、图像)或将图形元素发送到外部装置。
在实施例中，提供服务/功能的操作可包括：基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库来选择与每个组中的至少一个图像关联的信息至少一个文本元素，以及执行与至少一个选择的文本元素关联的应用。
在实施例中，提供服务/功能的操作可包括：显示至少一个组中的至少一个图像以及至少部分地基于与至少一个图像关联的信息所产生的图形元素，接收针对图形元素的响应，显示与至少一个图像关联的信息与响应的比较结果。
在实施例中，提供服务/功能的操作可包括：显示多个组中的代表性图像，检测对多个组中的一个代表性图像的选择，响应于对选择的检测，显示代表性图像所属于的组中的图像。
在实施例中，提供服务/功能的操作可包括：显示至少一个组中的至少一个图像和至少部分地基于图像的拍摄的位置/地点/时间所产生的图形元素。
在实施例中，提供服务/功能的操作可包括：执行日程应用，在日程应用的屏幕上按时间顺序来对至少一个组中的图像进行排序和显示。
在实施例中，提供服务/功能的操作可包括：根据用户的症状水平，通过自动地调整图像选择参考、图像的数量、间隔等来显示图像。
图6是示出根据本公开的实施例的电子设备的获取图像的方法的流程图，图7a和图7b是示出根据本公开的实施例的电子设备的获取图像的方法的示图。电子设备(例如，电子设备101、电子设备201和电子设备401)的获取图像的方法可包括操作610至操作660。可由电子设备或者电子设备的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个执行电子设备的获取图像的方法。
参照图6，在操作610中，电子设备可执行：获取/拍摄至少一个图像的操作。
例如，至少一个图像可以是：通过使用功能性地连接到电子设备的相机(例如，相机模块291、相机490)获取的主体的预览图像(实时预览图像)，或者功能性地连接到电子设备的存储器(例如，存储器130、存储器230或存储器430)中存储的根据周期/时间间隔信息所周期性地/连续地拍摄的/记录的图像。预览图像可具有比拍摄的/记录的图像相对较低的分辨率(或更少的像素的数量)和/或更小的尺寸。拍摄的/记录的图像可永久地存储在存储器中，直到被用户删除或由于存储器的机械错误而被损坏。预览图像可不永久地存储在存储器中，并可被临时地存储以用于在功能性地连接到电子设备的显示器(例如，显示器160、显示器260和显示器460)上显示，然后被自动地删除。
在实施例中，拍摄的/记录的图像可由电子设备周期性地/非周期性地(例如，当电子设备拍摄/记录了新的图像时)发送到外部服务器(诸如云服务器、webhard服务器等)并由外部服务器存储。可选地，电子设备可从外部服务器(诸如云服务器、webhard服务器等)周期性地/非周期性地(例如，当电子设备拍摄/记录了新的图像时)接收拍摄的/记录的图像。
在实施例中，对多个图像中的至少一个图像的拍摄/记录可根据对来自用户的拍摄指令的接收或存储器中存储的配置信息自动地开始。例如，电子设备可通过输入装置(例如，输入装置250、显示器160、显示器260、显示器460、麦克风288、传感器模块240、传感器440中的至少一个)接收拍摄指令。
在实施例中，电子设备可以在拍摄至少一个图像时/期间，在功能性地连接到电子设备的显示器(例如，显示器160、显示器260和显示器460)上或在显示器的第一区域(或者，第一场景区域或第一窗口)上实时显示至少一个图像。
在操作620中，电子设备可将表示电子设备或用户的运动的值(即，运动值)与预配置的第一条件进行比较(例如，高于/低于第一阈值(TH1))。如果运动值满足第一条件(例如，在运动值等于或小于第一阈值TH1的情况下)，则电子设备可执行操作630，如果运动值不满足第一条件(例如，在运动值超过第一阈值TH1的情况下)，则电子设备可执行操作660或可以以规律的间隔重复操作610。
在实施例中，电子设备可使用电子设备的传感器(例如，传感器440、传感器模块240、加速度传感器240E、陀螺仪传感器240B、GNSS模块227、GPS模块、生物测量模块240I中的至少一个)来获取表示电子设备或用户的运动(例如，旋转、移位、加速或振动)的值。
在实施例中，电子设备可获取表示至少一个图像中的主体的运动的值，作为表示电子设备或用户的运动的值。
在实施例中，电子设备可从至少一个图像中的主体中选择不可移动的对象(例如，建筑、马路、桥梁等)。电子设备可获取表示至少一个图像中的不可移动的对象的运动的值，作为表示电子设备或用户的运动的值。
在实施例中，电子设备可基于从至少一个图像中选择的参考图像来估计其他图像的全局运动。例如，这样的全局运动可意味着全部主体的运动，这主要是由相机移动(诸如相机移位、旋转等)引起的。局部运动可指一些主体的运动或者主体的一部分的运动。此外，运动的估计可指搜索运动矢量或矩阵。
在实施例中，电子设备可将使用生物测量传感器(例如，生物测量传感器240I)检测到的生物测量信息值(例如，心率)与预配置的第一条件进行比较(例如，高于/低于第一阈值TH1)。
例如，电子设备可通过使用生物测量传感器来检测生物测量信息值(诸如脉搏、心率、血氧饱和度、血液流动等)。例如，电子设备可使用生物测量传感器来检测健康信息、疾病信息、运动信息、活动信息和睡眠信息中的至少一个。
生物测量传感器可采集用于测量用户的血压、血流量、心率、体温、呼吸速率、血氧饱和度、心音检测、血糖、腰围、身高、体重、体脂、卡路里消耗、脑电波、声音、皮肤电阻、肌电图、心电图、脚步、超声图像、睡眠状态、面部表情(面部)、瞳孔放大或眼睛闪烁中的一个或更多个的原始数据。
在实施例中，电子设备可分析生物测量信号以产生生物测量信息(或称为“生物特征信息”)。例如，通过心率变异性(HRV)传感器获得的脉搏波信号可以是生物测量信号。该电子设备可对生物测量信号进行分析以获得主要的生物测量信息(诸如平均心率或心率分布)，并可对生物测量信息进行处理以获得次级生物测量信息(诸如更高水平的压力或血管老化程度)。在实施例中，生物测量传感器可仅输出采集到的用户生物测量信号，或者可通过嵌入的处理器对生物测量信号进行分析以输出生物测量信息。因此，通过生物测量传感器采集到的生物测量信号被传送至生物测量传感器中的处理器、嵌入了所述生物测量传感器的电子设备的处理器或外部装置(例如，服务器106或第二外部电子设备104)的处理器以用于产生生物测量信息。
在实施例中，电子设备可获取以下值的全部或以下值的平均值：表示至少一个图像中的主体的运动的值和表示使用传感器检测到的运动的值之一或者运算值，作为表示电子设备或用户的运动的值。
在实施例中，电子设备可在预配置的时间(例如，1秒-3秒)内将表示电子设备或用户的运动的值与第一阈值TH1比较。如果在预配置的时间内表示电子设备或用户的运动的值等于或小于第一阈值TH1，则电子设备可确定第一条件被满足。表示电子设备或用户的运动的值可以以规律的间隔输入至电子设备。
在实施例中，电子设备可从当表示电子设备或用户的运动的第一值变得等于或小于第一阈值TH1时开始，在预配置的时间内确定在第一值之后的表示电子设备或用户的运动的第二值是否保持在第一阈值TH1之下。如果在预配置的时间内表示电子设备或用户的运动的值中的至少一个值超出第一阈值TH1，则电子设备可确定第一条件没被满足。如果确定了第一条件没被满足，则电子设备可确定随后输入的表示电子设备或用户的运动的值是否在预配置的时间内保持在第一阈值TH1之下。
在实施例中，如果表示至少一个图像中的主体的运动的值和表示使用传感器检测到的运动的值之一或者运算值的所有值或平均值在预配置的时间内保持在预配置的阈值(或第一类型的阈值)之下，则电子设备可确定第一条件被满足。
在操作630中，电子设备可执行：将表示至少一个图像的质量的值(例如，质量值)与预配置的第二条件进行比较(例如，高于/低于第二阈值TH2)。当质量值满足第二条件时(例如，当质量值等于或大于第二阈值TH2时)，电子设备可执行操作640，当质量值不满足第二条件时(例如，当质量值低于第二阈值TH2时)，电子设备可执行操作660或可以以规律的间隔重复操作610。
在实施例中，质量值可包括以下值中的至少一个值：表示图像的模糊的值(即，模糊值)、表示锐利度的值(即，锐利度值)、表示聚焦程度的值、表示运动的值、表示镜头布局的值以及表示漏光的值。
在实施例中，电子设备可选择多个图像中的一个图像作为参考图像，并将其余的图像与选择的参考图像进行比较，以计算与多个图像中的其余的图像相关的锐利度值或模糊值。例如，电子设备可选择多个图像中的第一图像作为参考图像。例如，电子设备可产生与参考图像不同的图像的差分图像，并可将差分图像中的主体的边缘部分的厚度确定为模糊值。差分图像可以是具有通过从参考图像的像素值(即，某一位置的像素值)减去其他图像中的相同位置的像素值所获得的值的图像。
在实施例中，电子设备可针对至少一个图像中的每个图像计算锐利度值或模糊值。例如，电子设备可将每个图像中的主体的边缘部分的厚度确定为模糊值。
在实施例中，电子设备可在将至少一个图像的尺寸调整为更大的尺寸后，针对每个尺寸被调整的图像计算锐利度值或模糊值。
在实施例中，电子设备可在预配置的时间段(例如，1秒至3秒)内将质量值与第二阈值TH2比较。当在预配置的时间段内质量值等于或大于第二阈值TH2，则电子设备可确定第二条件被满足。电子设备可以以规律的间隔计算质量值。
在操作640中，电子设备可将针对至少一个图像的场景或主体的识别信息与预配置的第三条件进行比较(例如，与先前在电子设备中配置的/注册的信息的匹配精确度是否不小于第三阈值(例如，80％至100％))。当识别信息满足第三条件时(例如，在识别信息与配置信息之间的匹配精确度不小于第三阈值的情况下)，电子设备可执行操作650，并且当识别信息不满足第三条件时(例如，在识别信息与配置信息之间的匹配精确度小于第三阈值的情况下)，可执行操作660或以规律的间隔重复操作610。
在实施例中，电子设备可识别图像中包括的信息(例如，场景分类、主图)。例如，电子设备可基于目标数据库(例如，目标数据库434)识别图像中包括的信息。
在实施例中，电子设备可向第一外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)发送图像和/或与图像关联的信息，并可从第一外部设备或第二外部设备接收图像的识别信息。
在实施例中，存储器(例如，存储器130、存储器230和存储器430)中存储的配置/注册信息可包括主体类型、场景/地点分类/类型、注册的用户图像/特征信息以及对象的注册的图像/特征信息中的至少一个。
在实施例中，电子设备可将主体类型、场景/地点分类/类型、注册的用户图像/特征信息以及对象的注册的图像/特征信息中的至少一个和与注册的主体类型、注册的场景/地点分类/类型、注册的用户图像/特征信息以及注册的对象的图像/特征信息相应的至少一个进行比较。例如，如果识别信息与配置信息之间的匹配精确度不小于预配置的第三阈值，则电子设备可确定第三条件被满足。
在实施例中，电子设备可识别出图像中的有意义的背景/建筑或图像中的人的有意义的行为/姿势。例如，当识别出图像中的有意义的背景/建筑时，电子设备可使用位置信息(例如，通过GNSS模块227或GPS模块获得的位置信息)中的至少一个或通过使用外部网络来搜索信息。
在操作650中，电子设备可执行开始图像的拍摄/获取或缩短图像的拍摄/获取间隔的第一拍摄控制操作。
参照图7a，当第一条件至第三条件被满足时，电子设备可缩短图像的拍摄/获取时间点710的间隔(例如，配置/改变为1秒的周期)。
在操作660中，电子设备可执行停止/推迟图像的拍摄/获取或增加图像的拍摄/获取间隔的第二拍摄控制操作。
参照图7b，当第一条件至第三条件中的至少一个没有被满足时，电子设备可增加图像的拍摄/获取时间点710的间隔(例如，配置/改变为30秒的周期)。
在实施例中，可省略操作660。
在实施例中，可在操作620之后或者在操作620与操作630之间执行操作610。
在实施例中，可省略操作620、操作630和操作640中的至少一个操作，并可任意配置操作620、操作630和操作640的顺序。
在实施例中，电子设备可至少部分地基于第一条件至第三条件中的至少一个的满足/不满足来激活/停用电子设备的至少一个组件。
在实施例中，可在操作620之后执行操作610，并且如果第一条件被满足，则电子设备可激活相机、ISP、显示器或处理器的非活动状态(或睡眠模式)的至少一个(或改变为正常模式)或可缩短激活/停用周期。如果第一条件没有被满足，则电子设备可停用相机、ISP、显示器或处理器的活动状态的至少一个或可增加激活/停用周期。
在实施例中，可在操作630或操作640之后执行操作620，并且如果第二条件和/或第三条件被满足，则电子设备可将处于非活动状态的传感器激活或缩短激活/停用周期。如果第二条件和/或第三条件没有被满足，则电子设备可将处于活动状态的传感器停用或可延长激活/停用周期。
在实施例中，如果第一条件至第三条件被满足，则电子设备可将处于非活动状态的显示器激活。如果第一条件至第三条件中的至少一个没有被满足，则电子设备可将处于活动状态的显示器停用。
例如，在睡眠模式下或非活动状态下，相应装置可处于无法执行其在正常模式或活动状态时可被执行的功能的至少一部分功能的状态下。
例如，在正常模式或活动状态下，相机可处于开机/显示状态、产生和/或显示预览图像的状态或能够拍摄图像的状态。在睡眠模式或非活动状态下，相机可处于关机/不显示状态、不产生或显示预览图像的状态或不能拍摄图像的状态。
例如，在正常模式或活动状态下，显示器可处于开机/显示状态。在睡眠或非活动状态下，显示器可处于关机/不显示状态。
图8a、图8b和图8c是示出根据本公开的实施例的电子设备的选择代表性图像的方法的示图。可通过电子设备、电子设备的控制单元和处理器(例如，处理器120、处理器210和处理器410)中的至少一个执行电子设备(例如，电子设备102、电子设备201和电子设备401)的选择代表性图像的方法。
参照图8a，电子设备可获取/拍摄多个图像810。
参照图8b，电子设备可至少部分地基于针对图像的场景或主体所识别的事件的类型将多个图像810分类为与第一事件类型相应的第一组820的图像和与第二事件类型相应的第二组830的图像。
参照图8c，电子设备可至少部分地基于每个组中的图像的总拍摄时间、每个组中的一个或更多个(或全部)图像的数量/量/尺寸或与每个组相应的事件的类型中的至少一个，为每个组选择至少一个代表性图像。可至少部分(例如，成比例地)地基于每个组中的图像的总拍摄时间、一个或更多个(全部)图像的数量/量/尺寸或与每个组相应的事件的类型中的至少一个，确定每个组的一个或更多个(或全部)代表性图像的数量/量/尺寸、显示/播放时间或显示/播放速度中的至少一个。
例如，电子设备可将第一组820的代表性图像822的数量配置为4，以便与第一组820的图像的总拍摄时间(例如，两小时)成比例。电子设备可将第二组830的代表性图像832的数量配置为2，以便与第二组830的图像的总拍摄时间(例如，一小时)成比例。
在实施例中，电子设备可以以预配置的时间间隔在各组的图像中选择/采样代表性图像。
在实施例中，电子设备可在每个组的图像中选择/采样与相邻的图像具有较大差异的图像作为代表性图像。
在实施例中，电子设备可至少部分地基于与每个组相应的事件的类型将表示优先级(或优先级顺序)的值分配给多个组中的每个组。
在实施例中，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的全部代表性图像的数量/量/尺寸或显示/播放时间中的至少一个大于(或长于)具有相对较低的优先级的第二组中的全部代表性图像的数量/量/尺寸或显示/播放时间中的至少一个。
例如，电子设备可将比被分配给第二组830的优先级更高的优先级分配给第一组820，并根据第一组820和第二组830的优先级将第一组820的代表性图像822的数量配置为4，并将第二组830的代表性图像832的数量配置为2。
图9a、图9b和图9c是示出根据本公开的实施例的电子设备的显示/播放图像的方法的示图。可由电子设备的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个来执行电子设备(例如，电子设备101、电子设备201和电子设备401)的显示/播放图像的方法。
参照图9a，电子设备可获取/拍摄多个图像910。
参照图9b，电子设备可至少部分地基于针对图像的场景或主体所识别的事件的类型将多个图像910分类为与第一事件类型相应的第一组920的图像和与第二事件类型相应的第二组930的图像。
参照图9c，电子设备可至少部分地基于每个组的图像的总拍摄时间、每个组中的一个或更多个(全部)图像的数量/量/尺寸或与每个组相应的事件的类型中的至少一个来确定每个组的图像的数量/量/尺寸、显示/播放的时间/速度。
例如，电子设备可将第一组920的图像922的播放时间配置为2秒，以便与第一组920的图像的总拍摄时间(例如，两小时)成比例。电子设备可将第二组930的图像932的播放时间配置为1秒，以便与第二组930的图像的总拍摄时间(例如，一小时)成比例。
例如，电子设备可将第一组920的图像922的播放速度配置为与第一组920的图像的总拍摄时间(例如，两小时)成反比的一倍速度(1x)。电子设备可将第二组930的图像932的播放速度配置为与第二组930的图像的总拍摄时间(例如，一小时)成反比的两倍速度(2x)。
在实施例中，电子设备可至少部分地基于用于配置多个图像910的总播放时间和每个组的图像的总拍摄时间的用户输入来确定每个组的图像的数量/量/尺寸、显示/播放的时间/播放速度。
例如，电子设备可至少部分地基于多个图像910的总播放时间(例如，一分钟)和第一组920的图像922的总拍摄时间(例如，两小时)，将第一组920的图像922的播放时间配置为40秒。电子设备可将第二组930的图像932的播放时间配置为20秒以与多个图像910的总播放时间(例如，一分钟)以及第二组930的图像932的总拍摄时间(例如，一小时)成比例。
例如，电子设备可至少部分地基于多个图像910的总播放时间(例如，一分钟)和第一组920的图像922的总拍摄时间(例如，两小时)，将第一组920的图像922的播放速度配置为两倍速度(2x)。电子设备可至少部分地基于第二组930的图像932的总拍摄时间(例如，一小时)，将第二组930的图像932的播放速度配置为4x。
在实施例中，电子设备可至少部分地基于与每个组相应的事件的类型将表示优先级(或优先级顺序)的值分配给多个组中的每个组。
在实施例中，电子设备可基于分配给每个组的优先级进行配置，使得具有相对高的优先级的第一组中的图像的数量/量/尺寸、显示/播放的时间大于(或长于)具有相对较低的优先级的第二组中的图像的数量/量/尺寸、显示/播放的时间。
例如，电子设备可将比被分配给第二组930的优先级更高的优先级分配给第一组920，并根据第一组920和第二组930的优先级将第一组920的图像922的播放时间配置为2秒，并将第二组930的图像932的播放时间设置为1秒。
例如，电子设备可将比被分配给第二组930的优先级更高的优先级分配给第一组920，并根据第一组920和第二组930的优先级将第一组920的图像922的播放速度配置为一倍速度(1x)，并将第二组930的图像932的播放速度配置为两倍速度(2x)。
图10是示出根据本公开的实施例的电子设备的获取与图像关联的信息的方法的流程图。电子设备1001(例如，电子设备101、电子设备201、电子设备401)的获取与图像关联的信息的方法可包括操作1010至操作1035。可由电子设备1001的控制单元或处理器(例如，处理器120、处理器210、处理器410)中的至少一个来执行电子设备1001的获取与图像关联的信息的方法。
参照图10，在操作1010中，电子设备1001可通过功能性地连接到电子设备1001的通信模块(例如，通信模块170、通信模块220、通信模块420)将多个图像发送到服务器1002(例如，服务器106)。例如，服务器1002可以是云服务器，并且电子设备1001可以周期性地获取/拍摄图像并且将图像周期性地发送到服务器1002。
在实施例中，可通过相机装置将多个图像发送到服务器1002。例如，相机装置可附着到用户(例如，患者)的身体，可周期性地拍摄图像，并可将拍摄的图像发送到服务器1002。
在操作1015中，外部设备1003(例如，第一外部电子设备102、第二外部电子设备104)可接收服务器1002中存储的多个图像。
在操作1020中，外部设备1003可根据用户的数据发送选择信息。
在实施例中，选择信息可包括关于多个图像中的至少一个图像的选择信息(即，图像选择信息)，或可包括图像选择信息和应用信息(或应用选择信息)。
例如，外部设备1003的第二用户(例如，患者的孙子)可在多个图像中选择将向第一用户显示的至少一个图像。
在操作1025中，电子设备1001可通过通信模块(例如，通信模块170、通信模块220和通信模块420)从服务器1002接收选择信息。
在操作1030中，电子设备1001可将与多个图像中与选择信息相应的图像分类为多个组，并可选择并执行/激活显示多个组的图像的应用(例如，记忆游戏)。应用的激活表示被选择用于接收用户输入的状态。
在实施例中，可由用于显示多个组的图像的应用执行组分类。
在实施例中，电子设备1001可执行/激活与应用信息相应的应用。
在操作1035中，电子设备1001可在应用(或应用屏幕)上选择性地/顺序地/同时地显示多个组的图像。
在实施例中，电子设备1001可选择性地/顺序地/同时地将多个组的图像发送到显示装置(例如TV、智能电话、虚拟现实(VR)装置、增强现实(AR)装置、智能眼镜、智能手表、头戴式显示器(HMD))。
在实施例中，电子设备1001可将应用信息与多个组的图像一起发送到显示装置，或者单独地发送到显示装置。例如，显示装置可执行/激活与应用信息相应的应用，并可在应用(或应用屏幕)上选择性地/顺序地/同时地显示多个组的图像。
在实施例中，电子设备1001可通过镜像将多个组的图像(和应用屏幕)发送到显示装置。例如，电子设备1001可将正在电子设备1001的显示器(例如，显示器160、显示器260和显示器460)上显示的屏幕的至少一部分或与所述屏幕的至少一部分相应的屏幕数据发送到显示装置。电子设备1001可将屏幕数据实时地发送到显示装置。以这种方式，镜像可意味着通过显示装置实时地接收并显示正在电子设备1001的显示器上显示的屏幕的至少一部分。
在实施例中，电子设备1001可使用从显示装置接收的装置信息(诸如显示装置的尺寸、宽高比(水平尺寸和垂直尺寸的比例)、分辨率和图像质量)对显示器上显示的屏幕的至少一部分或与屏幕的至少一部分相应的屏幕数据进行转换，并可将经过转换的屏幕数据发送到显示装置。可选地，可在显示装置中执行屏幕数据的这种转换。此时，屏幕是指显示器上显示的可视的图像，屏幕数据是指能够构成屏幕的任意数据。这样的屏幕数据可以是图像数据、文本数据、应用数据等。可选地，屏幕数据可以是正在显示器上显示的屏幕的光栅图像或位图图像。
图11是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图，图12和图13是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图。
参照图11，电子设备1101(例如，电子设备101、电子设备201和电子设备401)的提供与图像关联的服务的方法可包括操作1110至操作1140。可由电子设备1101或者电子设备1101的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个来执行电子设备1101的提供与图像关联的服务的方法。
在操作1110中，电子设备1101可通过功能性地连接到电子设备1101的通信模块(例如，通信模块170、通信模块220和通信模块420)从第一外部设备(例如，第一外部电子设备102、第二外部电子设备104)接收多个图像。
例如，第一外部设备1102可以是附着到用户的身体的相机装置，并可周期性地拍摄图像并将拍摄的图像周期性地发送到电子设备1101。
在操作1120中，电子设备1101可以执行获取与多个图像中的至少一个图像关联的信息的操作。
在实施例中，与多个图像中的至少一个图像关联的信息可包括：表示电子设备1101的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息，关于多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息，从外部装置接收的信息，用户输入信息，或使用外部网络发现的信息。
在实施例中，情况信息可包括：关于电子设备1101或用户的运动/状态的信息、关于主体的信息、关于图像的质量的信息、关于图像的场景或主体的识别信息、关于特定场景分类、特定主体的类型、对特定主体的拍摄次数/时间/频率的信息、针对图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备1101的位置/地点的信息、和环境声。
在实施例中，识别信息可包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像包括的文本的信息、图像的颜色/饱和度/光度/亮度信息。
在实施例中，电子设备1101可基于功能性地连接到电子设备的存储器(例如，存储器130、存储器230和存储器430)中存储的第一数据库(例如，图像相关信息数据库432)和/或第二数据库(例如，目标数据库434)来识别图像中包括的信息。
在操作1130中，电子设备1101可执行：至少部分地基于与多个图像中的至少一个图像关联的信息来将多个图像中的至少一些图像分类到至少一个组。
在实施例中，电子设备1101可根据针对每个图像的场景或主体所识别的事件的类型将多个图像中的至少一些图像分类到至少一个组。例如，事件的类型可包括以下项中的至少一项：早餐、运动、体育活动、户外/室内婚礼拍摄、散步、午餐、看电视、晚餐、洗、睡觉、休闲活动、与朋友会面/交谈、与新的人会面/交谈、走访已知的地方/新的地方等。
在实施例中，电子设备1101可基于针对每个图像的场景或主体所识别的主体的类型/识别信息将多个图像中的至少一些图像分类到至少一个组。
在实施例中，电子设备1101可至少部分地基于存储器中存储的用户的疾病/症状/生物测量信息来对多个图像中的至少一些图像进行分类。例如，电子设备1101可基于用户的疾病/症状/生物测量信息对帮助用户改善其记忆力的图像(例如，重要事件的代表性图像)进行分类。
在操作1140中，电子设备1101可至少部分地基于关于图像的分类的信息来执行用于提供服务/功能的镜像操作。例如，电子设备1101可选择并执行/激活显示多个组的图像的应用(例如，记忆游戏)。
在实施例中，电子设备1101可以通过镜像将多个组的图像(和应用屏幕)发送到第二外部设备1103(例如，第一外部电子设备102、第二外部电子设备104)。例如，第二外部设备1103可以是TV、智能电话、VR、智能眼镜、智能手表、HMD中的一个显示装置。
例如，电子设备1101可将正在电子设备1101的显示器(例如，显示器160、显示器260和显示器460)上显示的屏幕的至少一部分或与屏幕的至少一部分相应的屏幕数据发送到第一外部设备1102。电子设备1101可将屏幕数据实时地发送到显示装置。
参照图12，电子设备1201(例如，电子设备1101)可以执行记忆游戏并在显示器1206上显示记忆游戏的屏幕1210。记忆游戏的屏幕1210可包括根据针对每个图像的场景或主体所识别的主体的类型/识别信息从多个图像之中被分类的图像1220的组。可根据用户输入将多个组的每个图像1220移动到四个区域1230中的一个区域。记忆游戏可显示根据基于拍摄顺序布置在区域1230中的图像1220的数量所分配的分数。
参照图13，外部设备1301(例如，第二外部设备1103)可以通过镜像从电子设备1201接收与记忆游戏的屏幕1210相应的屏幕数据，并可显示配置为屏幕数据的记忆游戏的屏幕1210。外部设备1301可通过触摸面板1305接收用户输入，并可根据用户输入将从多个组的图像1220中选择的一个图像移动到四个区域(1230)中的选择的一个区域中。例如，用户可通过触摸面板1305在触摸组中的图像1220中的一个图像时拖动到四个区域1230中一个区域中。
在实施例中，外部设备1301可将通过触摸面板1305接收到的用户输入发送到电子设备1201，并且电子设备1201可根据用户输入更新记忆游戏的屏幕1210并将与记忆游戏的更新后的屏幕1210相应的屏幕数据实时地发送到外部设备1301。例如，电子设备1201和外部设备1301可通过镜像同时显示同一记忆游戏的屏幕1210。
图14是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的流程图，图15以及图16a和图16b是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图。电子设备1401(例如，电子设备101、电子设备201和电子设备401)的提供与图像关联的服务的方法可包括操作1410至操作1450。可由电子设备1401或者电子设备1401的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个来执行电子设备1401的提供与图像关联的服务的方法。
参照图14，在操作1410中，电子设备1401可通过功能性地连接到电子设备1401的通信模块(例如，通信模块170、通信模块220和通信模块420)从第一外部设备1402(例如，第一外部电子设备102、第二外部电子设备104)接收多个图像。例如，电子设备1401可以是云服务器，并且电子设备1401可周期性地/非周期性地(例如，当通过至少一个第一外部电子设备1402拍摄到新图像时)收集由至少一个外部设备1402拍摄的图像。
在操作1420中，电子设备1401可执行获取与多个图像中的至少一个图像关联的信息的操作。
在实施例中，与多个图像中的至少一个图像关联的信息可包括以下信息中的至少一个信息：表示电子设备1401的情况/状态、用户的情况/状态或拍摄状态/情况/条件的情况信息、关于多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息、从外部设备接收的信息、用户输入信息、或使用外部网络发现的信息。
在实施例中，情况信息可包括：关于电子设备1401或用户的运动/状态的信息、关于主体的信息、关于图像的质量的信息、关于图像的场景或主体的识别信息、关于特定场景分类、特定主体的类型、对特定主体的拍摄次数/时间/频率的信息、针对图像的场景或主体所识别的事件的类型、用户的疾病/症状/生物测量信息、关于当前/拍摄时间的信息、关于电子设备1401的位置/地点的信息、和环境声。
在实施例中，识别信息可包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像包括的文本的信息、图像的颜色/饱和度/光度/亮度信息。
在实施例中，电子设备1401可基于功能性地连接到电子设备1401的存储器(例如，存储器130、存储器230和存储器430)中存储的第一数据库(例如，图像相关信息数据库432)和/或第二数据库(例如，目标数据库434)来识别图像中包括的信息。
在操作1430中，电子设备1401可执行：至少部分地基于与多个图像中的至少一个图像关联的信息来将多个图像中的至少一些图像分类到至少一个组。
在实施例中，电子设备1401可根据关于对多个图像中的至少一个图像的显示/播放的次数/时间/频率的信息和/或关于特定场景分类、特定主体的类型、对特定主体的拍摄次数/时间/频率的信息，将多个图像中的至少一些图像分类到一个组。
在操作1440中，电子设备1401可将多个组中的至少一个图像和/或与组或组中的图像关联的信息(例如，显示/播放的次数/时间/频率)发送到第二外部设备1403(例如，第一外部电子设备102、第二外部电子设备104)。
在实施例中，电子设备1401可产生包括主体(包括在组中的至少一个图像中)的名称的消息，并可将产生的消息(例如，消息“祖父看他的孙子的照片已经看了5个小时了，请与他联系”)发送到第二外部设备1403。
在操作1450中，第二外部设备1403可将由用户输入的消息(例如，文本/图像/语音消息)发送到第一外部设备1402或第三外部设备(例如，由第一外部设备1402的用户(例如，患者)所拥有的其他设备)。例如，第二外部设备1403的用户(例如，患者的孙子)可基于组中的至少一个图像和/或与组或组中的图像关联的信息来识别患者当前感兴趣的对象(例如，汉堡)。
在实施例中，第一外部设备1402可选择性地/顺序地/同时地将组的图像发送到显示装置(例如，TV、智能电话、VR、智能眼镜、智能手表、HMD)。
参照图15，第一外部设备1502可向显示器1506显示从第二外部设备1403接收的消息1510。例如，消息1510可包括由第二外部设备1403从电子设备1401接收的组中的至少一个图像1520和/或由第二外部设备1403的用户输入的消息内容1530。
在实施例中，第一外部设备1402、第一外部设备1501可替代电子设备1401执行操作1420、操作1430和操作1440。例如，第一外部设备1402、第一外部设备1501可产生包括主体(包括在组中的至少一个图像中)的名称的消息，并将产生的消息(例如，消息“祖父看他的孙子的照片看了5个小时了，请与他联系”)发送到第二外部设备1403。
在实施例中，第一外部设备1402、第一外部设备1501可将用户信息(例如，疾病/症状/生物测量信息、关于位置/地点的信息等)与组的至少一个图像和/或与组或组中的图像关联的信息(例如，关于拍摄/显示/播放的次数/时间/频率的信息)一起到送到第二外部设备1403，或者将用户信息发送到第二外部设备1403而不发送组的至少一个图像和/或与组或组中的图像关联的信息。
参照图16a，第一外部设备1601(例如，第一外部设备1402)可产生包括的主体(包括在组中的至少一个图像中)的名称的文本1620，并将产生的文本1620(例如，消息“祖父，你想与你孙子联系吗？”)显示到显示器1606。
在实施例中，第一外部设备1601可基于定义了多个信息/数据元素以及多个信息/数据元素之间的关系(例如，“[祖父]-{美意}-[孙子]-{同一个人}-[hee-dong]”的本体)的数据库，选择与组中的至少一个图像关联的信息的至少一个文本元素(例如，“祖父”、“孙子”、“hee-dong”)。第一外部设备1601可显示或发送包括选择的至少一个文本元素的图形元素(例如，消息“祖父，你想与你的孙子hee-dong联系吗？”)。
在实施例中，第一外部设备1601可基于定义了多个信息/数据元素以及多个信息/数据元素(例如，“孙子hee-dong”)之间的关系(“[祖父]-{美意}-[孙子]-{同一个人}-[hee-dong]”的本体)的数据库(例如，图像相关信息数据库)，将与组中的至少一个图像关联的信息的至少一个文本元素(例如，“孙子”)进行组合。第一外部设备1601可显示文本元素的组合或可存储为关于组的信息或关于组的图像的信息。
在实施例中，第一外部设备1601可自动执行语音识别应用1610，产生包括主体(包括在组中的至少一个图像中)的名称的文本1620，并在语音识别应用1610上显示产生的文本1620。例如，第一外部设备1601可将文本1620转换为语音以输出。
语音识别应用1610可识别用户的语音(例如，“是”)。语音识别应用1610可将识别出的语音转换成文本1630以显示在显示器1606上。
参照图16b，语音识别应用1610可执行与针对文本1620中的自动产生的问题(例如，“祖父，你想与你的孙子联系吗？)的用户的响应1630(例如，“是”)相应的功能。例如，语音识别应用1610可在显示器1606上显示孙子的联系方式1640。例如，语音识别应用1610可根据用户的响应执行诸如执行呼叫/消息应用或尝试呼叫连接的功能。
在实施例中，语音识别应用1610可基于目标数据库(例如，目标数据库434)来识别组中的至少一个图像中包括的主体的名称。语音识别应用1610可基于定义了多个信息/数据元素以及多个信息/数据元素之间的关系(例如，“[祖父]-{美意}-[孙子]-{同一个人}-[hee-dong]”的本体)的数据库(例如，图像相关信息数据库432)来选择hee-dong的联系方式1640。
图17a、图17b和图17c是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图。
参照图17a，电子设备1701(例如，电子设备101、电子设备201和电子设备401)可获取/拍摄多个图像1710。
参照图17b，电子设备1701可将多个图像1710中的与食物关联的图像(图像1722、图像1724和图像1726)分类到一个组。
参照图17c，电子设备1701可自动执行语音识别应用1730，产生包括主体(包括组中的至少一个图像中)的类型/名称的文本1740，并将产生的文本1740显示在语音识别应用1730上。例如，电子设备1701可将产生的文本1740转换为用于输出的语音。
语音识别应用1730可识别用户的语音(例如“早上”、“中午”)。语音识别应用1730可将识别出的语音转换为文本以显示在显示器1706(例如，显示器160、显示器260和显示器460)上。
语音识别应用1730可显示将用户对产生的文本1740的响应(例如，“早上”，“中午”)和与组中的至少一个图像关联的信息(例如，诸如早晨、中午、晚上、11点的时间信息，位置信息等)进行比较的结果(例如，不正确、正确、正确回答、错误回答等)显示在显示器1706上。
图18a和图18b是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图。
参照图18a，电子设备1801(例如，电子设备101、电子设备201和电子设备401)可获取/拍摄多个图像，可基于目标数据库(例如，目标数据库434)识别多个图像中的包括预配置的主体(例如，用户、用户的面部)的图像，并可标识识别出的面部图像以分类多个组。电子设备1801可在显示器1806(例如，显示器160、显示器260和显示器460)上显示多个组的代表性图像1812、代表性图像1814、代表性图像1816、代表性图像1818。例如，电子设备1801可显示：与爸爸相应的第一组的代表性图像1812、与妈妈相应的第二组的代表性图像1814、与女儿相应的第三组的代表性图像1816以及与儿子相应的第四组的代表性图像1818。
参照图18b，电子设备1801可检测针对多个组中的代表性图像1812、代表性图像1814、代表性图像1816、代表性图像1818中的一个代表性图像的选择。响应于选择的检测，电子设备1801可在显示器1806上显示选择的代表性图像所属的组的图像1820。例如，电子设备1801可检测用于选择第二组的代表性图像1814的用户输入，并响应于该用户输入显示第二组的图像1820。
图19、图20和图21是示出根据本公开的实施例的电子设备的提供与图像关联的服务的方法的示图。
参照图19，电子设备1901(例如，电子设备101、电子设备201和电子设备401)可以获取/拍摄多个图像，基于目标数据库(例如目标数据库434)识别多个图像中的包括预配置的主体(例如，用户，用户的面部)的至少一个图像，并可将识别出的至少一个图像分类到至少一个组。电子设备1901可在显示器1906(例如，显示器160、显示器260和显示器460)上显示该组的代表性图像1910。例如，电子设备1901可将代表性图像1910划分成多个块1912以进行显示，并可根据用户输入来移动块1912中的每个块。电子设备1901可提供用户通过块1912的移动来拼成原始代表性图像1910的游戏。
参照图20，电子设备2001(例如，电子设备101、电子设备201和电子设备401)可获取/拍摄多个图像，并可获取与多个图像关联的信息。例如，电子设备2001可通过传感器(例如，传感器440、传感器模块240、触摸面板252、GNSS模块227、麦克风288中的至少一个)或通信模块(例如，通信模块170、通信模块220和通信模块420)来检测指示图像的拍摄情况/状态的情况信息(例如，拍摄时间、拍摄位置/地点、拍摄时或拍摄期间的环境声)。
在实施例中，电子设备2001可至少部分地基于与多个图像关联的信息将多个图像按国家/地区分类到多个组。
在实施例中，电子设备2001可执行地图应用2010并可在地图应用2010或显示器2006(例如，显示器160、显示器260和显示器460)上显示多个图像2020中的至少一些图像。当选择了多个图像2020中的至少一些图像中的一个图像时，电子设备2001可将所选择的图像2030映射到地图2012上的相应位置/国家/地区以用于显示。
在实施例中，当地图2012上的位置/国家/地区被选择时，电子设备2001可以在地图应用2010或显示器2006上显示与所选位置/国家/地区相应的组中的图像。
参照图21，电子设备(例如，电子设备101、电子设备201、电子设备401)可结合日程应用2110(例如，日历应用、日程应用)来提供服务/功能或获取多个图像。
例如，电子设备可至少部分地基于日程应用2110上的日程/事件2112来确定图像2120的拍摄的开始时间。
例如，电子设备可至少部分地基于日程应用2110上的日程/事件2112来将多个图像2120分类到至少一个组。
例如，电子设备可提供以下功能：使用与日期/日程/事件2112关联地拍摄的图像结合日程应用2110上的日期/日程/事件2112来产生图片日记2130的功能。例如，电子设备可按照日期/时间/日程/事件，在照片日记2130或日程应用2110的屏幕上对与日期/日程/事件2112相关的至少一组图像2120进行排序和显示。
图22和图23是示出根据本公开的实施例的电子设备的获取图像的方法的示图。
参照图22，电子设备2201(例如，电子设备101、电子设备201、电子设备401)可检测进入视角2210或进入视角2210内的预配置的区域2220的主体2230。响应于主体2230的检测，电子设备2201可开始/停止/推迟图像的拍摄/获取或调整图像的拍摄/获取间隔。例如，电子设备2201可响应于进入预配置的区域2220的对象2230的检测而开始拍摄或缩短拍摄间隔，并且如果主体2230移动到预配置的区域2220之外，则电子设备2201可停止图像的拍摄或增加拍摄间隔。例如，电子设备2201可以是CCTV。
参照图23，电子设备(例如，电子设备101、电子设备201、电子设备401)可检测视角内或预配置的区域2310内的具有比预配置的尺寸更大的尺寸的主体2230。响应于主体2230的检测，电子设备可开始/停止/推迟图像的拍摄/获取或可调整图像的拍摄/获取间隔。例如，电子设备可以是诸如汽车/飞机的交通工具的黑匣子，并且主体2320可以是诸如牌照、交通信号灯、交通标志等的预配置的主体。例如，当基于视角或预配置的尺寸检测到具有等于或大于预配置的阈值比率的尺寸的主体2320时，电子设备可开始图像的拍摄或缩短拍摄间隔，并且当主体2320的尺寸变为缩小至低于预配置的阈值比率时，电子设备可停止拍摄或增加拍摄间隔。
图24、图25和图26是示出根据本公开的实施例的电子设备的确定故事相册的标题/分类的方法的示图。可由电子设备2401或者电子设备2401的控制单元或处理器(例如，处理器120、处理器210和处理器410)中的至少一个来执行电子设备2401的确定故事相册的标题/分类的方法。
参照图24，电子设备2401可至少部分地基于多个图像中的至少一个图像将多个图像分类到至少一个组或故事相册2410。电子设备2401可基于多个信息/数据元素和定义了多个信息/数据元素之间的关系的数据库(例如，图像相关信息数据库432)，将与故事相册2410中的至少一个图像2412关联的信息的文本元素进行组合。
在实施例中，电子设备2401可在显示器2406(例如，显示器160、显示器260和显示器460)上显示文本元素的组合2421、组合2422和组合2423。电子设备2401可将文本元素的组合2421、组合2422和组合2423中的由用户输入所选择的组合配置为故事相册2410的标题/分类。
在实施例中，电子设备2401可自动地选择组合2421、组合2422和组合2423中的一个组合，并可将选择的组合配置为故事相册2410的标题/分类。
参照图25，电子设备2401可基于多个信息/数据元素2511至2528和定义了多个信息/数据元素2511至2528之间的关系的数据库(例如，图像相关信息数据库432)，将功能性地连接到电子设备2401的存储器(例如，存储器130、存储器230和存储器430)或图像相关信息数据库(例如，图像相关的信息数据库432)中存储的图像的元数据的文本元素2522至文本元素2528进行组合。
例如，数据库可包括：多个分类/主题/类别2511至2517，以及每个类别/主题/类别2511至2517中包括的文本元素2522至文本元素2528。此外，数据库可包括多个分类/主题/类别2511至2517的关系以及这些关系的权重。例如，多个分类/主题/类别2511至2517可包括：年份2511、天气2513、季节2515和人数2517，文本元素2522至文本元素2528可包括：去年2522、好天气2524、春天2526和一个人2528(或独自一人拍摄的照片)。例如，权重3可被配置用于年份2511和天气2513之间的关系、年份2511和人数2517之间的关系、天气2513和人数2517之间的关系、季节2515和人数2517之间的关系，权重2可被配置用于年份2511和季节2515之间的关系以及天气2513和季节2515之间的关系。
参照图26，电子设备2401可将文本元素2522至文本元素2528的组合2632至组合2638中的每个组合的评估值进行比较。例如，可通过将每个组合中包括的文本元素2522至文本元素2528的关系权重相加来确定组合2632至组合2638的评估值。例如，去年独自一人拍摄的照片2632的评估值可以是3，去年春天独自一人拍摄的照片2634的评估值可以是5，去年在好天气的日子独自一人拍摄的照片2636的评估值可以是6，去年春天在好天气的日子独自一人拍摄的照片2638的评估值可以是8。
电子设备2401可基于比较将文本元素2522至文本元素2528的组合2632至组合2638中的一个组合确定为故事相册的标题/分类。例如，电子设备2401可将组合2632至组合2638中的具有最高评估值的组合(即，去年春天在好天气的日子独自一人拍摄的照片2638)确定为故事相册2410的标题/分类。
在实施例中，电子设备2401可在显示器上显示组合2632至组合2638(以及图像)，并可根据选择组合2632至组合2638中一个组合的用户输入将所选择的组合确定为故事相册2410的标题/分类。
在各种实施例中，通过有效的图像检查和对每个事件的拍摄间隔的调整，可有效地使用存储器/操作资源，从而实现有效和方便的生活日志记录和故事相册制作。
如这里所使用的术语“模块”可意味着例如包括硬件、软件和固件中的一个或它们中的两个或更多个的组合的单元。例如，“模块”可与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组件元件的最小单元或集成组件元件的最小单元的一部分。“模块”可以是用于执行一个或更多个功能的最小单位或用于执行一个或更多个功能的最小单位的一部分。“模块”可以被机械地或电子地实现。例如，根据本公开的“模块”可包括用于执行已知的或今后将被开发的操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。
根据各种实施例，根据本公开的装置(例如，其模块或其功能)或方法(例如，操作)中的至少一部分可通过以编程模块形式存储在非暂时性计算机可读存储介质中的命令来实现。当通过处理器(例如，处理器120)执行指令时，该指令可使一个或多个处理器执行与该指令相应的功能。非暂时性计算机可读存储介质可以是例如存储器130。
非暂时性计算机可读存储介质可包括：硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，光盘ROM(CD-ROM)和DVD)、磁光介质(例如，软光盘)、硬件装置(例如，ROM、RAM、闪存)等。此外，程序指令可包括通过使用解释器在计算机中可执行的高级语言代码，以及由编译器生成的机器代码。前述硬件装置可被配置为作为一个或更多个软件模块进行操作以执行本公开的操作，反之亦然。
根据本公开的编程模块可包括前述组件中的一个或更多个，或还可包括其他附加的组件，或可省略前述组件中的一些组件。根据本公开的各种实施例的由模块、编程模块或其他组件元件执行的操作可顺序地、并行地、重复地或以启发式地方式执行。此外，可根据另一顺序执行一些操作或可省略一些操作，或可添加其他操作。
在各种实施例中，当通过至少一个处理器执行存储指令的非暂时性计算机可读存取介质中的指令时，该指令使至少一个处理器执行至少一个操作，其中所述至少一个操作包括：获取多个图像；获取与多个图像中的至少一个图像关联的信息；基于与多个图像中的至少一个图像关联的信息将多个图像中的至少一些图像分类到至少一个组；基于多个图像中的至少一些图像的分类的信息来提供服务/功能。
尽管已经参照本公开的各种实施例示出并描述了本公开，但本领域的技术人员将理解的是，在不脱离由权利要求和它们的等同物所限定的本公开的范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于提供与图像关联的服务的电子设备，所述电子设备包括：
存储器；以及
处理器，被配置为：
获取至少一个第一图像，检测表示电子设备的运动的值或者计算表示所述至少一个第一图像的质量的值，基于表示运动的值和表示所述至少一个第一图像的质量的值中的至少一个调整图像的拍摄间隔，并且以调整后的拍摄间隔获取多个第二图像，
获取与所述至少一个第一图像和所述多个第二图像中的至少一个图像关联的信息，其中，与所述至少一个第一图像和所述多个第二图像中的所述至少一个图像关联的信息是所述至少一个第一图像和所述多个第二图像中的所述至少一个图像的元数据，
基于与所述至少一个第一图像和所述多个第二图像中的所述至少一个图像关联的信息，将所述至少一个第一图像和所述多个第二图像中的至少一些图像分类到至少一个组，以及
基于所述至少一个第一图像和所述多个第二图像中的所述至少一些图像的分类的信息，提供服务。
2.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
获取表示电子设备的情况、用户的情况或拍摄情况的情况信息，以及
基于所述情况信息与预配置的条件的比较结果，开始图像的拍摄，其中，所述情况信息包括以下信息中的至少一个信息：关于电子设备的运动的信息、关于电子设备的状态的信息、关于用户的运动的信息、关于用户的状态的信息、关于主体的信息、关于图像的质量的信息、关于特定场景分类的信息、关于特定主体的类型的信息、关于对特定主体的拍摄次数或时间或频率的信息、针对图像的场景或主体所识别的事件的类型、用户的疾病信息、用户的症状信息、用户的生物测量信息、关于当前或拍摄时间的信息、关于电子设备的位置或地点的信息或环境声，
或者，
将表示运动的值和表示所述至少一个第一图像的质量的值中的至少一个与电子设备中预配置的至少一个条件进行比较，并且
基于比较结果，调整图像的拍摄间隔。
3.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
识别所述至少一个第一图像的场景或主体，
将关于场景或主体的识别信息与电子设备中预配置的至少一个条件进行比较，以及
基于比较结果，开始图像的拍摄或调整图像的拍摄间隔，
其中，关于场景或主体的识别信息包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像中包括的文本的信息、图像的颜色、饱和度、光度和亮度信息。
4.如权利要求3所述的电子设备，其中，所述处理器还被配置为：
将表示电子设备的运动的值与预配置的第一条件进行比较，
当表示电子设备的运动的值满足预配置的第一条件时，将表示所述至少一个第一图像的质量的值与预配置的第二条件进行比较，
当表示所述至少一个第一图像的质量的值满足预配置的第二条件时，将关于场景或主体的识别信息与预配置的第三条件进行比较，以及
当关于场景或主体的识别信息满足预配置的第三条件时，拍摄图像或缩短图像的拍摄间隔。
5.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
识别所述至少一个第一图像的场景或主体，
将表示运动的值、表示所述至少一个第一图像的质量的值以及关于场景或主体的识别信息中的至少一个与电子设备中预配置的至少一个条件进行比较，以及
基于比较结果，激活或停用电子设备的至少一个组件，
其中，关于场景或主体的识别信息包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像中包括的文本的信息、图像的颜色、饱和度、光度和亮度信息。
6.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
检测进入相机的视角的主体或进入所述视角内的预配置的区域的主体，其中，相机被功能性地连接到电子设备，以及
响应于对主体的检测，开始图像的拍摄或调整图像的拍摄间隔。
7.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
通过相机来检测具有比预配置的尺寸更大的尺寸的主体，并响应于对主体的检测，开始图像的拍摄或调整图像的拍摄间隔，其中，相机被功能性地连接到电子设备。
8.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量、与每个组相应的事件的类型和用户输入中的至少一个，为所述至少一个组中的每个组选择至少一个代表性图像，以及
显示所述至少一个代表性图像。
9.如权利要求1所述的电子设备，其中，所述处理器还被配置为：顺序地播放所述至少一个组中的图像，其中，每个组中的图像的播放时间和播放速度中的至少一个是基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量、与每个组相应的事件的类型和用户输入中的至少一个来确定的。
10.如权利要求1所述的电子设备，其中，所述处理器还被配置为：
显示所述至少一个组中的至少一个图像以及基于与至少一个图像关联的信息所产生的图形元素，其中，图形元素包括与至少一个图像关联的至少一个文本元素，
接收针对图形元素的响应，
显示与所述至少一个组中的所述至少一个图像关联的信息和响应的比较结果。
11.一种电子设备中的提供与图像关联的服务的方法，所述方法包括：
获取至少一个第一图像，检测表示电子设备的运动的值或者计算表示所述至少一个第一图像的质量的值，基于表示运动的值和表示所述至少一个第一图像的质量的值中的至少一个调整图像的拍摄间隔，并且以调整后的拍摄间隔获取多个第二图像；
获取与所述至少一个第一图像和所述多个第二图像中的至少一个图像关联的信息，其中，与所述至少一个第一图像和所述多个第二图像中的所述至少一个图像关联的信息是所述至少一个第一图像和所述多个第二图像中的所述至少一个图像的元数据，
基于与所述至少一个第一图像和所述多个第二图像中的所述至少一个图像关联的信息，将所述至少一个第一图像和所述多个第二图像中的至少一些图像分类到至少一个组，以及
基于所述至少一个第一图像和所述多个第二图像中的所述至少一些图像的分类的信息，提供服务。
12.如权利要求11所述的方法，其中，获取所述至少一个第一图像和所述多个第二图像的步骤包括：
获取表示电子设备的情况、用户的情况或拍摄情况的情况信息，以及
基于所述情况信息与预配置的条件的比较结果，开始图像的拍摄，其中，所述情况信息包括以下信息中的至少一个信息：关于电子设备的运动的信息、关于电子设备的状态的信息、关于用户的运动的信息、关于用户的状态的信息、关于主体的信息、关于图像的质量的信息、关于特定场景分类的信息、关于特定主体的类型的信息、关于对特定主体的拍摄次数或时间或频率的信息、针对图像的场景或主体所识别的事件的类型、用户的疾病信息、用户的症状信息、用户的生物测量信息、关于当前或拍摄时间的信息、关于电子设备的位置或地点的信息或环境声,
或者，
将表示运动的值和表示所述至少一个第一图像的质量的值中的至少一个与电子设备中预配置的至少一个条件进行比较，并且
基于比较结果，调整图像的拍摄间隔。
13.如权利要求11所述的方法，其中，获取所述至少一个第一图像和所述多个第二图像的步骤包括：
识别所述至少一个第一图像的场景或主体，
将关于场景或主体的识别信息与电子设备中预配置的至少一个条件进行比较，
基于比较结果，开始图像的拍摄或调整图像的拍摄间隔，
其中，关于场景或主体的识别信息包括以下信息中的至少一个信息：对于图像中包括的用户的识别信息、对于图像中包括的对象的识别信息、图像中包括的主体的组合信息、关于图像中包括的文本的信息、图像的颜色、饱和度、光度和亮度信息。
14.如权利要求11所述的方法，其中，获取所述至少一个第一图像和所述多个第二图像的步骤包括：
检测进入相机的视角的主体或进入所述视角内的预配置的区域的主体，其中，相机被功能性地连接到电子设备，以及
响应于对主体的检测，开始所述至少一个图像的拍摄或调整图像的拍摄间隔。
15.如权利要求11所述的方法，其中，提供服务的操作包括：
顺序地播放所述至少一个组中的图像，
基于每个组中的图像的总拍摄时间、每个组中的全部图像的数量、与每个组相应的事件的类型和用户输入中的至少一个，确定每个组的图像的播放时间和播放速度中的至少一个。
CN201680074181.XA 2015-12-15 2016-12-15 用于提供与图像关联的服务的方法、存储介质和电子设备 Active CN108475326B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0179155 2015-12-15
KR1020150179155A KR102345579B1 (ko) 2015-12-15 2015-12-15 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치
PCT/KR2016/014755 WO2017105116A1 (en) 2015-12-15 2016-12-15 Method, storage medium and electronic apparatus for providing service associated with image

Publications (2)

Publication Number Publication Date
CN108475326A CN108475326A (zh) 2018-08-31
CN108475326B true CN108475326B (zh) 2022-11-04

Family

ID=59020576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074181.XA Active CN108475326B (zh) 2015-12-15 2016-12-15 用于提供与图像关联的服务的方法、存储介质和电子设备

Country Status (5)

Country Link
US (1) US10572732B2 (zh)
EP (1) EP3335412B1 (zh)
KR (1) KR102345579B1 (zh)
CN (1) CN108475326B (zh)
WO (1) WO2017105116A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20180341271A1 (en) * 2017-05-29 2018-11-29 Ants Technology (Hk) Limited Environment exploration system and method
KR101971736B1 (ko) * 2017-08-18 2019-04-24 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102400018B1 (ko) * 2017-09-29 2022-05-19 삼성전자주식회사 자동 조리 장치 및 방법
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US11210932B2 (en) 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110428884A (zh) * 2019-08-09 2019-11-08 丹阳慧创医疗设备有限公司 一种记忆能力的训练方法、装置、设备以及系统
CN112396536A (zh) * 2019-08-12 2021-02-23 北京国双科技有限公司 智能服务的实现方法及装置
CN114556329A (zh) * 2019-09-27 2022-05-27 苹果公司 用于从照片集生成映射图的方法和设备
KR102297599B1 (ko) * 2020-01-16 2021-09-03 한덕규 이미지 매칭 자동 촬영 장치 및 이미지 매칭 자동 촬영 프로그램
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
CN113361363B (zh) * 2021-05-31 2024-02-06 北京百度网讯科技有限公司 人脸图像识别模型的训练方法、装置、设备及存储介质
KR102637999B1 (ko) * 2022-07-18 2024-02-20 경북보건대학교 산학협력단 텔레비전을 이용한 화상 커뮤니케이션장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917384B1 (en) * 1999-06-14 2005-07-12 Canon Kabushiki Kaisha Image sensing apparatus, method and recording medium storing program for method of setting plural photographic modes and variable specific region of image sensing, and providing mode specific compression of image data in the specific region
CN103369232A (zh) * 2012-03-26 2013-10-23 富士胶片株式会社 图像评价装置、图像评价方法及图像评价系统
US8780226B2 (en) * 2008-04-25 2014-07-15 Fujifilm Corporation Image recording device and method which generates multi-image file based on classification
CN104869305A (zh) * 2014-02-20 2015-08-26 三星电子株式会社 处理图像数据的方法及其装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392216B2 (en) * 1996-12-16 2016-07-12 Ip Holdings, Inc. Image networks for mobile communication
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
KR101180817B1 (ko) * 2004-10-13 2012-09-07 소니 주식회사 재생 장치, 촬상 장치, 화면 표시 방법 및 사용자인터페이스
JP2008099192A (ja) * 2006-10-16 2008-04-24 Casio Comput Co Ltd 撮像装置及びそのプログラム
CN101689394B (zh) 2007-02-01 2014-03-26 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统
CN101592671B (zh) * 2008-05-30 2011-05-18 安徽宏实光机电高科有限公司 线阵ccd相机测速拍摄间隔随物体运动速度自适应调整方法
EP2148499B1 (en) 2008-07-25 2018-01-17 FUJIFILM Corporation Imaging apparatus and method
CN101867717B (zh) * 2009-04-16 2012-05-30 华晶科技股份有限公司 数字影像的拍摄参数的调整方法及数字摄像装置
KR20110000054A (ko) 2009-06-26 2011-01-03 삼성전자주식회사 라이프로그 기반의 랜드마크를 출력하는 장치 및 방법
US20110279683A1 (en) 2010-05-17 2011-11-17 Edward John Yarmchuk Automatic Motion Triggered Camera with Improved Triggering
US8873028B2 (en) 2010-08-26 2014-10-28 Apple Inc. Non-destructive stress profile determination in chemically tempered glass
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
US20130050747A1 (en) * 2011-08-31 2013-02-28 Ronald Steven Cok Automated photo-product specification method
WO2014021566A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Display apparatus, image post-processing apparatus and method for image post-processing of contents
US9760803B2 (en) * 2013-05-15 2017-09-12 Google Inc. Associating classifications with images
JP5817858B2 (ja) * 2014-01-30 2015-11-18 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
TWI522888B (zh) * 2014-03-19 2016-02-21 宏碁股份有限公司 電子裝置及其影像檢視方法
US9830631B1 (en) * 2014-05-02 2017-11-28 A9.Com, Inc. Image recognition result culling
JP6512897B2 (ja) * 2015-03-30 2019-05-15 キヤノン株式会社 ズーム制御装置、ズーム制御装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917384B1 (en) * 1999-06-14 2005-07-12 Canon Kabushiki Kaisha Image sensing apparatus, method and recording medium storing program for method of setting plural photographic modes and variable specific region of image sensing, and providing mode specific compression of image data in the specific region
US8780226B2 (en) * 2008-04-25 2014-07-15 Fujifilm Corporation Image recording device and method which generates multi-image file based on classification
CN103369232A (zh) * 2012-03-26 2013-10-23 富士胶片株式会社 图像评价装置、图像评价方法及图像评价系统
CN104869305A (zh) * 2014-02-20 2015-08-26 三星电子株式会社 处理图像数据的方法及其装置

Also Published As

Publication number Publication date
CN108475326A (zh) 2018-08-31
KR102345579B1 (ko) 2021-12-31
EP3335412A1 (en) 2018-06-20
US20170169295A1 (en) 2017-06-15
WO2017105116A1 (en) 2017-06-22
US10572732B2 (en) 2020-02-25
EP3335412B1 (en) 2024-02-28
KR20170071159A (ko) 2017-06-23
EP3335412A4 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
CN108475326B (zh) 用于提供与图像关联的服务的方法、存储介质和电子设备
US10360479B2 (en) Device and method for processing metadata
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
US10917552B2 (en) Photographing method using external electronic device and electronic device supporting the same
CN110083730B (zh) 使用语音标签管理图像的方法和装置
CN105825522B (zh) 图像处理方法和支持该方法的电子设备
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR102317820B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
CN107665477B (zh) 电子设备和控制电子设备的方法
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
US10909420B2 (en) Method and apparatus for continuously displaying images on basis of similarity of images
KR20160084147A (ko) 이미지의 메타데이터 관리 방법 및 장치
US10623630B2 (en) Method of applying a specified effect to an area of an image and electronic device supporting the same
KR20160134428A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
KR20180109341A (ko) 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant