CN105825522B - 图像处理方法和支持该方法的电子设备 - Google Patents

图像处理方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN105825522B
CN105825522B CN201610055043.9A CN201610055043A CN105825522B CN 105825522 B CN105825522 B CN 105825522B CN 201610055043 A CN201610055043 A CN 201610055043A CN 105825522 B CN105825522 B CN 105825522B
Authority
CN
China
Prior art keywords
electronic device
image
information
images
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610055043.9A
Other languages
English (en)
Other versions
CN105825522A (zh
Inventor
曹益焕
韩承旭
具钦谋
闵庚燮
金根祐
金相美
金泰庚
闵廷基
郑星旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105825522A publication Critical patent/CN105825522A/zh
Application granted granted Critical
Publication of CN105825522B publication Critical patent/CN105825522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了图像处理方法和支持该方法的电子设备。提出了一种用于收集多个图像的电子设备。该电子设备可以通过用相机拍摄图片/视频或者通过从外部设备接收图像来收集图像。该电子设备还包括处理器，处理器能够确定在通过相机拍摄图像时的至少一部分时间期间的活动类型，或者确定原始生成从外部设备接收到的图像的设备的活动类型。处理器能够基于活动类型来选择所收集的图像中的至少一些以生成加亮内容。

Description

图像处理方法和支持该方法的电子设备
本申请要求2015年1月27日递交的韩国专利申请No.10-2015-0012655的优先权，将其内容合并在此作为参考。
技术领域
本公开涉及电子设备，更具体地涉及将图像分类成组的电子设备。
背景技术
诸如常规智能电话之类的各种电子设备对电子设备上拍摄的图片或视频和/或下载的图片或视频提供图像收集功能。然而，由常规电子设备提供的图像收集功能关注于简单地收集图像。但是，尤其考虑到常规电子设备通常支持大量存储器，用户可能收集大量的照片和视频。因此，用户可能花费大量的时间和精力来搜索所收集的照片和视频，以选择他们想要保留或与他人共享的照片和视频。
发明内容
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。
根据本公开的一个方面，提供了一种电子设备。该电子设备可以包括：存储器，配置为存储多个图像；以及处理器，配置为与存储器功能相连。处理器能够确定在该多个图像的源收集该多个图像时的一部分时间期间与源相关联的活动类型。该多个图像的源可以是该电子设备或外部电子设备。处理器可以配置为使用与活动类型相对应的图像处理方案以将该多个图像中一个或多个图像确定为突出图像。处理器还可以配置为根据突出图像生成突出内容。
根据本公开的另一方面，提出了一种图像处理方法。。该图像处理方法可以包括将多个图像存储在电子设备的存储器中。该方法可以包括确定在该多个图像的源收集该多个图像时的一部分时间期间与源相关联的活动类型。该多个图像的源可以是该电子设备或外部电子设备。可以基于活动类型来确定具有某种滤波条件的图像处理方案。可以将该图像处理方案应用于该多个图像以从该多个图像中选择至少一个图像作为突出图像，并且可以根据突出图像来生成突出内容。
根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其他方面、优点和突出特征对于本领域普通技术人员将变得清楚明白。
附图说明
根据结合附图的以下详细描述，本公开一些实施例的上述和其他方面、特征以及优点将更清楚，在附图中：
图1是示出了根据本公开各种实施例的网络环境中的电子设备的配置的方框图；
图2A是示出了根据本公开各种实施例的图像操作模块的配置的方框图；
图2B是示出了根据本公开各种实施例的应用了基于边缘处理的质量滤波器(QF)的示例的图示；
2C是示出了根据本公开各种实施例的应用了基于像素分布处理的质量滤波器(QF)的示例的图示；
图3是示出了根据本公开各种实施例的图像处理方法的流程图；
图4是示出根据本公开各种实施例的使用图像的活动分析方法的流程图；
图5是示出了根据本公开各种实施例的使用传感器信息的活动分析方法的流程图；
图6是示出了根据本公开各种实施例的使用场景信息的活动分析方法的流程图；
图7A是示出根据本公开各种实施例的突出图像收集方法的流程图：
图7B是示出根据本公开各种实施例的突出内容提供方法的流程图：
图8是示出了根据本公开各种实施例的与图像操作相关联的系统信号处理的示例的信号时序图；
图9是示出了根据本公开各种实施例的与图像处理相关联的屏幕界面的图；
图10是示出了根据本公开各种实施例的程序模块的配置的框图；以及
图11是示出根据本公开各实施例的电子设备的配置的方框图。
贯穿附图，应注意，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。所述描述包括各种具体细节以辅助理解，但这些具体细节应视为仅仅是示例性性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围的情况下，可以对这里描述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略已知功能和结构的描述。
在本公开中，这里使用的表达“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”表示存在相应的特征(例如，诸如数值、功能、操作或组件之类的要素)，但是不排除存在附加的特征。
在本公开中，这里使用的表达“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等可以包括相关列出项目中一个或多个的任意和全部组合。例如，术语“A和/或B”、“A和B中的至少一个”或“A或B中的至少一个”可以表示以下全部情况：(1)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B。
在本公开各种实施例中使用的“第一”或“第二”等表达可以表示各种要素，而无论相应要素的顺序和/或优先级如何，但是并不限制相应的要素。该措辞可以用于将元件彼此区分。例如，“第一用户设备”和“第二用户设备”表示彼此不同的用户设备，而与相应要素的顺序和/或优先级无关。例如，在不脱离本公开范围的情况下，第一部件可称为第二元件，反之亦然。
应该理解，当一要素(例如，第一要素)被称为“(操作地或者通信地)耦接至”或者“连接至”另一要素(例如，第二要素)时，该要素可以与该另一要素直接耦接或连接，或者可以存在中间要素(例如，第三要素)。相反，当一要素(例如，第一要素)被称为“直接连接到”或“直接耦接到”另一要素(例如，第二要素)时，应理解，不存在中间要素(例如，第三要素)。
根据情况，在本公开中使用的表达“(被)配置为”可以用作例如表达“适用于”、“具有...的能力”、“(被)设计为”、“适于”、“(被)制造为”或者“能够”。术语“(被)配置为”不必表示仅在硬件方面“专门被设计用于”。相反，表述“(被)配置为...的设备”可以表示该设备与另一设备或其他组件一起操作“能够..””。例如，短语“(被)配置为执行A、B和C的处理器”可以是可通过执行一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)，或者通过执行机器可读代码来执行相应操作的专用处理器(例如，嵌入式处理器)。
说明书使用的术语用于描述本公开的各种实施例，而不是为了限制本公开的范围。除非另有规定，单数形式的术语可以包括多数形式。除非这里另有说明，这里使用的所有术语(包括技术和科学术语)可具有与本公开所属领域的技术人员通常所理解的含义相同的含义。还应该理解，在通用字典中定义并且常用的术语应该按相关技术中的惯例进行解释，而不应该解释为具有理想化或过度刻板的含义，除非在本公开中明确限定。在本公开中限定的术语不应该解释为排除了本公开的示例性实施例，除非明确说明。
根据本公开各种实施例的电子设备可以包括以下至少一项：例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图片专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子服饰、电子手环、电子项链、电子配饰、电子纹身、智能镜子或智能手表)。
根据本公开的各种实施例，电子设备可以是智能家电。例如，智能家电可以包括以下至少一项：例如，电视(TV)、数字多功能盘(DVD)播放器、蓝光盘(BRD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安保控制面板、TV盒(例如Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机或电子相框。
根据本公开的各种实施例，电子设备可以包括以下至少一项：多种医疗设备如多种便携式医疗测量设备(例如，血糖仪、心率计、血压计或体温计)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算断层扫描(CT)设备、扫描仪或超声波设备等，导航设备，全球定位系统(GPS)接收机和/或其他全球导航卫星系统(GNSS)接收机，事件数据记录仪(EDR)，飞行数据记录仪(FDR)，车辆信息娱乐设备，船用电子设备(例如，导航系统、罗盘等)，航空电子设备，安保设备，车头单元，工业或家用机器人，自动柜员机(ATM)，销售点(POS)或物联网(例如，灯泡、各种传感器、电表或气表、洒水器、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。
根据本公开的各种实施例，电子设备可以包括以下至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量仪表(例如，水表、电表、气表或测波计等)。根据本公开各种实施例的电子设备是上述多种设备的一个或多个组合。根据本公开各种实施例的电子设备可以是柔性电子设备。此外，根据本公开各种实施例的电子设备不限于上述设备，并可以包括随着技术发展而引入的新型电子设备。
下文中，将参照附图描述根据本公开各种实施例的电子设备。这里使用的术语“用户”可以表示使用电子设备的人，或者可以表示使用电子设备的设备(例如，人造电子设备)。
图1是示出了根据本公开各种实施例的网络环境中的电子设备的配置的方框图。
参考图1，网络系统环境中的电子设备100可以包括总线110、处理器120、存储器130、输入/输出接口170、显示器150、图像操作模块180、相机190和通信接口160。在本公开的各种实施例中，可以从电子设备100中省略所述部件中的至少一个，和/或可以在电子设备100中另外包括其他部件。
例如，总线110可以是将处理器120、存储器130、输入和输出接口170、显示器150、图像操作模块180、相机190和通信接口160彼此连接并且可以在这些部件之间传输通信(例如，控制消息和/或数据)的电路。根据本公开的实施例，总线110可以将相机190收集的图像(例如，运动图像或静止图像)发送至图像操作模块180或处理器120中的至少一个。例如，运动图像可以是TV节目图像、点播视频(VOD)、用户创建内容(UCC)、音乐视频或者YouTube图像，并且通常可以称为视频。也可以由用户在电子设备上拍摄视频。根据本公开的各种实施例，总线110可以将在图像操作模块180或处理器120中处理的分组图像(或者会议图像、人群图像、聚类图像等)发送至存储器130、显示器150或者通信接口160中的至少一个。
处理器120可以包括以下中的一个或多个：中央处理器(CPU)、应用处理器(AP)和通信处理器(CP)。处理器120可以执行例如用于电子设备100的至少一个其它组件的控制和/或通信的计算或数据处理。根据本公开的实施例，处理器120可以响应于输入事件来控制相机190。处理器120可以支持对相机190收集的图像进行处理所需的计算。根据本公开的各种实施例，图像操作模块180可以包括至少一个处理器。备选地，图像操作模块180可以配置为与处理器120相关联的至少一个软件模块或至少一个硬件模块。
存储器130可以包括易失性存储器和/或非易失性存储器。存储器130可以存储与电子设备100的至少一个其它组件相关的指令和/或数据。例如，存储器130可以存储相机190收集的图像。此外，存储器130可以存储根据收集的图像所生成的分组图像。分组图像可以包括多个静止图像和/或按照恒定的时间间隔来自于视频的多个图像。来自视频的图像也可以称作视频帧。
根据本公开的实施例，存储器130可以存储至少一个程序140。程序140可以包括内核141、中间件143、应用编程接口(API)145和/或应用程序147(或“应用”)。内核141、中间件143和/或API 145中的至少一部分可以称作操作系统(OS)。
例如，内核141可以控制或管理例如用于执行在其它程序(例如，中间件143、API145或应用程序147)中实施的操作或功能的系统资源(例如，总线110、处理器120或存储器130等)。此外，当中间件143、API 145或应用程序147访问电子设备100的分离部件时，内核141可以提供可控制或管理系统资源的接口。根据本公开的各种实施例，内核141可以提供与控制相机190相关联的接口、可以控制或管理与图像处理相关联的系统资源的接口等。
例如，中间件143可以起到例如中介的作用，使得API 145或应用程序147可以与内核141通信命令和/或数据。此外，中间件143可以根据优先级处理从应用程序147接收到的一个或多个工作请求。例如，中间件143可以向应用程序147中的至少一个提供使用电子设备100的系统资源(总线110、处理器120、存储器130等)的优先级。例如，中间件143可以根据与工作请求相关联的优先级来调度工作请求或对工作请求进行负载平衡。根据本公开的实施例，中间件143可以支持对与电子设备100的操作场景、操作环境、信息存储状态或锻炼状态中的至少一个相对应的活动进行分析的调度。因此，中间件143可以响应于活动类型来选择图像处理方案，并且根据通过使用该图像处理方案所选择的图像生成突出(highlight)内容。
例如，API 145可以是例如应用程序147用以控制从内核141或中间件143提供的功能的接口。例如，API 145可以包括用于文件控制、窗口控制、图像处理、文本控制等的至少一个接口或功能(例如，指令)。根据本公开的各种实施例，API 145可以包括与操作相机190相关联的API、与分析所收集图像的活动相关联的API以及定义针对至少一种活动的图像处理方案的API。此外，API 145可以包括与图像处理方案中包括的至少一个处理模块相对应的至少一个API。API 145可以包括根据通过向所收集的图像应用特定的图像处理方案而生成的分组凸显来生成突出内容的API、与输出和存储或发送所生成的突出内容相关联的API等。
输入和输出接口170可以用作例如可以向电子设备100的其他组件发送从用户或其他外部设备输入的指令或数据的接口。此外，输入和输出接口170可以向用户或其他外部设备输出从电子设备100的其他组件接收到的指令或数据。根据本公开的实施例，输入和输出接口170可以生成与激活相机190相关联的输入信号、与控制使用激活的相机190进行的图像收集相关联的输入信号等。输入和输出接口170可以生成与输出和存储或发送所生成的突出内容相关联的输入信号。附加地或备选地，输入和输出接口170可以生成用于响应于用户输入来选择生成特定形式分组图像的至少一个图像处理方案的输入信号。
根据本公开的各种实施例，输入和输出接口170可以包括音频模块。例如，如果激活相机190的运动图像收集功能，则可以自动激活音频模块。由音频模块收集的音频可以与所收集的视频相链接和存储。
显示器150可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器150可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号等)。显示器150可以包括触摸屏，并可以接收例如通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。
根据本公开的多种实施例，显示器150可以输出与图像操作相关联的多种屏幕。例如，显示器150可以输出其上设置有用于激活相机190的图标或菜单等的主屏幕或等待屏幕。此外，显示器150可以输出响应于激活相机190而获得的预览图像，以及根据图像收集请求而捕获的图像(例如静止图像或运动图像)。根据本公开多个实施例，显示器150可以显示至少一个突出内容。根据本公开的各种实施例，显示器150可以提供用于选择至少一个图像处理方案的屏幕和用于显示分组图像作为缩略图像的屏幕。根据本公开的各种实施例，显示器150可以提供设置屏幕，用于手动地设置或调节与设置的活动模式相对应的图像处理方案。
例如，通信接口160可以在例如电子设备100和外部设备(例如，外部电子设备102、外部电子设备200或服务器设备106)之间建立通信。例如，通信接口160可以通过无线通信或有线通信与网络162相连，并且可以与外部设备(例如，外部电子设备200或服务器设备106)进行通信。
无线通信可以使用例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)等中的至少一个，作为蜂窝通信协议。此外，无线通信可以包括例如局域通信。局域通信可以包括例如以下至少一项：WiFi通信、蓝牙(BT)通信、近场通信(NFC)、全球定位系统(GPS)等。有线通信可以包括以下至少一项：例如，通用串行总线(USB)通信、高清多媒体接口(HDMI)通信、推荐标准232(RS-232)或普通老式电话业务(POTS)通信等。网络162可以包括电信网络，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网或电话网中至少之一。
根据本公开的各种实施例，通信接口160可以建立与外部设备102的局域通信信道。通信接口160可以向外部电子设备102发送与外部电子设备102的图像捕获相关联的控制信号发送。此外，通信接口160可以接收由外部电子设备102捕获的图像。通信接口160可以向外部电子设备102发送使用从外部电子设备102接收的图像而生成的突出内容或者使用由相机190捕获的图像而生成的突出内容。
根据本公开的各种实施例，通信接口160可以向外部电子设备200和/或服务器设备106发送所生成的突出内容。备选地，通信接口160可以从外部设备200和/或服务器设备106接收突出内容。
根据本公开的各种实施例，在电子设备100中执行的操作中的全部或一些可以在另一电子设备或多个电子设备(例如，外部电子设备102和200以及服务器设备106中的一个或多个)中执行。根据本公开的实施例，如果自动地或者根据请求执行任意功能或服务，电子设备100可以请求另一设备(例如，外部电子设备102和200以及服务器106中的一个)来执行与该功能或服务相关联的至少部分功能，而不是自己执行该功能或服务。其他电子设备(例如，外部电子设备102和200以及服务器设备106中的一个)可以执行所请求的功能或者附加功能，并且可以将执行的结果发送至电子设备100。电子设备100可以无改变地使用接收到的结果，或者响应于所请求的功能或服务来执行附加的处理。为此，例如可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。
照相机相机190可以响应于图像操作模块180的请求来收集图像，并且可以提供所收集的图像。根据本公开的一个实施例，如果激活了突出内容提供功能，则相机190可以激活并在预定的时间期间拍摄图像预定的次数。备选地，相机190可以响应于用户按压快门按钮(或者，虚拟快门按钮)来拍摄图像(例如，静止图像或视频)，并且可以将拍摄的视频传输至图像操作模块180。如果完成了突出内容提供功能，则相机190可以自动地去激活。备选地，如果接收到与结束相机190相关联的输入信号，则相机190也可以去激活。
图像操作模块180可以控制与突出内容提供功能相关联的图像获取和处理。例如，图像操作模块180可以经由与突出内容提供功能相关联的菜单或图标来控制相机190的激活以及图像的收集，其中用户可以经由所述菜单或图标来请求突出内容提供功能。此外，图像操作模块180可以收集与图像收集环境有关的信息，并且可以根据图像收集环境来分析活动。图像操作模块180可以响应于所分析的活动来选择将要应用的图像处理方案，并且可以根据所选择的图像处理方案来分类和处理图像以生成分组图像。图像操作模块180还可以控制根据分组图像来生成突出内容以及所生成突出内容的发送和输出或者存储。
图2A是示出了根据本公开各种实施例的图像操作模块的配置的方框图。图2B是示出了根据本公开各种实施例的应用了基于边缘处理的质量滤波器(QF)的示例的图示。图2C是示出了根据本公开各种实施例的应用了基于像素分布处理的QF的示例的图示。
参考图2A，图像操作模块180可以包括图像收集模块181、活动处理模块183、声源处理模块185和内容处理模块187。
图像收集模块181可以获得(或收集)图像(例如，静止图像或视频)。例如，图像收集模块181可以响应于输入事件的发生来激活相机190，并且可以获得静止图像或视频等。根据本公开的各种实施例，在激活相机190之后，图像收集模块181可以在预定的时间期间按照恒定的时间间隔自动获取图像。因此，如果激活了相机190，则图像收集模块181可以根据快门输入获得一个或多个图像。备选地，图像收集模块181可以根据输入事件的发生在预定的时间段拍摄视频，并且还可以从视频捕获静止图像。图像收集模块181可以将收集的图像传输至内容处理模块187。备选地，图像收集模块181可以将收集的图像中的至少一些传输至活动处理模块183。
活动处理模块183可以从图1的电子设备100中包括的传感器或者与电子设备100相连的外部电子设备中包括的传感器收集传感器信号。活动处理模块183可以根据所收集的传感器信号来分析电子设备100或外部电子设备的运动、位置或手势输入中的至少一个。活动处理模块183可以根据分析的结果来确定活动类型。
根据本公开的各种实施例，活动处理模块183可以分析从图像收集模块181提供的图像，并且可以确定活动类型。例如，活动处理模块183可以分析所收集的图像中的运动。可以通过将两个或多个连续的静止图像或视频帧中的对象进行比较来估计图像中包括的至少一个对象的运动距离或速度。备选地，活动处理模块183可以分析所收集的图像的帧之间的差异。这可以称作差异分析。例如，如果传输了多个图像，则活动处理模块183可以分析每一个图像的变化程度。备选地，活动处理模块183可以分析特定的对象，例如所收集的图像中包括的人。这可以称作对象的差异变化分析。例如，活动处理模块183可以分析图像中包括的人的脸部尺寸、面部表情或者拍摄角度。
根据本公开的各种实施例，活动处理模块183可以根据预定的日程信息或用户输入来分析活动。例如，活动处理模块183可以收集通过电子设备100的输入和输出接口170输入的场景类型信息(例如，用于表达特定场景的文本输入信息)、用户概括信息或者存储的日程信息中的至少一个。用户概况信息可以包括例如用户所处区域的天气信息和时间信息、用户的性别、用户的年龄等。存储的日程信息可以包括例如闹钟时间信息、商务日程信息、休息日程信息、散步日程信息、会议日程信息、集会日程信息、闭幕(或结账离开)日程信息、出席日程信息等。活动处理模块183可以根据所收集的信息来确定活动类型。活动处理模块183可以将与所确定的活动类型有关的信息发送至内容处理模块187。
声源处理模块185可以在图像收集模块181收集图像的同时收集声源，或者可以分析所收集的声源并且可以用预定的声源来代替(或者交换)所分析的声源。例如，在图像收集模块181收集图像的同时，活动处理模块183可以激活麦克风以记录声音(这可以称作“收集声音”)。声音的记录可以称作声源。活动处理模块183可以将所收集的声源提供给内容处理模块187。根据本公开的各种实施例，如果通过麦克风收集的声源没有满足预定条件，例如如果在预定时间期间或者在预定的时间间隔没有收集到恒定分贝范围的声源，则声源处理模块185可以将预定的声源提供给内容处理模块187。例如，声源处理模块185可以将特定的音乐文件或特定的节奏文件等提供给内容处理模块187。
源处理模块185可以在执行图像收集处理的同时将所收集的声源与所存储的音频数据进行比较，并且可以将发现的任意合适声源提供给内容处理模块187。在这种操作中，声源处理模块185可以将所收集的声源与电子设备100中存储的音频数据进行比较，并且可以搜索可与所收集的声源至少部分地匹配的音频数据。备选地，声源处理模块185可以通过图1的通信接口160将所收集的声源提供给图1的服务器设备106，并且可以从服务器设备106接收匹配的音频数据。尽管“音频数据”和“声源”可以是同义的，但是使用这两个术语来降低混淆。当这两个术语在同一个句子中使用时，区分用途时的重要描述符是“存储的”或“收集的”。
根据本公开的各种实施例，在生成背景声源时，声源处理模块185可以考虑所收集的音乐或活动类型(例如，诸如活动内容、位置、天气、区域和流行音乐之类的各种因素)来选择声源。根据本公开的各种实施例，声源处理模块185可以选择声源作为针对所获得的图像的突出内容的背景声源。
内容处理模块187可以根据活动类型对接收到的图像进行过滤/滤波。例如，内容处理模块187可以根据活动类型按照不同方式来应用质量滤波器(QF)、重复滤波器(DF)或者分类滤波器(CF)(例如，脸部、对象或场景)中至少之一。例如，关于应用质量滤波器(QF)，内容处理模块187可以通过边缘检测来测量模糊程度，并且可以通过所测量的像素分布来测量照度。
根据本公开的实施例，关于应用QF，如图2B所示，内容处理模块187可以检测图像上的边缘。如果因为图像的分割线不清楚而出现了模糊，则检测到的边缘的数目可以减小。因此，内容处理模块187可以相对于从特定图像检测到的边缘数目来检测相应图像中的模糊量或者模糊质量。
根据本公开的各种实施例，关于应用QF，如图2C所示，内容处理模块187可以测量像素分布。内容处理模块187可以通过像素分布(或者直方图)来确定预定图像的总体照度值。例如，当在图2C的右侧上存在较多的峰值时，内容处理模块187可以将该特定图像确定为亮图像。当在图2C的左侧上存在较多的峰值时，内容处理模块187可以将该特定图像确定为暗图像。
关于应用重复滤波器(DF)，内容处理模块187可以通过基于特征的描述符匹配来测量重复图像，并且可以执行重复检测。关于DF，内容处理模块187可以根据活动类型来调节重复程度(例如，用于确定重复的阈值)。如果调节了重复程度，则可以改变由DF滤波的帧的数目。
结合关于分类滤波器(CF)，内容处理模块187可以使用基于学习的图像分类算法来执行图像分类。内容处理模块187可以使用对象(例如，车、人等)分类和场景(例如，森林、海岸、城市等)分类来选择有意义的图像。内容处理模块187可以对接收到的图像执行内容分组(CG)。例如，内容处理模块187可以通过向接收到的图像应用基于时间或位置的分组算法来对接收到的图像进行分类。
根据本公开的各种实施例，结合要生成的内容的类型(例如，静止图像或运动图像)，内容处理模块187可以根据活动类型按照不同的方式应用突出内容生成方法。例如，如果设置或请求了生成视频突出，则内容处理模块187可以相对于已滤波的关键帧，基于视频的特定帧来执行视频复用或转码(即，对视频进行解码、然后按照另一种格式对已解码的视频进行编码)。根据本公开的各种实施例，内容处理模块187可以在所获得的图像之间添加预定的图像过渡效果，并且可以将图像编码为视频以生成突出视频内容。此外，内容处理模块187可以从原始图像或者原始运动图像中按照恒定的时间间隔来仅提取图像或者帧，并且可以将所提取的图像或者帧编码为视频以生成突出视频内容。因此，内容处理模块187可以迅速地从长视频提供突出视频内容。根据本公开的各种实施例，内容处理模块187可以使用从声源处理模块185发送的声源作为所生成的突出内容的背景声源。
根据本公开的各种实施例，电子设备100可以包括以下至少一项：相机，配置为捕获多个图像；通信接口，配合为接收多个图像；存储器，配置为存储图像；以及处理器，配置为与存储器在功能上相连。处理器可以确定获得图像时的活动类型，可以使用与活动类型相对应的图像处理方案来检测多个获得的图像中的至少一些图像，并且可以使用所检测的图像来生成突出内容。
如上所述，根据本公开的各种实施例，电子设备可以包括以下至少一项：配置为捕获多个图像的相机或者配置为接收多个图像的通信接口；以及图像操作模块，配置为确定获得图像时与电子设备相关联的活动类型，使用与活动类型相对应的图像处理方案来检测多个获得的图像中的至少一些图像，以及使用所检测的图像来生成突出内容。
根据本公开的各种实施例，图像操作模块可以根据多个图像的差异分析或图像中包括的对象的差异变化分析中的至少一个来确定与电子设备相关联的活动类型。
根据本公开的各种实施例，图像操作模块可以根据与电子设备相关联的传感器信息或者从发送该多个图像的外部电子设备接收的传感器信息中的至少一个，来确定与电子设备相关联的活动类型。
根据本公开的各种实施例，图像操作模块可以根据在电子设备的存储器中存储的场景信息或者在发送该多个图像的外部电子设备中存储的场景信息中的至少一个，来确定与电子设备相关联的活动类型。
根据本公开的各种实施例，图像操作模块可以获得在电子设备的存储器中存储的信息中的以下至少一项作为场景信息：闹钟时间信息、商务日程信息、休息日程信息、散步日程信息、集会日程信息、闭幕日程信息、出席日程信息或者会议日程信息。
根据本公开的各种实施例，图像操作模块可以根据活动类型来选择其中按照不同的方式设置是否应用QF、DF或CF中至少一个的图像处理方案或者其中按照不同的方式设置QF、DF或CF中至少一个的参数的图像处理方案。
根据本公开的各种实施例，图像操作模块可以通过在预定的恒定时间或者预定的恒定位置按照相同的方式应用所选择的图像处理方案来生成突出内容。
根据本公开的各种实施例，图像操作模块可以根据从与电子设备无线地连接的可穿戴电子设备接收的多个图像来生成突出内容。
根据本公开的各种实施例，图像操作模块可以控制与所确定的活动类型有关的信息、所选择的图像处理方案或者与突出内容相关联的显示信息中的至少一个的输出。
根据本公开的各种实施例，图像操作模块可以响应于用户输入来改变所确定的活动类型信息或者图像处理方案中的至少一个，并且可以响应于所述改变来控制突出内容的重新生成。
图3是示出了根据本公开各种实施例的图像处理方法的流程图。
参考图3，在该图像处理方法的操作301中，图1的电子设备100的图像操作模块180可以确定是否接收到图像。就此，图像操作模块180可以控制相机190的激活，或者可以建立用于从外部电子设备接收图像的通信信道。如果没有接收到图像，则图像操作模块180可以在操作303中执行与当前生成的事件或设置的调度事件相对应的功能。例如，图像操作模块180可以根据用户输入的类型来支持图像搜索功能、搜索存储的突出内容的功能、共享存储的突出内容的功能，或者可以通过拍摄图片或视频来生成图像。
如果接收到图像，则在操作305中，图像操作模块180可以分析活动。例如，如果从相机190接收到图像或者从外部电子设备(例如，与电子设备100连接的可穿戴设备)接收到图像，则图像操作模块180可以分析电子设备100或外部电子设备的活动。关于活动分析，图像操作模块180可以分析例如所收集的图像中至少一个对象的变化。备选地，当激活外部电子设备或相机190时，图像操作模块180可以激活至少一个传感器(例如，电子设备100中包括的传感器或者外部电子设备中包括的传感器)。图像操作模块180可以根据从传感器提供的传感器信息来分析电子设备100或外部电子设备的运动状态、周围的照明状态、位置等。备选地，图像操作模块180可以根据在存储器130中存储的信息(例如，日程信息、承诺信息、周年信息、商务信息、集会日程信息、闭幕日程信息、出席日程信息等)来分析场景信息。
在操作307中，图像操作模块180可以验证活动类型。例如，图像操作模块180可以验证与图像分析信息、传感器分析信息或存储器130中存储的场景信息中至少之一相对应的活动类型。根据本公开的实施例，图像操作模块180可以验证散步活动、跑步活动、车辆移动活动、夜晚场景活动、雨天场景活动、特定位置活动等类型。
图像操作模块180可以选择与验证的活动类型相映射的图像处理方案。就此，图像操作模块180可以存储和管理映射列表，该映射列表存储与针对每一种活动类型的图像处理方案有关的信息。如果验证了活动，则图像操作模块180可以参考映射列表来确定是否应用任意图像处理方案。根据本公开的实施例，映射列表可以包括如下图像处理方案，在所述图像处理方案中，根据活动类型按照不同的方式定义QF、DF或CF中至少一个的滤波器参数(例如，应用至QF、DF或CF中至少一个的阈值)。
在操作311中，图像操作模块180可以根据所选择的图像处理方案来执行图像处理。例如，图像操作模块180可以根据所选择的图像处理方案中定义的过滤程度按照不同的方式来分类和选择所收集的图像。根据本公开的实施例，图像操作模块180可以根据图像处理方案的QF、DF或CF的程度来处理图像。
在操作313中，图像操作模块180可以生成突出内容。例如，图像操作模块180可以顺序地布置所选择的图像以生成运动图像形式的突出内容。备选地，图像操作模块180可以生成将每一选定图像表示预定时间间隔的幻灯片突出内容。幻灯片突出内容还可以包括例如选定图像之间的图像过渡效果。
图4是示出根据本公开各种实施例的使用图像的活动分析方法的流程图。
参考图4，在该活动分析方法中，在操作401中，图1的电子设备100中的图像操作模块180可以收集图像。就此，图像操作模块180可以激活相机190，或者可以建立与外部电子设备102的通信信道以接收图像。根据本公开的各种实施例，图像操作模块180可以接收外部电子设备102中存储的图像。
在操作403中，图像操作模块180可以确定对象是否移动。例如，图像操作模块180可以将所收集的图像进行比较，以确定所收集的图像中的对象是否移动了预定值或者更多。备选地，图像操作模块180可以确定图像中包括的至少一个对象的姿态变化是否是预定值或更多。
在操作405，图像操作模块180可以分析对象运动、图像之间的差异或者对象类型中的至少一个。如果存在与对象运动相对应的图像差异，则图像操作模块180可以分析图像中的对象的运动、图像之间的差异或者对象类型，并且可以检测运动信息、对象类型等。例如，图像操作模块180可以检测对象是否沿任意方向移动。此外，图像操作模块180可以检测图像中是否包括预定对象(例如，人、脸等)。
在操作407，图像操作模块180可以分析与运动信息和对象类型相对应的活动。例如，图像操作模块180可以根据来自电子设备100的运动信息来验证拥有电子设备100的用户是否正在散步、跑步或下降。备选地，图像操作模块180可以根据对象类型来验证是否捕获了风景、人物或特定对象。因此，图像操作模块180可以确定诸如散步、跑步或下降之类的活动类型，和/或可以确定活动是否涉及某人和/或对象。
在操作409中，图像操作模块180可以确定是否结束活动分析。例如，当图像收集已经结束时，图像操作模块180可以停止活动分析。备选地，图像操作模块180可以确定是否发生与去激活照片功能相关联的事件。
根据本公开的各种实施例，图像操作模块180可以使用传感器数据、场景数据等以及通过使用图像分析来对活动进行分析。例如，图像操作模块180可以通过时间、位置、用户场景数据等的传感器数据来识别图像或视频的用户活动，并且可以控制与生成突出内容相关联的处理。用户场景数据可以包括用户设置的捕获起点和终点信息以及与明确限定的活动类型有关的信息。捕获起点和终点时间可以在内容分组处理中使用。例如，如果设置了捕获起点和终点，则可以跳过分组。如果没有设置捕获起点和捕获终点，则图像操作模块180可以根据位置、时间或者一些图像特性中的至少一个来对所获得的突出图像或所获得的突出内容进行分组。
图5是示出了根据本公开各种实施例的使用传感器信息的活动分析方法的流程图。
参考图5，在该活动分析方法的操作501中，图1的电子设备100中的图像操作模块180可以收集传感器信息。根据本公开的实施例，当激活相机190或者当从图1的外部电子设备102接收到图像时，图像操作模块180可以激活至少一个传感器。备选地，图像操作模块180可以从外部电子设备102连同图像一起接收传感器信息。
在操作503，图像操作模块180可以分析设备运动、设备位置或姿势中的至少一个。例如，图像操作模块180可以分析电子设备100或外部电子设备102中至少一个的运动方向或运动程度(例如，速度、加速度等)。此外，图像操作模块180可以根据传感器信息来分析电子设备100或外部电子设备102的位置改变或当前位置。此外，图像操作模块180可以根据传感器信息，根据恒定时间内的设备运动来分析姿势(例如，摆动姿势、拍打姿势、转动姿势或者倾斜姿势等)。
在操作505，图像操作模块180可以根据运动和位置来分析活动。例如，图像操作模块180可以根据电子设备100或外部电子设备102的速度或加速度或者电子设备100或外部电子设备102的运动方向来确定可能与活动相关联的运动方式(例如，散步、自行车、摩托车、汽车等)。图像操作模块180也能够基于海拔信息和运动信息来确定活动可以是登山，或者可以根据运动、位置或姿势确定锻炼活动(例如，游泳、网球、高尔夫球、乒乓球、棒球等活动)。如果确定了活动类型，则图像操作模块180可以选择合适的图像处理方案来生成突出内容。
在操作507中，图像操作模块180可以确定是否发生了结束事件。如果没有发生结束事件，则图像操作模块180可以从操作501重复操作。当发生结束事件时，图像操作模块180可以结束(或终止)突出内容的生成，并且可以结束传感器信息的收集。
图6是示出了根据本公开各种实施例的使用场景信息的活动分析方法的流程图。
参考图6，在该活动分析方法的操作601中，图1的电子设备100中的图像操作模块180可以收集场景信息。例如，图像操作模块180可以在存储器130中搜索日程信息、备忘录文本消息或聊天消息、电子邮件、闹钟等。这些类型的信息可以存储在存储器130中的某些文件中，这些文件中的一些可能已经通过文件名称或应用名称进行了标识。这些信息也可以存储在存储器130的某些地址范围内。因此，图像操作模块180可以在存储器130的某些地址范围或者存储器130中的某些文件中来搜索与预定关键字相对应的术语(例如，与人物、时间或位置中的至少一个相关联的术语)。图像操作模块180可以根据与关键字相对应的术语来收集与特定的时间、位置、人物等相关联的场景信息。
在操作603中，图像操作模块180可以收集当前的场景信息。例如，图像操作模块180可以收集电子设备100(或图1的外部电子设备102)的当前位置信息和关于当前时间的信息。根据本公开的各种实施例，图像操作模块180可以对电子没备100周围的区域进行扫描，并且可以收集图1的外部电子设备200(可以结合预定的人进行登记)的信息。
在操作605，图像操作模块180可以根据当前的场景信息来分析场景信息。例如，图像操作模块180可以验证在操作601中获得的场景信息中包括的时间信息、位置信息和人物信息是否在某一预定误差范围内与当前场景中获得的时间信息、位置信息和人物信息相同。如果当前的场景信息在误差范围内与场景信息相同，则图像操作模块180可以确定执行了根据当前场景信息的场景。
在操作607中，图像操作模块180可以分析活动。例如，图像操作模块180可以根据场景信息来分配活动类型。根据本公开的实施例，图像操作模块180可以根据场景信息来确定例如会见活动、会议活动、商务旅行活动、闭幕活动、出席活动等。图像操作模块180可以根据每一种活动来设置针对另一捕获(或者，另一图像获取间隔)的开始和结束时间。这只是本公开针对图像处理方案的一个实施例。图像操作模块180可以使用各种其他图像处理方案来处理图像。
在操作609中，图像操作模块180可以确定是否发生了结束事件。图像操作模块180可以确定是否已经发生了与去激活突出内容生成功能相关联的事件。如果发生了与去激活突出内容生成功能相关联的事件，则图像操作模块180可以结束场景信息的收集和分析。
图7A是示出根据本公开各种实施例的突出图像收集方法的流程图。
参考图7A，如果确定了活动类型并且如果根据活动类型确定了图像处理方案，则图1的电子设备100中的图像操作模块180可以在操作701中确定是否已经关于收集突出图像输入了视频。例如，图像操作模块180可以确定是否从相机190输入了视频(例如，运动图像)或者是否从图1的外部电子设备102接收了视频。确定活动类型的方式可以根据图4至图6的上述方法中的至少一个来确定。
在操作703中，如果输入了视频，则在操作703中，图像操作模块180可以提取关键帧。如果输入了静止图像而不是视频，那么该处理可以前进至操作705，其中图像操作模块180可以通过使用例如对输入静止图像的联合图像专家组(JPEG)解码来执行针对静止图像的解码。在操作707中，图像操作模块180可以生成位图图像。例如，图像操作模块180可以将所提取的关键帧转换为位图图像。备选地，图像操作模块180可以将JPEG解码的图像转换为位图图像。
在操作709中，图像操作模块180可以确定位图图像是否需要低质量图像滤波。例如，图像操作模块180可以确定位图图像的分辨率是否大于预定值。备选地，图像操作模块180可以确定在位图图像中是否存在像素断裂、像素展宽、像素模糊等大于预定阈值的区域。可以根据活动类型按照不同的方式来确定低质量图像滤波的参数(例如，定义质量程度的参数)。
如果需要低质量图像滤波，那么图像操作模块180可以在操作711中向位图图像应用低质量图像滤波。图像操作模块180的一种选项可以是排除相应的位图图像用于生成突出内容。
在操作713中，图像操作模块180可以确定位图图像是否需要重复滤波。就此，图像操作模块180可以确定在当前的位图图像和另一位图图像(例如，先前获得的突出图像)之间是否存在足够的相似性。例如，图像操作模块180可以确定当前获得的图像和另一图像之间的相似程度。如果相似程度大于预定阈值，那么可以将这些图像视为是重复的。可以根据活动类型按照不同的方式来确定两个图像之间的相似性信息。
如果对于位图图像需要重复滤波(例如，如果相似程度大于阈值)，则图像操作模块180可以在操作715中对这些图像进行集成(组合或者合并)。例如，图像操作模块180可以将所获得的图像与另一突出图像(在确定这两个图像重复时)相集成。备选地，图像操作模块180可以将所获得的图像标记为重复，以将其从突出图像中排除。
在操作717中，图像操作模块180可以检测对象。例如，如果所获得的图像与突出图像相差大于阈值量，则图像操作模块180能够检测所获得的图像中可能与突出图像不同的至少一个对象。在检测到对象之后，在操作719中，图像操作模块180可以执行图像分类。例如，图像操作模块180可以根据检测到的对象的类型对图像进行分类。就此，电子设备100可以在存储器130中存储并管理关于预定类型对象如人、车辆、自行车等的信息。图像操作模块180可以将检测到的对象的特征点与存储器中存储的对象进行比较以确定检测到的对象的类型。图像操作模块180然后能够对图像进行分类。
在操作721中，图像操作模块180可以计算突出图像的数目。例如，图像操作模块180可以将分类为一种类型的图像的数目加到先前获得的相同类型的突出图像上(例如，有多少帧)。
如上所述，图像操作模块180可以在与特定活动类型相对应的环境中响应于输入事件，来控制诸如静止图像或视频(例如，运动图像)的捕获等。例如，拥有电子设备100的用户可以按照落在某个范围内的速度(例如，散步速度、跑步速度、自行车速度等)运动。如果根据运动确定了活动类型，则图像操作模块180可以从所确定的活动类型的图像和视频中提取图像集合。例如，图像操作模块180可以存储在执行滤波之后留下的至少一个帧作为针对一个帧集合的突出图像。
图7B是示出根据本公开各种实施例的突出内容提供方法的流程图。
参考图7B，在该突出内容提供方法的操作723中，图1的电子设备的图像操作模块180可以确定突出图像的数目是否大于预定的阈值(例如，一定的数目范围)。根据本公开的实施例，如果突出图像的数目超过了用户设置或自动设置的阈值，则图像操作模块180可以附加地执行包括参考图7A描述的滤波在内的突出内容生成处理。例如，图像操作模块180可以通过调节QF的参数(例如，模糊程度)或者CF的参数(例如，某“人”的场景重要性以及背景场景(例如，森林场景)的重要性)，来减少突出图像的数目。例如，图像操作模块180可以通过调节滤波参数以及调节整个活动时间段期间所有图像的数目与突出图像的数目之比或者调节所有图像的数目与运动图像的数目之比，来去除静止图像或视频。
如果突出图像的数目大于预定阈值，则图像操作模块180可以在操作725中执行非突出图像处理。例如，图像操作模块180可以将相应的图像(例如，超过预定阈值数目的至少一个突出图像)标记为不是突出图像的图像。当生成突出内容时，图像操作模块180可以排除这些标记的图像。
如果突出图像的数目没有满足预定条件，例如，如果因为突出图像的数目小于或等于预定图像数目而需要获得附加的突出图像，则图像操作模块180可以在操作727中确定是否输入了视频。如果输入是视频，则在操作729中，图像操作模块180可以执行突出关键帧处理。如果输入不是视频，则在操作731中，图像操作模块180可以执行突出图像处理。例如，图像操作模块180可以将至少一个另一图像改变为突出图像。
在操作733中，图像操作模块180可以确定是否发生了与结束相关联的事件。如果没有发生与结束处理相关联的事件，则图像操作模块180可以分支到图7A的操作701，并且可以重复从操作701开始的操作。
如果发生了与结束处理相关联的事件，则在操作735中，图像操作模块180可以生成分组的视频或图像。例如，图像操作模块180可以管理突出图像以成为一个图像集合。在操作737中，图像操作模块180可以执行内容分组。例如，图像操作模块180可以根据事件或位置中的至少一个对突出图像集合进行分组。例如，图像操作模块180可以将在预定时间范围内生成的突出图像集合分组为一个内容。该突出图像的内容可以称作突出内容。备选地，如果位置(或者，时间和位置)在预定范围内彼此相同，则图像操作模块180可以将突出图像集合分组为一个内容。
在操作739中，图像操作模块180可以生成、存储和/或突出内容。例如，图像操作模块180可以将突出内容存储在图1的电子设备100的存储器130中，或者可以将突出内容发送至图1的外部电子设备102或者预定的服务器设备。
如上所述，根据本公开的各种实施例，图像处理方法可以包括：在电子设备中收集图像，确定获得图像时电子设备的活动类型，选择各种图像处理方案中具有与所确定的活动类型相对应的滤波条件的图像处理方案，通过应用所选择的图像处理方案来处理所获得的图像中的一些图像，根据所处理的数据来生成突出内容，以及输出或存储所述突出内容。
如上所述，根据本公开的各种实施例，图像处理方法可以包括：在电子设备中收集图像，确定获得图像时电子设备的活动类型，选择具有与所确定的活动类型相对应的滤波条件的图像处理方案，通过应用所选择的图像处理方案来选择或处理所获得的图像中的一些图像，以及根据所选择或所处理的图像来生成突出内容。
根据本公开的各种实施例，确定活动类型可以包括：根据图像的差异分析或图像中包括的对象的差异变化分析中的至少一个来确定与电子设备相关联的活动类型。
根据本公开的各种实施例，确定活动类型可以包括：接收与电子设备相关联的传感器信息，或者来自发送图像的外部电子设备的传感器信息；以及根据接收到的传感器信息来确定与电子设备相关联的活动类型。
根据本公开的各种实施例，确定活动类型可以包括：收集电子设备的存储器中存储的场景信息或者收集发送图像的外部电子设备中存储的场景信息；以及根据所收集的场景信息来确定活动类型。
根据本公开的各种实施例，收集场景信息可以包括获得在存储器中存储的信息中的以下至少一项作为场景信息：闹钟时间信息、商务日程信息、休息日程信息、散步日程信息、集会日程信息、闭幕日程信息、出席日程信息或者会议日程信息。
根据本公开的各种实施例，选择图像处理方案可以包括：根据活动类型来选择其中按照不同的方式设置是否应用QF、DF或CF中至少一个的图像处理方案或者其中按照不同的方式设置QF、DF或CF中至少一个的参数的图像处理方案。
根据本公开的各种实施例，生成突出内容可以包括：在预定的恒定时间或者预定的恒定位置按照相同的方式应用所选定的图像处理方案来生成突出内容。
根据本公开的各种实施例，生成突出内容可以包括：根据从与电子设备无线地连接的可穿戴电子设备接收的图像来生成突出内容。
根据本公开的各种实施例，该方法还可以包括：输出与所确定的活动类型有关的信息、所选择的图像处理方案或者与突出内容相关联的显示信息中的至少一个。
根据本公开的各种实施例，该方法还可以包括：响应于用户输入来改变与所确定的活动类型有关的信息或者图像处理方案中的至少一个，并且可以响应于所述改变来再次生成突出内容。
图8是示出了根据本公开各种实施例的与图像操作相关联的系统信号处理的示例的信号时序图。
参考图8，与图像操作相关联的系统信号处理的操作801中，外部电子设备102可以响应于输入事件或者电子设备100的请求来收集图像或传感器信息。例如，外部电子设备102可以响应于用户输入来激活至少一个传感器，可以通过其相机获得图像，并且可以收集传感器信息。
在操作803，外部电子设备102可以将所收集的图像和/或所收集的传感器信息发送至电子设备100。根据本公开的各种实施例，外部电子设备102可以收集运动速度信息、运动方向信息等作为传感器信息，并且可以将所收集的传感器信息与所获得的图像一起发送至电子设备100。
在操作805，电子设备100可以分析活动类型。例如，电子设备100可以根据从外部电子设备102提供的运动速度信息、运动方向信息等来分析活动类型。根据本公开的实施例，电子设备100可以根据运动速度信息、运动方向信息等来确定散步活动、跑步活动或自行车运动活动等。
如果完成了活动类型的分析，则在操作807中，电子设备100可以根据活动类型来确定图像处理方案。例如，电子设备100可以根据活动类型来确定配置有具有预定参数的滤波器的图像处理方案。就此，电子设备100可以参考可以存储在存储器130中的映射表，在该映射表中根据活动类型映射了图像处理方案。
在操作809中，电子设备100可以生成突出内容。例如，电子设备100可以顺序地布置根据图像处理方案而选择的至少一个突出图像并且可以将突出图像编码为视频，或者可以将至少一个突出图像改变为变成顺序再现的图像。例如，电子设备100可以使至少一个P帧(预测帧)与该至少一个突出图像相关联。电子设备100可以使用该P帧来实现顺序再现的图像，或者将该P帧与该至少一个突出图像进行组合。
在操作811中，电子设备100可以将突出内容传输至外部电子设备102。附加地或者备选地，电子设备100可以输出和/或存储突出内容。在操作813中，外部电子设备102可以输出和/或存储接收到的突出内容。
根据本公开的各种实施例，在该图像操作方法中，描述了根据外部电子设102的传感器信息来分析活动的示例。然而，本公开的范围不限于此。例如，在根据本公开各种实施例的图像操作方法中，可以通过从外部电子设备102发送的图像分析结果来执行活动分析。此外，在根据本公开各种实施例的图像操作方法中，可以根据在外部电子设备102的存储器中存储的场景信息来执行活动分析。
根据本公开的各种实施例，描述了在电子设备100中执行活动分析、活动类型确定和图像处理方案选择的示例。然而，本公开的范围不限于此。例如，可以在外部电子设备102中执行与活动相关联的处理、图像处理方案的选择以及图像的处理。
如上所述，根据本公开各种实施例的图像操作方法和设备可以根据基于活动类型预设的预定图像处理方案来处理所收集的图像，并且可以根据活动类型来生成突出内容。例如，电子设备100可以根据实际场景来分析输入数据，可以评估活动，并且可以根据所收集的信息按照不同的方式来选择和应用图像处理方案。
根据本公开的实施例，当拥有电子设备100的用户散步时，图像操作模块180可以获得按照某个散步速度周期性上下移动的图像。备选地，图像操作模块180可以从加速度传感器获得约每小时4至5千米的典型速度的信息。或者，图像操作模块180可以获得在锻炼记录或者日程表的相应时间输入为“散步”的场景信息。因此，本公开的各种实施例可以使用图像操作模块180使用适当的API来确定用户当前正在散步。
一旦图像操作模块180根据上述输入数据分析将活动类型确定为散步活动，图像操作模块180可以选择针对散步活动的图像处理方案。例如，图像操作模块180可以粗略地执行图像稳定器的运动补偿。图像操作模块180可以选择包括具备关于滤波的预定参数的QF、DF和CF在内的图像处理方案。关于内容分组，图像操作模块180可以应用基于时间或位置的分组，可以将组之间的绝对时间间隔设置为三小时，并且可以将绝对距离间隔设置为10千米。备选地，图像操作模块180可以根据由调度器、日历、保健功能等生成的起始/结束事件或者根据用户输入的起始/结束事件来处理内容分组。关于生成突出内容，图像操作模块180可以生成时滞(time lapse)视频，并且可以响应于散步活动的确定来生成5分钟间隔的图像。
根据本公开的各种实施例，当拥有电子设备100的用户跑步时，图像操作模块180可以获得按照相对较快的速率发生上下移动的图像。备选地，图像操作模块180可以从加速度传感器获得约每小时10至15千米的速度以及存在规律的上下运动和左右晃动运动的的信息。备选地，图像操作模块180可以在锻炼记录或日程表中的相应时间处获得“慢跑”或“跑步”(这两种活动都称为“跑步”)的场景信息。
图像操作模块180可以使用API来验证用户当前正处于跑步场景中。因此，图像操作模块180可以确定发生了跑步活动。图像操作模块180可以根据跑步活动的发生来执行图像稳定器的运动补偿，并且可以选择用于应用预定参数的QF、DF或CF中至少之一的图像处理方案。关于内容分组，图像操作模块180可以应用基于时间或位置的分组，可以将组之间的绝对时间间隔设置为三小时，并且可以将绝对距离间隔设置为10千米。备选地，关于内容分组，图像操作模块180可以接收相关应用如日历应用、保健应用等的起始/结束事件，并且可以执行分组处理。关于生成突出内容，图像操作模块180可以从视频提取图像集合，并且可以配置突出内容。
根据本公开的各种实施例，当用户与孩子一起玩耍时，图像操作模块180可以获得这样的图像，在该图像中在预定的时间间隔内对象改变了预定的次数或更多，并且相同的对象(例如，同一个人)不断出现。备选地，图像操作模块180可以获得由位置传感器感测的不存在太多位置变化的位置信息、不规律的加速度传感器信息以及不规律的陀螺仪传感器信息。备选地，图像操作模块180可以收集不存在特定用户输入的场景信息。因此，图像操作模块180可以确定正在发生日常的未安排活动。图像操作模块180可以选择包括具有预定参数的QF、DF和CF在内的图像处理方案。图像操作模块180可以应用基于时间或位置的分组，可以将组之间的绝对时间间隔设置为三小时，并且可以将绝对距离间隔设置为5千米。图像操作模块180可以通过每一个组生成一个视频(包括图像滑动效果)来生成突出内容。
根据本公开的各种实施例，电子设备可以通过识别活动并且调节与所识别的活动相对应的用于生成突出图像的图像处理方案来改进突出内容的质量，并可以减少不必要的计算，这导致电池使用减少且电子设备发热减少，并允许电子设备的处理器可以更多地用于其他功能。
图9是示出了根据本公开各种实施例的与图像处理相关联的屏幕界面的图。
参考图9，根据本公开的各种实施例，图1的电子设备100可以激活相机190，并且可以获得针对特定对象的图像。在这一操作中，在状态901，电子设备100的显示器150可以输出图像获取屏幕。在状态901中显示的屏幕可以显示例如对象的静止图像或视频中的至少一个。根据本公开的各种实施例，在显示器150上输出的图像可以是由图1的外部电子设备102捕获并发送的图像。电子设备100可以针对生成突出内容来激活至少一个传感器。备选地，电子设备100可以收集场景信息。
根据本公开的各种实施例，如果完成了图像的获取(例如，如果相机190去激活)或者如果请求了突出内容生成功能，则电子设备100可以使用所获得的图像生成突出内容。备选地，如果通过突出内容生成功能激活了相机190，则电子设备100可以获得预定时间期间的图像。备选地，在开始捕获图像之后，如果发生了结束输入事件，则电子设备100可以生成突出内容。
根据本公开的各种实施例，电子设备100可以针对生成突出内容来分析活动类型，并且可以根据分析的活动类型来选择图像处理方案。因此，电子设备100可以在显示器150上显示如图9中所示的信息。例如，在状态903，显示器150可以输出突出内容信息屏幕930。突出内容信息屏幕930可以包括例如活动信息区域931、图像处理方案区域933和用于显示通过选定图像处理方案933c而生成的突出内容的突出内容显示区域935。
活动信息区域931可以显示例如与根据图像分析信息、传感器信息或场景信息中的至少一个而分析的活动类型(例如，自行车运动活动)有关的信息。根据本公开的各种实施例，活动信息区域931可以响应于用户输入的控制来输出包括另一种活动类型(例如，诸如散步项目、跑步项目和车辆项目之类的项目)在内的列表。如果响应于用户输入改变了活动类型，则可以响应于改变的活动类型来自动地改变选定图像处理方案区域933的内容。
图像处理方案区域933可以响应于活动类型来显示预定的信息。可以利用数字或字符来分类并显示图像处理方案区域933。例如，图像处理方案区域933可以显示所选择的与活动类型相对应的图像处理方案933c。可以响应于用户输入的控制将所选择的图像处理方案933c改变为另一数目字或字符。通过该另一数字或字符来设置响应于该另一数字或字符的滤波器应用方案或者具有不同参数值的滤波器。
根据本公开的各种实施例，图像处理方案区域933可以包括阳(male)项目933a或阴(female)项目933b。阳项目933a或阴项目933b可以是相对于设置的特定值的已滤波图像的处理类型的项目。例如，阳项目933a或阴项目933b可以是用于将图像分类为突出图像的权重值项目，包括多个获得的图像中所包括的对象之中与预定类别相对应的对象。根据本公开的各种实施例，如果选择了阳项目933a，则图像操作模块180可以将多个所获得的图像中人物对象与背景对象之比是恒定比率或更大的图像(例如，验证了人物对象整个形状的图像)检测为突出图像。根据本公开的实施例，如果选择了阴项目933b，则图像操作模块180可以将多个所获得的图像中关于人物对象设置的周围对象(例如，衣服、配饰、包等)的比率是恒定比率或更大的图像检测为突出图像。
加亮突出内容显示区域935可以是显示通过所选择的图像处理方案933c而生成的突出内容937的至少一部分图像的区域。可以响应于例如活动的改变、图像处理方案的改变以及阳项目933a或阴项目933b的选择按照各种方式来改变突出内容937。电子设备100可以生成并存储一个所获得的组的内容，例如应用了阳项目933a的突出内容和应用了阴项目933b的突出内容。
根据本公开的各种实施例，在状态905，电子设备100的显示器150可以输出用于搜索突出内容的内容列表屏幕950。内容列表屏幕950可以包括例如活动分类列表951、时间分类列表953和位置分类列表955。活动分类列表951可以包括例如根据活动而分类的多种突出内容，例如基于自行车活动的突出内容951a、基于散步活动的突出内容951b、基于儿童活动的突出内容951c以及基于旅行活动的突出内容951d。时间分类列表953可以包括例如以小时为基础、以天为基础、以月为基础、以年为基础等而分类的突出内容。位置分类列表955可以包括例如按预定的位置单位(例如公司、家庭等)而分类的突出内容。
根据本公开的各种实施例，电子设备可以使用通过可穿戴相机捕获的图像和视频来生成适于用户活动的突出内容，使得他或者她能够容易地找到图像，并且将突出内容与他人共享。
根据本公开的各种实施例，电子设备100可以自动地制作突出内容，然后制作在用户穿戴着可穿戴照相机旅行时所拍摄的图像和/或视频的相册。根据本公开的各种实施例，在早晨用户穿戴了可穿戴相机并慢跑时，电子设备100可以每500米提取照片，并且可以提供突出内容。此外，电子设备100可以提供特定风景的照片作为突出内容。根据本公开的各种实施例，如果用户穿戴上可穿戴相机并且骑着自行车，则电子设备100可以提供例如整个路径的时滞视频/图像。根据本公开的各种实施例，如果用户穿戴上可穿戴相机并且参加家庭聚会，并且如果通过例如用户的输入将参加家庭聚会的人群确定为不同家庭的成员，则电子设备100可以生成针对每一个家庭的家庭视频以及整个突出视频，并且可以将相应的视频与各家庭共享。
在根据本公开各种实施例的散步活动的情况下，拥有电子设备100的用户可以按照与散步相关联的一定速度和方向来散步。如果用户收集了散步的视频，则电子设备100可以将所收集的输入输入分析为具有上下运动。根据本公开的实施例，电子设备100中包括的传感器(例如，加速度传感器)可以收集到与速度为约每小时4至5千米的运动相关联的传感器信息。电子设备100可以根据用户输入(例如，用户场景)来验证锻炼记录或者预定日程，以验证当前时间是与输入为“散步”的场景信息相对应的时间。电子设备100可以确定用户处于正在散步的状态。
电子设备100可以向图像信息、传感器信息和用户输入信息应用不同的权重值，或者可以向阈值信息应用权重值，并且可以最终将当前状态评估为散步活动状态。可以存在电子设备100向信息应用权重值的各种方式。例如，电子设备100可以根据用户输入信息的类型按照各种方式来规定权重值。根据本公开的实施例，如果用户输入信息是预定信息(例如，与散步有关的信息)，则电子设备100可以将用于活动评估的图像信息权重值分数指派为被传感器信息相对要高。
因此，如果在活动评估时图像信息的改变满足预定条件(例如，检测到图像中与散步相对应的上下运动)，则电子设备100可以将当前状态确定为散步活动状态，并且可以将当前活动校正为散步活动。例如，尽管因为所获得的传感器信息大于或等于预定条件从而可以将当前状态显示为跑步活动状态，诞生如果将图像信息确定为散步场景信息，则电子设备100可以将当前状态确定为散步活动状态。备选地，如果针对传感器信息的权重大于针对图像信息的权重，则尽管图像的分析可能已经将当前活动确定为散步活动，诞生电子设备100可以将当前状态确定为跑步活动状态。
如果在活动评估时将当前状态确定为散步活动状态，则电子设备100可以按照针对所收集图像的图像稳定器的滤波、质量滤波(QF)、重复滤波器(DF)、面部滤波器CF(使用针对人所识别的面部特征对人脸进行滤波)和对象/场景分类滤波(CF)的顺序来确定流程控制。如果确定了流程控制，则电子识别100可以响应于相应的流程控制来处理所收集的图像。如上所述，电子设备100的流程控制可以是根据活动评估的结果来使用预定滤波器的方式。备选地，电子设备100可以根据活动评估的结果和图像信息或传感器信息的状态来对预定滤波器的特性进行校正。例如，电子设备100可以根据散步活动状态的确定来确定流程控制，并且可以根据图像信息的上下移动值或者传感器信息值来粗略地应用滤波器的特性或者严格地应用滤波器的特性。就此，电子设备100可以包括图像信息的至少一个上下移动条件或者传感器信息的至少一个幅度条件等。电子设备100可以验证所获得的与当前图像信息相关联的信息或者所获得的传感器信息是相对于图像信息的至少一个上下移动条件或传感器信息的至少一个幅度条件的任意参考值。电子设备100可以根据所验证的参考值来改变或保持流程控制的滤波器特性值。
结合关于散步活动，图像中检测到的上下运动对于散步来说与站立相比相对较强。此外，因为图像中检测到的上下运动对于散步来说与跑步相比相对较弱，所以电子设备100可以粗略地应用运动补偿级别。因此，在本发明的实施例中，电子设备100可以应用QF以对质量为预定值或更少的图像进行滤波。可以根据评估活动的结果或者根据上下运动的平均级别或者预定时间期间的平均级别来改变与质量相关联的预定值。
电子设备100可以针对视为重复预定值或者更大的图像使用DF。在散步的情况下，因为用户可能在散步期间四处张望(或者因为他或她按照预定级别或更小的运动速度散步)，电子设备100可以通过脸部识别来对图像进行滤波。这里，电子设备100可以根据评估的活动的类型(例如，散步活动)来控制对包括预定尺寸或更大的脸部特征点在内的图像进行滤波。这里，所述预定尺寸可以小于另一种活动(例如，跑步活动等)的预定尺寸。
如果背景包括有意义的信息，则电子设备100可以通过对象或场景识别来对有意义的信息进行滤波。就此，电子设备100可能已经存储了用于验证所获得的图像是否包括有意义信息的多种条件信息，或者可以向用于分析语义信息的服务器设备提供相应的图像信息。
电子设备100可以对根据流程控制而滤波的图像进行分组。在这一操作中，电子设备100可以定义相对于评估的活动(例如，散步活动)的分组特性。例如，电子设备100可以应用基于时间或基于位置的分组，可以将所生成的分组之间的绝对时间间隔确定为预定的第一时间(例如，三小时)，并且可以将绝对距离间隔(或者，绝对位置间隔)确定为预定的第一距离(例如，10千米)。根据本公开的各种实施例，电子设备100可以存储与时间或位置中的至少一个有关的参考信息(例如，第一时间或第一距离等)。电子设备100可以执行相对于参考信息的分组。可以响应于相关的活动统计地或者经验地根据数据来计算参考信息，或者可以由设计者或用户预先设置参考信息。备选地，如果结合操作用户的活动来收集恒定参考值或更多的数据，则可以根据相应数据的模式分析来确定参考信息。
根据本公开的各种实施例，可以通过接收相关应用中的起始/结束事件来处理分组操作。相关应用可以是例如日历应用、S-健康应用等。此外，电子设备100可以与预定的锻炼应用(例如，计步器)交互，并且可以在分组操作中采取从起始时间到结束时间的一个组。
电子设备100可以使用评估的活动和分组的组来生成突出内容。例如，电子设备100可以生成时滞视屏，并且可以按照预定的时间间隔(例如，5分钟)生成图像集合。关于时滞方案，可以基本上或者自动地提供时滞方案以在预定的时间期间按照将活动鉴赏最大化的方式来展现与整个锻炼相对应的场景信息。可以根据用户输入的控制或者设计者的意图来提供除了上述时滞方案之外的各种其他方案，诸如面向个人的方案或面向风景的方案。
结合关于根据本公开各种实施例的跑步活动，电子设备100在跑步场景中获得的图像的上下运动可以按照预定的级别或更大而周期性地发生。此外，传感器(例如，加速度传感器)可以获得主要以约每小时10至15千米的速度前后运动的传感器信息，并且可以获得上下运动和左右运动的传感器信息。关于用户输入信息(例如，用户场景信息)，用户可以在锻炼记录和日程项目中的当前项目中输入“慢跑”，并且可以在与电子设备100交互的外部电子设备(例如，可穿戴电子设备)中输入或预设跑步项目。电子设备100可以使用API来确定用户处于跑步场景中。因此，关于活动评估，电子设备100可以将当前场景确定为跑步活动。
结合关于流程控制，电子设备100可以按照以下顺序向所获得的图像应用图像稳定器的滤波(例如，锐利或严格运动补偿)、QF和DF。流程控制可以是根据跑步活动的评估的结果。电子设备100可以根据跑步场景按照不同的方式应用QF和DF的特性。例如，如果跑步速度是预定速度或更大，则电子设备100可以将QF的质量值降低至预定值或更低(或者，预定值或更高)，并且可以将DF的重复区域值增加至预定值或更高(或者，预定值或更低)。在跑步的情况下，因为运动相对较强，并且用户难以看见所获得的图像，所以电子设备100可以通过向所获得的图像锐利地或者严格地应用运动补偿，来调节所获得的图像，使得用户舒服地观看已调节的图像，并且运动不会太强烈。QF可以用于对非常差的图像(或，预定尺寸或更小，或者预定分辨率或更小等)进行滤波。DF可以用于对过度重复的图像进行滤波。在跑步的情况下，因为用户以比散步时更快的速度跑步，所以他或者她有更大的几率看前方而不是看侧面。在这种情况下，用户跑步的前方的图像可以比特定的人或者对象重要。因此，电子设备100可以在滤波过程中加强向对前方加以强调的图像信息进行滤波或校正。
结合关于分组，电子设备100可以根据跑步活动的评估来应用基于时间或位置的分组，可以将组之间的绝对时间间隔指定为例如三小时，并且可以具有例如10千米的绝对距离间隔。在此，电子设备100可以存储与绝对时间间隔或者绝对距离间隔有关的参考信息(例如，三小时或10千米)。可以通过统计地或者经验地获得的数据来生成参考信息。备选地，可以与活动评估相关联由设计者或用户来预设参考信息。备选地，如果与特定活动(例如，跑步活动)相关联的数据被收集了恒定参考值或更多，则可以通过所收集的数据的模式分析来计算参考信息。
根据本公开的实施例，在跑步的情况下，因为经验地或者统计地存在较高的概率用户将超过每小时10千米，所以电子设备100可以根据设计者的意图假设一个分组为每小时10千米。此外，电子设备100可以将特定时间(例如，三小时)期间的图像分组和展示为一个组。如果超过了特定的时间或者特定的距离，则电子设备100可以确定相对较长时间和相对较大位置改变的发生，并且可以将该特定时间期间的图像分组为不同的组。此外，关于分组，电子设备100可以接收特定应用的起始事件和结束事件，并且可以将起始事件和结束事件之间的图像分组。
结合加亮关于突出，电子设备100可以根据跑步活动的评估从视频中提取图像集合，并且可以使用所提取的图像集合来配置突出图像。在跑步的情况下，因为每一帧中的运动(例如，突出图像的对象的运动)相对较大或者较快，由于视频的运动较大，用户观看视频可能会不舒服。因此，在跑步活动的情况下，电子设备100可以通过对拍摄的视频的照片进行适当地组合来生成突出内容，或者可以使用图像滑动功能来提供所拍摄的视频。
结合关于根据本公开各种实施例的日常活动，当拥有电子设备100的用户进行日常动作时，例如当他或她与孩子玩耍时，电子设备100可以从电子设备100获得的图像中连续地观察到同一个人。传感器(例如，全球定位系统(GPS)传感器)可以获得位置没有太大变化的传感器信息。此外，传感器(例如，加速度传感器或者陀螺传感器)可以获得连续地发生不规则运动的信息。此外，关于用户输入(例如，用户场景)，电子没备100可以验证不存在输入信息的状态。电子设备100可以根据图像信息、传感器信息和用户输入信息的至少一个和预定参考信息来将当前状态确定为日常活动状态。参考信息可以包括先前获得的图像信息、先前获得的传感器信息以及先前获得的用户输入信息中的至少一个，其配置为将当前状态确定为日常活动状态。例如，参考信息可以包括如下信息：通过脸部识别在恒定的时间期间或者在恒定数目的帧中是否重复地输出关于同一个人的信息。
结合关于流程控制，电子设备100可以响应于评估的日常活动结果，来应用包括QF、DF、面部滤波器以及对象和场景CF在内的预定流程控制。在日常活动场景中获得的图像统计地或者经验地表现出特定模式的概率可能相对较低。因此，电子设备100可以通过QF和DF对具有预定级别或更低的质量并且连续地重复特定值或更多的图像进行滤波。因此，如果不存在运动(或者，如果存在预定大小或更小的运动)，则可以通过DF对拍摄的图像进行滤波。电子设备100可以存储用于确定活动的参考信息(特定的人作为日常活动场景中的重要因素)。可以由用户或设计者预设或者改变参考信息。备选地，可以通过统计地或者经验地获得的数据来获得或改变参考信息。如果选择具有特定人的活动因素作为参考信息，则电子设备100可以经由人脸识别来找到图像，并且可以通过对象和场景识别来附加地检测包括具有特定含义的对象在内的图像。具有特定含义的对象可以是具有特定的对象。
结合关于分组，电子设备100可以应用基于时间或位置的分组，可以将组之间的绝对时间间隔指定为三小时，并且可以将绝对距离间隔指定为5千米。在锻炼之外的情况下，统计地或者经验地，或者根据在电子设备100中存储的恒定参考信息，电子设备100可以将预定的距离(例如，约5千米)假设为运动半径，并且可以将预定的时间(例如，约3小时)假设为一个有意义的活动分组单位。可以根据用户输入的控制或设计者的设计变化来改变上述的时间和距离。备选地，可以将预定的距离或时间作为参考信息存储在电子设备100中。可以根据统计或经验数据或者从根据电子设备100的操作而获得的恒定参考值或更多的数据所获得的模式数据，来计算参考信息。
结合关于生成突出内容，电子没备100可以响应于所评估的日常活动结果来生成每组一视频(包括图像滑动效果)。电子设备100可以对通过在滤波发现的有意义的帧上连接帧组以生成一个视频。
如上所述，根据本公开的各种实施例，电子设备可以通过根据场景来识别活动，并且根据所识别的活动来执行用于生成突出的流程控制，来改进突出内容的质量。电子设备可以通过减少不必要的计算来减少电子设备的发热，并且改进电子设备的电池的可用性。如上所述，根据本公开的各种实施例，图像处理方法可以包括：接收多个图像，分析用户的场景，根据所分析的用户场景从该多个图像中提取至少一个或多个图像，以及使用所提取的图像生成至少一个图像。
根据本公开的各种实施例，该多个图像可以根据预定的设置来自动地捕获。
根据本公开的各种实施例，分析用户的场景可以包括：分析接收的该多个图像的模式，并且根据该模式来确定用户的场景。
根据本公开的各种实施例，该图像处理方法还可以包括从至少一个或多个传感器接收传感器数据。分析用户的场景可以包括根据传感器数据来分析用户的场景。
根据本公开的各种实施例，该图像处理方法还可以包括提取一个或多个应用数据。分析用户的场景可以包括根据应用数据来分析用户的场景。
图10是示出了根据本公开各个实施例的程序模块1010的配置的框图。
参考图10，根据本公开的实施例，程序模块1010(例如，图1的程序140)可以包括用于控制与电子设备(例如，图1的电子设备100)相关的资源的操作系统(OS)和/或在OS上执行的各种应用(例如，图1的应用程序147)。OS可以是例如Android、iOS、Windows、Symbian、Tizen、Bada等。
程序模块1010可以包括内核1020、中间件1030、应用编程接口(API)1060和/或应用1070。程序模块1010的至少一部分可以预加载到电子设备上，或可以从外部电子设备(例如，图1的外部电子设备102、200和服务器设备106)下载。
内核1020(例如，图1的内核141)可以包括例如系统资源管理器1021和/或设备驱动器1023。系统资源管理器1021可以管理对系统资源的访问和使用。根据本公开的实施例，系统资源管理器1021可以包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动器1023可以包括例如显示驱动器、相机驱动器、蓝牙(BT)驱动器、共享存储器驱动器、通用串行总线(USB)驱动器、键盘驱动器、无线保真(Wi-Fi)驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件1030可以提供例如应用1070需要的功能，并且可以通过API1060向应用1070提供各种功能，使得应用1070高效地使用电子设备内的有限系统资源。根据本公开的多种实施例，中间件1030(例如，图1的中间件143)可以包括以下至少一项：运行库1035、应用管理器1041、窗口管理器1042、多媒体管理器1043、资源管理器1044、电源管理器1045、数据库管理器1046、包管理器1047、连接管理器1048、通知管理器1049、位置管理器1050、图形管理器1051或安全管理器1052。
运行库1035可以包括例如由编译器使用的库模块，以便在执行应用1070的同时通过编程语言来添加新的功能。运行库1035可以执行与输入和输出管理、存储器管理或算术功能有关的的功能。
应用管理器1041可以管理例如至少一个应用1070的生命周期。窗口管理器1042可以管理电子设备的屏幕上使用的图形用户界面(GUI)资源。多媒体管理器1043可以掌握再现各种媒体文件所需的格式，并且可以通过使用与相应格式相对应的编解码器来对媒体文件进行编码或解码。资源管理器1044可以管理至少一个应用1070的源代码，并且可以管理存储器或存储空间的资源等。
功率电源管理器1045可以连同基本输入/输出系统(BIOS)等一起动作，可以管理电池或电源，并且可以提供电子设备的操作所需的电力信息。数据库管理器1046可以生成、搜索或改变要在至少一个应用1070中使用的数据库。包管理器1047可以管理对以包文件类型分发的应用的安装或更新。
连接管理器1048可以管理例如无线连接，诸如Wi-Fi连接或BT连接等。通知管理器1049可以按照不会干扰用户的方式来显示或通知事件，例如到达消息、约会和接近通知。位置管理器1050可以管理电子设备的位置信息。图形管理器1051可以管理要提供给用户的图形效果或与图形效果相关的用户界面(UI)。安全管理器1052可以提供系统安全或用户认证等所需的全部安全功能。根据本公开的实施例，当电子设备(例如，电子设备100)具有电话功能时，中间件1030还可以包括电话管理器(未示出)，用于管理电子设备的语音通信功能或视频通信功能。
中间件1030可以包括中间件模块，所述中间件模块配置上述部件的各种功能的组合。中间件1030可以提供对于OS而被专门化的模块，以便提供差异化的功能。此外，中间件1030可以动态删除现有组件中的一些，或可以添加新组件。
API 1060(例如，图1的API 145)可以是例如API编程功能的集合，并且可以根据OS而具有不同的组件。例如，在Android或iOS的情况下，可以根据平台提供一个API集合。在Tizen的情况下，可以根据平台提供两个或更多API集合。
应用1070(例如，图1的应用程序147)可以包括以下一个或多个应用：例如，主页应用1071、拨号器应用1072、短消息服务/多媒体消息服务(SMS/MMS)1073、即时消息(IM)应用1074、浏览器应用1075、相机应用1076、闹钟应用1077、联系人应用1078、语音拨号应用1079、电子邮件应用1080、日历应用1081、媒体播放器应用1082、相册应用1083、时钟应用1084以及未示出的其他应用如保健应用(例如，测量锻炼量或血糖的应用等)或者环境信息应用(例如，用于提供气压信息、湿度信息或温度信息的应用等)等。
根据本公开的实施例，应用1070可以包括用于在电子设备(例如，电子设备100)和外部电子设备(例如，电子设备102和200)之间交换信息的应用(下文中，为了更好地理解和易于描述，将其称作“信息交换应用”)。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备(例如，外部电子设备102和200)发送电子设备的其他应用(例如，SMS/MMS应用、电子邮件应用、保健应用、环境信息应用等)所生成的通知信息的功能。另外，通知中继应用可以从外部电子设备接收例如通知信息，并且可以将接收到的通知信息提供给电子设备的用户。
设备管理应用可以管理(例如，安装、删除或更新)例如与该电子设备通信的外部电子设备(例如，外部电子设备102和200)的至少一个功能(例如，外部电子设备本身(或一部分组件)的接通/断开、或调整显示器的亮度(或分辨率))、或在外部电子设备中操作的应用、或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。
根据本公开的实施例，应用1070可以包括根据电子设备的属性而预设的应用(例如，移动医疗设备的保健应用)。根据本公开的实施例，应用1070可以包括从外部电子设备(例如，服务器106或外部电子设备102和200)接收到的应用。根据本公开的实施例，应用1070可以包括预加载的应用或可以从服务器下载的第三方应用。根据本公开各种实施例的程序模块1010的组件名称可以根据OS的类型而改变。
根据本公开的各种实施例，程序模块1010的至少一部分可以实现为软件、固件、硬件或其任意组合。例如，程序模块1010的至少一部分可以由处理器(例如图1的处理器120)来实现(例如，执行)。程序模块1010的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
图11是示出了根据本公开各种实施例的电子设备1101的配置的框图。
参考图11，电子设备1101可以包括例如图1所示的电子设备100的整体或一部分。电子设备1101可以包括一个或多个处理器(例如，应用处理器(AP))1110、通信模块1120、订户识别模块(SIM)1124、存储器1130、传感器模块1140、输入设备1150、显示器1160、接口1170、音频模块1180、相机模块1191、电源管理模块1195、电池1196、指示器1197和电机1198。
AP处理器1110可以执行例如操作系统(OS)或应用程序来控制多个硬件或软件组件，并且可以处理和计算多种数据。例如，处理器1110可用片上系统(SoC)来实现。根据本公开的实施例，处理器1110还可以包括图形处理单元(GPU)(未示出)和/或图像信号处理器(未示出)。处理器1110可以包括图11所示的部件中的至少一些(例如，蜂窝模块1121)。处理器1110可以将从至少一个其他部件接收的指令或数据加载到易失性存储器(例如，存储器1130中)以处理该数据，并且可以将各种数据存储在非易失性存储器(例如，存储器1130中)。
通信模块1120可以具有与图1的通信接口160相同或相似的配置。通信模块1120可以包括例如蜂窝模块1121、无线保真(Wi-Fi)模块1123、蓝牙(BT)模块1125、全球定位系统(GPS)模块1127、近场通信(NFC)模块1128和射频(RF)模块1129。
蜂窝模块1121可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务、因特网服务等。根据本公开的实施例，蜂窝模块1121可以使用SIM(例如，SIM 1124)在通信网络中标识和认证电子设备1101。根据本公开的实施例，蜂窝模块1121可以执行可由处理器1110提供的功能中的至少一部分。根据本公开的实施例，蜂窝模块1121可以包括通信处理器(CP)。
Wi-Fi模块1123、BT模块1125、GPS模块1127和/NFC模块1128可以包括例如用于处理经对应模块发送或接收的数据的处理器。根据本公开的各种实施例，蜂窝模块1121、Wi-Fi模块1123、BT模块1125、GPS模块1127和/或NFC模块1128中的至少一部分(例如，两个或更多个)可以包含在一个集成芯片(IC)中或一个IC封装中。
RF模块1129可以发送和接收例如通信信号(例如，RF信号)。尽管未示出，RF模块1129可以包括例如收发机、功率放大模块(PAM)、频率滤波器或低噪声放大器(LNA)、天线等。根据本公开的另一实施例，蜂窝模块1121、Wi-Fi模块1123、BT模块1125、GPS模块1127或NFC模块1128中的至少一个可以通过单独的RF模块来发送和接收RF信号。
例如，SIM卡1124可以包括例如包含SIM和/或嵌入式SIM的卡。SIM卡1124可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或者订户信息(例如，国际移动用户身份(IMSI))。
例如，存储器1130(例如，图1的存储器130)可以包括例如嵌入式存储器1132或者外部存储器1134。嵌入式存储器1132可以包括以下至少一项：例如，易失性存储器(例如，动态随机访问存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或者非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。
外部存储器1134还可以包括闪驱例如紧凑型闪存(CF)、安全数字(SD)、微型SD、迷你型SD、极限数字(xD)、记忆棒等。外部存储器1134通过各种接口与电子设备1101功能地和/或物理地相连。
传感器模块1140可以测量例如物理量或可以检测电子设备1101的操作状态，并将测量或检测到的信息转换为电信号。传感器模块1140可以包括以下至少一项：例如，手势传感器1140A、陀螺仪传感器1140B、气压传感器1140C、磁传感器1140D、加速度传感器1140E、握力传感器1140F、接近传感器1140G、颜色传感器1140H(例如，红、绿、蓝(RGB)传感器)、生物特征传感器11401、温度/湿度传感器1140J、照度传感器1140K或紫外线(UV)传感器1140M。附加地或备选地，传感器模块1140还可以包括例如电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜传感器(未示出)和/或指纹传感器(未示出)等。传感器模块1140还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据本公开的各种实施例，电子设备1101还可以包括配置为控制传感器模块1140的处理器(作为处理器1110的一部分，或者与处理器1110独立)。当处理器1110处于休眠状态时，电子设备1101可以控制传感器模块1140。
例如，输入设备1150可以包括例如触摸面板1152、(数字)笔传感器1154、按键1156或超声输入设备1158。触摸面板1152可以使用例如电容检测方法、电阻检测方法、红外检测方法或超声检测方法中的至少一种来识别触摸输入。此外，触摸面板1152还可以包括控制电路。触摸面板1152还可以包括触觉层，并可以向用户提供触觉反应。
(数字)笔传感器1154可以是例如触摸面板的一部分，或可以包括用于识别的附加片。按键1156可以包括例如物理按钮、光学按键或键区。超声输入单元1158可以允许电子设备1101使用麦克风(例如，麦克风1188)检测声波以及通过生成超声信号的输入工具来验证数据。
显示器1160(例如，图1的显示器150)可以包括面板1162、全息设备1164或投影仪1166。面板1162可以包括与显示器150相同或相似的配置。面板1162可以实现为例如是柔性的、透明的或可穿戴的。面板1162和触摸面板1152可以集成为一个模块。全息设备1164可以使用光的干涉来示出立体图像。投影仪1166可以将光投影到屏幕上以便显示图像。屏幕可位于例如电子设备1101内部或外部。根据本公开的实施例，显示器1160还可以包括用于控制面板1162、全息设备1164或投影仪1166的控制电路。
接口1170可包括例如高清多媒体接口(HDMI)1172、通用串行总线(USB)1174、光接口1176或D-超小型元件(D-sub)1178。接口1170可以包括在例如图1所示的通信接口160中。附加地或备选地，接口1170可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块1180可以将声音转换为电信号，反之亦然。音频模块1180的至少一部分可以包括在例如图1所示的输入和输出接口170中。音频模块1180可以处理通过例如扬声器1182、接收机1184、耳机1186、麦克风1188等输入或输出的声音信息。音频模块1180中包括的麦克风1188可以收集可用作输入信息和远程验证信息或者本地验证信息的音频数据。
相机模块1191可以是能够拍摄静止图像和运动图像(视频)的设备。根据本公开的实施例，相机模块1191可以包括一个或多个图像传感器(未示出)(例如，正面传感器或背面传感器)、镜头(未示出)、图像信号处理器(ISP)(未示出)或闪光灯(未示出)(例如，LED或氙灯)。
电源管理模块1195可以管理例如电子设备1101的电力。根据本公开的实施例，尽管未示出，电源管理模块1195可以包括电源管理集成电路(PMIC)、充电IC或电池(燃料)表。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法、电磁方法等。还可以提供用于无线充电的附加电路，例如线圈回路、共振电路或整流器等。电池表可以测量例如电池1196的剩余量以及对电池1196充电时电池的电压、电流或温度。电池1196可以是例如可充电电池和/或太阳能电池。
指示器1197可以显示电子设备1101或其一部分(例如，处理器1110)的具体状态，例如引导状态、消息状态和充电状态等。电机1198可以将电信号转换成机械振动，并且可以生成振动、触觉效果等。尽管未示出，电子设备1101可以包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以根据诸如数字多媒体广播(DMB)标准、数字视频广播(DVB)标准、媒体流标准等标准来处理媒体数据。
根据本公开多种实施例的电子设备的上述元件中的每个元件可以配置为一个或多个组件，并且相应元件的名称可以根据电子设备的类型而改变。根据本公开多种实施例的电子设备可以包括上述元件中的至少一个元件，可以从该电子设备中省略一些元件，或可以在该电子设备中进一步添加其他附加元件。此外，据本公开各种实施例的电子设备的一些元件可以彼此组合以形成一个整体，从而可以按照与组合之前实质上相同的方式执行相应部件的功能。
这里使用的术语“模块”可以表示例如包括硬件、软件和固件之一或其组合在内的单元。例如，“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“部件”或“电路”等互换使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械或电学地实现。例如，“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和已知或者将来开发的用于执行某种操作的可编程逻辑器件中的至少一种。
根据本公开的实施例，设备的至少一部分(例如，模块或功能)或方法的至少一部分(例如，操作)可以实现为例如存储在具有程序模块的计算机可读存储介质中的指令。当通过处理器(例如，图2的处理器120)执行指令时，一个或多个处理器可执行与指令相应的功能。计算机可渎存储介质可以是例如图1的存储器130。
计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，压缩盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(例如，光磁软盘)、硬件器件(例如，ROM、随机访问存储器(RAM)、闪存等)等。此外，程序指令不仅可以包括由编译器编译的机器代码，还可以包括可由计算机使用解释程序来执行的高级语言等。上述硬件设备可被配置为操作为一个或多个软件模块，以执行本公开各种实施例的操作，反之亦然。
根据本公开各种实施例的模块或程序模块可以包括上述组件中的至少一个或多个，可以省略上述组件中的一些，或者还可以包括其他附加的组件。由模块、程序模块或其他组件执行的操作可以按照连续方法、并行方法、重复方法或启发式方法来执行。另外，一些操作可以按不同顺序执行，或者可以省略，或者可以增加其他操作。
根据本公开的各种实施例，计算机可读存储介质可以存储可由至少一个处理器执行的指令。指令可以设置为：收集图像，确定在获得图像时电子设备的活动类型，选择具有与活动类型相对应的滤波条件的图像处理方案，通过应用所选择的图像处理方案来选择或处理所获得的图像中的一些图像，以及根据所选择或所处理的图像来生成突出内容。
根据本公开的各种实施例，电子设备可以根据图像收集环境自动地执行更加自适应和有意义的图像收集或图像分组，但是用户不会花费太多的精力。
根据本公开的各种实施例，电子设备可以通过执行图像分类、图像选择和效果处理，按照不同的方式应用针对每一个场景而分组的图像中类似图像的分组程度，或者可以对类似图像的分组程度进行统计地或审美地优化，以适应图像收集场景。
根据本公开的各种实施例，电子设备可以通过减小分组的图像中难以识别的图像的分布，来将内容容量最小化并且可以改进有意义图像的分布。
另外，所描述且在附图中示出的本公开实施例作为示例，用以描述技术内容并且帮助理解，而不是限制本公开的范围。因此，应理解，除了这里列出的实施例之外，基于本公开的技术思想而得出的所有改进或改进形式均包括在如权利要求及其等同物限定的本公开的范围中。

Claims (20)

1.一种电子设备，包括：
存储器，配置为存储多个图像；
处理器，配置为与所述存储器功能相连，
其中，所述处理器配置为：
确定在所述多个图像的源收集所述多个图像时的至少一部分时间期间与所述源相关联的活动类型，其中所述源是所述电子设备和外部电子设备之一，
从多个图像处理方案中确定用于所述活动类型的图像处理方案，
将所确定的图像处理方案应用于所述多个图像中的一个或多个图像，并基于应用所确定的处理方案来生成突出图像，以及
根据所述突出图像生成突出内容。
2.根据权利要求1所述的电子设备，其中，所述处理器配置为使用所述多个图像的差异分析和所述多个图像中的一个或多个对象的差异变化分析中的至少一种，确定与所述源相关联的活动类型。
3.根据权利要求1所述的电子设备，其中，所述处理器配置为使来自所述源的传感器信息，确定所述活动类型。
4.根据权利要求1所述的电子设备，其中，所述处理器配置为使用所述源的场景信息的至少一部分，确定所述活动类型，其中如果所述源是所述电子设备则从所述电子设备的存储器获得所述源的场景信息，而如果所述源是所述外部电子设备则从所述外部电子设备接收所述源的场景信息。
5.根据权利要求4所述的电子设备，其中，所述源的场景信息包括闹钟时间信息、商业日程信息、休息日程信息、散步日程信息、集会日程信息、闭幕日程信息、出席日程信息和会议日程信息。
6.根据权利要求1所述的电子设备，其中，对于所述图像处理方案，质量滤波器“QF”、重复滤波器“DF”和分类滤波器“CF”中至少一个的使用依赖于所述活动类型，其中所述QF、DF和CF的参数也依赖于所述活动类型。
7.根据权利要求1所述的电子设备，其中，所述处理器配置为通过对于由所述源在特定的时间间隔期间收集或者在特定的位置处收集的所述多个图像按照相同的方式应用图像处理方案，生成所述突出内容。
8.根据权利要求1所述的电子设备，其中，所述外部电子设备是可穿戴电子设备。
9.根据权利要求1所述的电子设备，其中，所述处理器配置为输出与所确定的活动类型有关的信息、所述图像处理方案以及与所述突出内容相关联的显示信息中的至少一个。
10.根据权利要求9所述的电子设备，其中，所述处理器配置为响应于用户输入来改变所述与所确定的活动类型有关的信息和所述图像处理方案中的至少一个，并且响应于所述改变来控制突出内容的重新生成。
11.一种电子设备的图像处理方法，所述方法包括：
将多个图像存储在所述电子设备的存储器中；
确定在所述多个图像的源收集所述多个图像时的至少一部分时间期间与所述源相关联的活动类型，其中，所述源是所述电子设备和外部电子设备之一；
从多个图像处理方案中确定用于所述活动类型的图像处理方案；
将所确定的图像处理方案应用于所述多个图像中的一个或多个图像，并基于应用所确定的处理方案来生成突出图像；以及
根据所述突出图像生成突出内容。
12.根据权利要求11所述的图像处理方法，其中，确定与所述源相关联的活动类型包括使用所述多个图像的差异分析和所述多个图像中的一个或多个对象的差异改变分析中的至少一种。
13.根据权利要求11所述的图像处理方法，其中，确定所述活动类型包括使用来自所述源的传感器信息。
14.根据权利要求11所述的图像处理方法，其中，确定所述活动类型包括：使用所述源的场景信息的至少一部分，其中，如果所述源是所述电子设备则从所述电子设备的存储器获得所述源的场景信息，而如果所述源是所述外部电子设备则从所述外部电子设备接收所述源的场景信息。
15.根据权利要求14所述的图像处理方法，其中，所述源的场景信息包括闹钟时间信息、商业日程信息、休息日程信息、散步日程信息、集会日程信息、闭幕日程信息、出席日程信息和会议日程信息。
16.根据权利要求11所述的图像处理方法，其中，所述图像处理方案包括使用具有针对质量滤波器“QF”、重复滤波器“DF”和分类滤波器“CF”的参数的QF、DF和CF中的至少一个，其中所述QF、DF和CF中任一个的使用依赖于所述活动类型，并且针对QF、DF和CF的参数也依赖于所述活动类型。
17.根据权利要求11所述的图像处理方法，其中，通过对于由所述源在特定的时间间隔期间收集或者在特定的位置处收集的所述多个图像按照相同的方式应用图像处理方案，来生成所述突出内容。
18.根据权利要求11所述的图像处理方法，其中，所述外部电子设备是可穿戴电子设备。
19.根据权利要求11所述的图像处理方法，还包括：显示与所述活动类型有关的信息、所确定的图像处理方案以及与所述突出内容相关联的显示信息中的至少一个。
20.根据权利要求19所述的图像处理方法，还包括：响应于用户输入来改变与所确定的活动类型有关的信息和图像处理方案中的至少一个，并且响应于所述改变来重新生成突出内容。
CN201610055043.9A 2015-01-27 2016-01-27 图像处理方法和支持该方法的电子设备 Active CN105825522B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0012655 2015-01-27
KR1020150012655A KR102278945B1 (ko) 2015-01-27 2015-01-27 이미지 처리 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
CN105825522A CN105825522A (zh) 2016-08-03
CN105825522B true CN105825522B (zh) 2021-03-16

Family

ID=55299224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610055043.9A Active CN105825522B (zh) 2015-01-27 2016-01-27 图像处理方法和支持该方法的电子设备

Country Status (6)

Country Link
US (1) US9886454B2 (zh)
EP (1) EP3051463B1 (zh)
KR (1) KR102278945B1 (zh)
CN (1) CN105825522B (zh)
AU (1) AU2016212943B2 (zh)
WO (1) WO2016122158A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849385B2 (en) * 2015-03-23 2017-12-26 Golfstream Inc. Systems and methods for programmatically generating anamorphic images for presentation and 3D viewing in a physical gaming and entertainment suite
US9839830B1 (en) * 2016-06-10 2017-12-12 PNI Sensor Corporation Aiding a swimmer in maintaining a desired bearing
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置
US10275687B2 (en) * 2017-02-16 2019-04-30 International Business Machines Corporation Image recognition with filtering of image classification output distribution
DE112017007339T5 (de) * 2017-03-31 2019-12-12 Honda Motor Co., Ltd. Bilderzeugungsvorrichtung und Bilderzeugungsverfahren
US10083360B1 (en) 2017-05-10 2018-09-25 Vivint, Inc. Variable rate time-lapse with saliency
CN108012175A (zh) * 2017-12-18 2018-05-08 信利光电股份有限公司 一种智能电视机
US10699126B2 (en) * 2018-01-09 2020-06-30 Qualcomm Incorporated Adaptive object detection and recognition
DE102018209898A1 (de) * 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames
US11044404B1 (en) * 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
CN109788200B (zh) * 2019-01-31 2021-04-06 长安大学 一种基于预测分析的摄像稳定控制方法
US11050972B1 (en) 2019-07-02 2021-06-29 Gopro, Inc. Systems and methods for generating time-lapse videos
CN111339811B (zh) * 2019-08-27 2024-02-20 杭州海康威视系统技术有限公司 图像处理方法、装置、设备及存储介质
IT201900019037A1 (it) * 2019-10-16 2021-04-16 St Microelectronics Srl Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo
CN111222476B (zh) * 2020-01-10 2023-06-06 北京百度网讯科技有限公司 视频时序动作的检测方法、装置、电子设备及存储介质
KR20220102418A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 멀티미디어 콘텐트를 제공하는 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008093321A1 (en) * 2007-02-01 2008-08-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
CN102549601A (zh) * 2009-08-21 2012-07-04 索尼爱立信移动通信股份公司 信息终端，信息终端的信息控制方法，和信息控制程序
CN102664819A (zh) * 2012-03-27 2012-09-12 陈奕龙 一种基于社交机制和地理位置的事件发布网络系统
CN103226575A (zh) * 2013-04-01 2013-07-31 北京小米科技有限责任公司 一种图像处理方法和装置
CN103235805A (zh) * 2013-04-18 2013-08-07 广东欧珀移动通信有限公司 一种照片的分类管理方法及系统
CN104038534A (zh) * 2014-05-13 2014-09-10 圆刚科技股份有限公司 自动同步与分类相片的方法及其移动装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7626626B2 (en) * 2006-01-13 2009-12-01 Micron Technology, Inc. Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
JP2010016482A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置および情報処理方法
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US8744122B2 (en) * 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
IL195848A0 (en) * 2008-12-10 2009-09-01 Artivision Technologies Ltd A method and device for processing video frames
US8560267B2 (en) * 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
US20140205266A1 (en) * 2011-02-18 2014-07-24 Nokia Corporation Method, Apparatus and Computer Program Product for Summarizing Media Content
US8665338B2 (en) * 2011-03-03 2014-03-04 Qualcomm Incorporated Blurred image detection for text recognition
US8737803B2 (en) 2011-05-27 2014-05-27 Looxcie, Inc. Method and apparatus for storing and streaming audiovisual content
KR101870773B1 (ko) * 2011-08-31 2018-06-26 삼성전자 주식회사 광학식 문자 판독기를 이용한 스케줄 관리 방법 및 장치
US20140236958A1 (en) * 2011-12-15 2014-08-21 Robert L. Vaughn Evolving metadata
US20140328570A1 (en) 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
KR20140060760A (ko) * 2012-11-12 2014-05-21 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
TW201437965A (zh) * 2013-03-28 2014-10-01 Novatek Microelectronics Corp 影像模糊防止方法及其影像處理晶片
US20150019523A1 (en) * 2013-07-15 2015-01-15 Adam Lior Event-based social networking system and method
US9474481B2 (en) * 2013-10-22 2016-10-25 Mindstrong, LLC Method and system for assessment of cognitive function based on electronic device usage

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008093321A1 (en) * 2007-02-01 2008-08-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
CN102549601A (zh) * 2009-08-21 2012-07-04 索尼爱立信移动通信股份公司 信息终端，信息终端的信息控制方法，和信息控制程序
CN102664819A (zh) * 2012-03-27 2012-09-12 陈奕龙 一种基于社交机制和地理位置的事件发布网络系统
CN103226575A (zh) * 2013-04-01 2013-07-31 北京小米科技有限责任公司 一种图像处理方法和装置
CN103235805A (zh) * 2013-04-18 2013-08-07 广东欧珀移动通信有限公司 一种照片的分类管理方法及系统
CN104038534A (zh) * 2014-05-13 2014-09-10 圆刚科技股份有限公司 自动同步与分类相片的方法及其移动装置

Also Published As

Publication number Publication date
AU2016212943B2 (en) 2019-03-28
KR102278945B1 (ko) 2021-07-19
US9886454B2 (en) 2018-02-06
US20160217348A1 (en) 2016-07-28
AU2016212943A1 (en) 2017-06-08
EP3051463A1 (en) 2016-08-03
CN105825522A (zh) 2016-08-03
EP3051463B1 (en) 2023-08-30
KR20160092256A (ko) 2016-08-04
WO2016122158A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
CN105825522B (zh) 图像处理方法和支持该方法的电子设备
US10347296B2 (en) Method and apparatus for managing images using a voice tag
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
KR102446811B1 (ko) 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
US20160349936A1 (en) Method for outputting screen and electronic device supporting the same
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
US20160247034A1 (en) Method and apparatus for measuring the quality of an image
KR102376700B1 (ko) 비디오 컨텐츠 생성 방법 및 그 장치
US10504560B2 (en) Electronic device and operation method thereof
US10311613B2 (en) Electronic device for processing image and method for controlling thereof
CN106254807B (zh) 提取静止图像的电子设备和方法
CN107784268B (zh) 基于红外线传感器使用其来测量心率的方法和电子设备
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
US10909420B2 (en) Method and apparatus for continuously displaying images on basis of similarity of images
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
EP3446240B1 (en) Electronic device and method for outputting thumbnail corresponding to user input
US10091436B2 (en) Electronic device for processing image and method for controlling the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant