CN106416220A - 将视频自动插入照片故事 - Google Patents

将视频自动插入照片故事 Download PDF

Info

Publication number
CN106416220A
CN106416220A CN201580026625.8A CN201580026625A CN106416220A CN 106416220 A CN106416220 A CN 106416220A CN 201580026625 A CN201580026625 A CN 201580026625A CN 106416220 A CN106416220 A CN 106416220A
Authority
CN
China
Prior art keywords
image
capture
video
capture device
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580026625.8A
Other languages
English (en)
Inventor
M·克尔德
M·J·拉默斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106416220A publication Critical patent/CN106416220A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00196—Creation of a photo-montage, e.g. photoalbum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00198—Creation of a soft photo presentation, e.g. digital slide-show
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9265—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

各个实施例提供了一种捕获设备，例如，照相机，其被配置为具有多个捕获模式，所述多个捕获模式包括图像捕获模式和视频捕获模式。该捕获设备可以设定成图像捕获模式，在所述图像捕获模式下，图像或照片被周期性地、自动地捕获。在检测到特定事件时，诸如听觉可检测事件，该捕获设备自动地触发视频捕获模式且开始捕获视频。在一时间段后，该捕获设备能够转变回到图像捕获模式。转变到图像捕获模式可以多种方式发生，例如，在经过一时间段后，在听觉可检测事件终止或衰减后，通过用户输入等等。在一些实施例中，捕获设备可以具体实施为用户佩戴的可佩戴照相机。

Description

将视频自动插入照片故事
背景技术
许多人喜欢通过拍摄图片和/或视频来记录他们的一天中的事件。在该技术空间内对于制造商和其他人来说持续出现向用户提供稳健和理想的体验的挑战。
发明内容
提供该发明内容以便以简化的形式来引入下面的具体实施方式中进一步描述的概念的选择。该发明内容不旨在确定所要求保护的主题的关键特征或主要特征。
各个实施例提供了一种捕获设备，例如，照相机，其被配置为具有多种捕获模式，所述多种捕获模式包括图像捕获模式和视频捕获模式。该捕获设备能够设定成图像捕获模式，在该图像捕获模式下，图像或照片被周期性地、自动地捕获。在检测到特定事件如听觉可检测事件时，捕获设备自动地触发视频捕获模式并且开始捕获视频。在一时间段后，捕获设备能够转变回到图像捕获模式。转变到图像捕获模式可以多种方式发生，例如在经过一时间段后，在听觉可检测事件终止或衰减后，通过用户输入，等等。在一些实施例中，捕获设备可以具体实施为用户佩戴的可佩戴照相机。
在至少一些实施例中，图像和视频的集合限定了以静像和视频两者记录用户的一天的“照片故事(photo story)”。
其它各个实施例允许捕获设备捕获至少一个高分辨率图像且基于该高分辨率图像来生成低分辨率图像。一些实施例在传输相应的相关联的高分辨率图像文件之前将相关联的低分辨率图像文件传输到第二设备。在一些情况下，可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。处理与高分辨率图像相关联的决策则可以基于低分辨率图像的一个或多个属性。
其它各个实施例允许处理设备接收来自捕获设备的至少第一组图像。在一些情况下，第一组图像是利用第一帧率在第一持续时间内捕获的视频剪辑。在一些实施例中，处理设备分析第一组图像以确定与图像相关联的一个或多个属性。基于所确定的属性，一些实施例修改第一组图像且以第二帧率在第二持续时间内回放第一组图像。
附图说明
详细说明参考了附图。在图中，附图标记的最左侧数字标识附图标记首次出现的图。在该说明书和附图的不同的实例中相同的附图标记的使用可以表示相似或相同的项。
图1示出了根据一个或多个实施例的示例操作环境。
图2示出了根据一个或多个实施例的示例捕获设备。
图3示出了根据一个或多个实施例的示例图像处理器。
图4示出了根据一个或多个实施例的示例捕获设备的前视立面图。
图5示出了根据一个或多个实施例的示例捕获设备的侧面立面图。
图6示出了根据一个或多个实施例的照片故事的部分的表示。
图7是描述根据一个或多个实施例的方法中的步骤的流程图。
图8是描述根据一个或多个实施例的方法中的步骤的流程图。
图9示出了根据一个或多个实施例的示例实现方式。
图10示出了根据一个或多个实施例的示例实现方式。
图11是描述根据一个或多个实施例的方法中的步骤的流程图。
图12示出了根据一个或多个实施例的示例实现方式。
图13示出了根据一个或多个实施例的示例实现方式。
图14示出了根据一个或多个实施例的示例实现方式。
图15示出了根据一个或多个实施例的示例实现方式。
图16是描述根据一个或多个实施例的方法中的步骤的流程图。
图17是根据一个或多个实施例的示例设备。
具体实施方式
概述
各个实施例提供了一种捕获设备，例如，照相机，其被配置为具有多种捕获模式，多种捕获模式包括图像捕获模式和视频捕获模式。捕获设备可以设定成图像捕获模式，在该图像捕获模式下，图像或照片被周期性地、自动地捕获。在检测到特定事件时，例如听觉可检测事件，捕获设备自动地触发视频捕获模式并且开始捕获视频。在一时间段后，捕获设备可以转变回到图像捕获模式。转变到图像捕获模式可以多种方式发生，例如，在经过一时间段后，在听觉可检测事件终止或衰减后，通过用户输入，等等。在一些实施例中，捕获设备可以具体实施为用户佩戴的可佩戴照相机。
在至少一些实施例中，图像和视频的收集定义了利用静像和视频来记录用户的一天的“照片故事”。
其它各个实施例使得捕获设备能够捕获至少一个高分辨率图像且基于该高分辨率图像来生成低分辨率图像。在其它事项中，高分辨率图像具有相应的低分辨率图像不呈现的额外的清晰度和/或像素。有时，捕获设备可以连接到第二设备从而将所捕获的图像传输到第二设备。一些实施例在传输相应的相关联的高分辨率图像文件之前将相关联的低分辨率图像文件传输到第二设备。在一些情况下，可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。处理与高分辨率图像相关联的决策则可以基于该低分辨率图像的一个或多个属性。这些处理决策可以通过示例而不是限制的方式包括回放决策、编组决策，等等。
其它各个实施例使得处理设备能够接收来自捕获设备的至少第一组图像。在一些情况下，第一组图像是利用第一帧率在第一持续时间内捕获的视频剪辑。在一些实施例中，处理设备分析第一组图像以确定与图像相关联的一个或多个属性。基于所确定的属性，一些实施例修改第一组图像且以第二帧率在第二持续时间内回放第一组图像。
如上所述，在至少一些实施例中，捕获设备，例如照相机，可以在一些实例中是用户佩戴的可佩戴照相机。照相机可以佩戴在任何适合的位置。例如，照相机可以佩戴在用户的头上，例如通过示例而不是限制的方式，安装到帽上的照相机、安装到眼镜上的照相机、安装到头带上的照相机、安装到头盔上的照相机，等等。可替代地或者另外地，照相机可以佩戴在除了用户头之外的位置上。例如，照相机可以配置为安装到用户的衣服上。
其它各个实施例提供了能安装到用户衣服上的可佩戴照相机。照相机设计成不显眼且用户友好的，在安装成远离用户的面部从而不妨碍他们的视野的范围内。在至少一些实施例中，照相机包括壳体以及安装到壳体上以使得照相机能够夹持到用户的衣服上的夹子。照相机设计成轻重量的，其重量以当夹持到用户衣服上时朝向用户的方式平衡。
在随后的论述中，标题为“示例环境”的部分描述了可以实现各个实施例的示例环境。接着，标题为“示例捕获设备”的部分描述了根据一个或多个实施例的示例捕获设备，例如照相机。此后，标题为“双重编码”的部分描述了根据一个或多个实施例能够对捕获的图像数据进行双重编码的实施例。接着，标题为“照片日志”的部分描述了根据一个或多个实施例的示例照片日志。此后，标题为“缩略图编辑”的部分描述了根据一个或多个实施例缩略图如何能够用于编辑过程。接着，标题为“自动策展(curate)视频”的部分描述了根据一个或多个实施例如何能够策展视频。最后，标题为“示例设备”的部分描述了根据一个或多个实施例的示例设备。
现在考虑能够实践各个实施例的示例环境。
示例环境
图1示出了根据一个或多个实施例的示例环境100。环境100包括捕获设备102和处理设备104。此处，捕获设备102被配置为捕获图像和/或声音。捕获设备102可以任何适合的方式来配置，诸如，通过示例而不是限制的方式，移动电话、具备视频和/或静像捕获能力的可佩戴照相机、手持式照相机、视频照相机、平板设备、游戏设备、桌面式个人计算机(PC)、膝上型PC，等等。可替代地或者另外地，捕获设备102能够与诸如处理设备104的外部设备连接和/或通信。
处理设备104连接且接收由捕获设备102所捕获的图像和/或声音。可替代地或者另外地，处理设备104能够处理图像和/或对图像编组，如下文更详细说明的。如捕获设备102的情况，处理设备104可以是任何适合类型的计算设备，诸如平板设备、移动电话、台式PC、膝上型PC、服务器，等等。在一些实施例中，处理设备104具有更大的处理能力(例如，更快的中央处理单元(CPU)、附加的CPU等)，和/或未包含在捕获设备102中的更多的存储器存储，使得捕获设备102能够将图像传输到处理设备104，以便进一步分析和/或处理。在其它实施例中，处理设备104和捕获设备102具有等同的处理资源，或者捕获设备102可以具有比处理设备104更多的处理资源。有时，处理设备104能够从捕获设备102请求图像的传输，而在其它情况下，捕获设备102能够将图像推送给处理设备104。在接收到图像的至少部分时，处理设备104处理图像以进一步分析，如下文详述的。
环境100还包括网络106。网络106代表了捕获设备102和处理设备104能够借以连接的任何适合类型的网络，诸如无线蜂窝网、无线互联网接入(Wi-Fi)，等等。虽然没有示出，网络106可以包括附加的处理实体，诸如服务器、无线接入点、蜂窝基站等。为简化的缘由，可以与计算设备之间的数据传输相关联的这些附加的实体通称为网络106。在一些实施例中，捕获设备102和处理设备104彼此通过网络106连接，此处通过连接链路108来示出。然而，应当意识和理解到，网络106可以是任选的。
在一些实施例中，捕获设备102和处理设备104在网络106之外彼此连接，诸如通过连接链路110。此处，连接链路110代表了设备之间的更直接的连接，诸如通过蓝牙连接和/或硬线连接(使用相关联的协议)。因此，在一些实施例中，捕获设备102和/或处理设备104利用比那些结合网络106所描述的更直接的连接而彼此连接。
在其它事项中，捕获设备102包括捕获模块112和图像分析模块114(图3)，它们可以是任选的。
捕获模块112代表了捕获可消费格式的图像和/或视频的能力。这可以包括任何适合类型的格式，诸如通过示例而不是限制的方式，联合图像专家组(JPEG)、JPEG 2000、可交换图像文件格式(Exif)、标签图像文件格式(TIFF)、RAW、图形交换格式(GIF)、Windows位图(BMP)、便携式网络图形(PNG)、便携式像素图(PMM)、便携式灰度图(PGM)、便携式位图(PBM)、便携式任意格式(PAM)、高动态范围成像(HDR)、辐射HDR(RGBE)，等等。在一些实施例中，捕获模块112捕获图像，存储该图像的高分辨率版本，并且生成该图像的较低分辨率版本，诸如缩略图，其目的在下文变得显而易见。
在各个实施例中，捕获模块112允许捕获设备具有多种捕获模式，包括图像捕获模式和视频捕获模式。该捕获设备能够设定成图像捕获模式，在该图像捕获模式下，图像或照片被周期性地、自动地捕获。在检测到特定事件如听觉可检测事件时，捕获设备自动地触发视频捕获模式并且开始捕获视频。在一时间段后，捕获设备能够转变回到图像捕获模式。转变到图像捕获模式可以多种方式发生，例如在经过一时间段后，在听觉可检测事件终止或衰减后，通过用户输入，等等。在一些实施例中，捕获设备能够具体实施为用户佩戴的可佩戴照相机。
在至少一些实施例中，图像和视频的集合定义了利用静像和视频来记录用户的一天的“照片故事”。
如上所述，环境100还包括图像分析模块114，该图像分析模块可以但无需必然使其功能的部分分布在环境内的各个设备之间。在该示例中，图像分析模块114包含在处理设备104上(此处通过使用实线来指示)。可替代地或者另外地，图像分析模块114或者由该模块所执行的处理的部分可以包含在捕获设备102上，和/或包含在网络106的一个或多个组件上，如通过所谓的“云服务”。然而，应当意识到，这些各种布置是任选的(通过使用虚线来指示)。
图像分析模块114可以包括各种不同类型的功能。在其它事项中，图像分析模块114能够分析一个或多个图像来确定与图像相关联的属性，如下文进一步说明的。例如，在一些实施例中，图像分析模块114能够分析低分辨率图像(诸如缩略图)以确定属性，诸如颜色组特征、图像品质(模糊对聚焦)、内容、内容的差别，等等。反过来，处理设备104能够基于从相关联的低分辨率图像确定的属性来关于对应的高分辨率图像做出决策。可替代地或者另外地，图像分析模块114能够通过分析高分辨率图像而不是低分辨率图像来确定属性。在一些情况下，图像分析模块114能够分析视频以确定回放特征。例如，图像分析模块114能够分析利用一个或多个捕获率在第一时间段内捕获的视频图像，并且确定对视频图像做出何种修改(如果有)从而在第二时间段内以回放率来播出视频图像，如下文进一步说明的。
上文和下文所述的各个实施例可以利用计算机可读存储介质来实现，其包括使得处理单元能够实现所公开的方法的一个或多个方面以及被配置为实现所公开的方法的一个或多个方面的系统的指令。“计算机可读存储介质”是指所有的法定形式的介质。因此，非法定形式的介质，如载波和信号本身，不意在由术语“计算机可读存储介质”涵盖。
一般的，本文所描述的任意功能可以利用软件、固件、硬件(例如，固定逻辑电路)、或者这些实现方式的组合来实现。本文所使用的术语“模块”、“功能”、“组件”和“逻辑”一般表示软件、固件、硬件或其组合。在软件实现方式的情况下，模块、功能或逻辑表示当在处理器(例如，一个或多个CPU)上执行时执行规定任务的程序代码。程序代码能够存储在一个或多个计算机可读存储器设备上。下面描述的技术的特征是平台独立的，意指技术可实现在具有各种处理器的各种商业计算平台上。
计算机可读介质的一种这样的构造是信号承载介质并且因此配置为诸如经由网络将指令(例如，作为载波)发送给照相机设备。计算机可读介质还可以配置为计算机可读存储介质且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器以及可使用磁、光和其它技术来存储指令和其它数据的其它存储器设备。
图2示出了根据一个或多个实施例的捕获设备(例如，照相机)200的示意图。捕获设备200包括透镜202，该透镜具有适合于覆盖待拍摄场景的焦距。在一个实施例中，随透镜202可包含有机械设备以使得透镜能够自动或手动聚焦。在另一实施例中，捕获设备200可以是固定焦距设备，其中不包含移动透镜202的机械组件。还包含具有感测表面(未示出)的传感器204以将由进入光形成在传感器204的传感表面上的图像转换成数字格式。传感器204可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器，用于扫描进入光并且创建数字图片。可使用其它技术或设备，只要所使用的设备能够将由进入光形成在感测表面上的图像转换成数字形式。典型地，这些图像检测设备确定光在微光敏感设备上的效果且以数字形式记录变化。
应当意识到，捕获设备200可以包括其它组件，诸如电池或电源以及处理器操作所需的其它处理器组件。然而，为避免混淆教导，省略了这些公知的组件。在一个实施例中，捕获设备200不包括取景器或预览显示器。然而，在其他实施例中，可以提供预览显示器。本文所描述的技术能够用于任何类型的照相机，并且尤其在小且极其便携的照相机中有效，诸如那些在移动电话和其它便携式用户装备中实现的照相机。因此，在一个实施例中，捕获设备200包括用于打电话和接电话的硬件或软件。可替代地，捕获设备200可以是专用的独立式照相机。
在至少一些实施例中，捕获设备200还包括运动检测器208，其可以包括加速度计，在一些实施例中，可以包括陀螺仪。加速度计用于确定重力的方向和在任意方向上的加速度。陀螺仪还可以与加速度计一起使用或者替代加速度计使用。陀螺仪能够提供关于捕获设备200的旋转角如何随时间变化的信息。可以使用任何其它类型的传感器来检测照相机的运动。利用旋转角，如果捕获设备200被旋转，则可以计算捕获设备200的旋转角。在至少一些实施例中，可以向照相机提供以一个或多个具有相关联的运动简档的轻敲形式的输入，这是由加速度计感测到的。一个或多个轻敲能够映射成照相机功能来激活功能。可以将任何适合类型的功能映射成一个或多个轻敲。
在至少一些实施例中，轻敲的不同组合可以映射到不同的照相机功能。此外，在至少一些实施例中，照相机包括麦克风213，其检测照相机周围的声音。麦克风能够用于感测与照相机接收到的一个或多个轻敲相关联的噪声简档。噪声简档能够与运动简档一起用来将输入确认为轻敲输入。这能够有助于将照相机可能接收到的其它各种类型的输入做出区分，如上文和下文所提到的。麦克风还能够用于感测电话周围的其它噪声简档或其它噪声并且响应于感测到这些噪声而实现如下文所描述的各种功能。
还包括的是用于将捕获设备200连接到包括通用计算机在内的外部设备的输入/输出(I/O)端口214。I/O端口114可用于使得外部设备能够配置捕获设备200或上传/下载数据。在一个实施例中，I/O端口214还可用于将视频或图片从捕获设备200流送给外部设备。在一个实施例中，I/O端口还可以用于为捕获设备200供电或者对捕获设备200中的可再充电电池(未示出)充电。
捕获设备200还可以包括与发射器/接收器(Tx/Rx)模块216耦合的天线218。Tx/Rx模块216与处理器206耦合。天线218可以完全地或者部分地暴露到捕获设备200主体外。然而，在另一实施例中，天线218可以完全地封装在捕获设备200的主体内。Tx/Rx模块216可以被配置为用于Wi-Fi发送/接收、蓝牙发送/接收或两者。在另一实施例中，Tx/Rx模块216可被配置为使用专有协议来进行无线电信号的发送/接收。在又一实施例中，可使用任何无线电发送或数据传输标准，只要所使用的标准能够发送/接收数字数据和控制信号。在一个实施例中，Tx/Rx模块216是低功率模块，具有小于十英尺的发射范围。在另一实施例中，Tx/Rx模块216是低功率模块，具有小于五英尺的发射范围。在其它实施例中，发送范围可以利用捕获设备200所接收到的控制信号经由I/O端口214或者经由天线218来配置。
捕获设备200还包括处理器206。处理器206与传感器204和运动检测器208耦合。处理器206还可以与存储设备210耦合，在一个实施例中，存储设备210在处理器206之外。存储设备210可用于存储用于控制和操作捕获设备200的其它组件的编程指令。存储设备210还可以用于存储所捕获的介质(例如，图片和/或视频)。在另一实施例中，存储设备210可以是处理器206本身的部分。
在一个实施例中，处理器206可包括图像处理器212，其可以包括如上所述的捕获模块112和图像分析模块114。图像处理器212可以是硬件组件或者还可以是由处理器206执行的软件模块。注意的是，处理器206和/或图像处理器212可以位于不同的芯片上。例如，可使用多个芯片来实现处理器206。在一个示例中，图像处理器212可以是数字信号处理器(DSP)。图像处理器可以配置为处理模块，其是处理器能执行的计算机程序。在至少一些实施例中，处理器212用于至少部分地基于接收自运动检测器208的输入来处理自传感器204接收到的原始图像。诸如图像信号处理器(ISP)的其它组件可以用于图像处理。图像处理器212可以具有被配置为执行或以其它方式影响上文和下文所描述的图像捕获且执行图像分析功能的单独的模块。下面在图3中更详细说明了示例图像处理器212，该图像处理器包括捕获模块112和图像分析模块114。
在一个实施例中，存储设备210被配置为存储原始(未修改图像)和对应的修改图像。在一个或多个实施例中，存储设备210可以包括能够用于促进捕获图像数据的存储器缓冲区，诸如闪速存储器缓冲区。
处理器缓冲区(未示出)也可以用于存储图像数据。图片能够经由I/O端口214或者经由无线通道利用天线218下载到外部设备中。在一个实施例中，当外部设备发送命令以从捕获设备200下载图像时，未修改图像和修改图像均下载到外部设备中。在一个实施例中，捕获设备200可被配置为开始以选定间隔捕获一系列图像。
在一个实施例中，来自传感器204的原始图像被输入到图像处理器(诸如ISP)以进行图像处理或模糊检测。在图像处理应用于图像处理器输出的图像后，修改图像被编码。图像编码被典型地执行以压缩图像数据。
在示例性的实施例中，捕获设备200可以不包括用于处理传感器204所捕获的图像的组件。相反，捕获设备200可以包括在从传感器204提取图像后将原始图像发送到基于云的处理系统或其它经由因特网、局域网或其它某连接类型(如上文所述的那些)与捕获设备200连接的计算系统的编程指令。在基于云的系统中，基于云的系统被配置为接收原始图像且处理一个或多个图像，如上文和下文所描述的。根据用户配置，编码的图像随后被存储到选定的基于云的存储设备中或者图像被发回到捕获设备200或者任何其它设备。基于云的图像处理系统的使用能够减少将多个图像处理组件并入每个照相机设备的需要，从而使得照相机设备更轻、能效更高且更廉价。
在另一示例性的实施例中，不使用基于云的图像处理，捕获设备200可以将原始图像或通过图像处理器处理过的图像发送到另一设备，例如，移动电话或计算机。图像可以经由Wi-Fi、蓝牙或适合于将数字数据从一个设备发送到另一设备的任何其它类型的联网协议发送到移动电话(或计算机)以便进一步处理。在移动设备接收到一个或多个图像后，根据所描述的一个或多个实施例，根据用户或系统配置，所产生的图像可以保存到设备上的本地存储设备，传输以便存储在基于云的存储系统中，或者发送到另一设备。
在一个实施例中，捕获设备200中的本地图像处理系统可以产生非标准格式的图像和/或视频。例如，可以产生1200x1500像素的图像。这可以通过修剪、缩放或者使用具有非标准分辨率的图像传感器来实现。因为用于以选定的标准分辨率变换图像的方法是公知的，不对该论题做进一步论述。
如上文所提到的，捕获设备200可以呈现为任何适合形式的照相机，例如非可佩戴的或可佩戴的照相机。可佩戴的照相机可以佩戴在相对于用户的任何适当位置上。例如，照相机可以佩戴在用户的头上，例如通过示例而非限制的方式，安装到帽上的照相机、安装到眼镜上的照相机、安装到头带上的照相机、安装到头盔上的照相机，等等。可替代地或者另外地，照相机可以佩戴在除了用户头之外的位置上。例如，照相机可以配置为安装到用户的衣服或用户携带的其它物品上，例如背包、钱包、公事包等。
在下文提供的示例中，可佩戴照相机是在能安装到用户的衣服上的照相机的上下文中描述的。然而，应当意识和理解到，可以使用其它类型的非衣服可安装的、可佩戴的照相机，而不背离要求保护的主题的主旨和范围。
已经描述了根据一个或多个实施例的示例操作环境，现在考虑根据一个或多个实施例的示例捕获设备的论述。
示例捕获设备
继续，图4以前视立面图示出了示例捕获设备400，而图5以侧立面图示出了捕获设备400。
捕获设备400包括壳体402，其包含图2所描述的组件。还示出了照相机透镜404(图4)和紧固设备500(图5)，紧固设备是以类似于衣夹的方式操作的夹子的形式。具体地，紧固设备500包括具有主体的叉子502，该主体具有拇指能接合部504。该主体沿着远离拇指能接合部504而朝向远侧末端506的轴线延伸。由主体形成或者与主体分离以及相对于主体在内部的弹簧机构允许叉子502响应于压力施加到拇指能接合部504而打开。当打开时，一件衣服可以插入区域508。当拇指能接合部504被释放时，衣服被叉子502夹住到位，从而将照相机设备牢固地安装到一件衣服上。例如，照相机设备可以如上所述安装到领带、女衬衫、男衬衫、口袋等上。
另外，捕获设备400可以包括一般以510示出的多个输入按钮。输入按钮可以包括(通过示例而不是限制的方式)拍摄静像的输入按钮以及开始视频捕获模式的输入按钮。将意识和理解到，各种输入按钮可以位于捕获设备400上的任意地方。
要注意的是，即使捕获设备400被显示为具有特定的形状，捕获设备400可以制造成适合且足以适应捕获设备400的上述组件的任何形状和尺寸。捕获设备的壳体402可以由金属成型、合成材料成型或它们的组合来制成。在其它实施例中，可以使用任何适合类型的材料来提供用于典型的便携设备使用的耐用且坚固的外壳。
另外，紧固设备500可以包括任何适合类型的紧固设备。例如，紧固设备可以是简单的滑动夹、鳄鱼夹、钩、维可牢或磁体或者接受磁体的金属件。捕获设备300可以利用紧固设备500永久地或者半永久地固定到另一物体上。
已经考虑了根据一个或多个实施例的示例捕获设备，现在考虑双重编码过程的论述。
双重编码
在一个或多个实施例中，捕获设备的处理器206(图2)被配置为以不同水平的分辨率对图像数据编码。例如，捕获设备可以低水平分辨率以及还以高水平分辨率对图像数据编码。可以使用任何适合水平的分辨率。在至少一些实施例中，低水平分辨率是Quarter-VGA(例如，320x 420)，高水平分辨率是720p(例如，1280x 720)。
以不同分辨率水平对图像数据编码能够在给予用户传输所保存的图像数据的各选项的范围上增强用户体验。例如，在较低分辨率水平下，所捕获的图像数据可以被流送到诸如智能手机的设备。可替代地或者另外地，在较高分辨率水平下，当用户具有Wi-Fi可接入性时，它们能够将图像数据传输到诸如膝上型或台式计算机的网络设备。较低分辨率水平和较高分辨率水平还能够实现下文所述的额外的功能。
已经考虑了双重编码方案，现在考虑能够利用上述原理构造的照片日志的各方面。
照片日志
照片日志是指使得用户能够以他们自己选定的间隔用静像照片记录他们的一天的特征。因此，例如，如果用户希望每3分钟用照片记录他们的一天，则他们可以提供输入到照相机设备而使得照相机每3分钟自动地拍摄静像照片且保存该静像照片。在一天结束时，用户将已经利用多个不同的静像照片记录了他们的一天。
在至少一些实施例中，照片日志特征能够与包括图像捕获模式和视频捕获模式在内的多种捕获模式相结合使用。捕获设备能够被设定成图像捕获模式，在该图像捕获模式下，图像或照片被周期性地、自动地捕获，如上所述。在检测到特定事件如听觉可检测事件时，捕获设备自动地触发视频捕获模式并且开始捕获视频。听觉可检测事件能够以任何适合的方式检测到。例如，捕获设备可以具有存储在存储器中的一个或多个声音简档。简档可以包括任何适合类型的简档，诸如通过示例而非限制的反射，与笑声、掌声、音乐、突然的声音等相关联的简档。随着捕获设备的麦克风捕获周围环境中的声音，声音可以被数字化且与存储在存储器中的简档比较。如果简档匹配或者模糊匹配被发现，则照相机自动地触发视频捕获模式且开始捕获视频。可替代地或者另外地，可以使用基于阈值的方法来触发视频捕获模式。例如，可以定义声音阈值(一个或多个)，并且如果捕获设备的麦克风所捕获到的周围声音超过阈值，则视频捕获模式可被触发。应当意识和理解到，其它事件可用于触发视频捕获模式。例如，用户可以通过硬输入按钮或软输入按钮提供输入给捕获设备。
在一时间段后，捕获设备可以转变回到图像捕获模式。转变到图像捕获模式可以多种方式而发生，例如，在经过一时间段后，在听觉可检测事件以其不再被检测到的方式终止或衰减之后，通过用户输入，等等。通过该方式，视频能够用于捕获比静像更丰富的与声音检测事件相关联的内容。另外，通过将视频捕获模式限制到限定的时间段，节约电池电力以及相关联的存储空间。
在至少一些实施例中，图像和视频的集合定义了利用静像和视频两者来记录用户的一天的“照片故事”。作为示例，考虑图6，该图示出了一般以600示出的照片故事的部分的表示。在该特定的示例中，照片故事600包括多个静像602、604、608、612、614和616。还注意的是，照片故事包括视频606和610。在该特定的示例中，视频606，610以相对于其被捕获的时间的时间顺序插入照片故事中。因此，在该特定的示例中，静像602是在静像604之前被捕获的；静像604是在视频606之前被捕获的；视频606是在静像608之前被捕获的，等等。通过该方式，以在已经记录的特定的“故事”的上下文中以可呈现形式提供了静像和视频。
以时间顺序将静像和视频编组仅仅是所捕获的内容可以编组的一种方式。所捕获的内容，静像和视频两者，可以其它方式编组，而不背离要求保护的主题的主旨和范围。例如，视频剪辑可以被分析以确定与视频相关联的特性或属性。基于这些特性或属性，视频剪辑能够与其它共享相似的特性或属性的视频剪辑编组。例如，一些视频剪辑可能具有诸如绿色或蓝色的主色。这些剪辑可以编组在一起，而具有白色或粉色的主色的剪辑可以单独地编组。类似地，可能与笑声相关联的视频剪辑可以编组在一起，而与音乐相关联的视频剪辑可以单独地编组。而且，这些编组技术可以应用于静像和视频剪辑。例如，被发现共享共同的特性或属性的静像和视频剪辑可在它们自己的集合中编组在一起。
如上所述，上文和下文所述的处理或其部分可以在捕获设备上执行，在图像和视频已经从捕获设备传输到的计算设备上执行，和/或通过基于云的服务整体或者以分布的形式来执行。
图7是描述了根据一个或多个实施例的方法中的步骤的流程图。该方法可以任何适合的硬件、软件、固件或其组合来实现。在至少一些实施例中，该方法能够通过适当配置的捕获设备来实现。
步骤700启用捕获设备中的图像捕获模式。该步骤可以任何适合的方式来执行。例如，在至少一些实施例中，用户能够激活照相机并且选择图像捕获模式，在图像捕获模式下图像被周期性地且自动地捕获。步骤702在图像捕获模式下捕获一个或多个图像。该步骤可以通过周期性地拍摄静像来执行。步骤704检测听觉事件。该步骤可以任何适合的方式来执行。例如，在至少一些实施例中，可以使用基于简档的方法，如上所述。可替代地或者另外地，在其它实施例中，可以使用基于声音阈值的方法。响应于检测到听觉事件，步骤706自动地触发视频捕获模式。步骤708在视频捕获模式下捕获视频，步骤710转变到图像捕获模式。转变到图像捕获模式可以任何适合的方式执行。例如，在至少一些实施例中，转变回图像捕获模式可以在经过一时间段后执行。可替代地或者另外地，转变可以在听觉可检测事件以某方式终止或衰减后发生。在另外的实施例中，转变可以通过用户输入到捕获设备的方式而发生。
图8是描述了根据一个或多个实施例的方法中的步骤的流程图。该方法能够以任何适合的硬件、软件、固件或其组合来执行。在至少一些实施例中，该方法或该方法的方面可以由适当配置的捕获设备来实现。在至少一些其它实施例中，该方法的方面可以由适当配置的捕获设备以及另一计算设备或服务(诸如从捕获设备接收图像和视频的计算设备或服务)来实现。
步骤800利用捕获设备来捕获多个静像。在至少一些实施例中，该步骤被自动地执行，并且以可以是或者可以不是规律间隔的间隔来自动地捕获静像。步骤802基于听觉可检测事件利用捕获设备来捕获一个或多个视频。在一个或多个实施例中，当捕获设备检测到听觉事件时，自动地执行该步骤。在上文提供了听觉可检测事件的示例以及可以检测这些事件的方式。步骤804使得静像和视频能够编组在一起。该步骤可以任何适合的方式来执行。例如，在至少一些实施例中，捕获设备可以将静像和视频布置到其中内容以时间顺序排布的“照片故事”中。可替代地或者另外地，静像和视频可以提供给计算设备或远程服务，并且可以利用任何适当的技术以任何适合的方式编组。上文提供了各种编组的示例。此外，以下提供了将内容编组的适当的技术的示例。
已经考虑了使用多个捕获模式的实施例，现在考虑关于缩略图编辑的实施例的论述。
缩略图编辑
计算设备经常彼此建立连接从而在设备之间传输数据。一个这样的示例包括捕获设备与另一计算设备连接以传输所捕获的图像和/或视频。取决于捕获设备与计算设备之间的连接的带宽，传输所捕获的图像可以快的速率或者慢的速率而发生。例如，具有大带宽的Wi-Fi连接通常可以快速地传输大的文件，从而使得传输时间在用户看来是可忽略的。另一方面，蓝牙连接通常具有较低的带宽。通过蓝牙连接传输该相同的大的文件会花费比Wi-Fi连接更长的时间，并且因而对用户来说更明显。进而，用户有时会觉察到与传输设备或接收设备相关联的较慢的传输时间和性能问题，尤其是当其妨碍用户访问传输中的文件时。
在至少一些实施例中，捕获设备能够从高分辨率图像来生成低分辨率图像。低分辨率图像可以初始地从捕获设备传输到第二计算设备以便快速处理。在一些情况下，可以分析低分辨率图像以基于其图像内容来确定属性。当高分辨率图像传输到第二计算设备时，可以基于从低分辨率图像文件确定的属性来处理它。
作为示例，考虑图9，该图示出了根据一个或多个实施例的实现方式。图9包括图1的捕获设备102。在该特定的示例中，捕获设备102包括图像文件902和缩略图文件904。图像文件902可以是任何适合类型的文件，诸如静像、视频图像等。在一些情况下，图像文件902是由捕获模块108捕获的高分辨率图像，并且能够以任何适合的格式存储，上文提供了其示例。可替代地或者另外地，所存储的格式可以包括描述与所捕获的图像相关联的属性的信息，诸如光栅信息、向量信息、元数据、日期/时间戳信息，等等。有时，但不是必然地，图像文件902可以包括除了高分辨率图像之外的缩略图图像。为了论述的目的，图像文件902图示为具有1.024兆字节(Mbyte)的数据大小，但是应当意识到，图像文件902可以是任何数据大小，而不背离要求保护的主题的范围。
缩略图文件904是相关联的高分辨率图像(例如，图像文件902)的低分辨率图像。此处，较低分辨率是借助缩略图文件904视觉上较小且具有比图像文件902小的数据大小(例如，128千字节(kByte))来表明的。如图像文件902的情况，图示的缩略图文件904的数据大小仅为了论述的目的，应当意识到缩略图文件可以具有任何适合的数据大小。这些数据大小用于表明，在其它事项当中的，低分辨率图像文件是具有比对应的高分辨率图像文件少的图像细节的图像文件。由于较少的细节，缩略图图像的所得到的数据大小低于对应的高分辨率图像文件。随后，低分辨率图像文件的传输时间会少于对应的高分辨率图像文件。在一些实施例中，捕获设备102从图像文件902中生成缩略图文件904，诸如通过生成模块906。
生成模块906从图像文件中生成缩略图文件。在上述的示例中，缩略图文件904是通过减小图像文件902的可视尺寸来生成的。然而，将意识到，可以使用任何适合的压缩和/或缩小算法来生成缩略图图像。例如，当高分辨率图像文件包括所捕获的图像的低分辨率缩略图图像时，生成模块906能够提取低分辨率缩略图图像，并且创建包含缩略图图像的新文件。在一些情况下，压缩和/或缩小算法是由捕获设备102自动应用的，而在其它情况下，其可以由用户手动选择。此外，可以由任何适合的事件自动地或手动地触发生成低分辨率图像文件，诸如在捕获到高分辨率图像时，在识别捕获/发送设备与处理/接收设备之间的连接被建立时，在确定设备间的连接具有预定义阈值以下的带宽时，在从接收设备请求时，在通过可选控件接收到用户输入时，等等。
为了利用较小的数据大小，一些实施例在传输相关联的高分辨率图像文件之前首先将低分辨率图像文件传输到接收设备。低分辨率图像文件的较小的数据大小允许更快速的传输，因而使得接收设备能够更快地开始处理内容，以及允许用户更快地访问内容。考虑图10，该图示出了根据一个或多个实施例的示例实现方式。此处，图10捕获了分别在时间1002和时间1004的图1的捕获设备102与处理设备104之间的两个分离的交互。
在时间1002，捕获设备102初始地利用连接链路110将图9的缩略图文件904传输到处理设备104。在一些实施例中，捕获设备102基于连接带宽低于预定阈值的判定而自动地传输低分辨率图像文件(诸如缩略图文件904)。在其它实施例中，低分辨率图像文件自动地传输，而无关传输带宽。然而，传输低分辨率图像可以任何适合的方式来发起，例如通过示例而非限制的方式，在设备间的连接建立时自动地发起，当低分辨率图像被创建时自动地发起，在接收到来自用户的输入时手动地发起，等等。在一些实施例中，用户可以通过与捕获设备102相关联的可选控件和/或与处理设备104相关联的可选控件来手动地发起传输，和/或处理设备104发送低分辨率图像文件或高分辨率图像文件的传输请求到捕获设备而手动地发起传输。因此，缩略图文件904的传输可以手动地发起和/或通过捕获设备102和/或处理设备104自动地发起。
在接收到缩略图文件904时，处理设备104开始经由图像分析模块114来处理它。可以发生任何适当类型的处理，例如图像内容分析、颜色调色板分析、属性标识、图像品质分析、与缩略图文件相关联的用户输入、面部识别分析、日期/时间戳标识，等等。当处理设备接收多个图像文件和/或视频文件时，其能够基于从相关联的缩略图文件所确定的属性来自动将这些文件编组。例如，有时，处理设备104基于这些所确定的与图像相关联的属性而自动地将所传输的图像文件置于照片故事中，如上所述，和/或使得用户能够手动地将图像置于照片故事中。因为高分辨率图像文件的传输时间花费比相关联的低分辨率图像文件的传输时间长的时间，所以一些实施例初始地传输低分辨率图像文件到处理设备作为一种获得更快速访问相关联的图像的方式。
在时间1004，捕获设备102将图像文件902传输到处理设备104。这可以发生于任何适合的时间点，诸如在确定缩略图文件904已经完全传输时，或者在确定捕获设备102和/或处理设备104处于空闲状态时。在该示例中，处理设备104已经在图像文件902传输之前向用户显示缩略图文件904的内容。这使得用户能够在图像文件902已经被接收到之前或甚至在其传输开始之前相对于缩略图文件904输入命令，诸如编辑命令。进而，这些命令随后可以应用于图像文件902。例如，用户可以决定删除缩略图文件904。根据图像文件902的传输状态，这可以取消图像文件902的传输(如果其处于进展中)，发送命令到捕获设备102以便如果传输尚未启动则不发送图像文件902，和/或从处理设备104和/或捕获设备102上的存储设备中删除图像文件902。在又一示例中，用户可以输入命令以将缩略图文件904以特定顺序置于照片故事中，诸如在开始、末尾或者邻近另一相关图像。反过来，当图像文件902被完全接收到时，该命令可应用于图像文件902。可替代地或者另外地，处理设备104可以基于缩略图文件904而自动地做出图像文件902的分类决策。因此，处理设备104能够在图像文件被接收到之前通过首先分析相关联的缩略图文件来预处理图像文件。虽然时间1004示出了在处理设备104分析缩略图文件904的同时图像文件902处于传输中，应当意识到，图像文件902可以在访问缩略图904期间处于任何适合的传输阶段(例如，未发送到处理设备104，被处理设备104完全接收，被处理设备104部分地接收)，而不偏离要求保护的主题的精神。
图11是描述根据一个或多个实施例的方法中的步骤的流程图。该方法可以与任何适合的硬件、软件、固件或其组合相结合地执行。在至少一些实施例中，该方法由适当配置的设备，诸如图1的捕获设备102和/或处理设备104来执行。在该示例中，标题为“捕获设备”的左手栏图示出由捕获设备所执行的方法中的步骤，而标题为“处理设备”的右手栏图示出处理设备所执行的方法中的步骤。然而，应当意识到，这些步骤可以由单一计算设备和/或多个计算设备来执行，而不背离要求保护的主题的范围。
步骤1100捕获至少一个高分辨率图像。在其它事项中，高分辨率图像包括在低分辨率图像中没有呈现的额外的图像细节。可以捕获任何适合类型的图像，诸如静像、视频图像等。在一些实施例中，高分辨率图像是由被配置为随时间推移而自动地捕获图像和/或视频的可佩戴照相机来捕获的。
响应于捕获高分辨率图像，步骤1102从高分辨率图像中生成低分辨率图像文件。一些实施例从高分辨率图像文件中提取缩略图图像的副本并且创建第二单独的文件来存储该副本。其它实施例通过利用如上文进一步所描述的缩小和/或压缩算法处理高分辨率图像来生成低分辨率图像文件。
步骤1104将低分辨率图像文件传输到另一计算设备。在一些情况下，低分辨率图像在它们生成后被自动地传输。可替代地或者另外地，低分辨率图像可以在设备间的连接建立时、在确定连接具有预定义阈值以下的带宽时、在确定连接是某种类型(即，判定连接是蓝牙连接、判定连接是Wi-Fi连接，等等)时、等等而自动地传输。在一些情况下，传输低分辨率图像文件可以由用户手动发起。
步骤1106接收至少一个低分辨率图像文件。这可以任何适当的方式发生，诸如在直接连接上或者通过网络连接。响应于接收到低图像分辨率文件，步骤1108分析低分辨率图像文件以确定图像文件的属性。可以执行任何适当类型的处理和/或分析来确定任何适当类型的属性，其示例提供于上文中。在一些情况下，处理设备在接收到时自动地处理低分辨率图像文件。在其它情况下，处理设备基于诸如从用户接收到的命令(即，编辑命令)的手动输入而处理低分辨率图像。因此，低分辨率图像文件可以被自动处理以确定属性，或者可以经由用户输入命令手动地处理。
步骤1110将高分辨率图像文件从捕获设备传输到处理设备。步骤1112接收与低分辨率图像文件相关联的高分辨率图像文件。此处，步骤1110和1112被图示为发生在步骤1108之后，但是应当意识到这些步骤可以相对于步骤1108以任何适合的顺序而发生，而不背离要求保护的主题的范围。例如，在一些实施例中，高分辨率图像文件可以由捕获设备发送且随后与低分辨率图像文件的处理并行地由处理设备接收。
响应于接收到高分辨率图像文件，步骤1114基于从低分辨率文件确定的属性来处理高分辨率文件。可替代地或者另外地，步骤1114基于来自用户的输入相对于低分辨率图像文件来处理高分辨率图像文件。例如，如上所述，如果用户相对于低分辨率图像而输入编辑命令，则该命令则可以应用于高分辨率图像文件。虽然步骤1114图示为发生在步骤1110和1112之后，但是应当意识到，如上述情况一样，步骤1114可以发生在这些步骤之前，发生在这些步骤之间，和/或代替这些步骤而发生，而不脱离要求保护的主题的范围。例如，如果作为步骤1108的结果，做出了低分辨率图像文件具有差的图像品质的判定，并且用户随后删除了低分辨率图像文件，则步骤1114将该相同的过程应用于高分辨率图像文件(例如，高分辨率文件的传输终止和/或从存储器中删除)。因此，可以使用低分辨率图像文件来通过首先分析低分辨率且随后将结果应用于相应的高分辨率文件而在低带宽传输环境下实现更快的图像分析。
已经考虑了缩略图编辑的示例，现在考虑自动策展视频来适应显示时间的方面。
自动策展视频
如上所述，捕获设备能够随时间推移周期性地捕获图像和/或视频。例如，捕获设备如可佩戴照相机可以被配置为在一天的各点捕获多个图像或视频。可以存在触发捕获图像或视频的不同事件并且通常这些多个图像和/或视频能够用于记录一天的事件。虽然捕获设备能够执行一些初始分析来触发图像捕获，但是可能不具有足够的处理能力来验证捕获后图像的品质或内容。为了对此进行弥补，一些实施例将所捕获的图像转送到具有更大处理能力的处理设备来进行进一步分析。有时，处理设备可以不同于相关联的捕获率或持续时间的帧率和/或不同的持续时间来回放图像。在一些实施例中，处理设备能够基于分析来修改图像的回放。
为进一步图示说明，考虑图12，该图包括了根据一个或多个实施例的示例实现方式。图12包括分别标记为视频1202和1204的捕获设备所获取的两个单独的视频。视频1202包括捕获进展中的篮球比赛的一系列图像(以及伴随的音频)。此处，视频持续了3秒的持续时间，并且是利用每秒4帧的捕获帧率捕获的。在一些实施例中，捕获设备能够根据所捕获的图像是否具有快速移动/变化或者具有极小移动/变化以至没有移动/变化来调节捕获帧率。例如，在视频1202中，捕获设备确定利用每秒4帧的捕获帧率来捕获活动，因为篮球比赛通常包含移动。相反，视频1204包括在篮球场为空时的不同时点捕获的一系列图像(以及伴随的音频)。对于视频1204，捕获设备标识活动的缺失并且使用每秒1帧的较粗的捕获帧率(再次时间上经过3秒)。因此，捕获设备可以被配置为不仅在不同的时间点捕获图像，而且另外可配置为以不同的捕获帧率和/或不同的持续时间来捕获图像。应当意识到在该论述中所使用的描述捕获持续时间以及捕获帧率的值仅仅是为了论述的目的，并且可以使用持续时间和/或帧率的值的任何适合的组合，而不偏离要求保护的主题的范围。
继续，在某任意时间点，捕获设备或其用户可以决定将所捕获的图像传输到处理设备。图13示出了使用图1的捕获设备102和处理设备104的该示例。此处，捕获设备102将图12的两个视频传输到处理设备104。为了简洁起见，视频1202和1204图示为作为级联视频1302而一起传输，其具有6秒的持续时间。应当意识到，这仅是为了论述的目的，并且图像可以彼此独立地和/或在不同时间点在设备之间传输，而不背离要求保护的主题的范围。在其它事项中，处理设备104分析接收到的图像和/或视频以确定编组和/或回放顺序，如上文和下文进一步描述的。有时，处理设备接收具有不同于可能具有预定回放参数的回放槽的捕获参数的内容。例如，在图13中，回放槽1304具有3秒的回放持续时间参数，并且当前处于空状态和/或没有内容。在接收到来自捕获设备的图像时，处理设备判定如何填充回放槽1304。然而，如此处所图示的，当接收到的内容仍未修改时，捕获设备已经捕获了比装入回放槽1304的更多的内容且将该更多的内容传输到处理设备。
在一些实施例中，处理设备可以接收以第一速率在第一持续时间内所捕获的至少第一组图像。这可以从上面的示例中看出，其中处理设备104接收以两种单独的捕获帧率捕获的两组图像：视频1202，其具有每秒4帧的捕获帧率，以及视频1204，其具有每秒1帧的捕获帧率。处理设备104能够分析这些组图像以确定图像的修改后的回放，例如通过使用至少第二帧率用于在第二持续时间内回放。
为进一步图示说明，考虑图14。该示例图示出能够由处理设备使用来修改接收到的图像以便回放的至少一个实现方式。此处，图1的视频1202和视频1204被修改以适应回放槽1304所设定的回放持续时间。视频1202和1204当在它们相应的捕获帧率下回放时的总回放持续时间是6秒，该时间超过了回放槽1304的回放持续时间，该回放槽1304的回放持续时间为3秒。为了对此进行补偿，处理设备修改播放每个相应的视频的回放率和持续时间。可以任何适合的方式来确定这些变量中的每一个。例如，可以分析视频来确定哪些视频包含了更多的图像内容变化和/或活动。具有更多活动的视频在一些情况下可以被分配更长的回放持续时间。此处，视频1202被标识为包括比视频1204多的图像内容变化(例如，活动)。基于该分析，视频1202被分配了比分配给视频1204长的回放持续时间从而更好地观看活动。当将视频1202插入回放槽1304时，其被分配了持续时间1402(其为1.8秒)，对于视频1202产生了6.67的结果回放帧率。相反，视频1204被分配了持续时间1404(其是1.2秒)，产生了每秒2.5帧的结果回放帧率。借助该特定的过程，每个视频在回放视频1304所设定的持续时间内回放其相关联的全部图像。然而，替代的过程能够用于修改并标识选择了何种图像用于回放，而不偏离要求保护主题的范围，例如通过示例而非限制的方式，基于图像品质去除视频中的图像，在视频中交替图像，回放视频的部分，等等。有时，这些修改可以基于图像分析和/或音频分析，如下文进一步说明。
通常，所捕获的图像的内容在图像间不同。一些捕获的图像可以包括清晰的和/或聚焦的图像，其他捕获的图像可能包含更模糊和/或不太聚焦的图像，一些捕获的图像可能包括人的图像，其他捕获的图像可以无人，等等。在一些情况下，一些捕获的图像可以包含与其他包含“更有兴趣的”内容(即，具有高活动性和/或变化的图像，具有面部捕获的图像，等等)比“不太感兴趣的”内容(即，具有有限的活动的图像和/或没有相互不同的图像)。当做出如何修改接收到的视频和/或图像以便回放的判定时，这些属性可以由处理设备使用。例如，处理设备可以被配置为确定品质度量和/或接近度度量，并且基于这些度量来选定用于回放的图像。
考虑图15，该图示出了根据一个或多个实施例的示例实现方式。该特定的示例图示出如何能够计算度量以测量图像品质和/或图像相似度。在其他事项中，图像品质可以通过测量图像的锐利度和/或清晰度来进行测量。考虑图像1502，其代表了任何适合类型的图像，诸如高分辨率图像、低分辨率图像等。假设图像由如图所示的4x4网格覆盖。相关联的图像的清晰度可以被估计为在代表性的轨迹上的平均(每像素步)差别能量，如图像1504所图示的。轨迹的每像素尺寸步贡献于作为亮度平方差的度量，其中亮度可以定义为：(4G+2R+B)/7。此处，“G”、“R”和“B”代表了标准化RGB(红色绿色蓝色)空间颜色成分。总能量通过轨迹长度以像素尺寸步进行后标准化。
一些实施例处理图像以生成接近度度量。接近度标准可以包括对应于局域(细节)、中间域(形状)和全局域(概图)的度量，如下文进一步说明的。
全局域：颜色直方图
全局域度量是高斯模糊化图像的颜色直方图(色调成分)。其他成分(饱和度和亮度)比色调更易于受噪声影响。应用模糊以最小化由于纹理、装饰/结构细节和其他颜色噪声源和“突出”一致的、毗邻的同颜色区所引起的偏差。两个图像之间的距离是它们颜色直方图的标准化点积。
中间域：“形状哈希”
对于中间域度量，一些实施例从图像中挑选随机点，诸如通过使用蒙特卡罗区域估计方法。然后，分析随机点，做出决策以保留具有定义色调、在期望饱和度阈值以上的饱和度和/或在期望亮度范围内的亮度(例如，区分地彩色点“选择S”)的点。随后可以利用如“K均值”的任何适合的聚类(cluster)算法来将这些点聚类成少量的聚类。可替代地或者另外地，随后可以生成粗略估计(“云匹配”)，其中图像A的聚类Ai与图像B的聚类Bj之间的距离是由(标准化)X(水平)和Y(垂直)的差、相对于图像中心的聚类中心坐标、它们的成员的色调坐标的平均正弦和余弦、相对于S的计数的聚类尺寸等等构成的向量的绝对值。在一些情况下，对于所有可能的i和j对，图像A与B之间的总距离是Ai与Bj之间的全部成对距离的平均值。在一些实施例中，生成细化估计。在细化估计中，对于每个聚类，其成员的位置转换成以聚类中心为基础的极坐标。然后，通过角坐标来排序得到的坐标对，并且可以应用高斯模糊以模拟平滑包络。随后利用傅立叶变换可以将包络变换到频域。形状相似度(即，所得到的谱的标准化点积)可以乘以成对“云匹配”估计。如果在任一图像中没有检测到“云”，则假设该距离是0.5。如果在一个图像中检测到“云”而在另一图像中没有发现“云”，则假设该距离为1。
特征点匹配
在一些实施例中，可以利用海赛-拉普拉斯描述符来发现特征点和/或兴趣点(即，N最佳兴趣点)。此后，利用K维树来1-1匹配两个图像的兴趣点描述符组。然后，通过在每个图像中发现的兴趣点的总数的地理均值来标准化多个匹配点。所得到的值可以用作距离估计。
几何匹配
除了特征点度量之外，一些实施例通过计算匹配的兴趣点的标准化坐标之间的皮尔逊相关来生成几何度量。几何度量的高值能够用于表明，不仅两个图像的细节大部分匹配，而且它们以相对于彼此相似的方式定位(忽略了线性变换，如旋转、缩放和平移)。
组合接近度
每个计算出的度量随后可用于贡献于组合接近度度量，方式如下：
1.预标准化为[0..1]范围(确切相似的图像为0，完全无关的为1)；
2.提高到其重要度的乘幂；
3.后标准化成[Doubt..1]范围。
混合了怀疑(Doubt)权重成分以避免通过已知易于发生误报的度量做出决策(即，认为两个图像相似)。例如，对于丢弃几何且仅考虑颜色的任何度量的Doubt调节应当为高(接近0.5)。对于区分地标识细化结构的度量，诸如面部或文本，Doubt应当极低。
组合距离是每个单个度量的步骤(3)结果的乘积。
因此，一些实施例分析图像的内容以生成量化和/或描述内容的一个或多个度量和/或属性。这些度量随后可用于选择和/或修改哪些图像由处理设备回放，例如通过去除看起来彼此重复的至少一些图像，仅选择生成了表明兴趣内容的度量的图像，等等。
有时，用户可能期望将图像与音频耦合。一些实施例允许图像回放与音频同步。例如，用户可以具有他们期望将图像与其同步的喜爱歌曲的一个或多个声道。这些声道可以被分析以确定音乐的属性，诸如拍音。反过来，回放属性可以基于音乐属性。音乐中的拍音是音乐所同步和/或包含的频率、节奏和/或节拍。在一些实施例中，可以基于所确定的音乐的拍音来修改视频的回放。考虑选定的声道包含每0.25秒脉动的100Hz音调的简单情况。一些实施例分析音轨以标识0.25秒拍音，然后基于该拍音生成视频的回放帧率。例如，假设每拍音4个帧是期望的回放率。利用上面的数字，这变成：
0.25秒拍音间隔＝4拍音/秒
每拍音4帧*4拍音/秒＝16帧/秒
这产生了每秒16帧的回放帧率。随后，可以修改对应的视频来以该速率回放。这些值仅为了论述的目的，将意识到可以使用任何适合的数字组合，而不偏离要求保护主题的范围。此外，虽然关于视频对此进行描述，应当意识到这同样可以应用于静像。例如，考虑图6的照片故事600。照片故事600包括各种静像和视频。在一些实施例中，在静像和/或视频之间的转变(即，在第一时间段显示第一静像，然后在第二时间段显示第二静像和/或视频，等等)可以基于所确定的音轨的属性。利用上面0.25秒拍音间隔的示例，可以生成转变间隔，诸如3秒转变间隔(0.25x12拍音/转变)，10秒间隔(0.25x40拍音/转变)。可替代地或者另外地，这可以应用于视频以确定回放持续时间。因此，除了基于图像内容修改图像回放之外，一些实施例基于将回放与音频同步来修改图像的回放。
已经考虑各种图像/视频处理技术，现在考虑根据一个或多个实施例的示例方法的论述。
图16是描述了根据一个或多个实施例的方法中的步骤的流程图。该方法能够结合任何适合的硬件、软件、固件或其组合来执行。在至少一些实施例中，该方法至少部分地由适当配置的模块(诸如图1的图像分析模块114)来执行。
步骤1600接收至少第一组图像。在一些实施例中，第一组图像是已经在第一捕获持续时间内以第一捕获帧率捕获的视频。该组图像可以任何适合的方式接收，诸如处理设备接收由如上文进一步描述的捕获设备捕获和传输的视频。此外，可以接收任何适当类型的图像，诸如多个视频、静像和/或其任意组合。当接收到多个视频时，多个视频可以具有任何适合的配置，诸如每个视频具有彼此不同的捕获帧率和/或捕获持续时间，一些视频具有相同的捕获帧率和/或捕获持续时间，全部视频具有相同的捕获帧率和/或捕获持续时间，等等。多个视频可以在几乎相同时间共同被接收，或者在不同时间点彼此独立地被接收。
响应于接收到第一组图像，步骤1602分析第一组图像以确定至少一种属性。图像的属性可以包括任何适当类型的属性，诸如基于图像内容的属性(即，存在活动，不存在活动，面部识别，颜色内容等)、捕获参数(即，时间/日期戳、捕获帧率、捕获持续时间等)。在一些情况下，属性可以是量化图像内容的度量。属性可以特定于一个不同的图像和/或一组图像。
步骤1604确定至少一个回放参数。例如，回放参数可以包括回放帧率、回放持续时间、回放时间槽位置等。在一些情况下，回放参数与照片故事中的图像回放相关联。确定回放参数可以任何适当的方式发生。在一些情况下，回放参数是预先确定的和/或固定的，而在其他情况下，回放参数是动态地确定的，诸如基于音乐拍音的回放帧率和/或回放持续时间。
响应于确定至少一个回放参数，步骤1606至少部分地基于回放参数和/或所确定的图像属性来修改第一组图像。可以任何方式来修改一组图像，例如从已经被标识为更有兴趣(即，面部识别，移动检测等)的一组中提取图像子集，从已经被标识为具有差图像品质的一组中删除和/或去除图像，删除和/或去除已经被标识为重复(或者在阈值内重复)的图像，删除和/或去除已经被标识为没有移动的图像，等等。可替代地或者另外地，该组图像可以通过分配新回放参数来进行修改。
步骤1608回放修改后的第一组图像。在一些情况下，修改后的一组图像以不同于其被捕获的帧率和/或不同的持续时间来回放，如上文进一步说明的。可替代地或另外地，修改后的一组图像可以与同步的音乐一起回放和/或在照片故事中回放。
已经考虑了上面的实施例，现在考虑能够用于实现上述实施例的示例设备的论述。
示例设备
图17示出了能够实现为实现本文所述的实施例的任何类型的便携式和/或计算机设备的示例设备1700的各个组件。设备1700包括通信设备1702，其使得设备数据1704(例如，接收到的数据、正在接收的数据、安排广播的数据、数据的数据分组等)能够有线和/或无线通信。设备数据1704或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息。存储在设备1700上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备1700包括一个或多个数据输入1706，由此可以接收任何类型的数据、媒体内容和/或输入，诸如用户可选输入、消息、音乐、电视媒体内容、记录的视频内容以及从任何内容和/或数据源接收到的任何其他类型的音频、视频和/或图像数据。
设备1700还包括能够实现为任意一个或多个串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器以及任何其他类型的通信接口的通信接口1708。通信接口1708提供了设备1700与其他电子设备、计算设备和通信设备借以与设备1700进行数据通信的通信网之间的连接和/或通信链路。
设备1700包括一个或多个处理器1710(例如，任意微处理器、控制器等)，其处理各种计算机可执行或可读指令来控制设备1700的操作以及实现上述实施例。可替代地或者另外地，可以利用与通常以1712标识的处理和控制电路相结合实现的硬件、固件或固定逻辑电路的任意一个或组合来实现设备1700。虽然没有示出，设备1700可以包括将设备内的各组件耦合的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任意一个或组合，总线结构如存储器总线或存储器控制器、外围设备总线、通用串行总线、和/或使用各种总线架构中的任一种的处理器或局部总线。
设备1700还包括计算机可读介质1714，诸如一个或多个存储器组件，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任意一个或多个)和盘存储设备。盘存储设备可以实现为任意类型的磁或光存储设备，诸如硬盘驱动器、可记录和/或可重写压缩盘(CD)、任何类型的数字多功能盘(DVD)等。设备1700还可以包括大容量存储介质设备1716。
计算机可读介质1714提供了存储设备数据1704以及各种设备应用1718和与设备1700的操作方面有关的任何其他类型的信息和/或数据的数据存储机制。例如，操作系统1720可以被维护为具有计算机可读介质1714且在处理器1710上执行的计算机应用。设备应用1718可以包括设备管理器(例如，控制应用、软件应用、信号处理和控制模块、在特定设备本地的代码、特定设备的硬件抽象层等)，以及可以包括web浏览器、图像处理应用、如即时消息传递应用的通信应用、文字处理应用和其他各种不同的应用的其他应用。设备应用1718还包括实现本文所描述的技术的实施例的任何系统组件或模块。在该示例中，设备应用1718可以包括如上所述进行操作的图像分析模块1722。
设备1700还包括提供音频数据给音频系统1726和/或提供视频数据给显示系统1728的音频和/或视频输入-输出系统1724。音频系统1726和/或显示系统1728可以包括处理、显示和/或以其他方式渲染音频、视频和图像数据的任何设备。视频信号和音频信号可以经由RF(射频)链路、S-video链路、复合视频链路、成分视频链路、DVI(数字视频接口)、模拟音频连接或其他类似的通信链路而从设备1700传送给音频设备和/或显示设备。在实施例中，音频系统1726和/或显示系统1728实现为设备1700的外部组件。可替代地，音频系统1726和/或显示系统1728实现为示例设备1700的集成组件。
结论
各个实施例提供了一种捕获设备，例如，照相机，其被配置为具有多种捕获模式，包括图像捕获模式和视频捕获模式。捕获设备可以被设定成图像捕获模式，在该图像捕获模式下，图像或照片被周期性地、自动地捕获。在检测到特定事件诸如听觉可检测事件时，捕获设备自动地触发视频捕获模式且开始捕获视频。在一时间段后，捕获设备能够转变回到图像捕获模式。转变到图像捕获模式可以多种方式发生，例如，在经过一时间段后，在听觉可检测事件终止或衰减后，通过用户输入，等等。在一些实施例中，捕获设备可以具体实施为用户佩戴的可佩戴照相机。
在至少一些实施例中，图像和视频的集合定义了利用静像和视频来记录用户的一天的“照片故事”。
其它各个实施例使得捕获设备能够捕获至少一个高分辨率图像且基于该高分辨率图像来生成低分辨率图像。一些实施例在传输对应的相关联的高分辨率图像文件之前将相关联的低分辨率图像文件传输到第二设备。在一些情况下，可以分析低分辨率图像以确定与低分辨率图像相关联的一个或多个属性。与高分辨率图像相关联的处理决策则可以基于低分辨率图像的一个或多个属性。
其它各个实施例使得处理设备能够接收来自捕获设备的至少第一组图像。在一些情况下，第一组图像是利用第一帧率在第一持续时间内捕获的视频剪辑。在一些实施例中，处理设备分析第一组图像以确定与图像相关联的一个或多个属性。基于所确定的属性，一些实施例修改第一组图像且以第二帧率在第二持续时间内回放该第一组图像。
虽然以特定于结构特征和/或方法行为的语言描述了实施例，但是应当理解的是，在随附的权利要求中限定的各实施例不一定局限于描述的具体特征或行为。相反，具体特征和行为被公开作为实现各个实施例的示例形式。

Claims (10)

1.一种方法，包括：
经由捕获设备启用图像捕获模式，在所述图像捕获模式下图像被周期性地并且自动地捕获；
经由所述捕获设备在所述图像捕获模式下捕获一个或多个图像；
经由所述捕获设备来检测听觉事件；
响应于检测到所述听觉事件，经由所述捕获设备自动地触发视频捕获模式，在所述视频捕获模式下，视频能够被捕获；
经由所述捕获设备在所述视频捕获模式下捕获视频；以及
经由所述捕获设备转变到所述图像捕获模式。
2.如权利要求1所述的方法，其中所述检测包括捕获所述捕获设备的周围环境中的声音以及将所捕获的声音与存储在所述捕获设备的存储器中的一个或多个简档进行比较。
3.如权利要求1所述的方法，其中所述检测包括捕获所述捕获设备的周围环境中的声音以及将所捕获的声音与声音阈值进行比较。
4.如权利要求1所述的方法，其中所述转变包括自动地转变到所述图像捕获模式。
5.如权利要求1所述的方法，其中所述转变包括在一时间段后自动地转变到所述图像捕获模式。
6.如权利要求1所述的方法，其中所述转变包括在所述听觉事件不再被检测到之后转变到所述图像捕获模式。
7.如权利要求1所述的方法，还包括提供包括以时间顺序排序的图像和视频的照片故事。
8.如权利要求1所述的方法，其中所述捕获设备包括可佩戴的照相机。
9.一种捕获设备，包括：
壳体；
照相机透镜，其由所述壳体支撑并且被配置为使得能够进行图像和视频的捕获；
麦克风，其被配置为捕获所述照相机设备周围的声音；
处理器，其被配置为执行操作，所述操作包括：
在图像捕获模式下捕获一个或多个图像；
利用至少所述麦克风来检测听觉事件；
响应于检测到所述听觉事件，自动地触发视频捕获模式，在所述视频捕获模式下，视频能够被捕获；
在所述视频捕获模式下捕获视频；以及
转变到所述图像捕获模式。
10.如权利要求9所述的捕获设备，具体实施为可佩戴的照相机。
CN201580026625.8A 2014-05-22 2015-05-20 将视频自动插入照片故事 Pending CN106416220A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/285,237 2014-05-22
US14/285,237 US9451178B2 (en) 2014-05-22 2014-05-22 Automatic insertion of video into a photo story
PCT/US2015/031652 WO2015179458A1 (en) 2014-05-22 2015-05-20 Automatic insertion of video into a photo story

Publications (1)

Publication Number Publication Date
CN106416220A true CN106416220A (zh) 2017-02-15

Family

ID=53373583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580026625.8A Pending CN106416220A (zh) 2014-05-22 2015-05-20 将视频自动插入照片故事

Country Status (5)

Country Link
US (1) US9451178B2 (zh)
EP (1) EP3120538A1 (zh)
CN (1) CN106416220A (zh)
TW (1) TW201602922A (zh)
WO (1) WO2015179458A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814844A (zh) * 2020-03-17 2020-10-23 同济大学 一种基于位置编码融合的密集型视频描述方法
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9886633B2 (en) * 2015-02-23 2018-02-06 Vivint, Inc. Techniques for identifying and indexing distinguishing features in a video feed
KR20160135476A (ko) * 2015-05-18 2016-11-28 삼성전자주식회사 전자 장치 및 그의 카메라 제어 방법
WO2017030212A1 (ko) * 2015-08-18 2017-02-23 엘지전자(주) 이동 단말기 및 그 제어 방법
JP2017060029A (ja) * 2015-09-17 2017-03-23 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラシステム及び録画制御方法
US11475746B2 (en) * 2016-03-15 2022-10-18 Motorola Solutions, Inc. Method and apparatus for camera activation
GB2570858B (en) * 2017-12-01 2022-02-23 Centrica Hive Ltd Automated media capture system
US10834478B2 (en) 2017-12-29 2020-11-10 Dish Network L.L.C. Methods and systems for an augmented film crew using purpose
US10783925B2 (en) 2017-12-29 2020-09-22 Dish Network L.L.C. Methods and systems for an augmented film crew using storyboards
WO2021216356A1 (en) * 2020-04-23 2021-10-28 ESD Technologies, Inc. System and method of identifying audience demographics and delivering relative content to audience

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6558050B1 (en) * 1999-07-23 2003-05-06 Minolta Co., Ltd. Human body-mounted camera
CN1685718A (zh) * 2002-09-26 2005-10-19 索尼株式会社 图像处理系统、摄像装置和方法、记录媒体以及程序
CN1926629A (zh) * 2004-10-14 2007-03-07 松下电器产业株式会社 记录设备、编辑设备、数字视频记录系统、以及文件格式
JP2008199677A (ja) * 2008-05-19 2008-08-28 Hitachi Ltd 映像配信システム
CN101754002A (zh) * 2008-12-02 2010-06-23 中兴通讯股份有限公司 一种视频监控系统及其双码流监控前端的实现方法
CN102521899A (zh) * 2011-10-27 2012-06-27 天瀚科技(吴江)有限公司 一种可实时分享数据的行车记录器
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3305148A (en) 1965-07-13 1967-02-21 Arthur E Zimmerman Instrument harness
JP2803072B2 (ja) 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
US6727949B1 (en) 1993-09-29 2004-04-27 Canon Kabushiki Kaisha Image pickup apparatus with moving image and still image focus control based on changing threshold value
US5610678A (en) 1993-12-30 1997-03-11 Canon Kabushiki Kaisha Camera including camera body and independent optical viewfinder
US5927579A (en) 1996-07-09 1999-07-27 Schwabe; Barry E. User attachable device for securing single use cameras and the like on clothing
US6058141A (en) 1995-09-28 2000-05-02 Digital Bitcasting Corporation Varied frame rate video
US6275829B1 (en) 1997-11-25 2001-08-14 Microsoft Corporation Representing a graphic image on a web page with a thumbnail-sized image
JPH11265649A (ja) 1998-03-18 1999-09-28 Mitsubishi Electric Corp 電流検出器及び電流検出器を備えた電力開閉器
US6711297B1 (en) 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
EP0985899B1 (en) 1998-09-09 2004-02-04 Mitsubishi Denki Kabushiki Kaisha Video recording device for a targetable weapon
KR100283883B1 (ko) 1998-12-04 2001-03-02 권혁섭 소형 디지털 카메라
US7920163B1 (en) 1999-06-15 2011-04-05 Tessera International, Inc. Sealed, waterproof digital electronic camera system and method of fabricating same
US6904185B1 (en) 1999-12-16 2005-06-07 Eastman Kodak Company Techniques for recursively linking a multiply modified multimedia asset to an original digital negative
US6870547B1 (en) 1999-12-16 2005-03-22 Eastman Kodak Company Method and apparatus for rendering a low-resolution thumbnail image suitable for a low resolution display having a reference back to an original digital negative and an edit list of operations
US6757027B1 (en) 2000-02-11 2004-06-29 Sony Corporation Automatic video editing
WO2001082611A1 (fr) 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
US6867680B1 (en) 2000-06-30 2005-03-15 Otto Controls Division, Otto Engineering, Inc Dual magnet hall effect switch
US6964025B2 (en) 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
GB2373944A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Wearable transmitting/receiving camera device.
US20040201774A1 (en) 2001-05-15 2004-10-14 Gennetten K. Douglas Docked camera becomes electronic picture frame
US6612404B2 (en) 2001-05-25 2003-09-02 Thyssen Elevator Capital Corp. Contactless hall effect push button switch
US7253840B2 (en) 2001-06-11 2007-08-07 Fujifilm Corporation Cradle for digital camera
GB0116113D0 (en) 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030081121A1 (en) 2001-10-30 2003-05-01 Kirmuss Charles Bruno Mobile digital video monitoring with pre-event recording
US6561702B1 (en) 2002-02-01 2003-05-13 Concord Camera Corp. Holder for a portable device
KR20040104661A (ko) 2002-04-29 2004-12-10 톰슨 라이센싱 에스.에이. 디지탈 레코딩 및 관련 사용자 인터페이스를 제어하기위한 방법 및 장치
US6933964B2 (en) 2002-06-25 2005-08-23 Kingtek Electronics Technology Corp. Surveillance system
GB2393149B (en) 2002-09-23 2004-08-18 Sheng Tien Lin Image transmitting ball-point pen
GB2395081A (en) 2002-10-31 2004-05-12 Hewlett Packard Co Image capture system
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
US20050185936A9 (en) 2002-11-08 2005-08-25 Ich-Kien Lao Mobile and vehicle-based digital video system
JP3987788B2 (ja) 2002-11-26 2007-10-10 富士フイルム株式会社 デジタルカメラシステム
USD483784S1 (en) 2002-12-24 2003-12-16 Opcom Inc. Combined digital camera and writing implement
KR100582788B1 (ko) 2003-02-06 2006-05-23 엘지전자 주식회사 썸네일 이미지를 이용한 녹화 프로그램 편집방법
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
US7319485B2 (en) 2003-03-21 2008-01-15 Hewlett-Packard Development Company, L.P. Apparatus and method for recording data in a circular fashion
US7152209B2 (en) 2003-03-28 2006-12-19 Microsoft Corporation User interface for adaptive video fast forward
US7324156B2 (en) 2003-05-02 2008-01-29 Motorola Inc. Attachable carrier having an optical accessory for a portable electronic device
US8930561B2 (en) 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20050093988A1 (en) * 2003-11-03 2005-05-05 Haas William R. Digital camera with automatic mode detection
JP2005191756A (ja) 2003-12-25 2005-07-14 Toshiba Corp デジタルスチルカメラ
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
US8472791B2 (en) 2004-03-17 2013-06-25 Hewlett-Packard Development Company, L.P. Variable speed video playback
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7512886B1 (en) 2004-04-15 2009-03-31 Magix Ag System and method of automatically aligning video scenes with an audio track
US20050248453A1 (en) 2004-05-10 2005-11-10 Fechter Cary E Multiple deterrent, emergency response and localization system and method
US20060011724A1 (en) 2004-07-15 2006-01-19 Eugene Joseph Optical code reading system and method using a variable resolution imaging sensor
WO2006042142A2 (en) 2004-10-07 2006-04-20 Bernard Widrow Cognitive memory and auto-associative neural network based pattern recognition and searching
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US7326869B2 (en) 2004-10-22 2008-02-05 Intergraph Hardware Technologies Company Tactile feedback plunger switch
JP2006129391A (ja) 2004-11-01 2006-05-18 Sony Corp 撮像装置
EP1679884B1 (en) 2004-12-28 2008-01-23 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
US7496140B2 (en) 2005-01-24 2009-02-24 Winningstad C Norman Wireless event authentication system
ES2407469T3 (es) 2005-01-24 2013-06-12 Core Wireless Licensing S.à.r.l. Soporte para teléfonos móviles
JP2006245726A (ja) 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
USD534939S1 (en) 2005-05-17 2007-01-09 Logitech Europe S.A. Camera clip
JP4277837B2 (ja) 2005-08-03 2009-06-10 ソニー株式会社 撮像装置
US20070071423A1 (en) 2005-09-27 2007-03-29 Fantone Stephen J Underwater adaptive camera housing
EP1793580B1 (en) 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
US7533569B2 (en) 2006-03-15 2009-05-19 Qualcomm, Incorporated Sensor-based orientation system
US7623182B2 (en) 2006-04-10 2009-11-24 Hewlett-Packard Development Company, L.P. Camera interface module
JP2007336281A (ja) 2006-06-15 2007-12-27 Sony Corp 画像記録装置、画像再生装置、画像記録方法及び画像再生方法
US20070291177A1 (en) 2006-06-20 2007-12-20 Nokia Corporation System, method and computer program product for providing reference lines on a viewfinder
US7490721B2 (en) 2006-06-26 2009-02-17 Bishop J Scott Camera holder
US8310540B2 (en) 2006-08-31 2012-11-13 Stellar, Llc Loop recording with book marking
US20080055427A1 (en) * 2006-09-05 2008-03-06 Heino Wendelrup Video diary
US8374498B2 (en) 2006-09-29 2013-02-12 Microscan Systems, Inc. Systems and/or devices for camera-based inspections
US20080180537A1 (en) 2006-11-14 2008-07-31 Uri Weinberg Camera system and methods
US8199220B2 (en) 2006-12-06 2012-06-12 Samsung Electronics Co., Ltd. Method and apparatus for automatic image management
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US7783133B2 (en) 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
JP4653123B2 (ja) 2007-01-09 2011-03-16 富士フイルム株式会社 画像取得装置および画像取得方法
US20100037139A1 (en) 2007-01-12 2010-02-11 Norbert Loebig Apparatus for Processing Audio and/or Video Data and Method to be run on said Apparatus
GB2456587A (en) 2007-03-13 2009-07-22 James Bircumshaw A multi-functional body worn camera
EP1983740A1 (en) 2007-04-16 2008-10-22 STMicroelectronics (Research & Development) Limited Image stabilisation method and apparatus
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
WO2009001512A1 (ja) 2007-06-27 2008-12-31 Panasonic Corporation 撮像装置、方法、システム集積回路、及びプログラム
JP2009110351A (ja) 2007-10-31 2009-05-21 Sony Corp クレイドルおよび電子機器
JP4458151B2 (ja) 2007-11-06 2010-04-28 ソニー株式会社 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
US8538376B2 (en) 2007-12-28 2013-09-17 Apple Inc. Event-based modes for electronic devices
GB2457466A (en) 2008-02-13 2009-08-19 Sight Digital Ltd X Multi-channel digital video recorder (DVR) with user selection of MPEG codec recording parameters
US20100027663A1 (en) 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8026913B2 (en) 2008-07-29 2011-09-27 International Business Machines Corporation Image capture and buffering in a virtual world
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP4796104B2 (ja) 2008-08-29 2011-10-19 シャープ株式会社 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体
US7778023B1 (en) 2008-09-19 2010-08-17 Victor Mohoney Docking system for MP3 players and other portable electronic devices
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100107126A1 (en) 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
US8526779B2 (en) 2008-11-07 2013-09-03 Looxcie, Inc. Creating and editing video recorded by a hands-free video recording device
US8593570B2 (en) 2008-11-07 2013-11-26 Looxcie, Inc. Video recording camera headset
KR101532610B1 (ko) 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
US8482520B2 (en) 2009-01-30 2013-07-09 Research In Motion Limited Method for tap detection and for interacting with and a handheld electronic device, and a handheld electronic device configured therefor
US8159363B2 (en) 2009-02-16 2012-04-17 Research In Motion Limited Using gravity to direct a rotatable camera in a handheld electronic device
US20100208370A1 (en) 2009-02-19 2010-08-19 Ying-Kuo Chang Camera lens assembly
US20100289904A1 (en) 2009-05-15 2010-11-18 Microsoft Corporation Video capture device providing multiple resolution video feeds
US8016492B2 (en) 2009-06-16 2011-09-13 Colin James Pyle Wrist or arm strap with hinged mount for camera
GB2473235B (en) 2009-09-04 2012-02-29 Hock Thiam Saw Portable electric device charging connector arrangement
US20110064129A1 (en) 2009-09-16 2011-03-17 Broadcom Corporation Video capture and generation at variable frame rates
US9106275B2 (en) 2009-09-24 2015-08-11 Blackberry Limited Accelerometer tap detection to initiate NFC communication
KR101642400B1 (ko) 2009-12-03 2016-07-25 삼성전자주식회사 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8744875B2 (en) 2009-12-23 2014-06-03 Mindray Ds Usa, Inc. Systems and methods for synchronizing data of a patient monitor and a portable sensor module
CN102118560A (zh) 2009-12-30 2011-07-06 深圳富泰宏精密工业有限公司 拍照系统及方法
US8270827B2 (en) 2010-01-12 2012-09-18 Tse Jr Kenneth K Camera lens accessory holder
JP5457217B2 (ja) 2010-02-02 2014-04-02 オリンパスイメージング株式会社 カメラ
KR20150008840A (ko) 2010-02-24 2015-01-23 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
US8322215B2 (en) 2010-09-13 2012-12-04 Itron, Inc. Accelerometer based removal and inversion tamper detection and tap switch feature
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
CA2754841C (en) 2010-10-12 2016-11-01 Research In Motion Limited Method and apparatus for image orientation indication and correction
TW201224628A (en) 2010-12-03 2012-06-16 Hon Hai Prec Ind Co Ltd Image obtaining device, projector, and method thereof
US8775480B2 (en) 2011-01-28 2014-07-08 Apple Inc. Media clip management
US9052876B2 (en) 2011-05-13 2015-06-09 Symbol Technologies, Llc Peer-to-peer event-time secured link establishment
JP5868618B2 (ja) 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
US8515241B2 (en) 2011-07-07 2013-08-20 Gannaway Web Holdings, Llc Real-time video editing
US20130014585A1 (en) 2011-07-13 2013-01-17 P.I. Engineering, Inc. Accelerometer-based touch pad for timing swimming and other competitive events
US20130201344A1 (en) 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US8743069B2 (en) 2011-09-01 2014-06-03 Google Inc. Receiving input at a computing device
US9065967B2 (en) 2011-09-13 2015-06-23 Verizon Patent And Licensing Inc. Method and apparatus for providing device angle image correction
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8934762B2 (en) 2011-12-09 2015-01-13 Advanced Micro Devices, Inc. Apparatus and methods for altering video playback speed
US9354779B2 (en) 2012-03-12 2016-05-31 Microsoft Technology Licensing, Llc Providing theme variations in a user interface
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US9894781B2 (en) 2012-06-06 2018-02-13 Apple Inc. Notched display layers
US8989503B2 (en) 2012-08-03 2015-03-24 Kodak Alaris Inc. Identifying scene boundaries using group sparsity analysis
CN202838971U (zh) 2012-08-30 2013-03-27 西安隆美尔臣电子科技有限责任公司 一种录音摄像笔
US9032130B2 (en) 2012-09-12 2015-05-12 Blackberry Limited Dock for data transfer to and from portable electronic device
US8907927B2 (en) 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices
WO2014052898A1 (en) 2012-09-28 2014-04-03 Digital Ally, Inc. Portable video and imaging system
US9093849B2 (en) 2013-01-07 2015-07-28 Superior Communications, Inc. Universal charging dock with a wall mount
US20140211031A1 (en) 2013-01-30 2014-07-31 Microsoft Corporation Auto picture alignment correction
US20140270688A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Personal Video Replay
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9661221B2 (en) 2013-03-15 2017-05-23 Qualcomm Incorporated Always-on camera sampling strategies
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US20140333828A1 (en) 2013-05-10 2014-11-13 Microsoft Corporation Portable camera dock
US20140354880A1 (en) 2013-06-03 2014-12-04 Microsoft Corporation Camera with Hall Effect Switch
US9247136B2 (en) 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
TWI510811B (zh) * 2013-09-13 2015-12-01 Quanta Comp Inc 頭戴式系統
US9313401B2 (en) * 2014-03-04 2016-04-12 Here Global B.V. Frame rate designation region
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6558050B1 (en) * 1999-07-23 2003-05-06 Minolta Co., Ltd. Human body-mounted camera
CN1685718A (zh) * 2002-09-26 2005-10-19 索尼株式会社 图像处理系统、摄像装置和方法、记录媒体以及程序
CN1926629A (zh) * 2004-10-14 2007-03-07 松下电器产业株式会社 记录设备、编辑设备、数字视频记录系统、以及文件格式
JP2008199677A (ja) * 2008-05-19 2008-08-28 Hitachi Ltd 映像配信システム
CN101754002A (zh) * 2008-12-02 2010-06-23 中兴通讯股份有限公司 一种视频监控系统及其双码流监控前端的实现方法
CN102546925A (zh) * 2010-12-29 2012-07-04 Lg电子株式会社 移动终端及其控制方法
CN102521899A (zh) * 2011-10-27 2012-06-27 天瀚科技(吴江)有限公司 一种可实时分享数据的行车记录器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814844A (zh) * 2020-03-17 2020-10-23 同济大学 一种基于位置编码融合的密集型视频描述方法
CN111814844B (zh) * 2020-03-17 2023-07-11 同济大学 一种基于位置编码融合的密集型视频描述方法
CN116260920A (zh) * 2023-05-09 2023-06-13 深圳市谨讯科技有限公司 多数据混合控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2015179458A1 (en) 2015-11-26
US20150341572A1 (en) 2015-11-26
US9451178B2 (en) 2016-09-20
EP3120538A1 (en) 2017-01-25
TW201602922A (zh) 2016-01-16

Similar Documents

Publication Publication Date Title
US10750116B2 (en) Automatically curating video to fit display time
CN106416220A (zh) 将视频自动插入照片故事
US9503644B2 (en) Using image properties for processing and editing of multiple resolution images
US8665345B2 (en) Video summary including a feature of interest
US9013604B2 (en) Video summary including a particular person
US8212911B2 (en) Imaging apparatus, imaging system, and imaging method displaying recommendation information
US8045850B2 (en) Image pickup apparatus, image recording apparatus and image recording method
JP2008165700A (ja) 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
CN105359501A (zh) 来自照片集的自动音乐视频创建和智能图库
US20150139601A1 (en) Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
KR20090087670A (ko) 촬영 정보 자동 추출 시스템 및 방법
US9706102B1 (en) Enhanced images associated with display devices
JP5990903B2 (ja) 画像生成装置
JP2014182651A (ja) 画像共有装置、画像共有装置の制御方法、およびプログラム
KR20220034754A (ko) 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램
CN115119044A (zh) 视频处理方法、设备、系统及计算机存储介质
KR20150034931A (ko) 이미지 촬영 장치 및 방법
KR20150067582A (ko) 영상 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170215