CN116051640A - 用于同时定位和映射的系统和方法 - Google Patents

用于同时定位和映射的系统和方法 Download PDF

Info

Publication number
CN116051640A
CN116051640A CN202310044797.4A CN202310044797A CN116051640A CN 116051640 A CN116051640 A CN 116051640A CN 202310044797 A CN202310044797 A CN 202310044797A CN 116051640 A CN116051640 A CN 116051640A
Authority
CN
China
Prior art keywords
image frame
key image
new
matching
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310044797.4A
Other languages
English (en)
Inventor
D·B·贝内兹拉
E·扎克
O·艾格利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN116051640A publication Critical patent/CN116051640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

各种实施例提供用于执行同时定位和映射(SLAM)的系统、方法、设备和指令，其涉及使用来自物理环境内的相机的至少两个不同姿势的图像来初始化SLAM过程。一些实施例可以通过忽略匹配由移动计算设备的图像传感器捕获的图像帧中描绘的对应特征的误差，并且通过致使最小化过程收敛到全局最小值而不是落入局部最小值的方式，来更新SLAM过程来实现这一点。

Description

用于同时定位和映射的系统和方法
本申请是2017年8月30日提交的申请号为201780052981.6、发明名称为“用于同时定位和映射的系统和方法”的专利申请的分案申请。
相关申请的交叉引用
本申请要求于2016年8月30日递交的美国临时专利申请第62/381,036号的优先权和权益，其通过引用并入本文。
技术领域
本文描述的实施例涉及物理环境内的传感器的定位和映射，并且更具体地，涉及用于执行同时定位和映射(SLAM)的系统、方法、设备和指令。
背景技术
SLAM(同时定位和映射)过程(例如算法)可以由移动计算设备(例如移动电话、平板电脑、可穿戴增强现实(AR)设备、可穿戴自主航空或地面车辆、或者机器人)使用以映射移动计算设备周围的物理环境的结构并且定位移动计算设备在该映射环境内的相对位置。当移动计算设备在其物理环境内移动时，SLAM过程通常可以实时地映射和定位。
尽管不是专门基于图像，但是一些SLAM过程通过使用由与移动计算设备相关联的图像传感器(例如移动电话的内置相机)提供的物理环境的图像来实现映射和定位。从捕获的图像中，这样的SLAM过程可以恢复移动计算设备位置，并通过恢复图像传感器的姿势和地图的结构(最初无需知道任何一个)来构建移动计算设备周围的物理环境的地图。
使用捕获图像的SLAM过程通常需要在物理环境中相应物理特征(下文称为特征)的若干图像，这些图像由不同姿势的图像传感器(例如移动计算设备的)捕获。从不同相机位置捕获的图像允许这样的SLAM过程收敛并开始它们的定位和映射过程。不幸的是，基于图像的SLAM过程中的定位问题通常难以解决，因为匹配捕获图像之间的相应特征中的误差——这些误差倾向于将SLAM过程的最小化问题的局部结果移动到局部最小值而不是提供特定位置的全局最小值。
附图说明
各种附图仅示出了本公开的一些实施例，并且不应被视为限制其范围。附图不一定按比例绘制。为了容易地识别对任何特定元素或动作的讨论，引用编号中的最高有效数字指的是首先引入该元素的图形编号，并且相同标记可以描述不同视图中的类似组件。
图1是示出根据一些实施例的包括同时定位和映射(SLAM)系统的示例性的基于客户端-服务器的高级网络架构的框图；
图2是示出根据一些实施例的包括SLAM系统的示例计算设备的框图；
图3-7是示出根据各种实施例的用于SLAM过程的示例方法的流程图；
图8是示出代表性软件架构的框图，该架构可以与本文描述的各种硬件架构结合使用以实现实施例；以及
图9是示出根据一些示例实施例的能够从机器可读介质(例如机器可读存储介质)读取指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
各种实施例提供用于执行同时定位和映射(SLAM)的系统、方法、设备和指令，其涉及使用来自物理环境中的相机的少至两个不同姿势(例如物理位置)的图像(以下称为图像帧)来初始化SLAM过程。一些实施例可以通过忽略在匹配由移动计算设备的图像传感器捕获的(物理环境的)图像帧中描绘的对应特征中的误差(下文称为特征误差)，并且通过以导致最小化过程收敛到全局最小值而不是落入局部最小值的方式更新SLAM过程，来实现这一点。全局最小值可以提供图像传感器的物理位置。
根据一些实施例，SLAM过程通过检测移动计算设备在物理环境内在两个物理位置之间的运动来初始化，其中移动由两个图像帧(下文称为图像)限制，这两个图像帧可由移动计算设备的图像传感器区分和捕获。移动计算设备可以通过移动计算设备将经由图像传感器检测到的图像模糊与经由移动计算设备的运动传感器(例如惯性测量单元(IMU)或加速度计)检测到的运动冲击或冲动相关联，来识别两个可区分图像。由移动计算设备检测到的运动可以包括当移动计算设备最初开始运动时检测到的冲击或冲动，并且还可以包括当移动计算设备最终停止运动时检测到的冲击或冲动。以这种方式，各种实施例可以将来自移动计算设备的一个或多个传感器的数据绑定到由移动计算设备的图像传感器捕获的特定图像，这依次可以初始化SLAM过程的操作。另外，各种实施例可以允许实施例的SLAM过程基于先前图像帧初始化每个关键图像帧并使用IMU来确定初始距离。
对于一些实施例，该运动包括由持有移动计算设备的人类个人执行的侧步，其可以为良好的SLAM初始化提供足够的视差。特别地，实施例可以使用在侧步(例如基于典型的人类侧步)的开始和结束时产生的冲动来分析人类个人的运动并提取运动的相关部分。随后，实施例可以使用那些相关部分来识别第一和第二关键图像帧，并基于第一和第二关键图像帧初始化SLAM过程。
一些实施例使得SLAM过程能够确定移动计算设备的定位并且映射移动计算设备的物理环境(例如具有可用或可接受的准确度)，同时使用提供差的准确度的运动传感器(例如嘈杂的IMU)。一些实施例使得SLAM过程能够在使用有限量的图像数据的同时确定定位并映射物理环境。一些实施例使得SLAM过程能够在使用有限的计算资源(例如低功率处理器)的同时确定定位并实时映射物理环境。另外，一些实施例使SLAM过程能够确定定位并映射物理环境而不使用深度数据。
一些实施例的SLAM技术可用于：跟踪二维(2D)图像帧(例如视频流的)中的关键点(跟踪点)；并且识别2D图像帧中的三维(3D)特征(例如物理环境中的物理对象)以及相机到3D特征的相对物理姿势(例如位置)。
例如，实施例的SLAM技术可以与增强现实(AR)图像处理和图像帧跟踪一起使用。具体地，可以使用SLAM技术跟踪为AR系统捕获的图像帧，然后可以将虚拟对象放置在捕获的图像帧内或相对于捕获的图像帧放置作为设备(例如智能眼镜、智能手机、平板电脑或另一移动计算设备)的AR显示器的一部分。如本文所使用的，增强现实(AR)指的是可以捕获图像帧、利用附加信息增强那些图像帧、然后在显示器上呈现增强信息的系统、方法、设备和指令。例如，这可以使用户能够举起移动计算设备(例如智能电话或平板电脑)以捕获场景的视频流，以及移动计算设备的输出显示器以将该场景呈现为与附加信息一起为用户可见。该附加信息可以包括将虚拟对象放置在场景中，使得虚拟对象被呈现为好像它们存在于场景中。如果从捕获物理环境的图像传感器的视角来看另一个真实或虚拟对象在该虚拟对象前面经过的话，处理这些虚拟对象的方面以遮挡虚拟对象。当真实对象和虚拟对象都随时间运动时以及当捕获环境的图像传感器的视角改变时，还处理这样的虚拟对象以维持它们与真实对象的关系。
一些实施例提供了一种方法，该方法包括：执行完整SLAM过程的循环、执行部分SLAM过程的循环、以及执行部分SLAM过程循环和完整SLAM过程循环使得部分SLAM过程循环被执行得比完整SLAM过程循环更频繁。根据各种实施例，完整SLAM过程循环执行完整SLAM过程，而部分SLAM过程循环执行部分SLAM过程，执行部分SLAM过程需要的计算资源(例如处理、存储器资源或两者)比执行完整SLAM过程需要的更少。另外，部分SLAM过程可以比完整SLAM过程循环执行得更快。
对于一些实施例，部分SLAM过程仅执行SLAM过程的定位部分。在替代实施例中，部分SLAM过程仅执行SLAM过程的映射部分。通过仅执行SLAM过程的一部分，部分SLAM过程可以使用比完整SLAM过程更少的计算资源来执行，并且可以比完整SLAM过程执行得更快。此外，通过比部分SLAM过程循环更不频繁地执行完整SLAM过程循环，各种实施例实现SLAM结果(例如有用且准确的SLAM结果)，同时限制实现那些结果所需的计算机资源。因此，各种实施例适合于在这样的设备上执行SLAM过程，否则对于执行传统SLAM技术该设备具有的计算资源有限，例如具有有限处理能力的智能电话或智能眼镜。
对于一些实施例，通过诸如移动电话的相机之类的设备的图像传感器捕获(例如以具体的采样率连续捕获)图像帧。一些实施例在被识别(例如被生成)为新关键图像帧的那些捕获的图像帧上执行完整SLAM过程循环，而对未被识别为关键图像帧的那些捕获的图像帧执行部分SLAM过程循环。在一些实施例中，当满足一个或多个关键图像帧条件时，将捕获的图像帧识别(例如生成)为新关键图像帧。各种实施例使用关键图像帧条件来确保从捕获的图像帧识别的新关键图像帧足够独特，以确保每个完整SLAM过程循环按想要的或预期的执行。
例如，当捕获的图像帧至少具有(如果不是更好的话)预定质量(例如公正图像质量)时，可以生成新关键图像帧。以这种方式，实施例可以避免将在图像传感器的运动期间捕获的那些图像帧指定为新的图像帧，这可能捕获由图像传感器的运动引起的图像模糊。可以通过梯度直方图方法来确定捕获图像帧的图像质量，该梯度直方图方法可以基于预定数量的先前捕获图像帧的质量来确定当前图像帧的质量。在另一实例中，可以仅在最后一个新关键图像帧的识别(例如生成)之间经过一定量的时间或一定数量的循环(例如部分SLAM过程循环)之后生成新关键图像帧。以这种方式，实施例可以避免每个捕获的图像帧被视为关键图像帧并且由完整的SLAM循环处理，如本文所述，该完整的SLAM循环的执行可以是处理器密集型的或者是存储器密集型的，并且不适合于在具有有限计算资源的设备上连续执行。在另一实例中，可以仅在当前捕获的图像帧和前一个图像帧之间检测到一定量的转换(例如由物理环境中相对于X、Y或Z坐标的图像传感器位置变化引起的)之后生成新关键图像帧。以这种方式，实施例可以避免太多的图像帧、捕获物理环境中的相同点、被指定为新关键图像帧，这些对于三维(3D)映射目的是没有帮助的。
对于一些实施例，可以并行执行完整SLAM过程循环和部分SLAM过程循环，由此仅对被识别为新关键图像帧的那些捕获图像帧执行完整SLAM过程循环，在非关键图像帧之间捕获的所有其他图像帧上执行部分SLAM过程循环。另外，对于一些实施例，在如本文所述执行SLAM初始化之后，完整SLAM过程循环和部分SLAM过程循环开始执行。例如，实施例的SLAM初始化过程可以产生前两个关键图像帧(例如基于人类个人的侧步)，提供初始定位数据(例如包括用于第二关键图像帧的六个自由度(6DOF))，并提供初始映射数据(例如包括在前两个关键图像帧之间匹配的特征的3D位置)。随后，基于SLAM初始化过程提供的初始定位和映射数据，可以开始执行完整SLAM过程循环和部分SLAM过程循环。
虽然本文关于IMU的使用描述了各种实施例，但是应当理解，一些实施例可以使用除IMU之外或代替IMU的一个或多个其他传感器，例如加速度计或陀螺仪。如本文所使用的，自由度(DOF)(例如由IMU、加速度计或陀螺仪测量的)可以包括位移(例如根据X、Y和Z坐标测量的)和方位(例如根据psi、theta和phi测量的)。因此，六个自由度(6DOF)参数可以包括表示沿x轴、y轴和z轴的距离的值，以及表示根据欧拉角psi、theta和phi的旋转的值。四个自由度(4DOF)参数可以包括表示沿x轴、y轴和z轴的距离的值，以及表示根据欧拉角(例如phi)的旋转的值。
以下描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。通常，不一定详细示出公知的指令实例、协议、结构和技术。
现在将详细参考本公开的实施例，其示例在附图中示出。然而，本公开可以以许多不同的形式实施，并且不应该被解释为限于本文阐述的实施例。
图1是示出根据一些实施例的包括同时定位和映射(SLAM)系统126的示例性的基于客户端-服务器的高级网络架构100的框图。如图所示，网络架构100包括：客户端设备102A和客户端设备102B(以下统称为客户端设备102)、SLAM系统126包括在客户端设备102B中；消息传递服务器系统108；以及促进客户端设备102和消息传递服务器系统108之间的数据通信的网络106(例如互联网或广域网(WAN))。在网络架构100中，消息传递服务器系统108可以经由网络106向客户端设备102提供服务器侧功能。在一些实施例中，用户(未示出)使用客户端设备102之一与客户端设备102或消息传递服务器系统108之一交互。
客户端设备102可以包括计算设备，该计算设备至少包括经由网络106提供与消息传递服务器系统108的通信的显示和通信能力。每个客户端设备102可以包括但不限于远程设备、工作站、计算机、通用计算机、互联网设备、手持设备、无线设备、便携式设备、可穿戴计算机、蜂窝或移动电话、个人数字助理(PDA)、智能手机、平板电脑、超极本、上网本、笔记本电脑、台式机、多处理器系统、基于微处理器的或可编程消费电子产品、游戏机、机顶盒、网络个人计算机(PC)、小型计算机等。根据实施例，客户端设备102中的至少一个可以包括触摸屏、惯性测量单元(IMU)、加速度计、陀螺仪、生物识别传感器、相机、麦克风、全球定位系统(GPS)设备等中的一个或多个。
对于一些实施例，客户端设备102B表示包括图像传感器的移动计算设备，诸如移动电话、平板电脑或可穿戴设备(例如智能眼镜、智能遮阳板或智能手表)。如图所示，客户端设备102B包括传感器128，其可以包括客户端设备102B的图像传感器(例如相机)和其他传感器(诸如惯性测量单元(IMU)、加速度计或陀螺仪)。对于各种实施例，传感器128促进客户端设备102B上的SLAM系统126的操作。
SLAM系统126在客户端设备102B上执行实施例的SLAM技术，这可以允许客户端设备102B映射其物理环境，同时确定其在该物理环境内的位置。另外，对于一些实施例，尽管客户端设备102B具有有限的计算资源(例如处理或存储器资源)，SLAM系统126允许在客户端设备102B上执行SLAM技术，这可以防止传统的SLAM技术在客户端设备102B按预期执行。由SLAM系统126执行的SLAM技术可以支持客户端设备102B的增强现实系统124的图像帧跟踪。
如图所示，客户端设备102B包括增强现实系统124，增强现实系统124可以表示在客户端设备102B上操作的增强现实应用。增强现实系统124可以提供生成增强现实图像以在客户端设备102B的显示器(例如AR显示器)上显示的功能。网络架构100可以用于通过客户端设备102B包括的增强现实系统124传送要在客户端设备102B上显示的虚拟对象的信息，或者提供用于创建增强现实系统124所使用的模型的数据(例如街景数据)。可以使用SLAM系统126跟踪为增强现实系统124捕获的图像帧，然后可以将虚拟对象放置在捕获的图像帧内或相对于捕获的图像帧放置，作为客户端设备102B的AR显示的一部分。
每个客户端设备102可以托管多个应用，包括消息传递客户端应用104，例如短暂的消息应用。每个消息传递客户端应用104可以经由网络106(例如互联网)通信地耦合到消息传递客户端应用104和消息传递服务器系统108的其他实例。因此，每个消息传递客户端应用104可能能够经由网络106与另一消息传递客户端应用104和消息传递服务器系统108通信和交换数据。在消息传递客户端应用104之间以及消息传递客户端应用104和消息传递服务器系统108之间交换的数据可以包括功能(例如调用功能的命令)以及有效载荷数据(例如文本、音频、视频或其他多媒体数据)。
消息传递服务器系统108经由网络106向具体的消息传递客户端应用104提供服务器侧功能。虽然网络架构100的某些功能在本文中被描述为由消息传递客户端应用104或通过消息传递服务器系统108来执行，应当理解，消息传递客户端应用104或消息传递服务器系统108内的某些功能的位置是设计选择。例如，技术上优选的是在消息传递服务器系统108内初始部署某些技术和功能，但稍后将该技术和功能迁移到消息传递客户端应用104，其中客户端设备102具有足够的处理能力。
消息传递服务器系统108支持提供给消息传递客户端应用104或增强现实系统124的各种服务和操作。这些操作包括向消息传递客户端应用104或增强现实系统124传输数据、从消息传递客户端应用104或增强现实系统124接收数据，以及处理由消息传递客户端应用104或增强现实系统124生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体注释和覆盖、消息内容持久性条件、社交网络信息、增强现实(AR)内容和直播事件信息。通过经由消息传递客户端应用104或增强现实系统124的用户界面(UI)可用的功能来调用和控制网络架构100内的数据交换。
现在具体地转向消息传递服务器系统108，应用程序界面(API)服务器110耦合到应用服务器112并向其提供编程接口。应用服务器112通信地耦合到数据库服务器118，这有助于访问数据库120，在数据库120中存储与消息相关联的数据或由应用服务器112处理的增强现实相关的数据。
具体地用应用程序界面(API)服务器110处理，该服务器110在客户端设备102和应用服务器112之间接收和发送消息数据(例如命令和消息有效载荷)。具体地，API服务器110提供消息传递客户端应用104可以调用或查询的一组接口(例如例程和协议)，以便调用应用服务器112的功能。API服务器110公开由应用服务器112支持的各种功能，包括：帐户注册；登录功能；经由应用服务器112从特定消息传递客户端应用104向另一个消息传递客户端应用104发送消息；从消息传递客户端应用104向消息传递服务器应用114发送媒体文件(例如图像或视频)以及为了可能由另一消息传递客户端应用104进行的访问，设置媒体数据(例如故事)收集集合；检索客户端设备102的用户的朋友列表；这种收集的检索；消息和内容的检索；在社交图谱中添加和删除朋友；在社交图谱中定位朋友；打开应用事件(例如与消息传递客户端应用104有关)。
应用服务器112托管多个应用和子系统，包括消息传递服务器应用114、图像处理系统116和社交网络系统122。消息传递服务器应用114实现多种消息处理技术和功能，特别是与从消息传递客户端应用104的多个实例接收的消息中包括的内容(例如文本和多媒体内容)的聚合和其他处理有关。来自多个源的文本和媒体内容可以被聚合到内容的收集中(例如被称为故事或画廊)。然后，消息传递服务器应用114使这些集合可用于消息传递客户端应用104。鉴于对这种处理的硬件要求，还可以在服务器端由消息传递服务器应用114执行其他处理器和存储器密集型的数据处理。
应用服务器112还包括图像处理系统116，图像处理系统116专用于执行通常关于在消息传递服务器应用114处的消息的有效载荷内接收的图像或视频的各种图像处理操作。
社交网络系统122支持各种社交网络功能服务，并使这些功能和服务可用于消息传递服务器应用114。为此，社交网络系统122维护和访问数据库120内的实体图形。由社交网络系统122支持的功能和服务的示例包括与特定用户具有关系或特定用户“跟随”的消息传送系统108的其他用户的识别以及特定用户的其他实体和感兴趣的识别。
应用服务器112通信地耦合到数据库服务器118，数据库服务器118便于访问数据库120，在数据库120中存储与由应用服务器112处理的消息或增强现实内容相关联的数据。
图2是示出根据一些实施例的包括SLAM系统240的示例计算设备200的框图。计算设备200可以表示人类可以在物理环境中带其容易地运动的移动计算设备，诸如移动电话、平板电脑、膝上型电脑、可穿戴设备等。如图所示，计算设备200包括处理器210、图像传感器220、惯性测量单元(IMU)230和SLAM系统240。SLAM系统240包括图像帧捕获模块241、IMU数据捕获模块242、关键图像帧模块243、完整SLAM循环模块244和部分SLAM循环模块245。取决于实施例，SLAM系统240可以包括或可以不包括SLAM初始化模块246。
SLAM系统240的任何一个或多个功能组件(例如模块)可以使用硬件(例如计算设备200的处理器210)或硬件和软件的组合来实现。例如，本文描述的组件中的任何一个可以配置处理器210以针对该组件执行本文描述的操作。此外，这些组件中的任何两个或更多个可以组合成单个组件，并且本文针对单个组件描述的功能可以在多个组件之间细分。此外，根据各种示例实施例，图2所示的任何功能组件可以在单个机器、数据库或设备内一起或单独实现，或者可以分布在多个机器、数据库或设备上。
处理器210可以包括中央处理单元(CPU)，图像传感器220可以包括内置于计算设备200中或者外部耦合到计算设备200的相机，并且IMU230可以包括传感器，该传感器能够测量如果不是相对于计算设备200也至少相对于图像传感器220的自由度(例如6DOF)。虽然未示出，但是计算设备200可以包括其他传感器以促进SLAM系统240的操作，例如加速度计或陀螺仪。
图像帧捕获模块241可以通过图像传感器220调用、促成或执行计算设备200的物理环境的新图像帧的连续捕获。可以根据预定的采样率执行连续捕获，例如每秒25或30帧。图像帧捕获模块241可以将由图像传感器220连续捕获的新图像帧添加到捕获图像帧集合，其可以由SLAM系统240进一步处理。
IMU数据捕获模块242可以对应于由图像帧捕获模块241捕获的图像帧来调用、促成或执行来自IMU 230的IMU数据的连续捕获。例如，IMU数据捕获模块242可以捕获对于所捕获的每个图像帧的IMU数据。对于给出的捕获图像帧，捕获的IMU数据可以包括图像传感器捕获该图像帧时图像传感器的自由度(DOF)参数。DOF参数可以包括例如相对于图像传感器220测量的四个自由度(4DOF)或六个自由度(6DOF)。其中IMU230、图像传感器220和计算设备200物理上集成为单个单元，IMU数据可以反映图像传感器220和计算设备200的DOF参数。
对于添加到捕获的图像帧集合中的每个具体的新图像帧(例如通过图像帧捕获模块241)，关键图像帧模块243可以确定对于该具体的新图像帧关键图像帧条件集合是否被满足。响应于针对具体的新图像帧该关键图像帧条件集合被满足，关键图像帧模块243可以将该具体的新图像帧识别为新关键图像帧。这样，关键图像帧模块243可以根据关键图像帧条件集合生成新关键图像帧。如本文所述，关键图像帧条件集合可以确保新关键图像帧足够独特，以便通过完整SLAM过程循环进行处理。示例关键图像帧条件可以涉及新图像帧是否满足或超过特定图像质量、自上次执行完整SLAM过程循环以来是否已经过去了最小时间、或者先前图像帧与新图像帧之间的转换是否满足或超过最小转换阈值。
完整SLAM循环模块244可以对由关键图像帧模块243识别的每个特定新关键图像帧执行完整SLAM过程循环。对具体的新关键图像帧执行完整SLAM过程循环可以包括确定与该具体的新关键图像帧相关联的计算设备的图像传感器的6DOF。另外，对具体的新关键图像帧执行完整SLAM过程循环可以包括确定在该具体的新关键图像帧中匹配的新3D特征的3D位置集合。关于部分SLAM过程循环的更多内容在本文中参考图6描述。
部分SLAM循环模块245可以对由关键图像帧模块243未识别的每个具体的新图像帧执行部分SLAM过程循环。对于一些实施例，部分SLAM过程循环仅执行SLAM过程的定位部分。在具体的新图像帧上执行部分SLAM过程循环可以包括确定与特定新图像帧相关联的计算设备200的图像传感器220的6DOF。另外，对特定新图像帧执行部分SLAM过程循环可以包括基于图像传感器220的6DOF在特定新图像帧上投影跟踪点集合。替代地，对于一些实施例，部分SLAM过程循环仅执行SLAM过程的映射部分。在此关于图7描述了关于部分SLAM过程循环的更多内容。
SLAM初始化模块246可以基于来自IMU数据捕获模块242的捕获的IMU数据检测图像传感器220从在物理环境中的第一姿势(例如图像传感器220的方位或位置)到物理环境中的第二姿势的运动。SLAM初始化模块246可以基于该运动识别第一关键图像帧和第二关键图像帧。特别地，可以识别第一和第二关键图像帧，使得第一关键图像帧对应于运动的开始冲动，第二关键图像对应于运动的结束冲动。例如，在人类个人握住计算设备200的情况下，运动的开始冲动可以是由人类个人执行的侧步的开始，并且运动的结束冲动可以是侧步的结束。可以使用计算设备200的冲击功能来检测开始或结束冲动。
图3-7是示出根据各种实施例的用于SLAM过程的示例方法的流程图。应当理解，根据一些实施例，本文描述的示例方法可以由诸如计算设备(例如计算设备200)之类的设备来执行。另外，本文描述的示例方法可以以存储在计算机可读介质上的可执行指令的形式或以电子电路形式实现。例如，图3的方法300的一个或多个操作可以由可执行指令表示，该可执行指令当由计算设备的处理器执行时使计算设备执行方法300。取决于实施例，本文描述的示例方法的操作可以以不同方式重复，或者涉及未示出的中间操作。尽管可以以特定顺序描绘和描述示例方法的操作，但是执行操作的顺序可以在实施例之间变化，包括并行地执行某些操作。
图3是示出根据一些实施例的用于SLAM过程的示例方法300的流程图。特别地，方法300示出了实施例可以如何执行完整SLAM过程循环和部分SLAM过程循环。如图所示，方法300开始于操作302通过计算设备的图像传感器调用、促成或执行计算设备的物理环境的新图像帧的连续捕获。操作302将新图像帧添加到捕获图像帧集合，该捕获图像帧集合可以由方法300进一步处理。方法300继续操作304，操作304对应于由操作302捕获的图像帧，调用、促成或执行对来自计算设备的惯性测量单元的IMU数据的连续捕获(IMU)。如本文所述，具体图像帧的IMU数据可以包括在操作302捕获图像帧时由IMU测量的图像传感器的自由度(DOF)。
方法300继续操作306，针对由操作302捕获并添加到捕获图像帧集合的每个具体的新图像帧执行操作320至326。操作306开始于操作320确定对于该具体的新图像帧是否满足关键图像帧条件集合。操作306继续操作322，以响应于操作320确定对于该具体的新图像帧满足关键图像帧条件集合，将该具体的新图像帧识别为新关键图像帧。
操作306继续操作324，对新关键图像帧执行完整SLAM过程循环。为了将来的处理目的，一些实施例跟踪被识别为关键图像帧的那些图像帧。对具体的新关键图像帧执行完整SLAM过程循环可以包括确定与该具体的新关键图像帧相关联的计算设备的图像传感器的6DOF。另外，对该具体的新关键图像帧执行完整SLAM过程循环可以包括确定在该具体的新关键图像帧中匹配的新3D特征的3D位置集合。关于部分SLAM过程循环的更多内容在本文中参考图6描述。
操作306继续操作326，响应于操作320确定对于具体的新图像帧(即，非关键新图像帧)不满足关键图像帧条件集合，对该具体的新图像帧执行部分SLAM过程循环。对具体的新图像帧执行部分SLAM过程循环可以包括确定与该具体的新图像帧相关联的计算设备的图像传感器的6DOF。另外，对该具体的新图像帧执行部分SLAM过程循环可以包括基于图像传感器的6DOF在该具体的新图像帧上投影跟踪点集合。在此关于图7描述了关于部分SLAM过程循环的更多内容。
图4是示出根据一些实施例的用于SLAM过程的示例方法400的流程图。特别地，方法400示出了实施例如何初始化SLAM过程，执行完整SLAM过程循环以及执行部分SLAM过程循环。如图所示，方法400以操作402和404开始，根据一些实施例，操作402和404分别类似于上面关于图3描述的方法300的操作302和304。
方法400继续操作406，基于捕获的IMU数据，检测图像传感器从在物理环境中的第一姿势(例如图像传感器的方位或位置)到物理环境中第二姿势的运动。方法400继续操作408，基于操作406检测到的运动识别第一关键图像帧和第二关键图像帧。对于一些实施例，第一关键图像帧对应于运动的开始冲动，并且第二关键图像帧对应于运动的结束冲动。通过操作406和408，一些实施例可以通过操作410初始化方法400以执行完整和部分SLAM过程循环。如本文所述，运动可以由人类个人执行侧步同时握持执行方法400并包括图像传感器的计算设备引起。
方法400继续操作410，其对于由操作402捕获并添加到捕获图像帧集合中的每个具体的新图像帧执行操作420至426。根据一些实施例，操作420至426分别类似于以上参照图3描述的方法300的操作320至326。
图5是示出根据一些实施例的用于SLAM过程的示例方法500的流程图。特别地，方法500示出了实施例如何初始化SLAM过程。如图所示，方法500以操作502和504开始，根据一些实施例，操作502和504分别类似于上面关于图3描述的方法300的操作302和304。
方法500继续操作506，从该捕获图像帧集合中识别第一关键图像帧。识别的第一关键图像帧可以包括特定图像质量(例如公平质量)，并且可以是当IMU(例如IMU 230)指示图像传感器稳定时由图像传感器(例如图像传感器220)捕获的图像帧。因此，操作506可能不识别第一关键图像帧，直到在图像传感器稳定时捕获图像帧并且捕获的图像帧满足特定图像质量。
方法500继续操作508，从由操作504捕获的IMU数据中识别与第一关键图像帧相关联的第一IMU数据。对于一些实施例，第一IMU数据包括4DOF参数(例如x、y、z和phi)。第一IMU数据可以表示在图像传感器捕获第一关键图像帧时捕获的IMU数据。
方法500继续操作510，由IMU检测图像传感器从物理环境中的第一姿势(例如方位或位置)到物理环境中的第二姿势的运动。如本文所述，该运动可以由执行侧步同时握持执行方法500并且包括图像传感器和IMU的计算设备的人类个人引起。
方法500继续操作512，响应于通过操作510检测到运动而执行操作520至528。操作512开始于操作520从该捕获图像帧集合中识别第二关键图像帧。虽然可以通过操作506识别第一关键图像帧，使得第一关键图像帧对应于由操作510检测到的运动的开始，但是可以通过操作520识别第二关键图像帧，使得第二关键图像帧对应于操作510检测到的运动的结束。
操作512继续操作522，从操作504捕获的IMU数据中识别与第二关键图像帧相关联的第二IMU数据。对于一些实施例，第二IMU数据包括4DOF参数(例如x、y、z和phi)。第二IMU数据可以表示在图像传感器捕获第二关键图像帧时捕获的IMU数据。
操作512继续操作524，对至少第一和第二关键图像帧执行特征匹配，以识别物理环境中的匹配3D特征集合。对于一些实施例，操作524使用基于KAZE或A-KAZE的特征匹配器，其通过跨图像帧匹配特征从图像帧集合中提取3D特征。操作512继续操作526，基于误差标准集合，通过从操作524产生的匹配3D特征集合中滤出至少一个误差特征，生成过滤的匹配3D特征集合。例如，该误差标准集合可以包括与极轴、投影误差或空间误差有关的误差标准。如果发现特征误差，则方法500可以返回到操作524以再次执行特征匹配。操作512继续操作528，确定用于第二关键图像帧的图像传感器的6DOF参数集合和用于该匹配3D特征集合的3D位置集合。为了便于该确定，操作512基于由操作506识别的第一IMU数据、由操作522识别的第二IMU数据以及由操作526提取的过滤的匹配3D特征集合，对第二关键图像帧执行(完整)SLAM过程。。
图6是示出根据一些实施例的用于SLAM过程的示例方法600的流程图。特别地，方法600示出了实施例如何执行完整SLAM过程循环。对于一些实施例，直到通过SLAM初始化过程(例如方法500)产生至少两个关键图像帧才执行方法600。如图所示，方法600开始于操作602从捕获IMU数据中识别与新关键图像帧相关联的特定IMU数据。IMU数据可以表示在图像传感器捕获新关键图像帧时捕获的IMU数据。
方法600继续操作604，对新关键图像帧和至少一个先前图像帧(例如最后两个捕获的图像帧)执行特征匹配，以识别物理环境中的匹配3D特征集合。对于一些实施例，操作604使用基于KAZE或A-KAZE的特征匹配器，其通过匹配图像帧上的特征从图像帧集合中提取3D特征。方法600继续操作606，通过基于由操作604提取的匹配3D特征集合以及由操作602识别的特定IMU数据对新关键图像帧执行(完整)SLAM过程，为新关键图像帧确定图像传感器的第一6DOF参数集合。
方法600继续操作608，基于误差标准集合和由操作606确定的第一6DOF参数集合，通过从操作604提取的匹配3D特征集合中滤除至少一个误差特征，生成过滤的匹配3D特征集合。如本文所述，该误差标准集合可以包括与极轴、投影误差或空间误差有关的误差标准。例如，误差标准可以指定滤除表示最差投影误差的前3％的那些特征。
方法600继续操作610通过基于由操作608生成的过滤的匹配3D特征的第二集合和由操作602识别的特定IMU数据对所有关键图像帧执行(完整)SLAM过程，来确定用于新关键图像帧的图像传感器的第二6DOF参数集合和物理环境中的新3D特征的3D位置集合。
图7是示出根据一些实施例的用于SLAM过程的示例方法700的流程图。特别地，方法700示出了实施例如何执行部分SLAM过程循环。如图所示，方法700开始于操作702，基于由完整SLAM过程循环(例如方法600)的上次执行提供(例如提取)的新3D特征的3D位置和集合最近由完整SLAM过程循环(例如通过方法600)处理的新图像帧，对非关键图像帧执行特征跟踪。对于一些实施例，操作702使用基于Kanade-Lucas-Tomasi(KLT)方法的2D跟踪器，其从上次执行的完整SLAM过程循环处理的新关键图像帧中提取2D特征。方法700继续操作704，通过基于来自操作702的2D特征集合仅执行SLAM过程的定位部分，来确定用于非关键图像帧的图像传感器的6DOF参数集合。方法700继续操作706，通过基于误差标准集合和由操作704确定的6DOF参数集合，从操作702识别的2D特征集合中滤除至少一个误差特征，来生成过滤的2D特征集合。该误差标准集合可以包括例如与极轴、投影误差或空间误差有关的误差标准。方法700继续操作708，基于由操作706生成的过滤的2D特征集合和由操作704确定的6DOF参数集合，在非关键图像帧上投影跟踪点集合。对于一些实施例，该跟踪点集合允许在非关键图像帧上进行2D虚拟跟踪，这在诸如增强现实的应用中可能是有用的。
软件架构
图8是示出示例软件架构806的框图，该示例软件架构806可以与本文描述的各种硬件架构结合使用以实现实施例。图8是软件架构的非限制性示例，并且应当理解，可以实现许多其他架构以促进本文描述的功能。软件架构806可以在诸如图9的机器900之类的硬件(其尤其包括处理器904、存储器914和I/O组件918等)上执行。代表性的硬件层852被示出并且可以表示例如图9的机器900。代表性硬件层852包括具有相关联的可执行指令804的处理器单元854。可执行指令804表示软件架构806的可执行指令，包括本文描述的方法、组件等的实现。硬件层852还包括也具有可执行指令804的存储器和/或存储模块存储器/存储器856。硬件层852还可以包括其他硬件858。
在图8的示例架构中，软件架构806可以概念化为层的堆栈，其中每个层提供特定功能。例如，软件架构806可以包括诸如操作系统802、库820、框架/中间件818、应用816和表示层814之类的层。在操作上，层中的应用816和/或其他组件可以通过软件堆栈调用应用编程界面(API)调用808并接收响应作为消息812。所示的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件818，而其他可以提供这样的层。其他软件架构可以包括附加的或不同的层。
操作系统802可以管理硬件资源并提供公共服务。操作系统802可以包括例如内核822、服务824和驱动器826。内核822可以充当硬件和其他软件层之间的抽象层。例如，内核822可以负责存储器管理、处理器管理(例如调度)、组件管理、组网、安全设置等。服务824可以为其他软件层提供其他公共服务。驱动器826负责控制底层硬件或与底层硬件接口。例如，取决于硬件配置，驱动器826包括显示驱动器、相机驱动器、
Figure BDA0004054826770000181
Figure BDA0004054826770000182
驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、
Figure BDA0004054826770000183
驱动器、音频驱动器、电源管理驱动器等。
库820提供由应用816和/或其他组件和/或层使用的公共基础结构。库820提供允许其他软件组件以比直接与底层操作系统802功能(例如内核822、服务824和/或驱动器826)直接接口更容易的方式执行任务的功能。库820可以包括系统库844(例如C标准库)，其可以提供诸如存储器分配功能、字符串操作功能、数学功能等的功能。另外，库820可以包括API库846，诸如媒体库(例如用于支持各种媒体格式的呈现和操作的库，诸如MPEG4、H.264、MP3、AAC、AMR、JPG、PNG)、图形库(例如可用于在显示器上的图形内容中渲染2D和3D的OpenGL框架)、数据库库(例如可以提供各种关系数据库功能的SQLite)、web库(例如可以提供web浏览功能的WebKit)等。库820还可以包括各种其他库848，以向应用816和其他软件组件/模块提供许多其他API。
框架/中间件818(有时也称为中间件)提供可由应用816和/或其他软件组件/模块使用的更高级别的公共基础结构。例如，框架/中间件818可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件818可以提供广泛的可以由应用816和/或其他软件组件/模块使用的其他API，其中一些可以特定于特定操作系统802或平台。
应用816包括内置应用838和/或第三方应用840。代表性内置应用838的示例可以包括但不限于联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用和/或游戏应用。第三方应用840可以包括由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用，并且可以是在诸如IOSTM、ANDROIDTM、
Figure BDA0004054826770000191
Phone的移动操作系统或其他移动操作系统上运行的移动软件。第三方应用840可以调用由移动操作系统(诸如操作系统802)提供的API调用808以促进本文描述的功能。
应用816可以使用内置操作系统功能(例如内核822、服务824和/或驱动器826)、库820和框架/中间件818来创建用户界面以与系统的用户交互。替代地或另外地，在一些系统中，与用户的交互可以通过表示层(例如表示层814)发生。在这些系统中，应用/组件“逻辑”可以从和用户交互的应用/组件的方面中分离出。
图9是示出根据一些示例实施例能够从机器可读介质(例如机器可读存储介质)读取指令804并执行本文讨论的方法中的任何一个或多个的机器900的组件的框图。具体地，图9示出了计算机系统的示例形式中的机器900的图形表示，其中可以执行用于促使机器900执行本文所讨论的任何一种或多种方法的指令910(例如软件、程序、应用、小应用程序、app或其他可执行代码)。这样，指令910可用于实现本文描述的模块或组件。指令910将通用的、未编程的机器900变换成特定的被编程为以所描述的方式执行所描述和示出的功能的机器900。在替代实施例中，机器900作为独立设备操作或者可以耦合(例如联网)到其他机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力运行，或者作为对等(或分布式)网络环境中的对等机器运行。机器900可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动计算设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能设备)、其他智能设备、web设备、网络路由器、网络交换机、网桥、或能够顺序地或以其他方式执行指定机器900要采取的动作的指令910的任何机器。此外，尽管仅示出了单个机器900，术语“机器”还应被视为包括单独或联合地执行指令910以执行本文所讨论的任何一种或多种方法的机器的集合。
机器900可以包括可以被配置为例如经由总线902彼此通信的处理器904、存储器/存储设备906和I/O组件918。存储器/存储设备906可以包括存储器914，例如主存储器或其他存储设备，以及存储单元916，两者都可由处理器904例如经由总线902访问。存储单元916和存储器914存储体现本文描述的任何一种或多种方法或功能的指令910。指令910在由机器900执行期间还可以完整或部分地驻留在存储器914内、在存储单元916内、在处理器904的至少一个存储器(例如处理器的高速缓存存储器内)内或其任何合适的组合中。因此，存储器914、存储单元916和处理器904的存储器是机器可读介质的示例。
I/O组件918可以包括各种各样的组件以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等。包括在特定机器900中的特定I/O组件918将取决于机器的类型。例如，诸如移动电话的便携式机器可能包括触摸输入设备或其他这样的输入机构，而无头服务器机器可能不包括这样的触摸输入设备。应当理解，I/O组件918可以包括图9中未示出的许多其他组件。I/O组件918根据功能分组，仅仅是为了简化以下讨论，并且分组决不是限制性的。在各种示例实施例中，I/O组件918可以包括输出组件926和输入组件928。输出组件926可以包括可视组件(例如诸如等离子显示面板(PDP)的显示器、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)、声学组件(例如扬声器)、触觉组件(例如振动电机、电阻机构)、其他信号发生器等。输入组件928可以包括字母数字输入组件(例如键盘、被配置为接收字母数字输入的触摸屏、光学光学键盘或其他字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入组件(例如物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏、或其他触觉输入组件)、音频输入组件(例如麦克风)等。
在其他示例实施例中，I/O组件918可以包括广泛的其他组件中的生物识别组件930、运动组件934、环境组件936或位置组件938。例如，生物识别组件930可以包括用于检测表达(例如手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、出汗或脑波)、识别人(例如语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件934可以包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件936可以包括例如照明传感器组件(例如光度计)、温度传感器组件(例如检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如检测背景噪声的一个或多个麦克风)、接近传感器组件(例如检测附近物体的红外传感器)、气体传感器(例如用于检测危险气体的浓度以确保安全或测量空气中的污染物的气体检测传感器)、或可以提供与周围物理环境相对应的指示、测量或信号的其他组件。位置组件938可以包括定位传感器组件(例如全球定位系统(GPS)接收器组件)、高度传感器组件(例如检测可以从其导出高度的空气压力的高度计或气压计)、方位传感器组件(例如磁力计)等。
可以使用各种技术来实现通信。I/O组件918可以包括通信组件940，其可操作以分别经由耦合924和耦合922将机器900耦合到网络932或设备920。例如，通信组件940可以包括网络接口组件或与网络932接口的其他合适的设备。在其他示例中，通信组件940可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、
Figure BDA0004054826770000221
组件(例如低能
Figure BDA0004054826770000222
)、
Figure BDA0004054826770000223
组件和经由其他方式提供通信的其他通信组件。设备920可以是另一机器或各种外围设备中的任何一种(例如经由通用串行总线(USB)耦合的外围设备)。
此外，通信组件940可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件940可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如光学传感器，用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵、Dataglyph(数据格式)、MaxiCode、PDF417、超码、UCC RSS-2D条形码的多维条形码，和其他光学码)、或声学检测组件(例如用于识别标记音频信号的麦克风)。另外，可以经由通信组件940导出各种信息，诸如经由互联网协议(IP)地理定位导出的位置，经由
Figure BDA0004054826770000224
信号三角测量导出的位置，经由检测可以指示特定位置的NFC信标信号导出的位置等等。
如本文所使用的，“短暂消息”可以指代可以在时间有限的持续时间(例如最多10秒)内可访问的消息。短暂消息可以包括文本内容、图像内容、音频内容、视频内容等。短暂消息的访问时间可以由消息发送者设置，或者替代地，访问时间可以是默认设置或由接收者指定的设置。无论设置技术如何，短暂消息都是临时的。与短暂消息相关联的消息持续时间参数可以提供确定短暂消息的接收用户可以显示或访问短暂消息的时间量的值。可以使用能够接收和显示短暂消息的内容的消息传递客户端软件应用(例如短暂消息传递应用)来访问或显示短暂消息。
如本文中还使用的，“短暂消息故事”可以指可以在时间有限的持续时间内可访问的短暂消息内容的集合，类似于短暂消息。短暂消息故事可以从一个用户发送到另一个用户，并且可以使用能够接收和显示短暂内容的集合的消息传递客户端软件应用(例如短暂消息传递应用)来访问或显示。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一个或多个方法的各个操作被示出并描述为单独的操作，但是可以同时执行一个或多个的各个操作，并且不需要以所示的顺序执行操作。在示例配置中作为单独组件呈现的结构和功能可以实现为组合结构或组件。类似地，作为单个组件呈现的结构和功能可以实现为单独的组件。这些和其他变化、修改、添加和改进都落入本文主题的范围内。
尽管已经参考特定示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更宽范围的情况下，可以对这些实施例进行各种修改和改变。
以足够的细节描述了本文所示的实施例，以使本领域技术人员能够实践所公开的教导。可以使用其他实施例并从中导出其他实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，详细描述不应被视为具有限制意义，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如本文所使用的，模块可以构成软件模块(例如存储或以其他方式体现在机器可读介质或传输介质中的代码)、硬件模块或其任何合适的结合。“硬件模块”是能够执行某些操作并且可以以特定物理方式被配置或布置的有形(例如非暂时性)物理组件(例如一组一个或多个处理器)。在各种实施例中，一个或多个计算机系统或其一个或多个硬件模块可以由软件(例如应用或其一部分)配置为硬件模块，该硬件模块用于执行本文描述的用于该模块的操作。
在一些实施例中，硬件模块可以以电子方式实现。例如，硬件模块可以包括被永久配置为执行某些操作的专用电路或逻辑。硬件模块可以是或可以包括专用处理器，例如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。作为示例，硬件模块可以包括CPU或其他可编程处理器内包含的软件。
考虑其中临时配置(例如编程)硬件模块的实施例，不需要在任何一个时刻配置或实例化每个硬件模块。例如，在硬件模块包括由软件配置成为专用处理器的CPU的情况下，CPU可以在不同时间被分别配置为不同的专用处理器(例如每个包括在不同的硬件模块中)。软件(例如软件模块)可以相应地配置一个或多个处理器，例如以在一个时刻变为或以其他方式构成特定硬件模块，并且在不同的时刻变为或以其他方式构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息并从其接收信息。因此，所描述的硬件模块可以被视为通信地耦合。在同时存在多个硬件模块的情况下，可以通过在两个或更多个硬件模块之间或之中的信号传输(例如通过合适的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件模块的实施例中，可以例如通过存储和检索多个硬件模块可访问的存储器结构中的信息来实现这些硬件模块之间的通信。例如，一个硬件模块可以执行操作并将该操作的输出存储在与其通信耦合的存储器(例如存储器设备)中。然后，另一硬件模块可以稍后访问存储器以检索和处理所存储的输出。硬件模块还可以启动与输入或输出设备的通信，并且可以在资源(例如来自计算资源的信息的集合)上操作。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，这样的处理器可以构成处理器实现的模块，其用于执行本文描述的一个或多个操作或功能。如本文所使用的，“处理器实现的模块”指的是硬件模块，在其中硬件包括一个或多个处理器。因此，本文描述的操作可以至少部分地由处理器实现、硬件实现或两者实现，因为处理器是硬件的示例，并且本文所讨论的任何一个或多个方法内的至少一些操作可以由一个或多个处理器实现的模块、硬件实现的模块或其任何合适的组合执行。
如本文所使用的，术语“或”可以以或者包含性或者排他性的含义来解释。术语“一”或“一个”应理解为表示“至少一个”、“一个或多个”等。使用诸如“一个或多个”、“至少”、“但不限于”的单词和短语或其他类似短语不应被理解为意味着在这样的扩展短语缺乏的情况下意图或要求更窄的范围。
各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在特定说明性配置的上下文中示出了特定操作。设想了其他功能分配，并且其可以落入本公开的各种实施例的范围内。通常，在示例配置中作为分开的资源呈现的结构和功能可以实现为组合结构或资源。类似地，作为单个资源呈现的结构和功能可以实现为分开的资源。这些和其他变化、修改、添加和改进落入由所附权利要求表示的本公开的实施例的范围内。因此，说明书和附图应被视为说明性的而非限制性的。
以上描述包括体现本公开的说明性实施例的系统、方法、设备，指令和计算机介质(例如计算机程序产品)。在说明书中，出于解释的目的，阐述了许多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。通常，不一定详细示出公知的指令实例、协议、结构和技术。

Claims (20)

1.一种用于同时定位和映射的方法，包括：
由一个或多个硬件处理器，从图像传感器捕获的图像帧集合中识别第一关键图像帧；以及
在所述图像传感器从物理环境中的第一姿势到所述物理环境中的第二姿势的运动之后：
由所述一个或多个硬件处理器，识别从所述捕获的图像帧集合中识别第二关键图像帧；
由所述一个或多个硬件处理器，对至少所述第一关键图像帧和所述第二关键图像帧进行特征匹配，以识别在所述物理环境中的匹配三维3D特征集合；
由所述一个或多个硬件处理器，通过基于误差标准集合从所述匹配3D特征集合中滤除至少一个误差特征，来生成过滤的匹配3D特征集合；以及
由所述一个或多个硬件处理器，确定用于所述第二关键图像帧的所述图像传感器的六个自由度6DOF参数的第一集合和用于所述匹配3D特征集合的3D位置集合，所述确定包括基于由惯性测量单元IMU捕获的第一IMU数据、由所述IMU捕获的第二IMU数据、和所述过滤的匹配3D特征集合来执行同时定位和映射SLAM过程，所述第一IMU数据与所述第一关键图像帧相关联，并且所述第二IMU数据与所述第二关键图像帧相关联。
2.根据权利要求1所述的方法，其中，所述第一IMU数据包括所述图像传感器的四个自由度4DOF参数的集合，并且所述第二IMU数据包括所述图像传感器的4DOF参数集合。
3.根据权利要求1所述的方法，其中，所述图像传感器和所述IMU包括在设备中。
4.根据权利要求3所述的方法，其中，所述图像传感器的所述运动是由握持所述设备的人类个人执行侧步引起的。
5.根据权利要求4所述的方法，其中，所述第一关键图像帧是通过检测所述侧步的开始冲动而被识别的，并且所述第一关键图像帧是所述捕获的图像帧集合中对应于所检测到的开始冲动的特定图像帧。
6.根据权利要求4所述的方法，其中，所述第二关键图像帧是通过检测所述侧步的结束冲动而被识的，并且所述第二关键图像帧是所述捕获的图像帧集合中对应于所检测到的结束冲动的特定图像帧。
7.根据权利要求1所述的方法，还包括：
对于添加到所述捕获的图像帧集合的每个具体的新图像帧：
由所述一个或多个硬件处理器，确定对于所述具体的新图像帧关键图像帧条件集合是否被满足；
由所述一个或多个硬件处理器，响应于对于所述具体的新图像帧所述关键图像帧条件集合被满足，将所述具体的新图像帧识别为新关键图像帧，并由所述一个或多个硬件处理器对所述新关键图像帧执行完整SLAM过程循环；以及
由所述一个或多个硬件处理器，响应于对于所述具体的新图像帧所述关键图像帧条件集合不被满足，对作为非关键图像帧的所述具体的新图像帧执行部分SLAM过程循环，所述部分SLAM过程循环仅包括SLAM过程的定位部分。
8.根据权利要求7所述的方法，其中，所述关键图像帧条件集合包括以下中的至少一个：所述新图像帧满足或超过特定图像质量、自上次执行所述完整SLAM过程循环以来已经经过了最小时间、以及在先前图像帧与所述新图像帧之间的转换满足或超过最小转换阈值。
9.根据权利要求7所述的方法，其中，对所述新关键图像帧执行所述完整SLAM过程循环包括：
由所述一个或多个硬件处理器，识别与所述新关键图像帧相关联的第三IMU数据；
由所述一个或多个硬件处理器，对所述新关键图像帧和至少一个先前图像帧进行特征匹配，以识别所述物理环境中的第二匹配3D特征集合；
由所述一个或多个硬件处理器，通过基于所述第二匹配3D特征集合和所述第三IMU数据对所述新关键图像帧执行SLAM过程，来确定用于所述新关键图像帧的所述图像传感器的第二6DOF参数集合；
由所述一个或多个硬件处理器，通过基于第二误差标准集合和所述第二6DOF参数集合从所述第二匹配3D特征集合中滤除至少一个误差特征，来生成第二过滤的匹配3D特征集合；以及
由所述一个或多个硬件处理器，通过基于所述第二过滤的匹配3D特征集合和所述第三IMU数据对所有关键图像帧执行所述SLAM过程，来确定用于所述新关键图像帧的所述图像传感器的第三6DOF参数集合和所述物理环境中的新3D特征的3D位置集合。
10.根据权利要求7所述的方法，其中，对所述非关键图像帧执行所述部分SLAM过程循环包括：
由所述一个或多个硬件处理器，基于来自所述执行所述完整SLAM过程循环的新3D特征的3D位置集合和最近识别的新关键图像帧，来对所述非关键图像帧执行二维2D特征跟踪，以识别2D特征集合；
由所述一个或多个硬件处理器，通过基于所述2D特征集合仅执行所述SLAM过程的所述定位部分，来确定用于所述非关键图像帧的所述图像传感器的第四6DOF参数集合；
由所述一个或多个硬件处理器，基于第三误差标准集合和所述第四6DOF参数集合，通过从所述2D特征集合中滤除至少一个误差特征，生成过滤的2D特征集合；以及
由所述一个或多个硬件处理器，基于所述过滤的2D特征集合和所述第四6DOF参数集合，来在所述非关键图像帧上投影跟踪点集合。
11.一种用于同时定位和映射的系统，包括：
图像传感器；
存储指令的存储器；以及
硬件处理器，其通信地耦接到所述存储器并被所述指令配置为执行包括以下的操作：
对于由所述图像传感器捕获的物理环境的捕获的图像帧集合中的每一具体图像帧：
由一个或多个硬件处理器，确定对于所述具体的新图像帧关键图像帧条件集合是否被满足；
响应于对于所述具体的新图像帧所述关键图像帧条件集合被满足，将所述具体的新图像帧识别为新关键图像帧，并对所述新关键图像帧执行完整同时定位和映射SLAM过程循环；以及
响应于对于所述具体的新图像帧所述关键图像帧条件集合不被满足，对作为非关键图像帧的所述具体的新图像帧执行部分SLAM过程循环。
12.根据权利要求11所述的系统，还包括：
基于从所述系统的惯性测量单元IMU捕获的IMU数据，检测所述图像传感器从所述物理环境中的第一姿势到所述物理环境中的第二姿势的运动；以及
基于所述运动识别第一关键图像帧和第二关键图像帧，所述第一关键图像帧对应于所述运动的开始冲动，所述第二关键图像帧对应于所述运动的结束冲动。
13.根据权利要求11所述的系统，其中，所述关键图像帧条件集合包括以下中的至少一个：所述新图像帧满足或超过特定图像质量、自上次执行所述完整SLAM过程循环以来已经经过了最小时间、以及先前图像帧与所述新图像帧之间的转换满足或超过最小转换阈值。
14.根据权利要求11所述的系统，其中，对所述新关键图像帧执行所述完整SLAM过程循环包括：
从所述捕获的IMU数据中识别与所述新关键图像帧相关联的第二IMU数据，所述捕获的IMU数据是从IMU捕获的；
对所述新关键图像帧和至少一个先前图像帧进行特征匹配，以识别所述物理环境中的第二匹配3D特征集合；
通过基于所述第二匹配3D特征集合和所述第二IMU数据，对所述新关键图像帧执行SLAM过程，来确定用于所述新关键图像帧的所述图像传感器的第一6DOF参数集合；
通过基于第二误差标准集合和所述第一6DOF参数集合，从所述第二匹配3D特征集合中滤除至少一个误差特征，来生成第二过滤的匹配3D特征集合；以及
通过基于所述第二过滤的匹配3D特征集合和所述第二IMU数据，对所有关键图像帧执行所述SLAM过程，来确定用于所述新关键图像帧的所述图像传感器的第二6DOF参数集合和所述物理环境中的新3D特征的3D位置集合。
15.根据权利要求11所述的系统，其中，在所述非关键图像帧上执行所述部分SLAM过程循环包括：
基于来自所述执行所述完整SLAM过程循环的新3D特征的3D位置集合和最近识别的新关键图像帧，对所述非关键图像帧执行二维2D特征跟踪，以识别2D特征集合；
通过基于所述2D特征集合仅执行所述SLAM过程的所述定位部分，来确定用于所述非关键图像帧的所述图像传感器的第三6DOF参数集合；
通过基于第三误差标准集合和所述第三6DOF参数集合，从所述2D特征集合中滤除至少一个误差特征，来生成过滤的2D特征集合；以及
基于所述过滤的2D特征集合和所述第三6DOF参数集合在所述非关键图像帧上投影跟踪点集合。
16.一种用于同时定位和映射的系统，包括：
惯性测量单元IMU；
图像传感器；
存储指令的存储器；以及
硬件处理器，其通信地耦接到所述存储器并被所述指令配置为执行包括以下的操作：
从所述图像传感器捕获的图像帧集合中识别第一关键图像帧；以及
在所述图像传感器从物理环境中的第一姿势到所述物理环境中的第二姿势的运动之后：
识别从所述捕获的图像帧集合中识别第二关键图像帧；
对至少所述第一关键图像帧和所述第二关键图像帧进行特征匹配，以识别在所述物理环境中的匹配三维3D特征集合；
通过基于误差标准集合从所述匹配3D特征集合中滤除至少一个误差特征，来生成过滤的匹配3D特征集合；以及
确定用于所述第二关键图像帧的所述图像传感器的六个自由度6DOF参数的第一集合和用于所述匹配3D特征集合的3D位置集合，所述确定包括基于由所述IMU捕获的第一IMU数据、由所述IMU捕获的第二IMU数据、和所述过滤的匹配3D特征集合来执行同时定位和映射SLAM过程，所述第一IMU数据与所述第一关键图像帧相关联，并且所述第二IMU数据与所述第二关键图像帧相关联。
17.根据权利要求16所述的系统，其中，所述第一IMU数据包括所述图像传感器的四个自由度4DOF参数的集合，并且所述第二IMU数据包括所述图像传感器的4DOF参数集合。
18.根据权利要求16所述的系统，其中，所述图像传感器的所述运动是由握持所述系统的人类个人执行侧步引起的。
19.根据权利要求18所述的系统，其中，所述第一关键图像帧是通过检测所述侧步的开始冲动而被识别的，并且所述第一关键图像帧是所述捕获的图像帧集合中对应于所检测到的开始冲动的特定图像帧。
20.根据权利要求18所述的系统，其中，所述第二关键图像帧是通过检测所述侧步的结束冲动而被识的，并且所述第二关键图像帧是所述捕获的图像帧集合中对应于所检测到的结束冲动的特定图像帧。
CN202310044797.4A 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法 Pending CN116051640A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662381036P 2016-08-30 2016-08-30
US62/381,036 2016-08-30
PCT/US2017/049449 WO2018045076A1 (en) 2016-08-30 2017-08-30 Systems and methods for simultaneous localization and mapping
CN201780052981.6A CN109804411B (zh) 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780052981.6A Division CN109804411B (zh) 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法

Publications (1)

Publication Number Publication Date
CN116051640A true CN116051640A (zh) 2023-05-02

Family

ID=59887381

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780052981.6A Active CN109804411B (zh) 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法
CN202310044797.4A Pending CN116051640A (zh) 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780052981.6A Active CN109804411B (zh) 2016-08-30 2017-08-30 用于同时定位和映射的系统和方法

Country Status (5)

Country Link
US (4) US10410367B2 (zh)
EP (3) EP3800618B1 (zh)
KR (3) KR102606785B1 (zh)
CN (2) CN109804411B (zh)
WO (1) WO2018045076A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816853B2 (en) 2016-08-30 2023-11-14 Snap Inc. Systems and methods for simultaneous localization and mapping

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
GB2567172A (en) * 2017-10-04 2019-04-10 Nokia Technologies Oy Grouping and transport of audio objects
US11057667B2 (en) 2017-11-17 2021-07-06 Gfycat, Inc. Selection of a prerecorded media file for superimposing into a video
US11057601B2 (en) 2017-11-17 2021-07-06 Gfycat, Inc. Superimposing a prerecorded media file into a video
CN108648235B (zh) * 2018-04-27 2022-05-17 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN109035291B (zh) * 2018-08-03 2020-11-20 重庆电子工程职业学院 机器人定位方法及装置
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10945042B2 (en) 2018-11-19 2021-03-09 Gfycat, Inc. Generating an interactive digital video content item
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
CN109887003B (zh) * 2019-01-23 2021-11-19 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
EP3956633A1 (en) * 2019-04-18 2022-02-23 Telefonaktiebolaget LM Ericsson (PUBL) Method of controlling a portable device and a portable device
CN110082781B (zh) * 2019-05-20 2021-12-17 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及系统
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
WO2021155828A1 (en) * 2020-02-05 2021-08-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for implementing dynamic input resolution for vslam systems
US11276201B1 (en) 2020-06-01 2022-03-15 Snap Inc. Localizing an augmented reality device
US11748954B2 (en) 2020-06-01 2023-09-05 Snap Inc. Tracking an augmented reality device
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
CN112749665B (zh) * 2021-01-15 2024-03-19 东南大学 一种基于图像边缘特征的视觉惯性slam方法
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange

Family Cites Families (554)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US666223A (en) 1896-12-01 1901-01-15 Alfred Shedlock Refrigerating apparatus.
US4581634A (en) 1982-11-18 1986-04-08 Williams Jarvis L Security apparatus for controlling access to a predetermined area
US5072412A (en) 1987-03-25 1991-12-10 Xerox Corporation User interface with multiple workspaces for sharing display system objects
US4975690A (en) 1988-11-07 1990-12-04 Ibm Corporation Method for concurrent data entry and manipulation in multiple applications
JPH0644339A (ja) 1992-03-06 1994-02-18 Hewlett Packard Co <Hp> 図形オブジェクト操作システム及び方法
US5493692A (en) 1993-12-03 1996-02-20 Xerox Corporation Selective delivery of electronic messages in a multiple computer system based on context and environment of a user
FI98694C (fi) 1994-08-23 1997-07-25 Nokia Telecommunications Oy Sijainninpäivitys matkaviestinjärjestelmässä
US8799461B2 (en) 1994-11-29 2014-08-05 Apple Inc. System for collecting, analyzing, and transmitting information relevant to transportation networks
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
AU4902096A (en) 1995-02-01 1996-08-21 Freemark Communications, Inc. System and method for providing end-user free email
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5913040A (en) 1995-08-22 1999-06-15 Backweb Ltd. Method and apparatus for transmitting and displaying information between a remote network and a local computer
US6049711A (en) 1995-08-23 2000-04-11 Teletrac, Inc. Method and apparatus for providing location-based information services
US5794210A (en) 1995-12-11 1998-08-11 Cybergold, Inc. Attention brokerage
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US20030164856A1 (en) 1996-06-28 2003-09-04 Randy Prager Desktop, stream-based, information management system
US6216141B1 (en) 1996-12-06 2001-04-10 Microsoft Corporation System and method for integrating a document into a desktop window on a client computer
US6456852B2 (en) 1997-01-08 2002-09-24 Trafficmaster Usa, Inc. Internet distributed real-time wireless location database
US6285987B1 (en) 1997-01-22 2001-09-04 Engage, Inc. Internet advertising system
JP3610718B2 (ja) 1997-01-31 2005-01-19 富士通株式会社 電子会議システム
JPH10268959A (ja) 1997-03-24 1998-10-09 Canon Inc 情報処理装置及びその方法
CA2202106C (en) 1997-04-08 2002-09-17 Mgi Software Corp. A non-timeline, non-linear digital multimedia composition method and system
JP3783331B2 (ja) 1997-05-14 2006-06-07 ブラザー工業株式会社 メール送信システム、メール受信システムおよび記録媒体
WO1998058321A1 (en) 1997-06-17 1998-12-23 Purdue Pharma Lp Self-destructing document and e-mail messaging system
US6029141A (en) 1997-06-27 2000-02-22 Amazon.Com, Inc. Internet-based customer referral system
US6622174B1 (en) 1997-08-15 2003-09-16 Sony Corporation System for sending, converting, and adding advertisements to electronic messages sent across a network
FI973945A (fi) 1997-10-13 1999-04-14 Nokia Telecommunications Oy Lyhytsanomia välittävä tiedonsiirtojärjestelmä
JPH11120487A (ja) 1997-10-21 1999-04-30 Toyota Motor Corp 移動体端末装置、情報提供装置、情報提供システム、情報提供方法及び移動体端末装置のためのプログラムを記録した媒体
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6014090A (en) 1997-12-22 2000-01-11 At&T Corp. Method and apparatus for delivering local information to travelers
US5999932A (en) 1998-01-13 1999-12-07 Bright Light Technologies, Inc. System and method for filtering unsolicited electronic mail messages using data matching and heuristic processing
US6012098A (en) 1998-02-23 2000-01-04 International Business Machines Corp. Servlet pairing for isolation of the retrieval and rendering of data
US6484196B1 (en) 1998-03-20 2002-11-19 Advanced Web Solutions Internet messaging system and method for use in computer networks
US20020106199A1 (en) 1998-05-27 2002-08-08 Osamu Ikeda Image signal recording/reproduction apparatus, method employed therein, and image signal recording apparatus
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
WO1999063453A1 (en) 1998-06-05 1999-12-09 Creative Internet Concepts Llc System for inserting background advertising into web page presentation or e-mail messages
US6205432B1 (en) 1998-06-05 2001-03-20 Creative Internet Concepts, Llc Background advertising system
US6698020B1 (en) 1998-06-15 2004-02-24 Webtv Networks, Inc. Techniques for intelligent video ad insertion
EP1116214B1 (en) 1998-09-04 2002-07-24 Lego A/S Method and system for composing electronic music and generating graphical information
US6757713B1 (en) 1998-09-23 2004-06-29 John W. L. Ogilvie Method for including a self-removing indicator in a self-removing message
US6643684B1 (en) 1998-10-08 2003-11-04 International Business Machines Corporation Sender- specified delivery customization
US6167435A (en) 1998-10-30 2000-12-26 Netcreations, Inc. Double opt-in™ method and system for verifying subscriptions to information distribution services
US6334149B1 (en) 1998-12-22 2001-12-25 International Business Machines Corporation Generic operating system usage in a remote initial program load environment
KR19990073076A (ko) 1999-03-30 1999-10-05 주진용 인터넷전자우편및채팅을이용한광고방법
US6832222B1 (en) 1999-06-24 2004-12-14 International Business Machines Corporation Technique for ensuring authorized access to the content of dynamic web pages stored in a system cache
US7240199B2 (en) 2000-12-06 2007-07-03 Rpost International Limited System and method for verifying delivery and integrity of electronic messages
US6449657B2 (en) 1999-08-06 2002-09-10 Namezero.Com, Inc. Internet hosting system
US6549768B1 (en) 1999-08-24 2003-04-15 Nokia Corp Mobile communications matching system
WO2001017298A1 (en) 1999-09-02 2001-03-08 Automated Business Companies Communication and proximity authorization systems
US7149893B1 (en) 1999-09-07 2006-12-12 Poofaway.Com, Inc. System and method for enabling the originator of an electronic mail message to preset an expiration time, date, and/or event, and to control processing or handling by a recipient
US6487601B1 (en) 1999-09-30 2002-11-26 International Business Machines Corporation Dynamic mac allocation and configuration
US6684257B1 (en) 1999-10-15 2004-01-27 International Business Machines Corporation Systems, methods and computer program products for validating web content tailored for display within pervasive computing devices
AU7807300A (en) 1999-10-18 2001-04-30 British Telecommunications Public Limited Company Personal mobile communication device
US6724403B1 (en) 1999-10-29 2004-04-20 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US6631463B1 (en) 1999-11-08 2003-10-07 International Business Machines Corporation Method and apparatus for patching problematic instructions in a microprocessor using software interrupts
US6836792B1 (en) 1999-12-03 2004-12-28 Trend Micro Incorporated Techniques for providing add-on services for an email system
US6834195B2 (en) 2000-04-04 2004-12-21 Carl Brock Brandenberg Method and apparatus for scheduling presentation of digital content on a personal communication device
US6981040B1 (en) 1999-12-28 2005-12-27 Utopy, Inc. Automatic, personalized online information and product services
US20030001846A1 (en) 2000-01-03 2003-01-02 Davis Marc E. Automatic personalized media creation system
US7237002B1 (en) 2000-01-04 2007-06-26 International Business Machines Corporation System and method for dynamic browser management of web site
WO2001050703A2 (en) 2000-01-06 2001-07-12 Rothschild Anthony R System and method for adding an advertisement to a personal communication
US8527345B2 (en) 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
US6636247B1 (en) 2000-01-31 2003-10-21 International Business Machines Corporation Modality advertisement viewing system and method
US6523008B1 (en) 2000-02-18 2003-02-18 Adam Avrunin Method and system for truth-enabling internet communications via computer voice stress analysis
NO314530B1 (no) 2000-02-25 2003-03-31 Ericsson Telefon Ab L M Trådlös reservering, innsjekking, tilgangskontroll, utsjekking og betaling
US6684250B2 (en) 2000-04-03 2004-01-27 Quova, Inc. Method and apparatus for estimating a geographic location of a networked entity
US7124164B1 (en) 2001-04-17 2006-10-17 Chemtob Helen J Method and apparatus for providing group interaction via communications networks
US6684238B1 (en) 2000-04-21 2004-01-27 International Business Machines Corporation Method, system, and program for warning an email message sender that the intended recipient's mailbox is unattended
US7663652B1 (en) 2000-05-03 2010-02-16 Morris Reese Enhanced electronic mail delivery system
US6542749B2 (en) 2000-06-10 2003-04-01 Telcontar Method and system for connecting proximately located mobile users based on compatible attributes
US6720860B1 (en) 2000-06-30 2004-04-13 International Business Machines Corporation Password protection using spatial and temporal variation in a high-resolution touch sensitive display
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US6968179B1 (en) 2000-07-27 2005-11-22 Microsoft Corporation Place specific buddy list services
US6618593B1 (en) 2000-09-08 2003-09-09 Rovingradar, Inc. Location dependent user matching system
US6700506B1 (en) 2000-09-14 2004-03-02 Everyday Wireless, Inc. Bus arrival notification system and methods related thereto
US6959324B1 (en) 2000-09-28 2005-10-25 International Business Machines Corporation Method and apparatus for adding data attributes to e-mail messages to enhance the analysis of delivery failures
US8707185B2 (en) 2000-10-10 2014-04-22 Addnclick, Inc. Dynamic information management system and method for content delivery and sharing in content-, metadata- and viewer-based, live social networking among users concurrently engaged in the same and/or similar content
US6904408B1 (en) 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
JP2002132647A (ja) 2000-10-19 2002-05-10 Kizna Corp 電子掲示板及び電子掲示板システム
US6970907B1 (en) 2000-11-16 2005-11-29 International Business Machines Corporation Method and system for e-mail chain group discussions
US6774919B2 (en) 2000-12-06 2004-08-10 Microsoft Corporation Interface and related methods for reducing source accesses in a development system
GB0029880D0 (en) 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
US7870592B2 (en) 2000-12-14 2011-01-11 Intertainer, Inc. Method for interactive video content programming
US6668173B2 (en) 2000-12-15 2003-12-23 Motorola, Inc. Instant message user location tracking system
US20020087631A1 (en) 2001-01-03 2002-07-04 Vikrant Sharma Email-based advertising system
GB2371948B (en) 2001-02-02 2005-09-14 Nokia Mobile Phones Ltd Mobile telecommunications device
US7299416B2 (en) 2001-02-15 2007-11-20 Denny Jaeger Metro for creating and using linear time line and play rectangle
US6446004B1 (en) 2001-02-28 2002-09-03 International Business Machines Corporation System and method for implementing proximity or location driven activities
US6529136B2 (en) 2001-02-28 2003-03-04 International Business Machines Corporation Group notification system and method for implementing and indicating the proximity of individuals or groups to other individuals or groups
US7042470B2 (en) 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US6636855B2 (en) 2001-03-09 2003-10-21 International Business Machines Corporation Method, system, and program for accessing stored procedures in a message broker
JP2002351782A (ja) 2001-05-23 2002-12-06 Nec Corp 伝言板システム及びそれに用いる伝言情報蓄積・検索方法
US7280658B2 (en) 2001-06-01 2007-10-09 International Business Machines Corporation Systems, methods, and computer program products for accelerated dynamic protection of data
US8195745B2 (en) 2001-06-07 2012-06-05 International Business Machines Corporation Automatic download of web content in response to an embedded link in an electronic mail message
JP3672245B2 (ja) 2001-06-15 2005-07-20 インターナショナル・ビジネス・マシーンズ・コーポレーション メール発信システム、メールサーバ、メール転送システム、メール転送方法、メール発信方法、メール配信方法、プログラム
US20050064926A1 (en) 2001-06-21 2005-03-24 Walker Jay S. Methods and systems for replaying a player's experience in a casino environment
JP3994692B2 (ja) 2001-07-04 2007-10-24 ヤマハ株式会社 音楽情報提供システム及び方法
US7188143B2 (en) 2001-07-06 2007-03-06 Yahoo! Inc. Messenger-controlled applications in an instant messaging environment
US7133900B1 (en) 2001-07-06 2006-11-07 Yahoo! Inc. Sharing and implementing instant messaging environments
US7380279B2 (en) 2001-07-16 2008-05-27 Lenel Systems International, Inc. System for integrating security and access for facilities and information systems
US6965785B2 (en) 2001-07-17 2005-11-15 Wildseed Ltd. Cooperative wireless luminescent imagery
US7765490B2 (en) 2001-07-18 2010-07-27 International Business Machines Corporation Method and system for software applications using a tiled user interface
JP4440503B2 (ja) 2001-09-20 2010-03-24 富士通株式会社 情報一覧作成装置及びそのプログラム
US7363258B2 (en) 2001-10-01 2008-04-22 Qurio Holdings, Inc. Method and system for distributing affiliate images in a peer-to-peer (P2P) photosharing network through affiliate branding
US7068309B2 (en) 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
WO2003034765A1 (en) 2001-10-17 2003-04-24 Nokia Corporation Method for the provision of location information
US20030110503A1 (en) 2001-10-25 2003-06-12 Perkes Ronald M. System, method and computer program product for presenting media to a user in a media on demand framework
US7203380B2 (en) 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US7610358B2 (en) 2001-11-26 2009-10-27 Time Warner Cable System and method for effectively presenting multimedia information materials
US7240089B2 (en) 2001-12-10 2007-07-03 International Business Machines Corporation Message queuing method, system, and program product with reusable pooling component
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7426534B2 (en) 2001-12-19 2008-09-16 International Business Machines Corporation Method and system for caching message fragments using an expansion attribute in a fragment link tag
WO2003054654A2 (en) 2001-12-21 2003-07-03 Nokia Corporation Location-based novelty index value and recommendation system and method
US7356564B2 (en) 2002-01-09 2008-04-08 At&T Delaware Intellectual Property, Inc. Method, system, and apparatus for providing self-destructing electronic mail messages
US7020494B2 (en) 2002-02-07 2006-03-28 Sap Aktiengesellschaft Integrating contextual information into mobile enterprise applications
US7027124B2 (en) 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US7227937B1 (en) 2002-03-19 2007-06-05 Nortel Networks Limited Monitoring natural interaction for presence detection
US6658095B1 (en) 2002-03-19 2003-12-02 Nortel Networks Limited Customized presence information delivery
US7305436B2 (en) 2002-05-17 2007-12-04 Sap Aktiengesellschaft User collaboration through discussion forums
US7120622B2 (en) 2002-06-10 2006-10-10 Xerox Corporation Authoring tools, including content-driven treetables, for fluid text
US20060026067A1 (en) 2002-06-14 2006-02-02 Nicholas Frank C Method and system for providing network based target advertising and encapsulation
US7349921B2 (en) 2002-09-27 2008-03-25 Walgreen Co. Information distribution system
US6970088B2 (en) 2002-10-17 2005-11-29 Compex, Inc. Method for tracking and processing passengers and their transported articles
US8423042B2 (en) 2004-02-24 2013-04-16 Invisitrack, Inc. Method and system for positional finding using RF, continuous and/or combined movement
US7787886B2 (en) 2003-02-24 2010-08-31 Invisitrack, Inc. System and method for locating a target using RFID
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US6978147B2 (en) 2003-03-19 2005-12-20 Motorola, Inc. Wireless messaging device with selectable scroll display and message pre-fetch
GB2399928A (en) 2003-03-24 2004-09-29 Nec Technologies Baby or child monitor incorporating mobile telephone
US7458081B2 (en) 2003-03-27 2008-11-25 Microsoft Corporation Configurable event handling for an interactive design environment
US6825764B2 (en) 2003-03-28 2004-11-30 Sony Corporation User programmable portable proximity detector
US20040243531A1 (en) 2003-04-28 2004-12-02 Dean Michael Anthony Methods and systems for representing, using and displaying time-varying information on the Semantic Web
US20040243688A1 (en) 2003-05-30 2004-12-02 Wugofski Theodore D. Inbox caching of messages on a mobile terminal
US7315832B2 (en) 2003-06-18 2008-01-01 Copart, Inc. Online bidding system
US7085571B2 (en) 2003-08-26 2006-08-01 Kyocera Wireless Corp. System and method for using geographical location to determine when to exit an existing wireless communications coverage network
KR100754704B1 (ko) 2003-08-29 2007-09-03 삼성전자주식회사 위치에 따라 설정 변경이 가능한 이동통신 단말기 및 방법
JP2005115896A (ja) 2003-10-10 2005-04-28 Nec Corp 通信装置及び通信方法
US7191221B2 (en) 2003-10-30 2007-03-13 International Business Machines Corporation Method for managing electronic mail receipts using audio-visual notification enhancements
JP2007510981A (ja) 2003-10-30 2007-04-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 入力を予測する方法
US7797529B2 (en) 2003-11-10 2010-09-14 Yahoo! Inc. Upload security scheme
US20050104976A1 (en) 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
US7451190B2 (en) 2003-11-26 2008-11-11 Yahoo! Inc. Associating multiple visibility profiles with a user of a real-time communication system
US20050119936A1 (en) 2003-12-02 2005-06-02 Robert Buchanan Sponsored media content
US7394345B1 (en) 2003-12-08 2008-07-01 At&T Corp. Arrangement for indicating presence of individual
US20050122405A1 (en) 2003-12-09 2005-06-09 Voss James S. Digital cameras and methods using GPS/time-based and/or location data to provide scene selection, and dynamic illumination and exposure adjustment
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
CN1886753A (zh) 2003-12-19 2006-12-27 富士通株式会社 现状信息处理方法和程序、终端装置、计算机及现状信息管理服务器
US8418067B2 (en) 2004-01-15 2013-04-09 Microsoft Corporation Rich profile communication with notifications
US7904510B2 (en) 2004-02-23 2011-03-08 Microsoft Corporation Systems and methods for managing discussion threads based on ratings
US8739071B2 (en) 2004-02-27 2014-05-27 Blackberry Limited System and method for message display and management
US20050193340A1 (en) 2004-03-01 2005-09-01 Amburgey James T. Apparatus and method regarding dynamic icons on a graphical user interface
US7206568B2 (en) 2004-03-15 2007-04-17 Loc-Aid Technologies, Inc. System and method for exchange of geographic location and user profiles over a wireless network
US7912904B2 (en) 2004-03-31 2011-03-22 Google Inc. Email system with conversation-centric user interface
US7546554B2 (en) 2004-03-31 2009-06-09 Fuji Xerox Co., Ltd. Systems and methods for browsing multimedia content on small mobile devices
US7607096B2 (en) 2004-05-01 2009-10-20 Microsoft Corporation System and method for a user interface directed to discovering and publishing presence information on a network
US8041701B2 (en) 2004-05-04 2011-10-18 DG FastChannel, Inc Enhanced graphical interfaces for displaying visual data
US7593740B2 (en) 2004-05-12 2009-09-22 Google, Inc. Location-based social software for mobile devices
EP1752000A1 (fr) 2004-05-27 2007-02-14 France Telecom S.A. Procede et installation de transmission d"un message a duree de validite predeterminee a destination d"un terminal d"abonne
US8287380B2 (en) 2006-09-01 2012-10-16 Igt Intelligent wireless mobile device for use with casino gaming table systems
US7519670B2 (en) 2004-08-12 2009-04-14 International Business Machines Corporation Method for disappearing ink for text messaging
JP4895020B2 (ja) 2004-09-07 2012-03-14 日本電気株式会社 画像処理システム及びその方法と、それに用いられる端末及びサーバ
US20060058953A1 (en) 2004-09-07 2006-03-16 Cooper Clive W System and method of wireless downloads of map and geographic based data to portable computing devices
US8745132B2 (en) 2004-09-10 2014-06-03 Silver State Intellectual Technologies, Inc. System and method for audio and video portable publishing system
JP5060303B2 (ja) 2004-11-24 2012-10-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオセレクションに基づいたビデオクリップの記録及び再生
US7456872B2 (en) 2004-11-29 2008-11-25 Rothschild Trust Holdings, Llc Device and method for embedding and retrieving information in digital images
US7522548B2 (en) 2004-12-08 2009-04-21 Motorola, Inc. Providing presence information in a communication network
US8301159B2 (en) 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP4333599B2 (ja) 2005-02-15 2009-09-16 ソニー株式会社 情報処理装置、情報処理方法
US7801954B2 (en) 2005-02-25 2010-09-21 Microsoft Corporation Method and system for providing expanded presence information when a user is offline
US7424267B2 (en) 2005-03-07 2008-09-09 Broadcom Corporation Automatic resource availability using Bluetooth
US7423580B2 (en) 2005-03-14 2008-09-09 Invisitrack, Inc. Method and system of three-dimensional positional finding
US7454442B2 (en) 2005-04-25 2008-11-18 The Boeing Company Data fusion for advanced ground transportation system
US7349768B2 (en) 2005-04-25 2008-03-25 The Boeing Company Evacuation route planning tool
US7650231B2 (en) 2005-04-25 2010-01-19 The Boeing Company AGTM airborne surveillance
US8204052B2 (en) 2005-05-02 2012-06-19 Tekelec, Inc. Methods, systems, and computer program products for dynamically coordinating collection and distribution of presence information
US20060252438A1 (en) 2005-05-04 2006-11-09 Ansamaa Jarkko H Determining user equipment time zones for time-based service fulfillment
US7848765B2 (en) 2005-05-27 2010-12-07 Where, Inc. Location-based services
US20060287878A1 (en) 2005-06-20 2006-12-21 Engage Corporation System and Method for Facilitating the Introduction of Compatible Individuals
US8396456B2 (en) 2005-06-28 2013-03-12 Avaya Integrated Cabinet Solutions Inc. Visual voicemail management
US20070004426A1 (en) 2005-06-30 2007-01-04 Pfleging Gerald W Location information display for cellular device
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
US8266219B2 (en) 2005-07-20 2012-09-11 Research In Motion Limited Method and system for instant messaging conversation security
US7610345B2 (en) 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
US8600410B2 (en) 2005-07-28 2013-12-03 Unwired Planet, Llc Wireless network with adaptive autonomous location push
CN1794708A (zh) 2005-07-29 2006-06-28 华为技术有限公司 呈现业务系统及发布呈现信息的方法
JP4492481B2 (ja) 2005-08-16 2010-06-30 株式会社ニコン カメラハウジング
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
US8405773B2 (en) 2005-09-06 2013-03-26 Nippon Telegraph And Telephone Corporation Video communication quality estimation apparatus, method, and program
US7933632B2 (en) 2005-09-16 2011-04-26 Microsoft Corporation Tile space user interface for mobile devices
US20070073823A1 (en) 2005-09-29 2007-03-29 International Business Machines Corporation Method and apparatus to secure and retrieve instant messages
CN1863172B (zh) 2005-09-30 2010-08-25 华为技术有限公司 一种发布呈现信息的方法和系统
US8284663B2 (en) 2005-10-14 2012-10-09 Turbine, Inc. Selectively ordered protocol for unreliable channels
CN1859320A (zh) 2005-10-26 2006-11-08 华为技术有限公司 一种提供呈现信息的方法及装置
US20070243887A1 (en) 2005-11-01 2007-10-18 Fonemine, Inc. Platform for telephone-optimized data and voice services
US20070214180A1 (en) 2005-11-14 2007-09-13 Crawford C S L Social network application for processing image or video data from wireless devices of users and methods of operation
US7639943B1 (en) 2005-11-15 2009-12-29 Kalajan Kevin E Computer-implemented system and method for automated image uploading and sharing from camera-enabled mobile devices
WO2007106185A2 (en) 2005-11-22 2007-09-20 Mashlogic, Inc. Personalized content control
ITMI20052290A1 (it) 2005-11-30 2007-06-01 Pasqua Roberto Della Servizio di messaggistica istantanea con interfaccia utente minimizzata
US8732186B2 (en) 2005-12-01 2014-05-20 Peter Warren Computer-implemented method and system for enabling communication between networked users based on common characteristics
US20070136228A1 (en) 2005-12-13 2007-06-14 Petersen Lars H Systems and methods for check-in processing
US7747598B2 (en) 2006-01-27 2010-06-29 Google Inc. Geographic coding for location search queries
WO2007090133A2 (en) 2006-01-30 2007-08-09 Kramer Jame F System for providing a service to venues where people aggregate
US20070210936A1 (en) 2006-01-31 2007-09-13 Hilton Nicholson System and method for arrival alerts
US8254537B2 (en) 2006-02-03 2012-08-28 Motorola Mobility Llc Method and apparatus for updating a presence attribute
KR101031602B1 (ko) 2006-02-10 2011-04-27 스트랜즈, 아이엔씨. 휴대용미디어플레이어 파일들에 우선순위를 설정하는시스템 및 방법
CA2642334A1 (en) 2006-02-16 2007-08-23 Shoplogix Inc. System and method for managing manufacturing information
US20070198921A1 (en) 2006-02-17 2007-08-23 Derek Collison Facilitating manual user selection of one or more ads for insertion into a document to be made available to another user or users
US8862572B2 (en) 2006-02-17 2014-10-14 Google Inc. Sharing user distributed search results
CN1863175B (zh) 2006-02-25 2010-08-25 华为技术有限公司 一种呈现业务接入装置，呈现业务系统及发布和获取呈现信息的方法
US8112478B2 (en) 2006-03-13 2012-02-07 Oracle International Corporation Email and discussion forum system
US20070233556A1 (en) 2006-03-31 2007-10-04 Ross Koningstein Controlling the serving, with a primary document, of ads from a first source, subject to a first compensation scheme, and ads from a second source, subject to a second compensation scheme
US8255473B2 (en) 2006-04-04 2012-08-28 International Business Machines Corporation Caching message fragments during real-time messaging conversations
GB0606977D0 (en) 2006-04-06 2006-05-17 Freemantle Media Ltd Interactive video medium
US10803468B2 (en) 2006-04-18 2020-10-13 At&T Intellectual Property I, L.P. Method and apparatus for selecting advertising
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US20070281690A1 (en) 2006-06-01 2007-12-06 Flipt, Inc Displaying and tagging places of interest on location-aware mobile communication devices in a local area network
US7779444B2 (en) 2006-07-23 2010-08-17 William Glad System and method for video on request
US20080032703A1 (en) 2006-08-07 2008-02-07 Microsoft Corporation Location based notification services
US20080049704A1 (en) 2006-08-25 2008-02-28 Skyclix, Inc. Phone-based broadcast audio identification
US7814160B2 (en) 2006-08-31 2010-10-12 Microsoft Corporation Unified communication escalation
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
TW200820067A (en) 2006-10-19 2008-05-01 Benq Corp Method for controlling power and display parameters of a monitor and monitor for the same
US8077263B2 (en) 2006-10-23 2011-12-13 Sony Corporation Decoding multiple remote control code sets
US20080104503A1 (en) 2006-10-27 2008-05-01 Qlikkit, Inc. System and Method for Creating and Transmitting Multimedia Compilation Data
US7917154B2 (en) 2006-11-01 2011-03-29 Yahoo! Inc. Determining mobile content for a social network based on location and time
US20080109844A1 (en) 2006-11-02 2008-05-08 Adbrite, Inc. Playing video content with advertisement
KR100874109B1 (ko) 2006-11-14 2008-12-15 팅크웨어(주) 친구 위치 정보 제공 시스템 및 방법
US8140566B2 (en) 2006-12-12 2012-03-20 Yahoo! Inc. Open framework for integrating, associating, and interacting with content objects including automatic feed creation
US8032839B2 (en) 2006-12-18 2011-10-04 Sap Ag User interface experience system
US20080147730A1 (en) 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
FR2910143B1 (fr) 2006-12-19 2009-04-03 Eastman Kodak Co Procede pour predire automatiquement des mots dans un texte associe a un message multimedia
US7770137B2 (en) 2006-12-20 2010-08-03 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for enhancing presence services
US20080158230A1 (en) 2006-12-29 2008-07-03 Pictureal Corp. Automatic facial animation using an image of a user
US20080168033A1 (en) 2007-01-05 2008-07-10 Yahoo! Inc. Employing mobile location to refine searches
US20080222545A1 (en) 2007-01-07 2008-09-11 Lemay Stephen O Portable Electronic Device with a Global Setting User Interface
US8572642B2 (en) 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
JP2008206138A (ja) 2007-01-26 2008-09-04 Matsushita Electric Ind Co Ltd 撮像装置および画像処理装置
US8136028B1 (en) 2007-02-02 2012-03-13 Loeb Enterprises Llc System and method for providing viewers of a digital image information about identifiable objects and scenes within the image
US20080189177A1 (en) 2007-02-02 2008-08-07 Anderton Jared M Systems and methods for providing advertisements
US20080208692A1 (en) 2007-02-26 2008-08-28 Cadence Media, Inc. Sponsored content creation and distribution
US8452655B2 (en) 2007-04-10 2013-05-28 Utbk, Llc Systems and methods to facilitate real time communications and commerce via a social network
JP2008262371A (ja) 2007-04-11 2008-10-30 Sony Ericsson Mobilecommunications Japan Inc 表示制御装置、表示制御方法、表示制御プログラム、及び携帯端末装置
JP4564512B2 (ja) 2007-04-16 2010-10-20 富士通株式会社 表示装置、表示プログラム、および表示方法
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US20080270938A1 (en) 2007-04-29 2008-10-30 Elizabeth Marie Carlson System for self-registering visitor information with geographic specificity and searchable fields
US7958188B2 (en) 2007-05-04 2011-06-07 International Business Machines Corporation Transaction-initiated batch processing
US8694379B2 (en) 2007-05-14 2014-04-08 Microsoft Corporation One-click posting
US7778973B2 (en) 2007-05-18 2010-08-17 Tat Kuen Choi System, method, and program for sharing photos via the internet
US8463253B2 (en) 2007-06-21 2013-06-11 Verizon Patent And Licensing Inc. Flexible lifestyle portable communications device
US8065628B2 (en) 2007-06-25 2011-11-22 Microsoft Corporation Dynamic user interface for previewing live content
US8661464B2 (en) 2007-06-27 2014-02-25 Google Inc. Targeting in-video advertising
US8312086B2 (en) 2007-06-29 2012-11-13 Verizon Patent And Licensing Inc. Method and apparatus for message customization
KR101373333B1 (ko) 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
JP5184832B2 (ja) 2007-07-17 2013-04-17 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US20090030999A1 (en) 2007-07-27 2009-01-29 Gatzke Alan D Contact Proximity Notification
JP2009044602A (ja) 2007-08-10 2009-02-26 Olympus Imaging Corp 撮像装置、撮像システム及び撮像方法
US7970418B2 (en) 2007-08-31 2011-06-28 Verizon Patent And Licensing Inc. Method and system of providing event content sharing by mobile communication devices
US7956848B2 (en) 2007-09-04 2011-06-07 Apple Inc. Video chapter access and license renewal
CN101399998B (zh) 2007-09-24 2011-06-08 鸿富锦精密工业（深圳）有限公司 白平衡调整系统及方法
WO2009043020A2 (en) 2007-09-28 2009-04-02 The Trustees Of Dartmouth College System and method for injecting sensed presence into social networking applications
US8352549B2 (en) 2007-09-28 2013-01-08 Ebay Inc. System and method for creating topic neighborhoods in a networked system
US8004529B2 (en) 2007-10-01 2011-08-23 Apple Inc. Processing an animation file to provide an animated icon
CA2701303C (en) 2007-10-04 2014-07-29 Zos Communications, Llc Location-based messaging system
EP2051480B1 (en) 2007-10-19 2009-12-16 Research In Motion Limited Mechanism for publishing presence information within a presence service and user interface for configuring same
US8472935B1 (en) 2007-10-29 2013-06-25 Iwao Fujisaki Communication device
TWI363993B (en) 2007-10-31 2012-05-11 Ibm Method for auto-deploying an application from a mobile device to a host in a pervasive computing environment and the mobile device implementing the method
US8385950B1 (en) 2007-11-09 2013-02-26 Google Inc. Capturing and automatically uploading media content
US20100257196A1 (en) 2007-11-14 2010-10-07 France Telecom System and method for managing widgets
US20090291672A1 (en) 2007-11-14 2009-11-26 Ron Treves System And Method For Providing Personalized Automated And Autonomously Initiated Information Delivery And Chaperone Service
US20090132665A1 (en) 2007-11-20 2009-05-21 Evite Llc Method and system for communicating invitations and responses to an event with a mobile device
US20090132341A1 (en) 2007-11-20 2009-05-21 Theresa Klinger Method and System for Monetizing User-Generated Content
KR101387527B1 (ko) 2007-12-06 2014-04-23 엘지전자 주식회사 단말기 및 그 메뉴 아이콘 디스플레이 방법
US20090148045A1 (en) 2007-12-07 2009-06-11 Microsoft Corporation Applying image-based contextual advertisements to images
US8212784B2 (en) 2007-12-13 2012-07-03 Microsoft Corporation Selection and display of media associated with a geographic area based on gesture input
US8655718B2 (en) 2007-12-18 2014-02-18 Yahoo! Inc. Methods for augmenting user-generated content using a monetizable feature
US8412579B2 (en) 2007-12-18 2013-04-02 Carlos Gonzalez Recipes management system
US20090160970A1 (en) 2007-12-20 2009-06-25 Fredlund John R Remote determination of image-acquisition settings and opportunities
US8515397B2 (en) 2007-12-24 2013-08-20 Qualcomm Incorporation Time and location based theme of mobile telephones
US8276092B1 (en) 2008-01-31 2012-09-25 Intuit Inc. Method and system for displaying financial reports
US20090199242A1 (en) 2008-02-05 2009-08-06 Johnson Bradley G System and Method for Distributing Video Content via a Packet Based Network
US20090215469A1 (en) 2008-02-27 2009-08-27 Amit Fisher Device, System, and Method of Generating Location-Based Social Networks
US8214443B2 (en) 2008-03-05 2012-07-03 Aol Inc. Electronic mail forwarding service
US8098881B2 (en) 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
US20090239552A1 (en) 2008-03-24 2009-09-24 Yahoo! Inc. Location-based opportunistic recommendations
WO2009120301A2 (en) 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
UA103021C2 (ru) 2008-03-28 2013-09-10 Селлтраст Корпорейшн Система и способ обслуживания безопасной передачи коротких сообщений и передачи мультимедийных сообщений (варианты)
US8098904B2 (en) 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US8645867B2 (en) 2008-04-22 2014-02-04 Apple Inc. Modifying time associated with digital media items
JP2009267526A (ja) 2008-04-22 2009-11-12 Sharp Corp 大量のコンテンツの一覧表示方法及び一覧表示装置
US20090288022A1 (en) 2008-05-15 2009-11-19 Sony Corporation Dynamically changing a user interface based on device location and/or date/time
US20090292608A1 (en) 2008-05-22 2009-11-26 Ruth Polachek Method and system for user interaction with advertisements sharing, rating of and interacting with online advertisements
US8359356B2 (en) 2008-06-20 2013-01-22 At&T Intellectual Property I, Lp Presenting calendar events with presence information
US20090327073A1 (en) 2008-06-27 2009-12-31 Microsoft Corporation Intelligent advertising display
US9305230B2 (en) 2008-07-14 2016-04-05 Jumio Inc. Internet payment system using credit card imaging
US10375244B2 (en) 2008-08-06 2019-08-06 Avaya Inc. Premises enabled mobile kiosk, using customers' mobile communication device
US20100082693A1 (en) 2008-09-25 2010-04-01 Ethan Hugg Organization of a contact list based on social network context
US20100082427A1 (en) 2008-09-30 2010-04-01 Yahoo! Inc. System and Method for Context Enhanced Ad Creation
US8295855B2 (en) 2008-11-04 2012-10-23 International Business Machines Corporation GPS driven architecture for delivery of location based multimedia and method of use
US8082255B1 (en) 2008-11-21 2011-12-20 eMinor Incorporated Branding digital content
US8527877B2 (en) 2008-11-25 2013-09-03 At&T Intellectual Property I, L.P. Systems and methods to select media content
US8494560B2 (en) 2008-11-25 2013-07-23 Lansing Arthur Parker System, method and program product for location based services, asset management and tracking
US20100153144A1 (en) 2008-12-09 2010-06-17 Continental Airlines, Inc. Automated Check-in for Reserved Service
KR101516850B1 (ko) 2008-12-10 2015-05-04 뮤비 테크놀로지스 피티이 엘티디. 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기
US9336178B2 (en) 2008-12-19 2016-05-10 Velocee Ltd. Optimizing content and communication in multiaccess mobile device exhibiting communication functionalities responsive of tempo spatial parameters
US8428626B2 (en) 2008-12-23 2013-04-23 At&T Mobility Ii Llc Selective caching of real time messaging threads
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US20100185552A1 (en) 2009-01-16 2010-07-22 International Business Machines Corporation Providing gps-based location and time information
US8719238B2 (en) 2009-01-22 2014-05-06 Sunstein Kann Murphy & Timbers LLP Office-based notification messaging system
US20100191631A1 (en) 2009-01-29 2010-07-29 Adrian Weidmann Quantitative media valuation method, system and computer program
US20100198694A1 (en) 2009-01-30 2010-08-05 Google Inc. Advertisement Slot Configuration
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
US8208943B2 (en) 2009-02-02 2012-06-26 Waldeck Technology, Llc Anonymous crowd tracking
US8791790B2 (en) 2009-02-10 2014-07-29 Yikes Llc System and method for accessing a structure using a mobile device
US20100201536A1 (en) 2009-02-10 2010-08-12 William Benjamin Robertson System and method for accessing a structure using a mobile device
KR101595254B1 (ko) 2009-02-20 2016-02-18 삼성전자주식회사 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치
US20100223343A1 (en) 2009-02-27 2010-09-02 Sorel Bosan System and Method for Communicating from an Electronic Device
US8860865B2 (en) 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
US9020745B2 (en) 2009-03-30 2015-04-28 Microsoft Technology Licensing, Llc Business data display and position correction in street-side imagery
US8264352B2 (en) 2009-04-09 2012-09-11 International Business Machines Corporation System and methods for locating mobile devices using location and presence information
US8428620B2 (en) 2009-04-22 2013-04-23 Centurylink Intellectual Property Llc Mass transportation service delivery platform
JP5132629B2 (ja) 2009-05-11 2013-01-30 ソニーモバイルコミュニケーションズ， エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US8645164B2 (en) 2009-05-28 2014-02-04 Indiana University Research And Technology Corporation Medical information visualization assistant system and method
US8214446B1 (en) 2009-06-04 2012-07-03 Imdb.Com, Inc. Segmenting access to electronic message boards
WO2011040821A1 (en) 2009-06-23 2011-04-07 Verdict Communications Smart phone crowd enhancement
US20110010205A1 (en) 2009-07-08 2011-01-13 American Express Travel Related Services Company, Inc. Travel fare determination and display in social networks
US8479080B1 (en) 2009-07-12 2013-07-02 Apple Inc. Adaptive over-provisioning in memory systems
US10282481B2 (en) 2009-07-31 2019-05-07 Oath Inc. Providing link to portion of media object in real time in social networking update
KR101462522B1 (ko) 2009-08-03 2014-11-19 우노모비 인코퍼레이티드 위치 기반 광고 시스템에 광고를 추가하는 시스템 및 방법
US9544379B2 (en) 2009-08-03 2017-01-10 Wolfram K. Gauglitz Systems and methods for event networking and media sharing
US8379130B2 (en) 2009-08-07 2013-02-19 Qualcomm Incorporated Apparatus and method of processing images based on an adjusted value of an image processing parameter
US8775472B2 (en) 2009-08-14 2014-07-08 Apple Inc. Dynamic presentation framework
JP5402409B2 (ja) 2009-08-31 2014-01-29 ソニー株式会社 撮影条件設定装置、撮影条件設定方法及び撮影条件設定プログラム
US8228413B2 (en) 2009-09-01 2012-07-24 Geovector Corp. Photographer's guidance systems
US8090351B2 (en) 2009-09-01 2012-01-03 Elliot Klein Geographical location authentication method
US20120212632A1 (en) 2009-09-07 2012-08-23 Nokia Corporation Apparatus
US8510383B2 (en) 2009-09-14 2013-08-13 Clixtr, Inc. Method for providing event based media streams
US8660793B2 (en) 2009-09-18 2014-02-25 Blackberry Limited Expediting reverse geocoding with a bounding region
US8306922B1 (en) 2009-10-01 2012-11-06 Google Inc. Detecting content on a social network using links
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US9183544B2 (en) 2009-10-14 2015-11-10 Yahoo! Inc. Generating a relationship history
US20110102630A1 (en) 2009-10-30 2011-05-05 Jason Rukes Image capturing devices using device location information to adjust image data during image signal processing
US8161417B1 (en) 2009-11-04 2012-04-17 Sprint Communications Company L.P. Enhancing usability of a moving touch screen
US8396888B2 (en) 2009-12-04 2013-03-12 Google Inc. Location-based searching using a search area that corresponds to a geographical location of a computing device
CN102118419B (zh) 2009-12-30 2014-07-16 华为技术有限公司 一种图片信息的传输方法、装置和通信系统
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8856349B2 (en) 2010-02-05 2014-10-07 Sling Media Inc. Connection priority services for data communication between two devices
US9443227B2 (en) 2010-02-16 2016-09-13 Tigertext, Inc. Messaging system apparatuses circuits and methods of operation thereof
US9672332B2 (en) 2010-02-18 2017-06-06 Nokia Technologies Oy Method and apparatus for preventing unauthorized use of media items
US20110213845A1 (en) 2010-02-26 2011-09-01 Research In Motion Limited Automatic deletion of electronic messages
US20110238763A1 (en) 2010-02-26 2011-09-29 Momo Networks, Inc. Social Help Network
US8310394B2 (en) 2010-03-08 2012-11-13 Deutsche Telekom Ag Apparatus, method, manufacture, and system for sensing substitution for location-based applications
US10074094B2 (en) 2010-03-09 2018-09-11 Excalibur Ip, Llc Generating a user profile based on self disclosed public status information
US20110238476A1 (en) 2010-03-23 2011-09-29 Michael Carr Location-based Coupons and Mobile Devices
WO2011130614A1 (en) 2010-04-15 2011-10-20 Pongr, Inc. Networked image recognition methods and systems
KR101643869B1 (ko) 2010-05-06 2016-07-29 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8359361B2 (en) 2010-05-06 2013-01-22 Microsoft Corporation Techniques to share media files through messaging
US8990732B2 (en) 2010-05-14 2015-03-24 Sap Se Value interval selection on multi-touch devices
US20110314419A1 (en) 2010-06-22 2011-12-22 Microsoft Corporation Customizing a search experience using images
US8438226B2 (en) 2010-06-22 2013-05-07 International Business Machines Corporation Dynamic adjustment of user-received communications for a real-time multimedia communications event
US20110320373A1 (en) 2010-06-25 2011-12-29 Microsoft Corporation Product conversations among social groups
CA2745536A1 (en) 2010-07-06 2012-01-06 Omar M. Sheikh Improving the relevancy of advertising material through user-defined preference filters, location and permission information
US8233887B2 (en) 2010-07-28 2012-07-31 Sprint Communications Company L.P. Covert message redaction and recovery in a wireless communication device
US8744523B2 (en) 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Method and system for interactive home monitoring
US8301196B2 (en) 2010-08-03 2012-10-30 Honeywell International Inc. Reconfigurable wireless modem adapter including diversity/MIMO modems
US8381246B2 (en) 2010-08-27 2013-02-19 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatus for providing electronic program guides
KR20120020070A (ko) 2010-08-27 2012-03-07 교세라 가부시키가이샤 휴대 단말, 록 상태 제어 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체 및 록 상태 제어 방법
US8326327B2 (en) 2010-08-27 2012-12-04 Research In Motion Limited System and method for determining action spot locations relative to the location of a mobile device
US8423409B2 (en) 2010-09-02 2013-04-16 Yahoo! Inc. System and method for monetizing user-generated web content
US8732855B2 (en) 2010-09-30 2014-05-20 Google Inc. Launching a cached web application based on authentication status
US9588992B2 (en) 2010-09-30 2017-03-07 Microsoft Technology Licensing, Llc Displaying images interesting to a user
US20140047016A1 (en) 2010-10-21 2014-02-13 Bindu Rama Rao Server infrastructure, mobile client device and app for mobile blogging and sharing
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US10102208B2 (en) 2010-10-29 2018-10-16 Microsoft Technology Licensing, Llc Automatic multimedia slideshows for social media-enabled mobile devices
US8707184B2 (en) 2010-11-01 2014-04-22 Google Inc. Content sharing interface for sharing content in social networks
US8195194B1 (en) 2010-11-02 2012-06-05 Google Inc. Alarm for mobile communication device
JP5733952B2 (ja) 2010-11-04 2015-06-10 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置の制御方法
US9280852B2 (en) 2010-11-08 2016-03-08 Sony Corporation Augmented reality virtual guide system
US8554627B2 (en) 2010-11-11 2013-10-08 Teaneck Enterprises, Llc User generated photo ads used as status updates
US9886727B2 (en) 2010-11-11 2018-02-06 Ikorongo Technology, LLC Automatic check-ins and status updates
JP5212448B2 (ja) 2010-11-15 2013-06-19 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置の制御方法、携帯端末、および制御プログラム
US20120124126A1 (en) 2010-11-17 2012-05-17 Microsoft Corporation Contextual and task focused computing
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
JP5706137B2 (ja) 2010-11-22 2015-04-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 複数の投稿（データのグループ）を複数の軸に沿ってリアルタイムにコンピュータ画面に表示する方法およびコンピュータ・プログラム
US20120131507A1 (en) 2010-11-24 2012-05-24 General Electric Company Patient information timeline viewer
US20120165100A1 (en) 2010-12-23 2012-06-28 Alcatel-Lucent Canada Inc. Crowd mobile synchronization
US20120166971A1 (en) 2010-12-28 2012-06-28 Thomas Sachson Social Networking Timeline System And Method
US20120169855A1 (en) 2010-12-30 2012-07-05 Electronics And Telecommunications Research Institute System and method for real-sense acquisition
US8683349B2 (en) 2010-12-31 2014-03-25 Verizon Patent And Licensing Inc. Media content user interface systems and methods
US8717381B2 (en) 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
US8457668B2 (en) 2011-01-18 2013-06-04 Claremont Speede Mobile sender initiated SMS message deletion method and system
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20120197724A1 (en) 2011-02-01 2012-08-02 Timothy Kendall Ad-Based Location Ranking for Geo-Social Networking System
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US20120210244A1 (en) 2011-02-10 2012-08-16 Alcatel-Lucent Usa Inc. Cross-Domain Privacy Management Service For Social Networking Sites
US8594680B2 (en) 2011-02-16 2013-11-26 Nokia Corporation Methods, apparatuses and computer program products for providing a private and efficient geolocation system
US8660358B1 (en) 2011-02-18 2014-02-25 Google Inc. Rank-based image piling
US8954503B2 (en) 2011-03-03 2015-02-10 Facebook, Inc. Identify experts and influencers in a social network
CN103502986B (zh) 2011-03-07 2015-04-29 科宝2股份有限公司 用于从事件或地理位置处的图像提供者进行分析数据采集的系统及方法
US8849931B2 (en) 2011-03-15 2014-09-30 Idt Messaging, Llc Linking context-based information to text messages
JP5136669B2 (ja) 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9331972B2 (en) 2011-03-31 2016-05-03 Loment, Inc. Automatic expiration of messages communicated to an end user communication device
US9131343B2 (en) 2011-03-31 2015-09-08 Teaneck Enterprises, Llc System and method for automated proximity-based social check-ins
US8744143B2 (en) 2011-04-01 2014-06-03 Yahoo! Inc. Adding privacy protection to photo uploading/ tagging in social networks
US8918463B2 (en) 2011-04-29 2014-12-23 Facebook, Inc. Automated event tagging
US20120290637A1 (en) 2011-05-12 2012-11-15 Microsoft Corporation Personalized news feed based on peer and personal activity
US9681108B2 (en) * 2011-05-15 2017-06-13 Lighting Science Group Corporation Occupancy sensor and associated methods
US9383959B2 (en) 2011-05-27 2016-07-05 Kyocera Corporation Rotatable mobile electronic device and soft key input method
US20120304052A1 (en) 2011-05-27 2012-11-29 Wesley Tanaka Systems And Methods For Displaying An Image In A Plurality Of Designs
JP5806512B2 (ja) 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法および撮像プログラム
US8854491B2 (en) 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
KR101217469B1 (ko) 2011-06-16 2013-01-02 주식회사 네오펄스 다중대역 특성을 갖는 ｍｉｍｏ 안테나
US20120324018A1 (en) 2011-06-16 2012-12-20 Yahoo! Inc. Systems and methods for location based social network
US20120323933A1 (en) 2011-06-20 2012-12-20 Microsoft Corporation Displaying notifications based on importance to the user
US20130006759A1 (en) 2011-07-01 2013-01-03 Yahoo! Inc. Monetizing user generated content with embedded advertisements
EP2732383B1 (en) 2011-07-12 2018-04-04 Snap Inc. Methods and systems of providing visual content editing functions
US20130185131A1 (en) 2011-07-18 2013-07-18 Pradeep Sinha System and method for integrating social and loyalty platforms
US9396167B2 (en) 2011-07-21 2016-07-19 Flipboard, Inc. Template-based page layout for hosted social magazines
US8849819B2 (en) 2011-08-05 2014-09-30 Deacon Johnson System and method for controlling and organizing metadata associated with on-line content
US8965974B2 (en) 2011-08-19 2015-02-24 Board Of Regents, The University Of Texas System Systems and methods for determining user attribute values by mining user network data and information
WO2013028388A1 (en) 2011-08-19 2013-02-28 30 Second Software Geo-fence entry and exit notification system
US20130055082A1 (en) 2011-08-26 2013-02-28 Jorge Fino Device, Method, and Graphical User Interface for Navigating and Previewing Content Items
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8515870B2 (en) 2011-09-06 2013-08-20 Rawllin International Inc. Electronic payment systems and supporting methods and devices
KR20130028598A (ko) 2011-09-09 2013-03-19 삼성전자주식회사 장치 및 장치의 이미지 파일의 ｓｎｓ 업로드방법
US20130063369A1 (en) 2011-09-14 2013-03-14 Verizon Patent And Licensing Inc. Method and apparatus for media rendering services using gesture and/or voice control
US9710821B2 (en) 2011-09-15 2017-07-18 Stephan HEATH Systems and methods for mobile and online payment systems for purchases related to mobile and online promotions or offers provided using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and
WO2013040533A1 (en) 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US20130071093A1 (en) 2011-09-16 2013-03-21 William Turner Hanks Maintaining viewer activity information of a recorded program for program deletion decisions
WO2013043867A2 (en) 2011-09-21 2013-03-28 Jeff Thramann Electric vehicle charging station with connectivity to mobile devices to provide local information
US8797415B2 (en) 2011-09-26 2014-08-05 Google Inc. Device, system and method for image capture device using weather information
WO2013045753A1 (en) 2011-09-28 2013-04-04 Nokia Corporation Method and apparatus for enabling experience based route selection
US20130085790A1 (en) 2011-09-29 2013-04-04 Ebay Inc. Organization of Group Attended Ticketed Event
US20130086072A1 (en) 2011-10-03 2013-04-04 Xerox Corporation Method and system for extracting and classifying geolocation information utilizing electronic social media
US20130090171A1 (en) 2011-10-07 2013-04-11 Gregory W. HOLTON Initiating and conducting a competitive social game using a server connected to a plurality of user terminals via a computer network
US8725168B2 (en) 2011-10-17 2014-05-13 Facebook, Inc. Content surfacing based on geo-social factors
US20130110885A1 (en) 2011-10-31 2013-05-02 Vox Media, Inc. Story-based data structures
WO2013067368A1 (en) 2011-11-02 2013-05-10 Photopon, Inc. System and method for experience-sharing within a computer network
IN2014CN03530A (zh) 2011-11-08 2015-07-03 Vidinoti Sa
US9098720B2 (en) 2011-11-21 2015-08-04 Facebook, Inc. Location aware shared spaces
US20130128059A1 (en) 2011-11-22 2013-05-23 Sony Mobile Communications Ab Method for supporting a user taking a photo with a mobile device
TWI557630B (zh) 2011-12-06 2016-11-11 宏碁股份有限公司 電子裝置、社群互動磚資料顯示方法及動態圖示磚連結方法
US8352546B1 (en) 2011-12-08 2013-01-08 Google Inc. Contextual and location awareness for device interaction
US20130159110A1 (en) 2011-12-14 2013-06-20 Giridhar Rajaram Targeting users of a social networking system based on interest intensity
US8234350B1 (en) 2011-12-19 2012-07-31 Seachange International, Inc. Systems and methods for generating targeted manifest files
US20130159919A1 (en) 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
US10354750B2 (en) 2011-12-23 2019-07-16 Iconic Data Inc. System, client device, server and method for providing a cross-facility patient data management and reporting platform
US9286678B2 (en) 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
US20130173728A1 (en) 2011-12-30 2013-07-04 Google Inc. Discovering real-time conversations
US20130267253A1 (en) 2012-01-12 2013-10-10 Environmental Systems Research Institute, Inc. Trigger zones and dwell time analytics
JP5890692B2 (ja) 2012-01-13 2016-03-22 キヤノン株式会社 撮像装置、制御方法及びプログラム
US20130191198A1 (en) 2012-01-20 2013-07-25 Visa International Service Association Systems and methods to redeem offers based on a predetermined geographic region
US9344606B2 (en) 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
KR101303166B1 (ko) 2012-01-26 2013-09-09 엘지전자 주식회사 이동 단말기 및 그의 사진 검색방법
US8788680B1 (en) 2012-01-30 2014-07-22 Google Inc. Virtual collaboration session access
US20130194301A1 (en) 2012-01-30 2013-08-01 Burn Note, Inc. System and method for securely transmiting sensitive information
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US8768876B2 (en) 2012-02-24 2014-07-01 Placed, Inc. Inference pipeline system and method
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US9778706B2 (en) 2012-02-24 2017-10-03 Blackberry Limited Peekable user interface on a portable electronic device
US20130232194A1 (en) 2012-03-05 2013-09-05 Myspace Llc Event application
US20150088622A1 (en) 2012-04-06 2015-03-26 LiveOne, Inc. Social media application for a media content providing platform
US9407860B2 (en) 2012-04-06 2016-08-02 Melvin Lee Barnes, JR. System, method and computer program product for processing image data
US20140019264A1 (en) 2012-05-07 2014-01-16 Ditto Labs, Inc. Framework for product promotion and advertising using social networking services
US20130304646A1 (en) 2012-05-14 2013-11-14 Izettle Hardware Ab Method and system for identity and know your customer verification through credit card transactions in combination with internet based social data
US20130311255A1 (en) 2012-05-17 2013-11-21 Mastercard International Incorporated Method and system for displaying and updating limited redemption coupons on a mobile device
JP6261848B2 (ja) 2012-05-17 2018-01-17 任天堂株式会社 プログラム、サーバ装置、携帯端末、情報処理方法、通信システム及び通信方法
JP6455147B2 (ja) 2012-05-22 2019-01-23 株式会社ニコン 電子カメラ、画像表示装置および画像表示プログラム
US9319470B2 (en) 2012-05-30 2016-04-19 Henry Berberat Location-based social networking system
US9374396B2 (en) 2012-06-24 2016-06-21 Google Inc. Recommended content for an endorsement user interface
US8954092B2 (en) 2012-06-25 2015-02-10 Google Inc. Pre-caching data related to a travel destination
US9563607B2 (en) 2012-06-26 2017-02-07 Google Inc. System and method for creating slideshows
US9439041B2 (en) 2012-06-29 2016-09-06 Lighthouse Signal Systems, Llc Systems and methods for calibration based indoor geolocation
TW201415027A (zh) 2012-07-05 2014-04-16 Brita Professional Gmbh & Co Kg 利用流體處理裝置決定可由流體移除之成分濃度量測値
US9560006B2 (en) 2012-07-26 2017-01-31 Google Inc. Method and apparatus for expiring messages in electronic communications
US8613089B1 (en) 2012-08-07 2013-12-17 Cloudflare, Inc. Identifying a denial-of-service attack in a cloud-based proxy service
US9165288B2 (en) 2012-08-09 2015-10-20 Polaris Wirelesss, Inc. Inferring relationships based on geo-temporal data other than telecommunications
US9083414B2 (en) 2012-08-09 2015-07-14 GM Global Technology Operations LLC LTE MIMO-capable multi-functional vehicle antenna
US10198152B2 (en) 2012-08-10 2019-02-05 Oath Inc. Systems and methods for providing and updating live-streaming online content in an interactive web platform
US20140052485A1 (en) 2012-08-13 2014-02-20 Rundavoo, Inc. System and method for on-line event promotion and group planning
US9047382B2 (en) 2012-08-13 2015-06-02 Facebook, Inc. Customized presentation of event guest lists in a social networking system
US20140052633A1 (en) 2012-08-15 2014-02-20 Ebay Inc. Payment in a chat session
KR101977703B1 (ko) 2012-08-17 2019-05-13 삼성전자 주식회사 단말의 촬영 제어 방법 및 그 단말
US9767850B2 (en) 2012-09-08 2017-09-19 Michael Brough Method for editing multiple video files and matching them to audio files
US9661361B2 (en) 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
US9420121B2 (en) 2012-09-28 2016-08-16 Interactive Memories Inc. Method for tracking theme-based digital assets for clients engaged in image-based project creation through an electronic interface
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
CN103777852B (zh) 2012-10-18 2018-10-02 腾讯科技（深圳）有限公司 一种获取图像的方法、装置
US20140149305A1 (en) 2012-10-22 2014-05-29 Adnan Aziz Passenger tracking
US9032050B2 (en) 2012-10-31 2015-05-12 Vmware, Inc. Systems and methods for accelerating remote data retrieval via peer nodes
US20150286371A1 (en) 2012-10-31 2015-10-08 Aniways Advertising Solutions Ltd. Custom emoticon generation
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
US20140143143A1 (en) 2012-11-16 2014-05-22 Jonathan David Fasoli Using card image to extract bank account information
US20140149519A1 (en) 2012-11-28 2014-05-29 Linkedln Corporation Meeting room status based on attendee position information
US9459752B2 (en) 2012-12-14 2016-10-04 Microsoft Technology Licensing, Llc Browsing electronic messages displayed as tiles
US9658742B2 (en) 2012-12-28 2017-05-23 Intel Corporation Generating and displaying supplemental information and user interactions on interface tiles of a user interface
KR20140094801A (ko) 2013-01-23 2014-07-31 주식회사 케이티 인스턴트 메신저가 탑재된 이동단말 및 이를 이용한 마일리지 거래 방법
EP2948873A4 (en) 2013-01-28 2016-11-02 Sanderling Man Ltd DYNAMIC ADVERTISEMENT MANAGEMENT AND DISTRIBUTION RULES
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US20140214471A1 (en) 2013-01-31 2014-07-31 Donald Raymond Schreiner, III System for Tracking Preparation Time and Attendance at a Meeting
US20140222564A1 (en) 2013-02-07 2014-08-07 KBR IP Holdings, LLC Geo-located social connectivity relating to events and commerce
CN104981764A (zh) 2013-02-08 2015-10-14 摩托罗拉解决方案公司 管理触摸屏设备上的用户接口元件的方法和装置
WO2014138175A1 (en) 2013-03-05 2014-09-12 Perkin Sean Interactive digital content sharing among users
US9450907B2 (en) 2013-03-14 2016-09-20 Facebook, Inc. Bundled event memories
US20170185715A9 (en) 2013-03-15 2017-06-29 Douglas K. Smith Federated Collaborative Medical Records System Utilizing Cloud Computing Network and Methods
US9824387B2 (en) 2013-03-15 2017-11-21 Proximity Concepts, LLC Systems and methods involving proximity, mapping, indexing, mobile, advertising and/or other features
US9322194B2 (en) 2013-03-15 2016-04-26 August Home, Inc. Intelligent door lock system
US9536232B2 (en) 2013-03-15 2017-01-03 Square, Inc. Transferring money using email
US9264463B2 (en) 2013-03-15 2016-02-16 Facebook, Inc. Method and system of managing ephemeral post in a social networking system
US9024753B2 (en) 2013-03-15 2015-05-05 Codex Corporation Automating offender documentation with RFID
US20140279061A1 (en) 2013-03-15 2014-09-18 Rapp Worldwide Inc. Social Media Branding
US20140279540A1 (en) 2013-03-15 2014-09-18 Fulcrum Ip Corporation Systems and methods for a private sector monetary authority
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
US10296933B2 (en) 2013-04-12 2019-05-21 Facebook, Inc. Identifying content in electronic images
US9736218B2 (en) 2013-04-24 2017-08-15 Blackberry Limited Device, system and method for processing character data
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9152477B1 (en) 2013-06-05 2015-10-06 Jpmorgan Chase Bank, N.A. System and method for communication among mobile applications
US8755824B1 (en) 2013-06-28 2014-06-17 Google Inc. Clustering geofence-based alerts for mobile devices
US20150020086A1 (en) 2013-07-11 2015-01-15 Samsung Electronics Co., Ltd. Systems and methods for obtaining user feedback to media content
US20150024721A1 (en) * 2013-07-22 2015-01-22 Nvidia Corporation Automatically connecting/disconnecting an incoming phone call to a data processing device based on determining intent of a user thereof to respond to the incoming phone call
US10679304B2 (en) 2013-08-07 2020-06-09 Microsoft Technology Licensing, Llc System and method for positioning sponsored content in a social network interface
US8825881B2 (en) 2013-09-12 2014-09-02 Bandwidth.Com, Inc. Predictive caching of IP data
US20150087263A1 (en) 2013-09-24 2015-03-26 Bennett Hill Branscomb Methods and Apparatus for Promotions and Large Scale Games in Geo-Fenced Venues
US20150096042A1 (en) 2013-10-02 2015-04-02 Innovative Venture, S.A. a Panama Corporation Method and apparatus for improved private messaging
US20150116529A1 (en) 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
US20150178260A1 (en) 2013-12-20 2015-06-25 Avaya, Inc. Multi-layered presentation and mechanisms for collaborating with the same
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US20150346959A1 (en) 2014-05-28 2015-12-03 Facebook, Inc. Systems and methods for providing responses to and drawings for media content
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
WO2016065131A1 (en) 2014-10-24 2016-04-28 Snapchat, Inc. Prioritization of messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10630625B2 (en) 2014-07-13 2020-04-21 Snap Inc. Media object distribution
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
KR102035405B1 (ko) 2015-03-18 2019-10-22 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US9954945B2 (en) 2015-06-30 2018-04-24 International Business Machines Corporation Associating contextual information with electronic communications
US10318884B2 (en) 2015-08-25 2019-06-11 Fuji Xerox Co., Ltd. Venue link detection for social media messages
CN105760106B (zh) * 2016-03-08 2019-01-15 网易（杭州）网络有限公司 一种智能家居设备交互方法和装置
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
EP3800618B1 (en) 2016-08-30 2022-12-07 Snap Inc. Systems and methods for simultaneous localization and mapping

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816853B2 (en) 2016-08-30 2023-11-14 Snap Inc. Systems and methods for simultaneous localization and mapping
US12002232B2 (en) 2016-08-30 2024-06-04 Snap Inc. Systems and methods for simultaneous localization and mapping

Also Published As

Publication number Publication date
WO2018045076A1 (en) 2018-03-08
KR20220104269A (ko) 2022-07-26
US20180061072A1 (en) 2018-03-01
KR20190134589A (ko) 2019-12-04
KR102267482B1 (ko) 2021-06-22
KR20210076185A (ko) 2021-06-23
CN109804411A (zh) 2019-05-24
EP4184438A1 (en) 2023-05-24
US12002232B2 (en) 2024-06-04
US20200175705A1 (en) 2020-06-04
US11816853B2 (en) 2023-11-14
EP3507772B1 (en) 2020-12-09
US10410367B2 (en) 2019-09-10
US20230281851A1 (en) 2023-09-07
US10984547B2 (en) 2021-04-20
EP3507772A1 (en) 2019-07-10
US20210201520A1 (en) 2021-07-01
EP3800618A1 (en) 2021-04-07
EP3800618B1 (en) 2022-12-07
KR102420857B1 (ko) 2022-07-15
CN109804411B (zh) 2023-02-17
KR102606785B1 (ko) 2023-11-29

Similar Documents

Publication Publication Date Title
US12002232B2 (en) Systems and methods for simultaneous localization and mapping
US11810316B2 (en) 3D reconstruction using wide-angle imaging devices
EP4081884B1 (en) Marker-based shared augmented reality session creation
US11854231B2 (en) Localizing an augmented reality device
US20230368476A1 (en) Tracking an augmented reality device
KR20240005953A (ko) 증강 현실 경험의 시동 시간 감소
US20230421717A1 (en) Virtual selfie stick
CN117321472A (zh) 进行后期扭曲以最小化移动对象的延迟
KR20240008370A (ko) 움직이는 객체들의 레이턴시를 최소화하기 위한 늦은 워핑
KR20230122157A (ko) 주기적 파라미터 추정 시각적 관성 추적 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination