CN105723417A - 用非静止装置检测对象的变化特征 - Google Patents

用非静止装置检测对象的变化特征 Download PDF

Info

Publication number
CN105723417A
CN105723417A CN201480061617.2A CN201480061617A CN105723417A CN 105723417 A CN105723417 A CN 105723417A CN 201480061617 A CN201480061617 A CN 201480061617A CN 105723417 A CN105723417 A CN 105723417A
Authority
CN
China
Prior art keywords
mobile device
variation characteristic
motion
destination object
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480061617.2A
Other languages
English (en)
Inventor
拉古拉曼·克里希纳穆尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105723417A publication Critical patent/CN105723417A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明揭示系统、设备、装置、方法、计算机程序产品、媒体和其它实施方案,包含一种方法,所述方法包含由移动装置的图像捕获单元捕获包含目标对象的场景的图像,确定所述移动装置的运动,以及至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。

Description

用非静止装置检测对象的变化特征
背景技术
一些移动电话应用程序还可用于通过(例如)将手指放在闪光灯和相机镜头之上并跟踪亮度变化来测量人的脉搏率。其它移动电话应用程序可用于通过将电话放在胸部上并深呼吸来测量人的呼吸频率。
发明内容
在一些变化形式中,揭示一种方法。所述方法包含:由移动装置的图像捕获单元捕获包含目标对象的场景的图像;确定所述移动装置的运动;以及至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
所述方法的实施例可包含本发明中所描述的特征中的至少一些,包含以下特征中的一或多者。
所述目标对象的所述一或多个变化特征可包含(例如)以下各项中的一或多者:在所述目标对象的表面处出现的小运动特征和/或在所述目标对象的所述表面处出现的颜色变化。
所述方法可进一步包含确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性。
所述目标对象的所述一或多个变化特征可包含(例如)以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化和/或脉动的组织,且与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性可包含(例如)以下各项中的一或多者:心率、血压和/或呼吸率。
确定所述移动装置的所述运动可包含:跟踪呈现于由所述图像捕获单元捕获的所述图像中的静止参照物的位置;以及基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述移动装置的所述运动。
至少部分地基于所述移动装置的所述所确定运动检测所述目标对象的所述一或多个变化特征的所述变化可包含:基于所述静止参照物的所述所跟踪位置对准所述一或多个所捕获图像中的至少两个;以及从所述所对准的两个或两个以上所捕获图像确定所述目标对象的所述一或多个变化特征的所述变化。
确定所述移动装置的所述运动可包含:从所述移动装置的一或多个传感器获得一或多个测量值;以及基于从一或多个传感器获得的所述一或多个测量值确定所述移动装置的所述运动。
检测所述目标对象的所述一或多个变化特征的所述变化可包含:确定所述移动装置的所述图像捕获单元的参照系;将所述所捕获图像中的两者或两者以上与所述移动装置的所述图像捕获单元的所述参照系配准;以及处理所述所捕获图像中的所述两者或两者以上以提取所述目标对象的所述一或多个变化特征的所述变化,所述所捕获图像中的所述两者或两者以上与所述图像捕获单元的所述参照系配准。
检测所述目标对象的所述一或多个变化特征可包含将滤波过程应用于所述一或多个所捕获图像以提取所述一或多个变化特征的所述变化。
检测所述目标对象的所述一或多个变化特征的所述变化可包含将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化,所述两个或两个以上所捕获图像基于所述移动装置的所述所确定运动而被对准。
所述欧拉运动放大过程可包含:对所述两个或两个以上所捕获图像执行滤波操作以提取所述一或多个变化特征的所述变化;以及放大所述一或多个变化特征的所述所提取变化。
在一些变化形式中,揭示一种包含图像捕获单元和控制器的装置。所述控制器经配置以引起操作,所述操作包含:由所述图像捕获单元捕获包含目标对象的场景的图像;确定所述移动装置的运动;以及至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
所述装置的实施例可包含本发明中所描述的特征中的至少一些,包含上文关于所述方法描述的特征中的至少一些。
在一些变化形式中,揭示一种设备。所述设备包含:用于捕获包含目标对象的场景的图像的装置;用于确定所述设备的运动的装置;以及用于至少部分地基于所述设备的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化的装置,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
所述设备的实施例可包含本发明中所描述的特征中的至少一些,包含上文关于所述方法和所述装置描述的特征中的至少一些,以及以下特征中的一或多者。
所述设备可进一步包含用于确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性的装置。所述目标对象的所述一或多个变化特征可包含(例如)以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化和/或脉动的组织,且与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性可包含(例如)以下各项中的一或多者:心率、血压和/或呼吸率。
所述用于确定所述设备的所述运动的装置可包含:用于跟踪呈现于由所述用于捕获的装置捕获的所述图像中的静止参照物的位置的装置;以及用于基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述设备的所述运动的装置。
所述用于确定所述设备的所述运动的装置可包含:用于从所述设备的一或多个传感器获得一或多个测量值的装置;以及用于基于从一或多个传感器获得的所述一或多个测量值确定所述设备的所述运动的装置。
所述用于检测所述目标对象的所述一或多个变化特征的所述变化的装置可包含用于将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化的装置,所述两个或两个以上所捕获图像基于所述设备的所述所确定运动而被对准。
在一些变化形式中,揭示一种处理器可读媒体。所述处理器可读媒体编程有可在处理器上执行的计算机指令,所述计算机指令在被执行时引起操作,所述操作包含:由移动装置的图像捕获单元捕获包含目标对象的场景的图像;确定所述移动装置的运动;以及至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
所述处理器可读媒体的实施例可包含本发明中所描述的特征中的至少一些,包含上文关于所述方法、所述装置和所述设备描述的特征中的至少一些。
除非另外定义,否则本文中所使用的所有技术和科学术语具有与通常或常规理解相同的意义。如本文中所使用,冠词“一”是指一个或多于一个(即,至少一个)所述冠词的语法对象。借助于实例,“一元件”意味着一个元件或多于一个元件。当参考例如量、持续时间和类似者的可测量值时,如本文中所使用的“约”和/或“近似”涵盖从指定值变化±20%或±10%、±5%或+0.1%的变化,因为此些变化在本文中所描述的系统、装置、电路、方法和其它实施方案的上下文中是适当的。当参考例如量、持续时间、物理属性(例如,频率)和类似者的可测量值时,如本文中所使用的“大体上”也涵盖从指定值变化±20%或±10%、±5%或+0.1%的变化,因为此些变化在本文中所描述的系统、装置、电路、方法和其它实施方案的上下文中是适当的。
如本文中(包含权利要求书中)所使用,如在以“中的至少一者”或“中的一或多者”为开端的项目列表中使用的“或”或“和”指示可使用所列举项目的任何组合。举例来说,“A、B或C中的至少一者”的列表包含A或B或C或AB或AC或BC和/或ABC(即,A和B和C)的组合中的任一者。此外,在项目A、B或C可能出现或使用多于一次的程度上,A、B和/或C的多次使用可形成预期组合的部分。举例来说,列表“A、B或C中的至少一者”(或“A、B或C中的一或多者”)还可包含A、AA、AAB、AAA、BB、BCC等。
如本文中(包含在权利要求书中)所使用,除非另外陈述,否则功能、操作或特征是“基于”一项目和/或条件的陈述意味着所述功能、操作、功能是基于所陈述的项目和/或条件且可基于除所陈述项目和/或条件之外的一或多个项目和/或条件。
本发明的其它和进一步目的、特征、方面和优点通过以下附图的详细描述将变得更好理解。
附图说明
图1为展示由移动装置执行以捕获并处理场景的图像的操作的图式。
图2为移动装置的实例操作环境的示意图。
图3为实例移动装置的框图。
图4为用以检测场景中的对象的一或多个变化特征的实例过程的流程图。
图5为实例计算系统的示意图。
具体实施方式
本文中描述系统、设备、装置、方法、计算机程序产品、媒体和其它实施方案,包含一种方法,所述方法包含由装置(例如,非静止移动装置,例如,移动装置)的图像捕获单元(例如,相机)捕获包含目标对象(例如,人)的场景的图像。所述方法还包含:确定所述装置的运动;以及至少部分地基于所述装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,其中所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。所检测的一或多个变化特征的变化可包含在对象的表面上出现的小运动变化,例如人的脉动的组织、肤色变化等,其中此些变化与对象经历的全局位置(如果存在)无关。举例来说,无论人是否移动和/或人恰好位于场景中的何处,例如脉动的组织等小运动变化都会出现。换句话说,所跟踪和检测的一或多个变化特征的变化为相对于目标对象的某些特征出现的变化,而不是目标对象的全局位置的变化。
在一些实施例中且如在下文将变得显而易见,确定移动装置(还被称作手持式装置)的运动可包含跟踪呈现于由图像捕获单元捕获的多个图像中的静止参照物(即,定位于场景中的固定地点处的某一参照点(例如,灯、桌子或在短持续时间图像捕获时段期间大体上静止的任何其它对象))的位置,以及基于多个所捕获图像中的参照物的所跟踪位置确定装置的运动。也就是说,通过在已知参照物已保持静止或假定其已保持静止的某一时间段期间跟踪若干所捕获图像中的参照物,参照物的位置的变化可归因于由移动装置经历的移动。因此,可对准所捕获图像,从而使得能够确定在场景中的对象处出现的小变化。
举例来说且参考图1,展示由移动装置110的图像捕获单元(例如,相机,例如电荷耦合装置(CCD))捕获的实例场景100。图像捕获单元(此图中未展示)经配置以自动或响应于用户的激活而捕获场景的图像114a到114n(图1中将图像捕获单元的视场说明为虚线112a与112b之间的区域)。如图1中所描绘,所捕获的场景包含目标对象,例如,人120,所述目标对象包含展现小变化的特征。举例来说,人的组织表面区域甚至在人不移动时也会将根据人的呼吸模式和/或心跳而起落。可从由图像捕获单元捕获的图像检测/确定这些小变化(如下文将变得显而易见),且可计算人的对应于所检测/确定小变化的生物识别特性(例如,呼吸频率、心率)。
确定场景中的目标对象的特征的小运动变化一般要求图像捕获单元为静态/静止的,使得所捕获场景的变化可归因于由场景中的对象或由对象的某些特征经历的实际变化(例如,在对象表面区域上的对象的小变化)。然而,当使用配备有图像捕获单元的移动装置时,移动装置的位置的抖动(因为无法将装置维持/固持在固定的稳定位置中)在对象呈现于场景的所捕获图像中时引起对象的位置的变化/偏移。因此,在一些实施例中,移动装置110(或从手持式单元接收数据的某一其它远程服务器)经配置以跟踪移动装置的运动且对准所捕获图像(如由图1中的框116示意性地表示),使得可确定在场景中出现的实际运动(无论是对象的变化特征的小运动,还是场景中的一或多个对象的全局运动)。在一些实施方案中且如下文将详细论述,可通过跟踪大体上已知或可假定为在不同所捕获图像中静止的参照物的位置并基于所跟踪参照物的不同位置对准不同所捕获图像来确定移动装置的运动。在图1中所描绘的实例场景100中,移动装置110可跟踪参照物,例如,放在桌子124上的灯122。然而,已知或假定为静止的任何其它对象可充当参照物,可出于对准由易于抖动和小幅移动的移动装置捕获的不同图像的目的而跟踪所述参照物。在已对准不同图像的情况下,与被监测的目标对象(例如,需要监测呼吸频率和心率的非移动的人)相关联的光学/视觉变化可归因于对象的变化特征。
在一些实施例中,可使用经配置以测量装置的运动的机载传感器(例如,示意性地展示于图3中)(例如,惯性传感器(还被称作定向传感器))来执行确定由移动装置经历的运动。此类惯性传感器可包含(例如)加速度计、陀螺仪、磁力计等。因此,在此类实施例中,确定移动装置的运动可包含从一或多个装置传感器获得一或多个测量值,以及基于从一或多个传感器获得的一或多个测量值确定移动装置的运动(例如,其定向相对于先前所确定的定向的变化)。在一些实施例中,可基于对参照物的跟踪和由装置的一或多个惯性传感器执行的测量两者确定移动装置的运动。可使用用以确定移动装置的运动的其它过程/技术,可基于所述其它过程/技术使由装置的图像捕获单元在不同时间捕获的图像对准或以其它方式相关。
基于移动装置(例如,图1的装置110)的所确定运动(其使得由装置的图像捕获单元在不同时间捕获的不同图像能够对准/相关),确定目标对象的特征的与对象的全局位置无关的变化(例如,作为由图1的框118示意性地表示的处理操作的部分)。在一些实施方案中,检测对象的变化特征的变化(例如,脉动的表面区域组织的位置的变化、表面区域组织的颜色的变化等)可包含处理由装置的图像捕获单元捕获的图像以提取变化特征的变化。举例来说,此处理可包含应用欧拉运动放大过程,如下文将更详细地描述,以检测和/或提取变化特征。其它类型的滤波过程/技术也可应用于所捕获图像以提取变化特征的变化。确定变化特征的变化可包含相对于图像中所含有的其它视觉信息放大/扩大此些变化(例如,比图像中的其它特征更多地增大某些所检测特征变化的幅度)。可从所确定特征导出与所确定特征相关联的信息。举例来说,在人肤色变化(指示人的脉搏或血压)或人皮肤表面的小位置变化(例如,指示脉搏或呼吸率的脉动)的实施例中,所确定变化可用于导出人的生物识别特性(例如,脉搏、呼吸率、血压等)。
参考图2,展示移动装置(例如,移动装置208)的实例操作环境200的示意图。移动装置(也被称作无线装置或移动台)208可类似于图1中所描绘的移动装置110,且可经配置以与多个类型的其它通信系统/装置操作和交互,所述其它通信系统/装置包含局域网装置(或节点),例如用于室内通信的WLAN、毫微微小区、基于蓝牙的收发器、其它类型的室内通信网络节点、广域无线网络节点、卫星通信系统等,且因此,移动装置208可包含用以与各种类型的通信系统通信的一或多个接口。如本文中所使用,移动装置208可与之通信的通信系统/装置还被称作接入点(AP)。移动装置208还可经配置以确定其运动且检测目标对象(其可在其它方面静止)的一或多个变化特征的变化(例如,小幅运动),所述变化可从由装置的图像捕获单元捕获的图像观测或检测到(即使变化特征过小或过细微而不足以被肉眼观测到)。所述装置还可经配置以基于被监测的对象的特征的所检测/确定变化确定各种参数和值(例如,用装置的图像捕获单元监测的人的生物识别特性值/参数)。在一些实施例中,可由远程服务器(例如,图2中所描绘的服务器210)执行处理中的至少一些(例如,从所捕获图像确定对象的特征的变化),装置208可与所述远程服务器建立通信链路(例如,经由图2中所说明的通信节点中的一或多者)。
如所提到,操作环境200可含有一或多个不同类型的无线通信系统或节点。也被称作无线接入点(或WAP)的此类节点可包含LAN和/或WAN无线收发器,包含(例如)WiFi基站、毫微微小区收发器、蓝牙收发器、蜂窝式基站、WiMax收发器等。因此,举例来说且继续参考图2,操作环境200可包含局域网无线接入点(LAN-WAP)206a到206e,其可用于与移动装置208的无线语音和/或数据通信。在一些实施例中,还可(例如)通过实施基于(例如)到达时间或信号强度技术的基于三边测量的过程将LAN-WAP206a到206e用作独立位置数据源。LAN-WAP206a到206e可为无线局域网(WLAN)的部分,其可在建筑物中操作且在比WWAN小的地理区上执行通信。另外,在一些实施例中,LAN-WAP206a到206e还可为作为WWAN网络的部分的微微小区或毫微微小区。在一些实施例中,LAN-WAP206a到206e可为(例如)WiFi网络(802.11x)、蜂窝式微微网和/或毫微微小区、蓝牙网络等的部分。LAN-WAP206a到206e还可形成室内定位系统的部分。虽然图2中描绘五(5)个LAN-WAP接入点,但可使用任何数目的此类LAN-WAP,且在一些实施例中,操作环境200可根本不包含LAN-WAP接入点,或可包含单个LAN-WAP接入点。此外,图2中所描绘的LAN-WAP206a到206e中的每一者可为可移动节点,或可以其它方式能够重定位。
如图2中进一步展示,在一些实施例中,操作环境200还可包含多个一或多个类型广域网无线接入点(WAN-WAP)204a到204c,其可用于无线语音和/或数据通信,且还可充当移动装置208可用以确定其位置/地点的另一独立信息源。WAN-WAP204a到204c可为广域无线网络(WWAN)的部分,其可包含蜂窝式基站,和/或其它广域无线系统,例如WiMAX(例如,802.16)、毫微微小区收发器等。WWAN可包含图2中未展示的其它已知网络组件。通常,WWAN内的每一WAN-WAP204a到204c可从固定位置操作,且提供对大城市和/或地区性区域的网络覆盖。虽然图2中描绘三(3)个WAN-WAP,但可使用任何数目的此类WAN-WAP。在一些实施例中,操作环境200可根本不包含WAN-WAP,或可包含单个WAN-WAP。另外,图2中所描绘的WAN-WAP204a到204c中的每一者可为可移动节点,或可以其它方式能够重定位。
去往和来自移动装置208的通信(用以交换数据,使得能够确定装置208的位置等)因此在一些实施例中也可使用各种无线通信网络来实施,例如广域无线网络(WWAN)、无线局域网(WLAN)、无线个人区域网(WPAN)等等。术语“网络”与“系统”可互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、WiMax(IEEE802.16)等等。CDMA网络可实施一或多个无线电接入技术(RAT),例如cdma2000、宽带CDMA(W-CDMA)等等。cdma2000包含IS-95、IS-2000和/或IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的联盟的文献中。cdma2000描述于来自名为“第3代合作伙伴计划2”(3GPP2)的联盟的文献中。3GPP和3GPP2文献可公开获得。WLAN还可为IEEE802.11x网络,且WPAN可为蓝牙网络、IEEE802.15x或某一其它类型的网络。本文中所描述的技术还可用于WWAN、WLAN和/或WPAN的任何组合。
在一些实施例中且如图2中进一步所描绘,移动装置208还可经配置以至少接收来自卫星定位系统(SPS)202a到202b的信息,所述SPS可用作移动装置208的独立位置信息源。移动装置208可因此包含一或多个专用SPS接收器,其经具体设计以从SPS卫星接收用于导出地理地点信息的信号。因此,在一些实施例中,移动装置208可与SPS卫星202a到202b、WAN-WAP204a到204c和/或LAN-WAP206a到206e中的任一者或组合通信。
如本文中所使用,移动装置或台(MS)指代装置,例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机,或能够接收无线通信和/或导航信号(例如,导航定位信号)的其它合适移动装置。术语“移动台”(或“移动装置”或“无线装置”)还欲包含(例如)通过短程无线、红外线、有限线路连接或其它连接与个人导航装置(PND)通信的装置,而不管装置处或PND处是否发生卫星信号接收、辅助数据接收和/或与位置相关的处理。另外,“移动台”欲包含能够(例如)经由因特网、WiFi或其它网络与服务器通信的所有装置,包含无线通信装置、计算机、膝上型计算机、平板计算机装置等,而不管在装置处、服务器处或与网络相关联的另一装置处是否发生卫星信号接收、辅助数据接收和/或与位置相关的处理。以上各项的任何可操作组合也被视为“移动台”。在一些实施例中,可由不具有无线功能性(例如,用以与其它远程装置无线地通信的功能性)的装置执行本文中所描述的过程,其包含用以确定装置的运动、至少部分地基于所确定装置运动检测呈现于一或多个所捕获图像中的对象的特征的变化等的过程。
现在参考图3,展示可类似于分别关于图1和2描述的装置110和/或208的移动装置300的框图。如图3中所说明,移动装置300可包含至少一个定向传感器(也被称作空间或惯性传感器)320,其可为(例如)磁力计、加速度计(例如,3D加速度计)、陀螺仪等。虽然描绘仅一个定向传感器,但额外传感器可与装置300包含在一起。移动台进一步包含图像捕获装置,例如相机330(例如,电荷耦合装置(CCD)型相机、CMOS型相机等),其可产生可在例如显示器或屏幕等用户接口装置上显示的静态或移动图像(例如,视频序列)。
移动装置300可包含接收器340,例如经由天线344接收来自SPS卫星(例如,图2的卫星202a到202b)的信号的卫星定位系统(SPS)接收器。移动装置300还可包含无线收发器335,其可为(例如)蜂窝式调制解调器或无线网络无线电接收器/发射器,其经配置以发送通信到一或多个无线接入点(例如,图2的LAN-WAP206a到206e和/或WAN-WAP204a到204c中的任一者)并从一或多个无线接入点接收通信,或配置有经配置以用于无线/蜂窝式通信的任何其它类型的网络节点。可经由专用天线336、经由天线344或经由某一其它天线而实现去往和来自无线收发器的通信。如果需要,移动装置300可包含充当蜂窝式调制解调器和无线网络无线电接收器/发射器的单独收发器。
至少一个定向传感器320、相机330、SPS接收器340和无线收发器335连接到控制器350且与其通信。控制器350经配置以(例如)接受且处理来自至少一个定向传感器320、相机330、SPS接收器340和/或无线收发器335的数据,且控制装置300的各种机载单元/模块的操作以及移动装置300的一般操作。控制器350还可经配置以处理由相机330捕获的图像,包含(例如)跟踪呈现于图像中的参照物(被假定或已知为静止)的位置,基于参照物的所跟踪位置确定装置的运动,基于装置的所确定运动使所捕获图像对准或以其它方式相关,检测目标对象的特征的变化(此些特征变化大体上与对象的位置无关,对象可为静止对象)等。在一些实施方案中,控制器350可包含处理器352和相关联存储器354、时钟353、硬件356、软件358和固件357。在一些实施例中,移动台控制器350可进一步包含专用图像处理引擎355,其为清楚起见与处理器352分开地说明,但其可构成处理器352的部分。图像处理引擎355经配置以处理图像和/或执行本文中所描述的过程的操作中的至少一些。在一些实施例中,可相对于移动装置300远程地执行本文中所描述的过程的操作中的至少一些。举例来说,可将由相机330捕获的图像的图像数据中的一些传达到远程服务器(例如,图1的服务器210)以便在此远程服务器处执行本文中所描述的图像处理操作的至少部分。
移动装置300还包含与控制器350通信的用户接口360,例如控制器350可接受数据且控制用户接口360。用户接口360包含可显示图像的显示器362,所述图像包含由相机330产生的图像。显示器362可进一步显示控制菜单和位置信息。用户接口360进一步包含输入接口装置,例如小键盘364、触摸屏(未图示)、麦克风和扬声器(未图示),或用户可用以将信息输入到移动台300中的其它输入装置。
现在参考图4,展示用以检测对象的一或多个变化特征的实例过程400的流程图。过程400包含由移动装置(例如,图1、2和3中分别展示的装置110、208或300)的图像捕获单元(例如,相机,例如,CCD或CMOS相机)捕获410包含目标对象的场景的图像。可根据携带移动装置的用户(其可激活图像捕获单元)的判断来执行捕获包含待监测的目标对象的场景的图像。替代地和/或另外地,捕获图像可响应于确定某一预定条件已被符合或满足而被自动引发。举例来说,可在以下情况下激活图像捕获单元:a)在某一预定时间,b)响应于从与目标对象相关联的无线装置(例如,RFID标签)接收到识别信号,c)响应于基于由移动装置接收的视觉或音频信息辨识出对象等。在一些实施例中,屏幕显示器(例如,图3的装置300的显示器362)可呈现用装置的相机拍摄的图像,使得用户能够将相机恰当地指向所要目标对象。在一些实施例中,移动装置可包含用以实现同时拍摄多个图像的多个相机(例如,后置和前置相机,位于其一侧上的另一相机,等),可根据所述多个图像来监测多个目标对象。
如图4中所进一步展示,过程400还包含确定420移动装置的运动。如所提到,由用户固持且指向所关注的目标对象(例如,待测量生物识别参数的病人)的移动装置可经受小的移动(例如,抖动),从而导致装置(和因此装置的机载图像捕获单元)相对于场景的定向改变、装置与场景的距离改变等。另外地和/或替代地,所述装置可经历甚至更大的移动,例如在固持装置的用户故意移动到不同地点时。因此,确定由装置经历的运动/移动以使得在装置在不同地点中时捕获的图像可被对准。
在一些实施方案中,可至少部分地基于如通过位于移动装置上的一或多个惯性(定向)传感器测量的装置定向的变化而确定移动装置的运动。举例来说,移动装置可包含加速度计,例如在一些实施例中基于微机电系统(MEMS)技术实施的3D加速度计。在一些实施例中,可使用(例如)三(3)个1D加速度计来实施3D加速度计。所述装置可包含多于一个3D加速度计。加速度计经配置以感测/测量可参考至少两个轴测量的线性运动,即,平面(例如,局部水平面)上的平移。此加速度计还可经配置以测量对象的倾角。因此,可用3D加速度计感测笛卡尔坐标空间(x,y,z)中的对象运动以及重力方向,重力方向指示加速度计的向下方向。在一些实施例中,所述装置还可包含陀螺仪传感器,陀螺仪传感器可基于微机电系统(MEMS)技术而实施,且可为单轴陀螺仪、双轴陀螺仪或经配置以感测围绕(例如)三个正交轴的运动的3D陀螺仪。可代替基于MEMS的陀螺仪或除基于MEMS的陀螺仪之外使用其它类型的陀螺仪。在一些实施例中,移动装置可进一步包含经配置以测量磁场强度和/或方向的磁力计,且在一些实施例中可测量相对于磁北的绝对定向(其可转换成相对于真北的定向)。在一些实施方案中,可使用基于MEMS的磁力计。此类基于MEMS的传感器可经配置以检测由通过MEMS导体的电流产生的洛仑兹力引起的运动。可代替基于MEMS的实施方案或除基于MEMS的实施方案之外在移动装置的实施方案中使用其它类型的磁力计,包含(例如)霍耳效应磁力计、旋转线圈磁力计等磁力计。移动装置可包含其它类型的传感器装置。
因此,基于使用一或多个惯性传感器获得的测量值,可确定由移动装置经历的运动(例如,在由装置的图像捕获单元捕获的两个连续图像之间的间隔期间经历的运动)。所述所确定运动可包含在所述间隔期间行进的距离、定向的相对变化等。应注意,在一些实施例中,可能不必知道装置的绝对地点或定向。实际上,在此类实施例中,仅需要确定在(例如)连续图像捕获之间的间隔期间定向的变化或由装置行进的距离,以便将稍后所捕获图像与早先所捕获图像对准。
在一些实施例中,通过计算参考图像与后续图像之间的单应性来对准图像。可由跟踪器基于特征点之间的对应性而估计单应性矩阵。或者,可从由传感器估计的旋转和平移矩阵计算单应性矩阵(例如,假设已知图像的平面法线)。可由跟踪器从特征对应性估计平面法线。一旦此信息可用,可使用(例如)卡尔曼滤波器组合来自跟踪器和传感器的观测结果,以估计相机的姿势。因此,给定旋转矩阵R、平移矩阵T和平面法线n,通过以下公式给出单应性矩阵:
H=R+(1/d)nT′,
其中d为到平面的距离,且可被设置成1而不丢失一般性,且T′为经转置的平移矩阵。
如所提到,在一些实施例中,可通过跟踪场景中的参照物(其已知或假定为静止)而确定由移动装置经历的运动。因此,参照物的位置的变化可归因于由装置进行的运动。参照物的从第一个所捕获图像到第二个随后所捕获图像的位置、定向和/或尺寸变化可因此用于再对准参照物,且因此将第二图像的整体与第一图像对准。在一些实施例中,可通过识别参照物的特征上的易于辨识的点来执行参照物的跟踪。装置可事先知道参照物。替代地和/或另外地,在一些实施例中,操作移动装置的用户可识别(例如,通过触摸屏或某一其它输入接口)待跟踪的参照物。可因此动态地选择待跟踪的对象。在一些实施例中,可识别并跟踪多于一个参照物。还可使用用以识别被跟踪对象中的适当点的其它方式和过程。
在一些实施例中,一旦已在第一图像和第二图像的坐标系中识别出参照物的参考点(然而,应注意,可使用多于两个图像),就可将那些点在图像坐标系中的每一者的坐标用于导出变换矩阵T,T将第二图像从其坐标系变换到第一图像的坐标系,因此使得能够将场景的第二图像中的静止对象与在场景的第一所捕获图像中呈现的那些相同静止对象对准。在一些实施方案中,可通过求解变换矩阵T的参数来执行变换矩阵T的导出,所述参数将第二图像中的参考点的坐标映射到在第一图像的坐标系中所表达的相同参考点的坐标。
返回到图4,如所展示,在场景的图像被捕获且移动装置的运动被确定的情况下,至少部分地基于装置的所确定运动从所捕获图像检测430对象的一或多个变化特征的变化(例如,在对象的表面处出现的小运动、颜色变化等),一或多个变化特征的所述变化与目标对象在场景中的位置无关。如所提到,在一些实施方案中,移动装置的所确定运动被用于将所捕获图像与参考图像(例如,早先所捕获图像)对准,或以其它方式确定对应于第一所捕获图像的第一参照系,且将其它所捕获图像的参照系与第一参照系配准。在对准所捕获图像中的至少一些的情况下,将图像处理操作(例如,滤波操作)应用于所对准图像以隔离和/或提取所监测目标对象的一或多个变化特征,所述一或多个变化特征与对象的位置(相对或绝对)无关。在所监测对象为人的情境中,可从对象的变化特征的所确定变化确定人的生物识别特性(例如,心率、呼吸频率等)。举例来说,人肤色通常随血液循环而变化,且因此,从人的一或多个所捕获图像确定的颜色变化可用于确定人的心率。
在一些实施方案中,一或多个所捕获图像的处理(例如,一旦图像已被对准)可包含可用以将图像的序列分解成不同空间频带(例如,以考虑不同空间频带可具有不同信噪比的事实以及在时间处理期间使用的各种线性近似可适用于一些频带但可能不适用于其它频带的事实)的空间与时间处理的组合。在一些实施例中,可通过空间滤波操作(例如,低通滤波)执行将图像分解成不同频带,在一些实施例中,空间滤波操作后接向下采样操作。
一旦分解成不同空间频带,可将时间处理应用于各种经分解频带(在一些情形中,时间滤波可近似空间平移)。在一些实施例中,将同一时间处理应用于各种频带。举例来说,可将同一时间滤波器(例如,时间带通滤波器)应用于所有空间频带。在此类实施例中,可使用时间函数近似(例如,泰勒级数近似)表示各种图像的各种频带的像素值,可随后将时间滤波器应用于所述像素值。所使用的时间滤波器可取决于待观测/确定的特定性质。举例来说,如果待确定的性质为人的脉搏率(待从在人脸或手臂处出现的例如肤色或皮肤脉动等变化特征确定),那么待应用的时间带通滤波器可在0.4Hz到4Hz(对应于每分钟24跳到240跳)的频率范围内进行滤波。在一些实施例中,可将不同滤波操作应用于不同频带。
在一些实施例中,在将时间滤波操作应用于各种空间频带之后,可按与特定频带相关联的特定放大因数放大所得信号。因此,在一些实施例中,与具有较差信噪比或时间信号函数近似并不完全准确的频带相比,可按更大的因数放大具有较好信噪比或时间函数近似更为合适的频带。包含时间滤波和放大操作的时间处理还被称作欧拉处理。
在一些实施例中,将各种空间频带中的所得经放大时间信号加回到通过时间滤波操作从频带信号移除的相应分量,且组合所得的相加后信号(现在各自包含经放大时间滤波信号和通过时间滤波移除的分量)以产生待检测/确定的小特征变化已被放大的所得信号。
作为欧拉处理的一实例,考虑特定频带的信号,其在特定时间t、在特定地点x的强度I(x,t)表示为:
I(x,t)=f(x+δ(t))
其中δ(t)为位移函数
假设图像可表示为一阶泰勒级数,那么I(x,t)可表示为:
I ( x , t ) ≈ f ( x ) + δ ( t ) ∂ f ( x ) ∂ x
将带通滤波器应用于信号I(x,t)以移除f(x)会产生信号信号 随后按因数α(α可为取决于正被讨论的特定空间频带的可变因数)放大,且将经放大信号加到初始信号I(x,t)可提供经处理信号:
I ~ ( x , t ) ≈ f ( x ) + ( 1 + α ) δ ( t ) ∂ f ( x ) ∂ x
其中位移函数δ(t)已因此被扩大。
可随后将进一步处理应用于所产生的经组合所得信号以确定待确定的所要性质(例如,在用移动装置的图像捕获单元监测的目标对象是人或人的某一部位,如人的头部或手臂时的脉博或呼吸频率)。举例来说,所得图像可经处理以分析和确定在所得图像中呈现的在某一时间段内出现的变化特征的循环数目(例如,一(1)分钟内出现的变化肤色的循环数目,其指示所监测的人的脉博率)。在一些实施例中,可从对应于频带中的一或多者的个别经放大信号(相对于图像中所含有的其它视觉信息而放大)中的一或多者导出待确定的性质(即,不通过添加经分解频带的初始信号分量和/或将所得频带信号组合成单个所得图像而产生所得合成图像)。举例来说,在H.YWu等人的“用于展现世界的细微变化的欧拉视频扩大(EulerianVideoMagnificationforRevealingSubtleChangesintheWorld)”(发表于ACM图形学报(TOG)中,SIGGRAPH2012年,会议论文集,第31卷第4期,文章第65号,2012年7月)中提供关于欧拉图像处理的额外细节,所述论文的内容以全文引用的方式并入本文中。在GuhaBalakrishnan等人的“从视频中的头部动作检测脉博(DetectingPulseFromHeadMotionsinVideo)”,CVPR2013年中描述了用以放大对象的小运动的另一过程,所述论文的内容以全文引用的方式并入本文中。
在一些实施例中,还可使用用以实现对对象的变化特征的确定/检测的其它类型的处理。举例来说,可实施基于获得光体积描记法信号的处理,可根据所述光体积描记法信号确定生物识别参数。举例而言,在W.Verkruysse等人的“使用环境光进行远程体积描记成像(Remoteplethysmographicimagingusingambientlight)”(发表于光学快报,第16卷,第26期,第21434到21445页(2008))中提供此处理的进一步细节,所述论文的内容以全文引用的方式并入本文中。
可通过一或多个基于处理器的计算系统促进本文中所描述的各种过程和操作,包含用以执行移动装置的运动确定的过程、用以检测对象的一或多个变化特征的变化(可从其确定性质/值,例如,生物识别参数)的操作等。因此,参考图5,展示实例计算系统500的示意图。可使用可类似于实例计算系统500的计算系统的部分或全部至少部分地实现本文中所描述的装置、服务器和/或系统中的一或多者(例如,图2中所展示的装置、接入点或服务器中的任一者)。
计算系统500包含通常包含中央处理器单元512的基于处理器的装置510(例如,个人计算机、专门计算装置等等)。除CPU512之外,系统包含主存储器、高速缓冲存储器和总线接口电路(未图示)。基于处理器的装置510可包含大容量存储装置514,例如与计算机系统相关联的硬盘驱动器和/或闪存驱动器。计算系统500可进一步包含可放在用户可访问处的键盘(或小键盘)516和监视器520,例如CRT(阴极射线管)或LCD(液晶显示器)监视器(例如,移动装置的屏幕)。
基于处理器的装置510经配置以促进(例如)本文中所描述的过程的实施(在一些实施例中,可在第一装置(例如,移动装置)处执行过程的操作中的一些,而可在与移动装置通信的系统处执行过程的其它操作)。大容量存储装置514可因此包含计算机程序产品,其在基于处理器的装置510上执行时,致使所述基于处理器的装置执行操作以促进本文中所描述的过程的实施。所述基于处理器的装置可进一步包含用以实现输入/输出功能性的外围装置。此类外围装置可包含(例如)光盘驱动器和/或闪存驱动器,或用于将相关内容下载到所连接系统的网络连接。此类外围装置还可用于下载含有计算机指令的软件以实现相应系统/装置的一般操作。替代地和/或另外地,在一些实施例中,例如FPGA(现场可编程门阵列)、DSP处理器或ASIC(专用集成电路)的专用逻辑电路可用于实施计算系统500。可与基于处理器的装置510包含在一起的其它模块为扬声器、声卡、指针装置,例如鼠标或轨迹球,用户可通过指针装置将输入提供到计算系统500。基于处理器的装置510可包含操作系统。
计算机程序(也被称作程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令,且可以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实施。如本文中所使用,术语“机器可读媒体”是指用以将机器指令和/或数据提供到可编程处理器的任何非暂时性计算机程序产品、设备和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包含接收机器指令作为机器可读信号的非暂时性机器可读媒体。
可在处理单元内或处理单元外部实施存储器。如本文中所使用,术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储器,且不应限于任何特定类型的存储器或任何特定数目个存储器或存储内容存储于的媒体的类型。
如果在固件和/或软件中实施,那么可将功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体和编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用的媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置,磁盘存储装置、半导体存储装置或其它存储装置,或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体;如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD),软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
除存储在计算机可读媒体上之外,还可将指令和/或数据提供为通信设备中所包含的传输媒体上的信号。举例来说,通信设备可包含具有指示指令和数据的信号的收发器。所述指令和数据经配置以致使一或多个处理单元实施权利要求书中所概述的功能。也就是说,通信设备包含具有指示用以执行所揭示功能的信息的信号的传输媒体。在第一时间,通信设备中所包含的传输媒体可包含用以执行所揭示功能的信息的第一部分,而在第二时间,通信设备中所包含的传输媒体可包含用以执行所揭示功能的信息的第二部分。
本文中所描述的标的物中的一些或全部可在计算系统中实施,所述计算系统包含后端组件(例如,作为数据服务器),或包含中间件组件(例如,应用程序服务器),或包含前端组件(例如,具有图形用户接口的客户端计算机或用户可用以与本文中所描述的标的物的实施例交互的网络浏览器),或此些后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或媒体的数字数据通信(例如,通信网络)互连。通信网络的实例包含局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可包含客户端和服务器。客户端和服务器一般远离彼此且通常通过通信网络交互。客户端与服务器的关系一般借助于在相应计算机上运行且彼此具有客户端-服务器关系的计算机程序而产生。
尽管本文中已详细揭示特定实施例,但这仅借助于实例出于说明的目的而完成,且并不希望限制所附权利要求书的范围。具体来说,预期在不脱离由权利要求书定义的本发明的精神和范围的情况下可做出各种替代、更改和修改。其它方面、优点和修改被视为在随附权利要求书的范围内。所呈现的权利要求书代表了本文中所揭示的实施例和特征。也预期其它未主张的实施例和特征。因此,其它实施例在随附权利要求书的范围内。

Claims (30)

1.一种方法,其包括:
由移动装置的图像捕获单元捕获包含目标对象的场景的图像;
确定所述移动装置的运动;以及
至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
2.根据权利要求1所述的方法,其中所述目标对象的所述一或多个变化特征包括以下各者中的一或多者:在所述目标对象的表面处出现的小运动特征,或在所述目标对象的所述表面处出现的颜色变化。
3.根据权利要求1所述的方法,其进一步包括:
确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性。
4.根据权利要求3所述的方法,其中所述目标对象的所述一或多个变化特征包括以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化或脉动的组织,且其中与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性包括以下各项中的一或多者:心率、血压或呼吸率。
5.根据权利要求1所述的方法,其中确定所述移动装置的所述运动包括:
跟踪呈现于由所述图像捕获单元捕获的所述图像中的静止参照物的位置;以及
基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述移动装置的所述运动。
6.根据权利要求5所述的方法,其中至少部分地基于所述移动装置的所述所确定运动检测所述目标对象的所述一或多个变化特征的所述变化包括:
基于所述静止参照物的所述所跟踪位置对准所述一或多个所捕获图像中的至少两个;以及
从所述所对准的两个或两个以上所捕获图像确定所述目标对象的所述一或多个变化特征的所述变化。
7.根据权利要求1所述的方法,其中确定所述移动装置的所述运动包括:
从所述移动装置的一或多个传感器获得一或多个测量值;以及
基于从一或多个传感器获得的所述一或多个测量值确定所述移动装置的所述运动。
8.根据权利要求1所述的方法,其中检测所述目标对象的所述一或多个变化特征的所述变化包括:
确定所述移动装置的所述图像捕获单元的参照系;
将所述所捕获图像中的两者或两者以上与所述移动装置的所述图像捕获单元的所述参照系配准;以及
处理所述所捕获图像中的所述两者或两者以上以提取所述目标对象的所述一或多个变化特征的所述变化,所述所捕获图像中的所述两者或两者以上与所述图像捕获单元的所述参照系配准。
9.根据权利要求1所述的方法,其中检测所述目标对象的所述一或多个变化特征包括:
将滤波过程应用于所述一或多个所捕获图像以提取所述一或多个变化特征的所述变化。
10.根据权利要求1所述的方法,其中检测所述目标对象的所述一或多个变化特征的所述变化包括:
将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化,所述两个或两个以上所捕获图像基于所述移动装置的所述所确定运动而被对准。
11.根据权利要求10所述的方法,其中所述欧拉运动放大过程包括:
对所述两个或两个以上所捕获图像执行滤波操作以提取所述一或多个变化特征的所述变化;以及
放大所述一或多个变化特征的所述所提取变化。
12.一种移动装置,其包括:
图像捕获单元;以及
控制器,其经配置以引起操作,所述操作包括:
由所述图像捕获单元捕获包含目标对象的场景的图像;
确定所述移动装置的运动;以及
至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
13.根据权利要求12所述的移动装置,其中所述控制器进一步经配置以引起进一步操作,所述操作包括:
确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性,所述目标对象的所述一或多个变化特征包括以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化或脉动的组织,其中与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性包括以下各项中的一或多者:心率、血压或呼吸率。
14.根据权利要求12所述的移动装置,其中确定所述移动装置的所述运动包括:
跟踪呈现于由所述图像捕获单元捕获的所述图像中的静止参照物的位置;以及
基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述移动装置的所述运动。
15.根据权利要求12所述的移动装置,其中确定所述移动装置的所述运动包括:
从所述移动装置的一或多个传感器获得一或多个测量值;以及
基于从一或多个传感器获得的所述一或多个测量值确定所述移动装置的所述运动。
16.根据权利要求12所述的移动装置,其中检测所述目标对象的所述一或多个变化特征的所述变化包括:
将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化,所述两个或两个以上所捕获图像基于所述移动装置的所述所确定运动而被对准。
17.根据权利要求16所述的移动装置,其中所述欧拉运动放大过程包括:
对所述两个或两个以上所捕获图像执行滤波操作以提取所述一或多个变化特征的所述变化;以及
放大所述一或多个变化特征的所述所提取变化。
18.一种设备,其包括:
用于捕获包含目标对象的场景的图像的装置;
用于确定所述设备的运动的装置;以及
用于至少部分地基于所述设备的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化的装置,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
19.根据权利要求18所述的设备,其进一步包括:
用于确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性的装置,所述目标对象的所述一或多个变化特征包括以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化或脉动的组织,其中与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性包括以下各项中的一或多者:心率、血压或呼吸率。
20.根据权利要求18所述的设备,其中所述用于确定所述设备的所述运动的装置包括:
用于跟踪呈现于由所述用于捕获的装置捕获的所述图像中的静止参照物的位置的装置;以及
用于基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述设备的所述运动的装置。
21.根据权利要求18所述的设备,其中所述用于确定所述设备的所述运动的装置包括:
用于从所述设备的一或多个传感器获得一或多个测量值的装置;以及
用于基于从一或多个传感器获得的所述一或多个测量值确定所述设备的所述运动的装置。
22.根据权利要求18所述的设备,其中所述用于检测所述目标对象的所述一或多个变化特征的所述变化的装置包括:
用于将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化的装置,所述两个或两个以上所捕获图像基于所述设备的所述所确定运动而被对准。
23.根据权利要求22所述的设备,其中所述欧拉运动放大过程包括:
对所述两个或两个以上所捕获图像执行滤波操作以提取所述一或多个变化特征的所述变化;以及
放大所述一或多个变化特征的所述所提取变化。
24.一种处理器可读媒体,其编程有可执行于处理器上的计算机指令,所述计算机指令在被执行时引起操作,所述操作包括:
由移动装置的图像捕获单元捕获包含目标对象的场景的图像;
确定所述移动装置的运动;以及
至少部分地基于所述移动装置的所述所确定运动从所述所捕获图像检测所述目标对象的一或多个变化特征的变化,所述一或多个变化特征的所述变化与所述目标对象在所述场景中的位置无关。
25.根据权利要求24所述的处理器可读媒体,其进一步包括在被执行时引起进一步操作的指令,所述操作包括:
确定与所述目标对象的所述一或多个变化特征相关联的一或多个生物识别特性,所述目标对象的所述一或多个变化特征包括以下各项中的一或多者:皮肤组织归因于血液在血管中流动的颜色变化或脉动的组织,其中与所述目标对象的所述一或多个变化特征相关联的所述生物识别特性包括以下各项中的一或多者:心率、血压或呼吸率。
26.根据权利要求24所述的处理器可读媒体,其中确定所述移动装置的所述运动包括:
跟踪呈现于由所述图像捕获单元捕获的所述图像中的静止参照物的位置;以及
基于所述所捕获图像中的所述静止参照物的所述所跟踪位置确定所述移动装置的所述运动。
27.根据权利要求26所述的处理器可读媒体,其中至少部分地基于所述移动装置的所述所确定运动检测所述目标对象的所述一或多个变化特征的所述变化包括:
基于所述静止参照物的所述所跟踪位置对准所述一或多个所捕获图像中的至少两个;以及
从所述所对准的两个或两个以上所捕获图像确定所述目标对象的所述一或多个变化特征的所述变化。
28.根据权利要求24所述的处理器可读媒体,其中确定所述移动装置的所述运动包括:
从所述移动装置的一或多个传感器获得一或多个测量值;以及
基于从一或多个传感器获得的所述一或多个测量值确定所述移动装置的所述运动。
29.根据权利要求24所述的处理器可读媒体,其中检测所述目标对象的所述一或多个变化特征的所述变化包括:
将欧拉运动放大过程应用于所述所捕获图像中的两者或两者以上以提取所述一或多个变化特征的所述变化,所述两个或两个以上所捕获图像基于所述移动装置的所述所确定运动而被对准。
30.根据权利要求29所述的处理器可读媒体,其中所述欧拉运动放大过程包括:
对所述两个或两个以上所捕获图像执行滤波操作以提取所述一或多个变化特征的所述变化;以及
放大所述一或多个变化特征的所述所提取变化。
CN201480061617.2A 2013-11-19 2014-10-24 用非静止装置检测对象的变化特征 Pending CN105723417A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/084,490 US9418279B2 (en) 2013-11-19 2013-11-19 Detection of an object's varying features with a non-stationary device
US14/084,490 2013-11-19
PCT/US2014/062121 WO2015076977A1 (en) 2013-11-19 2014-10-24 Detection of an object's varying features with a non-stationary device

Publications (1)

Publication Number Publication Date
CN105723417A true CN105723417A (zh) 2016-06-29

Family

ID=51999506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480061617.2A Pending CN105723417A (zh) 2013-11-19 2014-10-24 用非静止装置检测对象的变化特征

Country Status (6)

Country Link
US (1) US9418279B2 (zh)
EP (1) EP3072106B1 (zh)
JP (1) JP2016538053A (zh)
KR (1) KR20160088896A (zh)
CN (1) CN105723417A (zh)
WO (1) WO2015076977A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791407A (zh) * 2016-12-27 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种自拍控制方法和系统
CN108433727A (zh) * 2018-03-15 2018-08-24 广东工业大学 一种监测婴儿呼吸的方法及装置
CN108960091A (zh) * 2018-06-20 2018-12-07 深圳市科迈爱康科技有限公司 监控系统、方法、可读存储介质及汽车
CN110595749A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020854B2 (en) 2004-03-08 2015-04-28 Proxense, Llc Linked account system using personal digital key (PDK-LAS)
US8219129B2 (en) 2006-01-06 2012-07-10 Proxense, Llc Dynamic real-time tiered client access
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
US7904718B2 (en) 2006-05-05 2011-03-08 Proxense, Llc Personal digital key differentiation for secure transactions
WO2009062194A1 (en) 2007-11-09 2009-05-14 Proxense, Llc Proximity-sensor supporting multiple application services
WO2009102979A2 (en) 2008-02-14 2009-08-20 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
US8918854B1 (en) 2010-07-15 2014-12-23 Proxense, Llc Proximity-based system for automatic application initialization
US8857716B1 (en) 2011-02-21 2014-10-14 Proxense, Llc Implementation of a proximity-based system for object tracking and automatic application initialization
GB201317746D0 (en) 2013-10-08 2013-11-20 Smith & Nephew PH indicator
WO2014183106A2 (en) 2013-05-10 2014-11-13 Proxense, Llc Secure element as a digital pocket
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
JP6325834B2 (ja) * 2014-02-07 2018-05-16 三菱航空機株式会社 整備支援システムおよび整備支援方法
US20150265161A1 (en) * 2014-03-19 2015-09-24 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Parameter Estimation
US10118345B2 (en) * 2015-06-17 2018-11-06 Xerox Corporation System and method for evaluation of a three-dimensional (3D) object during formation of the object
GB2542108B (en) * 2015-06-18 2017-08-30 Flight Path Ip Ltd Automatic dartboard scoring system
WO2017041303A1 (en) * 2015-09-11 2017-03-16 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
US10515350B2 (en) 2016-03-15 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus to trigger mobile payment based on distance
WO2017195038A1 (en) 2016-05-13 2017-11-16 Smith & Nephew Plc Sensor enabled wound monitoring and therapy apparatus
US11324424B2 (en) 2017-03-09 2022-05-10 Smith & Nephew Plc Apparatus and method for imaging blood in a target region of tissue
WO2018162736A1 (en) 2017-03-09 2018-09-13 Smith & Nephew Plc Wound dressing, patch member and method of sensing one or more wound parameters
US11790647B2 (en) * 2017-03-22 2023-10-17 Huawei Technologies Co., Ltd. Object recognition in photographs and automatic sharing
US10210730B2 (en) * 2017-03-31 2019-02-19 The United States of America, as Represented by the Secretary of Homeland Security Security system and method to detect concealed items
US11883262B2 (en) 2017-04-11 2024-01-30 Smith & Nephew Plc Component positioning and stress relief for sensor enabled wound dressings
EP3635732A1 (en) 2017-05-15 2020-04-15 Smith & Nephew plc Wound analysis device and method
WO2018210693A1 (en) 2017-05-15 2018-11-22 Smith & Nephew Plc Negative pressure wound therapy system using eulerian video magnification
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3641627B1 (en) 2017-06-23 2023-05-31 Smith & Nephew PLC Positioning of sensors for sensor enabled wound monitoring or therapy
GB201809007D0 (en) 2018-06-01 2018-07-18 Smith & Nephew Restriction of sensor-monitored region for sensor-enabled wound dressings
GB201804502D0 (en) 2018-03-21 2018-05-02 Smith & Nephew Biocompatible encapsulation and component stress relief for sensor enabled negative pressure wound therapy dressings
CN111093726B (zh) 2017-08-10 2023-11-17 史密夫及内修公开有限公司 实施传感器的伤口监测或治疗的传感器定位
GB201804971D0 (en) 2018-03-28 2018-05-09 Smith & Nephew Electrostatic discharge protection for sensors in wound therapy
GB201718870D0 (en) 2017-11-15 2017-12-27 Smith & Nephew Inc Sensor enabled wound therapy dressings and systems
EP3681376A1 (en) 2017-09-10 2020-07-22 Smith & Nephew PLC Systems and methods for inspection of encapsulation and components in sensor equipped wound dressings
GB201718859D0 (en) 2017-11-15 2017-12-27 Smith & Nephew Sensor positioning for sensor enabled wound therapy dressings and systems
EP3687380A1 (en) 2017-09-27 2020-08-05 Smith & Nephew plc Ph sensing for sensor enabled negative pressure wound monitoring and therapy apparatuses
EP3687396A1 (en) 2017-09-28 2020-08-05 Smith & Nephew plc Neurostimulation and monitoring using sensor enabled wound monitoring and therapy apparatus
JP2021502845A (ja) 2017-11-15 2021-02-04 スミス アンド ネフュー ピーエルシーSmith & Nephew Public Limited Company 統合センサ対応型創傷モニタリングおよび/または治療被覆材ならびにシステム
EP3849401A1 (en) 2018-09-12 2021-07-21 Smith & Nephew plc Device, apparatus and method of determining skin perfusion pressure
GB201820927D0 (en) 2018-12-21 2019-02-06 Smith & Nephew Wound therapy systems and methods with supercapacitors
GB2614490B (en) 2019-03-18 2023-12-06 Smith & Nephew Design rules for sensor integrated substrates
GB201914443D0 (en) 2019-10-07 2019-11-20 Smith & Nephew Sensor enabled negative pressure wound monitoring apparatus with different impedances inks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688999B2 (en) 2004-12-08 2010-03-30 Electronics And Telecommunications Research Institute Target detecting system and method
WO2009036312A1 (en) 2007-09-12 2009-03-19 Freeman Jenny E Device and method for assessing physiological parameters
EP2192546A1 (en) 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
JP5676492B2 (ja) * 2009-03-06 2015-02-25 コーニンクレッカ フィリップス エヌ ヴェ 生体の存在を検出するデバイス及びシステムの機能を制御する方法
KR20120048021A (ko) 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
EP2699146B1 (en) 2011-04-21 2018-12-26 Koninklijke Philips N.V. Device and method for vital sign measurement of a person
US10143377B2 (en) 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
WO2013166341A1 (en) 2012-05-02 2013-11-07 Aliphcom Physiological characteristic detection based on reflected components of light
JP6422865B2 (ja) * 2012-08-02 2018-11-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置及び方法
CN104871212B (zh) * 2012-12-21 2018-11-09 皇家飞利浦有限公司 用于从远程检测到的电磁辐射提取生理信息的系统和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791407A (zh) * 2016-12-27 2017-05-31 宇龙计算机通信科技(深圳)有限公司 一种自拍控制方法和系统
CN108433727A (zh) * 2018-03-15 2018-08-24 广东工业大学 一种监测婴儿呼吸的方法及装置
CN108960091A (zh) * 2018-06-20 2018-12-07 深圳市科迈爱康科技有限公司 监控系统、方法、可读存储介质及汽车
CN108960091B (zh) * 2018-06-20 2021-12-31 深圳市科迈爱康科技有限公司 监控系统、方法、可读存储介质及汽车
CN110595749A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置
CN110595749B (zh) * 2019-04-26 2021-08-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置

Also Published As

Publication number Publication date
EP3072106A1 (en) 2016-09-28
JP2016538053A (ja) 2016-12-08
EP3072106B1 (en) 2018-01-03
KR20160088896A (ko) 2016-07-26
WO2015076977A1 (en) 2015-05-28
US20150138330A1 (en) 2015-05-21
US9418279B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
CN105723417A (zh) 用非静止装置检测对象的变化特征
KR102529120B1 (ko) 영상을 획득하는 방법, 디바이스 및 기록매체
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US9576183B2 (en) Fast initialization for monocular visual SLAM
EP3213031B1 (en) Simultaneous localization and mapping by using earth's magnetic fields
CN105814609B (zh) 用于用户识别、跟踪与设备关联的融合设备与图像运动
CN110716646A (zh) 一种增强现实数据呈现方法、装置、设备及存储介质
CN116051640A (zh) 用于同时定位和映射的系统和方法
US20200273200A1 (en) Camera localization based on skeletal tracking
CN107194969A (zh) 基于消失点确定的传感器校准和位置估计
CN106575437A (zh) 信息处理装置、信息处理方法以及程序
US8836799B2 (en) Method to reject false positives detecting and tracking image objects
KR20190050791A (ko) 모바일 디바이스에서 개선된 보행자 모션 모델링을 위한 사용자-특정 학습
US20210140990A1 (en) Monocular visual-inertial alignment for scaled distance estimation on mobile devices
CN110657802B (zh) 一种gps失效情况下的智能手环导航方法
CN107683496B (zh) 用于3d地图的假设线地图绘制和验证
US20130155211A1 (en) Interactive system and interactive device thereof
US10706243B2 (en) Information processing apparatus and information processing method
US12108139B2 (en) Apparatus, system, method and storage medium
JP6861584B2 (ja) 画像処理装置、画像処理システムおよび制御プログラム
Ching et al. Mobile indoor positioning using Wi-Fi localization and image processing
CN115461695A (zh) 用于使用户和用户设备相关的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629

WD01 Invention patent application deemed withdrawn after publication