JP2016538053A - 非固定デバイスによる物体の変化する特徴の検出 - Google Patents

非固定デバイスによる物体の変化する特徴の検出 Download PDF

Info

Publication number
JP2016538053A
JP2016538053A JP2016531654A JP2016531654A JP2016538053A JP 2016538053 A JP2016538053 A JP 2016538053A JP 2016531654 A JP2016531654 A JP 2016531654A JP 2016531654 A JP2016531654 A JP 2016531654A JP 2016538053 A JP2016538053 A JP 2016538053A
Authority
JP
Japan
Prior art keywords
mobile device
variation
determining
movement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016531654A
Other languages
English (en)
Inventor
ラグラマン・クリシュナムーティ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016538053A publication Critical patent/JP2016538053A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて、対象物の1つまたは複数の変化する特徴の変動を検出することとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している、方法を含む、システム、装置、デバイス、方法、コンピュータプログラム製品、媒体および他の実施態様が開示される。

Description

一部のモバイル電話アプリケーションは、たとえば、フラッシュおよびカメラレンズの上に指を置いて、輝度の変動を追跡することによって、人の脈拍数を測定するためにも使用することができる。また、他のモバイル電話アプリケーションは、胸に電話を置いて、大きく呼吸することによって、人の呼吸頻度を測定するために使用することができる。
H.Y Wuら「Eulerian Video Magnification for Revealing Subtle Changes in the World」(ACM Transactions on Graphics(TOG), SIGGRAPH 2012, Conference Proceedings, Volume 31 Issue 4, Article No. 65, July 2012) Guha Balakrishnanら「Detecting Pulse From Head Motions in Video」(CVPR 2013) W. Verkruysseら「Remote plethysmographic imaging using ambient light」(Optics Express, Vol. 16, Issue 26, pp. 21434-21445(2008))
いくつかの変形形態において、方法が開示される。方法は、モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むステップと、モバイルデバイスの運動を判断するステップと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
本方法の実施形態は、以下の特徴のうちの1つまたは複数を含む、本開示において説明される特徴のうちの少なくともいくつかを含む場合がある。
対象物の1つまたは複数の変化する特徴は、たとえば、対象物の表面において生じる小さい運動特徴、および/または対象物の表面において生じる色変化のうちの1つまたは複数を含むことができる。
方法はさらに、対象物の1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するステップを含むことができる。
対象物の1つまたは複数の変化する特徴は、たとえば、血管内に流れる血液に起因する皮膚組織の色変化および/または脈動する組織のうちの1つまたは複数を含むことができ、対象物の1つまたは複数の変化する特徴に関連付けられるバイオメトリック特性は、たとえば、心拍数、血圧および/または呼吸数のうちの1つまたは複数を含むことができる。
モバイルデバイスの運動を判断するステップは、画像取込ユニットによって取り込まれた画像内に現れる静止基準物体の位置を追跡するステップと、取り込まれた画像内の静止基準物体の追跡された位置に基づいてモバイルデバイスの運動を判断するステップとを含むことができる。
モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するステップは、静止基準物体の追跡された位置に基づいて1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせするステップと、位置合わせされた2つ以上の取り込まれた画像から対象物の1つまたは複数の変化する特徴の変動を判断するステップとを含むことができる。
モバイルデバイスの運動を判断するステップは、モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得るステップと、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、モバイルデバイスの運動を判断するステップとを含むことができる。
対象物の1つまたは複数の変化する特徴の変動を検出するステップは、モバイルデバイスの画像取込ユニットの基準系を決定するステップと、取り込まれた画像のうちの2つ以上をモバイルデバイスの画像取込ユニットの基準系に合わせるステップと、対象物の1つまたは複数の変化する特徴の変動を抽出するために、画像取込ユニットの基準系に合わせられた、取り込まれた画像のうちの2つ以上を処理するステップとを含むことができる。
対象物の1つまたは複数の変化する特徴を検出するステップは、1つまたは複数の変化する特徴の変動を抽出するために、1つまたは複数の取り込まれた画像にフィルタリングプロセスを適用するステップを含むことができる。
対象物の1つまたは複数の変化する特徴の変動を検出するステップは、1つまたは複数の変化する特徴の変動を抽出するために、取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するステップを含むことができ、それらの2つ以上の取り込まれた画像はモバイルデバイスの判断された運動に基づいて位置合わせされている。
オイラー運動増幅プロセスは、1つまたは複数の変化する特徴の変動を抽出するために、2つ以上の取り込まれた画像に対してフィルタリング動作を実行するステップと、1つまたは複数の変化する特徴の抽出された変動を増幅するステップとを含むことができる。
いくつかの変形形態では、画像取込ユニットと、コントローラとを含むデバイスが開示される。コントローラは、画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらすように構成され、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
本デバイスの実施形態は、本方法に関して上で説明された特徴のうちの少なくともいくつかを含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
いくつかの変形形態において、装置が開示される。装置は、対象物を含むシーンの画像を取り込むための手段と、装置の運動を判断するための手段と、取り込まれた画像から、装置の判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するための手段とを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
本装置の実施形態は、本方法および本デバイスに関して上で説明された特徴のうちの少なくともいくつか、ならびに以下の特徴のうちの1つまたは複数を含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
装置はさらに、対象物の1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するための手段を含むことができる。対象物の1つまたは複数の変化する特徴は、たとえば、血管内に流れる血液に起因する皮膚組織の色変化および/または脈動する組織のうちの1つまたは複数を含むことができ、対象物の1つまたは複数の変化する特徴に関連付けられるバイオメトリック特性は、たとえば、心拍数、血圧および/または呼吸数のうちの1つまたは複数を含むことができる。
装置の運動を判断するための手段は、取り込むための手段によって取り込まれた画像内に現れる静止基準物体の位置を追跡するための手段と、取り込まれた画像内の静止基準物体の追跡された位置に基づいて装置の運動を判断するための手段とを含むことができる。
装置の運動を判断するための手段は、装置の1つまたは複数のセンサから1つまたは複数の測定値を得るための手段と、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、装置の運動を判断するための手段とを含むことができる。
対象物の1つまたは複数の変化する特徴の変動を検出するための手段は、1つまたは複数の変化する特徴の変動を抽出するために、取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するための手段を含むことができ、それらの2つ以上の取り込まれた画像は装置の判断された運動に基づいて位置合わせされている。
いくつかの変形形態において、プロセッサ可読媒体が開示される。プロセッサ可読媒体は、プロセッサ上で実行可能なコンピュータ命令でプログラムされ、コンピュータ命令は、実行されるときに、モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらし、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
本プロセッサ可読媒体の実施形態は、本方法、本デバイス、および本装置に関して上で説明された特徴のうちの少なくともいくつかを含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
別段の規定がない限り、本明細書において使用されるすべての技術的および科学的用語は、一般にまたは従来理解されるのと同じ意味を有する。本明細書において使用されるときに、「1つの(aおよびan)」という冠詞は、その冠詞の1つまたは2つ以上の(すなわち、少なくとも1つの)文法的な対象物を指す。例として、「ある要素(an element)」は、1つの要素、または2つ以上の要素を意味する。本明細書において使用されるときに「約」および/または「およそ」は、量、持続時間などの測定可能な値を指すとき、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきを包含するが、これは、そのようなばらつきが、本明細書において説明されるシステム、デバイス、回路、方法、および他の実施態様との関連で適切であるためである。本明細書において使用されるときに「実質的に」は、量、持続時間、物理的属性(周波数など)などの測定可能な値を指すとき、同様に、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきを包含するが、これは、そのようなばらつきが、本明細書において説明されるシステム、デバイス、回路、方法、および他の実施態様との関連で適切であるためである。
特許請求の範囲を含む、本明細書において使用されるとき、「のうちの少なくとも1つ(at least one of)」または「のうちの1つまたは複数(one or more of)」によって始められる項目のリスト内で使用される「または(or)」もしくは「および(and)」は、列挙された項目の任意の組合せが使用できることを示す。たとえば、「A、B、またはCのうちの少なくとも1つ」のリストは、AまたはBまたはCまたはABまたはACまたはBCおよび/またはABC(すなわち、AおよびBおよびC)の組合せのうちのいずれかを含む。さらに、項目A、B、またはCの2つ以上の発生または使用が可能である限り、A、B、および/またはCの複数の使用は、考えられる組合せの一部を形成することができる。たとえば、「A、B、またはCのうちの少なくとも1つ」(あるいは、「A、B、またはCのうちの1つまたは複数」)のリストは、A、AA、AAB、AAA、BB、BCCなどを含むこともできる。
特許請求の範囲を含む、本明細書において使用されるとき、特に明記しない限り、機能、動作、または特徴が項目および/または条件「に基づく(based on)」という文言は、機能、動作、または特徴が述べられた項目および/または条件に基づくこと、そして、その述べられた項目および/または条件に加えて1つもしくは複数の項目および/または条件に基づくことができることを意味する。
本開示の他のおよびさらなる目的、特徴、態様、ならびに利点は、添付の図面の以下の詳細な説明により、より深く理解されるようになる。
シーンの画像を取り込み、処理するためにモバイルデバイスによって実行される動作を示す図である。 モバイルデバイスに関する例示的な動作環境の概略図である。 例示的なモバイルデバイスのブロック図である。 シーン内の物体の1つまたは複数の変化する特徴を検出する例示的な手順の流れ図である。 例示的なコンピューティングシステムの概略図である。
本明細書において、デバイス(たとえば、モバイルデバイスのような非固定モバイルデバイス)の画像取込ユニット(たとえば、カメラ)によって、対象物(人など)を含むシーンの画像を取り込むステップを含む方法を含む、システム、装置、デバイス、方法、コンピュータプログラム製品、媒体および他の実施態様が記述される。また、方法は、デバイスの運動を判断するステップと、デバイスの判断された運動に少なくとも部分的に基づいて、取り込まれた画像から、対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。検出された1つまたは複数の変化する特徴の変動は、たとえば、人の脈動する組織、皮膚色変化などの対象物の表面上で生じる小さい運動変動を含むことができ、そのような変動は、物体によって経験される広域的な位置(もしあるなら)から独立している。たとえば、脈動する組織のような小さい運動変動は、人が移動するか否か、および/またはシーン内で人が偶然居合わせるシーンにおいて生じる。言い換えると、追跡され、検出される1つまたは複数の変化する特徴の変動は、対象物の広域的な位置の変動ではなく、対象物の特定の特徴に関して生じる変動である。
いくつかの実施形態では、そして後に明らかになるように、モバイルデバイス(ハンドヘルドデバイスとも呼ばれる)の運動を判断するステップは、画像取込ユニットによって取り込まれた複数の画像内に現れる静止基準物体、すなわち、シーン内の固定位置に配置される何らかの基準点(たとえば、ランプ、テーブル、または短い持続時間の画像取込期間中に一般的に静止している任意の他の物体)の位置を追跡するステップと、複数の取り込まれた画像内の基準物体の追跡された位置に基づいてデバイスの運動を判断するステップとを含むことができる。すなわち、基準物体が静止したままであることがわかっているか、または静止したままであると推定されるある期間中にいくつかの取り込まれた画像内の基準物体を追跡することによって、基準物体の位置の変化は、モバイルデバイスが受けた動きに起因すると考えることができる。したがって、取り込まれた画像を位置合わせすることができ、それにより、シーン内の物体において生じる小さい変動を判断できるようになる。
たとえば、図1を参照すると、モバイルデバイス110の画像取込ユニット(たとえば、電荷結合デバイス(CCD)のようなカメラ)によって取り込まれる例示的なシーン100が示される。画像取込ユニット(この図には示されない)は、自動的に、またはユーザの起動に応答して、シーンの画像114a〜nを取り込むように構成される(画像取込ユニットの視野が、図1において、破線112aと112bとの間のエリアとして示される)。図1に示されるように、取り込まれたシーンは、小さい変動を示す特徴を含む、人120のような対象物を含む。たとえば、人は、移動していない場合であっても、その人の呼吸パターンおよび/または心拍に従って、組織表面エリアの上下動を有することになる。これらの小さい変動は、画像取込ユニットによって取り込まれた画像から検出/判断することができ(後に明らかになる)、検出/判断された小さい変動に対応する人のバイオメトリック特性(たとえば、呼吸頻度、心拍数)を計算することができる。
シーン内の対象物の特徴の小さい運動変動の判断は、一般的に、取り込まれたシーン内の変動がシーン内の物体または物体の特定の特徴が受けた実際の変動(たとえば、その表面エリア上の物体の小さい変動)に起因すると考えることができるように、画像取込ユニットが動かない/静止していることを必要とする。しかしながら、画像取込ユニットを備えているモバイルデバイスを使用しているとき、モバイルデバイスの位置が小刻み動くことによって(デバイスを一定の安定した位置に維持/保持できないため)、物体がシーンの取り込まれた画像内に現れるときに、物体の位置に変化/シフトが生じる。したがって、いくつかの実施形態では、モバイルデバイス110(またはハンドヘルドユニットからデータを受信する何らかの他の遠隔サーバ)は、モバイルデバイスの運動を追跡し、シーン内で生じる実際の運動(物体の変化する特徴の小さい運動であるか、またはシーン内の1つまたは複数の物体の広域的な運動である)を判断することができるように、取り込まれた画像を位置合わせする(図1のブロック116によって概略的に表される)。いくつかの実施態様では、そして後にさらに詳細に論じられるように、モバイルデバイスの運動は、種々の取り込まれた画像において一般的に静止していることがわかっているか、または静止していると推定することができる基準物体の位置を追跡し、追跡された基準物体の異なる位置に基づいて異なる取り込まれた画像を位置合わせすることによって判断することができる。図1に示される例示的なシーン100では、モバイルデバイス110は、テーブル124上に配置されるランプ122のような基準物体を追跡することができる。しかしながら、静止していることがわかっているか、または静止していると推定される任意の他の物体が、小刻みな動きおよび小規模の動きを生じる傾向があるモバイルデバイスによって取り込まれた異なる画像を位置合わせするために追跡することができる基準物体としての役割を果たすことができる。異なる画像が位置合わせされると、監視されている対象物(呼吸頻度および心拍数を監視する必要がある動いていない人など)に関連付けられる光学的/視覚的変動を、物体の変化する特徴に起因すると考えることができる。
いくつかの実施形態では、モバイルデバイスが受けた運動を判断することは、デバイスの運動を測定するように構成される搭載センサ(たとえば、図3において概略的に示される)、たとえば、慣性センサ(方位センサとも呼ばれる)を用いて実行することができる。そのような慣性センサは、たとえば、加速度計、ジャイロスコープ、磁力計などを含むことができる。したがって、そのような実施形態では、モバイルデバイスの運動を判断することは、モバイルデバイスの1つまたは複数のデバイスセンサから1つまたは複数の測定値を得ることと、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、モバイルデバイスの運動(たとえば、以前に判断された方位に対する方位の変化)を判断することとを含むことができる。いくつかの実施形態では、モバイルデバイスの運動は基準物体の追跡と、デバイスの1つまたは複数の慣性センサによって実行される測定値との両方に基づいて判断することができる。異なる時点においてデバイスの画像取込ユニットによって取り込まれた画像をそれに基づいて位置合わせすることができるか、または別の方法で相関をとることができる、モバイルデバイスの運動を判断する他のプロセス/技法を用いることもできる。
異なる時点においてデバイスの画像取込ユニットによって取り込まれた異なる画像の位置合わせ/相関を可能にする、モバイルデバイス(図1のデバイス110など)の判断された運動に基づいて、物体の広域的な位置から独立している対象物の特徴の変動が、(たとえば、図1のブロック118によって概略的に表される処理動作の一部として)判断される。いくつかの実施態様では、物体の変化する特徴の変動(たとえば、脈動する表面エリア組織の位置の変動、表面エリア組織の色の変動など)を検出することは、変化する特徴の変動を抽出するために、デバイスの画像取込ユニットによって取り込まれた画像を処理することを含むことができる。たとえば、そのような処理は、変化する特徴を検出し、および/または抽出するために、後にさらに詳細に説明されるように、オイラー運動増幅プロセスを適用することを含むことができる。変化する特徴の変動を抽出するために、取り込まれた画像に、他のタイプのフィルタリングプロセス/技法を適用することもできる。変化する特徴の変動を判断することは、画像に含まれる他の視覚情報に対してそのような変動を増幅する/拡大する(たとえば、特定の検出された特徴変動の振幅を画像内の他の特徴より大きく増幅する)ことを含むことができる。判断された特徴から、判断された特徴に関連付けられる情報を導出することができる。たとえば、人の皮膚色の変動(人の脈拍または血圧を示す)、または人の皮膚表面の小さい位置変動(脈拍または呼吸数を示す脈動)が判断される実施形態では、判断される変動を用いて、人のバイオメトリック特性(脈拍、呼吸数、血圧など)を導出することができる。
図2を参照すると、モバイルデバイス208のようなモバイルデバイスに関する例示的な動作環境200の概略図が示される。モバイルデバイス(ワイヤレスデバイスまたは移動局とも呼ばれる)208は、図1に示されたモバイルデバイス110に類似とすることができ、屋内通信用のWLANなどのローカルエリアネットワークデバイス(または、ローカルエリアネットワークノード)、フェムトセル、ブルートゥース（登録商標）ベースの送受信機、他のタイプの屋内通信ネットワークノード、ワイドエリアワイヤレスネットワークノード、衛星通信システムなどを含む、複数のタイプの他の通信システム/デバイスとともに動作し、やりとりするように構成することができ、それにより、モバイルデバイス208は種々のタイプの通信システムと通信するための1つもしくは複数のインターフェースを含むことができる。本明細書において使用されるとき、モバイルデバイス208が通信することができる通信システム/デバイスは、アクセスポイント(AP)とも呼ばれる。また、モバイルデバイス208は、モバイルデバイスの運動を判断し、デバイスの画像取込ユニットによって取り込まれた画像から観測可能または検出可能である対象物の1つまたは複数の変化する特徴(たとえば、小規模の運動)の変動(その変動以外では、静止している場合もある)を(変化する特徴が肉眼によって観測されるにはあまりにも小さいか、または微細であっても)検出するように構成することもできる。また、そのデバイスは、監視されている物体の特徴の検出された/判断された変動に基づいて、種々のパラメータおよび値(たとえば、デバイスの画像取込ユニットによって監視されている人に関するバイオメトリック特性/パラメータの値)を判断するように構成することができる。いくつかの実施形態では、処理のうちの少なくともいくつか(たとえば、取り込まれた画像から物体の特徴の変動を判断すること)は、デバイス208が(図2に示される通信ノードのうちの1つまたは複数を介して)通信リンクを確立することができる遠隔サーバ(たとえば、図2に示されるサーバ210)によって実行することができる。
言及されたように、動作環境200は、1つもしくは複数の異なるタイプのワイヤレス通信システムまたはワイヤレス通信ノードを含むことができる。そのようなノードは、ワイヤレスアクセスポイント(または、WAP)とも呼ばれ、たとえば、WiFi基地局、フェムトセル送受信機、ブルートゥース（登録商標）送受信機、セルラー基地局、WiMax送受信機などを含む、LANおよび/またはWANワイヤレス送受信機を含むことができる。したがって、たとえば、引き続き図2を参照すると、動作環境200は、モバイルデバイス208とのワイヤレス音声および/またはデータ通信のために使用することができるローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)206a〜eを含むことができる。また、LAN-WAP206a〜eは、いくつかの実施形態では、たとえば、到達時間技法または信号強度技法に基づく、たとえば、三辺測量を基にした手順の実施態様を通して、独立した位置データ源として利用することができる。LAN-WAP206a〜eは、建物内で動作し、WWANより狭い地理的領域にわたって通信を実行することができる、ワイヤレスローカルエリアネットワーク(WLAN)の一部とすることができる。さらに、いくつかの実施形態では、LAN-WAP206a〜eは、WWANネットワークの一部であるピコセルまたはフェムトセルとすることもできる。いくつかの実施形態では、LAN-WAP206a〜eは、たとえば、WiFiネットワーク(802.11x)、セルラーピコネットおよび/またはフェムトセル、ブルートゥース（登録商標）ネットワークなどの一部とすることができる。LAN-WAP206a〜eはまた、屋内測位システムの一部を形成することもできる。図2には5つのLAN-WAPアクセスポイントが示されるが、任意の数のそのようなLAN-WAPを使用することが可能であり、いくつかの実施形態では、動作環境200は、LAN-WAPアクセスポイントをまったく含まない場合があるか、または単一のLAN-WAPアクセスポイントを含む場合がある。さらに、図2に示されるLAN-WAP206a〜eの各々は、移動可能なノードとすることができるか、または、別の方法で再配置可能とすることができる。
図2にさらに示されるように、動作環境200は、いくつかの実施形態では、ワイヤレス音声および/またはデータ通信のために使用することができ、それを介してモバイルデバイス208がその位置/ロケーションを判断することができる独立した別の情報源としての役割を果たすこともできる、複数の1つもしくは複数のタイプのワイドエリアネットワークワイヤレスアクセスポイント(WAN-WAP)204a〜cを含むこともできる。WAN-WAP204a〜cは、セルラー基地局、および/または、たとえば、WiMAX(たとえば、802.16)、フェムトセル送受信機など、他のワイドエリアワイヤレスシステムを含むことができるワイドエリアワイヤレスネットワーク(WWAN)の一部とすることができる。WWANは、図2には示されない他の既知のネットワーク構成要素を含む場合もある。通常、WWAN内の各WAN-WAP204a〜204cは、固定位置から動作し、大都市および/または地方エリアにわたるネットワークカバレージを提供することができる。図2には3つのWAN-WAPが示されるが、任意の数のそのようなWAN-WAPを使用することができる。いくつかの実施形態では、動作環境200は、WAN-WAPをまったく含まない場合があるか、または単一のWAN-WAPを含む場合がある。さらに、図2に示されるWAN-WAP204a〜cの各々は、移動可能なノードとすることができるか、または、再配置可能とすることができる。
したがって、(データを交換するため、デバイス208の位置を特定できるようにするためなどの)モバイルデバイス208との間の通信は、いくつかの実施形態では、ワイドエリアワイヤレスネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの種々のワイヤレス通信ネットワークを用いて実施することもできる。「ネットワーク」および「システム」という用語は、交換可能に使用することができる。WWANは、符号分割多重接続(CDMA)ネットワーク、時分割多重接続(TDMA)ネットワーク、周波数分割多重接続(FDMA)ネットワーク、直交周波数分割多重接続(OFDMA)ネットワーク、シングルキャリア周波数分割多重接続(SC-FDMA)ネットワーク、WiMax(IEEE802.16)などとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実現することができる。cdma2000は、IS-95規格、IS-2000規格、および/またはIS-856規格を含む。TDMAネットワークは、モバイル通信用グローバルシステム(GSM（登録商標）:Global System for Mobile Communications)、デジタルアドバンストモバイルフォンシステム(D-AMPS:Digital Advanced Mobile Phone System)、または何らかの他のRATを実現することができる。GSM（登録商標）およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPP文書および3GPP2文書は、公的に入手可能である。また、WLANはIEEE802.11xネットワークとすることもでき、WPANはブルートゥース（登録商標）ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークとすることができる。また、本明細書において説明される技法は、WWAN、WLAN、および/またはWPANの任意の組合せのために使用することもできる。
いくつかの実施形態では、図2にさらに示されるように、モバイルデバイス208は、モバイルデバイス208に関する独立した位置情報源として用いることができる衛星測位システム(SPS)202a〜bから情報を少なくとも受信するように構成することもできる。したがって、モバイルデバイス208は、SPS衛星からジオロケーション情報を導出するための信号を受信するように特に設計された1つまたは複数の専用SPS受信機を含むことができる。したがって、いくつかの実施形態では、モバイルデバイス208は、SPS衛星202a〜b、WAN-WAP204a〜c、および/またはLAN-WAP206a〜eのうちのいずれか1つもしくは組合せと通信することができる。
本明細書で使用する場合、モバイルデバイスまたは移動局(MS)は、セルラーワイヤレス通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、パーソナル情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信信号および/またはナビゲーション位置特定信号などのナビゲーション信号を受信できる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」(または「モバイルデバイス」もしくは「ワイヤレスデバイス」)という用語は、デバイスもしくはパーソナルナビゲーションデバイス(PND)において衛星信号受信、支援データ受信、および/または位置関連処理が行われるかどうかにかかわらず、短距離ワイヤレス、赤外線、有線接続、またはその他の接続などの、PNDと通信するデバイスを含むことも目的とする。また、「移動局」は、インターネット、WiFi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットデバイスなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/もしくは位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらずに含むことを目的とする。上記の任意の動作可能な組合せも、「移動局」と考えられる。いくつかの実施形態では、デバイスの運動を判断する手順、判断されたデバイスの運動に少なくとも部分的に基づいて、1つもしくは複数の取り込まれた画像内に現れる物体の特徴の変動を検出する手順などを含む、本明細書において説明される手順は、ワイヤレス機能(たとえば、他の遠隔デバイスとワイヤレス通信するための機能)を有しないデバイスによって実行される場合もある。
ここで図3を参照すると、図1および図2に関連してそれぞれ説明されたデバイス110および/またはデバイス208に類似とすることができるモバイルデバイス300のブロック図が示される。図3に示されるように、モバイルデバイス300は、たとえば、磁力計、加速度計(たとえば、3D加速度計)、ジャイロスコープなどとすることができる、少なくとも1つの方位センサ(空間センサまたは慣性センサとも呼ばれる)320を含むことができる。1つの方位センサのみが示されるが、デバイス300内にさらなるセンサが含まれる場合もある。移動局は、ディスプレイもしくはスクリーンなどの、ユーザインターフェースデバイス上に表示することができる静止画像または動画(たとえば、ビデオシーケンス)を生成することができるカメラ330(たとえば、電荷結合デバイス(CCD)タイプのカメラ、CMOSタイプのカメラなど)のような、画像取込ユニットをさらに含む。
モバイルデバイス300は、アンテナ344を介してSPS衛星(図2の衛星202a〜bなど)から信号を受信する衛星測位システム(SPS)受信機のような受信機340を含むことができる。また、モバイルデバイス300は、1つもしくは複数のワイヤレスアクセスポイント(図2のLAN-WAP206a〜eおよび/またはWAN-WAP204a〜cのいずれかなど)との間で通信を送り、受信するように構成されるか、あるいはワイヤレス/セルラー通信用に構成された任意の他のタイプのネットワークノードを備える、たとえば、セルラーモデムまたはワイヤレスネットワーク無線受信機/送信機などとすることができるワイヤレス送受信機335を含むこともできる。ワイヤレス送受信機との間の通信は、専用アンテナ336を介して、アンテナ344を介して、または何らかの他のアンテナを介して可能にすることができる。必要なら、モバイルデバイス300は、セルラーモデムおよびワイヤレスネットワーク無線受信機/送信機としての役割を果たす別の送受信機を含むことができる。
少なくとも1つの方位センサ320、カメラ330、SPS受信機340およびワイヤレス送受信機335は、コントローラ350に接続され、コントローラ350と通信する。コントローラ350は、たとえば、少なくとも1つの方位センサ320、カメラ330、SPS受信機340、および/またはワイヤレス送受信機335からデータを受け取り、処理するように構成され、デバイス300の種々の搭載ユニット/モジュールの動作、およびモバイルデバイス300の一般的な動作を制御するように構成される。また、コントローラ350は、たとえば、画像内に現れる、静止していると推定されるか、または静止していることがわかっている基準物体の位置を追跡すること、基準物体の追跡された位置に基づいてデバイスの運動を判断すること、デバイスの判断された運動に基づいて、取り込まれた画像を位置合わせするか、または別の方法で相関をとること、対象物の特徴の変動を検出すること(そのような特徴変動は、静止物体とすることができる物体の位置から一般的に独立している)などを含む、カメラ330によって取り込まれた画像を処理するように構成することもできる。コントローラ350は、いくつかの実施態様では、プロセッサ352および関連メモリ354と、クロック353と、ハードウェア356と、ソフトウェア358と、ファームウェア357とを含むことができる。移動局コントローラ350は、いくつかの実施形態では、明確にするために、プロセッサ352とは別に示されるが、プロセッサ352の一部を構成することができる専用画像処理エンジン355をさらに含むことができる。画像処理エンジン355は、画像を処理し、かつ/または本明細書で説明する手順の動作のうちの少なくともいくつかを実行するように構成される。いくつかの実施形態では、本明細書において説明される手順の動作のうちの少なくともいくつかは、モバイルデバイス300によって遠隔実行することができる。たとえば、本明細書において説明される画像処理動作のうちの少なくとも一部を遠隔サーバ(たとえば、図1のサーバ210)において実行するために、カメラ330によって取り込まれた画像に関する画像データのうちのある量をそのようなサーバに通信することができる。
また、モバイルデバイス300は、コントローラ350と通信するユーザインターフェース360を含み、たとえば、コントローラ350はデータを受け取り、ユーザインターフェース360を制御する。ユーザインターフェース360は、カメラ330によって生成された画像を含む、画像を表示することができるディスプレイ362を含む。ディスプレイ362はさらに、制御メニューおよび位置情報を表示することができる。ユーザインターフェース360はさらに、たとえば、キーパッド364、タッチスクリーン(図示せず)、マイクロフォンおよびスピーカ(図示せず)、またはユーザがそれを通して移動局300に情報を入力することができる他の入力デバイスのような、入力インターフェースデバイスを含む。
ここで図4を参照すると、物体の1つまたは複数の変化する特徴を検出する例示的な手順400の流れ図が示される。手順400は、モバイルデバイス(図1、図2および図3にそれぞれ示されるデバイス110、208または300など)の画像取込ユニット(たとえば、CCDまたはCMOSカメラのようなカメラ)によって、対象物を含むシーンの画像を取り込むこと、410を含む。監視されることになる対象物を含むシーンの画像を取り込むことは、モバイルデバイスを携帯し、画像取込ユニットを起動することができるユーザの裁量で実行することができる。その代わりに、および/またはそれに加えて、画像を取り込むことは、何らかの所定の条件が満たされるか、またはそのような条件と一致すると判断するのに応答して、自動的に開始することができる。たとえば、画像取込ユニットは、a)何らかの所定の時刻に、b)対象物に関連付けられるワイヤレスデバイス(RFIDタグなど)からの識別信号を受信するのに応答して、c)モバイルデバイスによって受信された視覚または音声情報に基づいて物体を認識するのに応答して、などによって起動することができる。いくつかの実施形態では、スクリーンディスプレイ(図3に示すデバイス300のディスプレイ362など)は、ユーザが所望の対象物にカメラを適切に向けることができるように、デバイスのカメラを用いて撮影された画像を提示することができる。いくつかの実施形態では、モバイルデバイスは、複数の画像を併用し、複数の画像からの複数の対象物を監視できるように、複数のカメラ(たとえば、背面カメラおよび正面カメラ、側面のうちの1つに位置する別のカメラなど)を含むことができる。
図4にさらに示されるように、手順400は、モバイルデバイスの運動を判断すること、420も含む。言及されるように、ユーザによって保持され、関心のある対象物(たとえば、そのバイオメトリック特性が測定されることになる患者)に向けられるモバイルデバイスは、小刻みな動きのような小さい動きを受けやすく、結果として、シーンに対するデバイス(それゆえ、デバイスの搭載画像取込ユニット)の方位、シーンからのデバイスの距離などに変化が生じる場合がある。それに加えて、またはその代わりに、デバイスは、デバイスを保持するユーザが意図的に異なる場所に移動するときなどに、さらに大きい動きを受ける場合がある。結果として、デバイスが受ける運動/動きが判断され、デバイスが異なる場所にあった間に取り込まれた画像を位置合わせできるようにする。
いくつかの実施態様では、モバイルデバイスの運動は、モバイルデバイス上に位置する1つまたは複数の慣性(方位)センサを通して測定されるようなデバイスの方位の変化に少なくとも部分的に基づいて判断することができる。たとえば、モバイルデバイスは、いくつかの実施形態ではマイクロ電気機械システム(MEMS)技術に基づいて実現される3-D加速度計のような加速度計を含むことができる。いくつかの実施形態では、3-D加速度計は、たとえば、3つの1-D加速度計を用いて実現することができる。そのデバイスは、2つ以上の3-D加速度計を含む場合もある。加速度計は、少なくとも2つの軸を基準にして測定することができる、局所的な水平面のような平面内で直線運動、すなわち、並進を検知/測定するように構成される。そのような加速度計は、物体の傾斜を測定するように構成することもできる。したがって、3D加速度計によれば、加速度計に関して下方を指示する重力方向だけでなく、直交座標空間(x,y,z)内の物体の運動を検知することができる。いくつかの実施形態では、デバイスはジャイロスコープセンサを含むこともでき、ジャイロスコープセンサは、マイクロ電気機械システム(MEMS)技術に基づいて実現することができ、単軸ジャイロスコープ、2軸ジャイロスコープ、またはたとえば、3つの直交軸についての運動を検知するように構成される3-Dジャイロスコープとすることができる。MEMSベースのジャイロスコープの代わりに、またはそれに加えて、他のタイプのジャイロスコープを用いることができる。いくつかの実施形態では、モバイルデバイスは、磁界の強さおよび/または方向を測定するように構成される磁力計をさらに含むことができ、いくつかの実施形態では、磁北(真北に対する方位に変換することができる)に対する絶対方位を測定することができる。いくつかの実施態様では、MEMSベースの磁力計を使用することができる。そのようなMEMSベースのセンサは、MEMS導体を通る電流によって生成されるローレンツ力によって引き起こされる運動を検出するように構成することができる。たとえば、ホール効果磁力計、回転コイル磁力計などの磁力計を含む、他のタイプの磁力計も、MEMSベースの実施態様の代わりに、またはそれに加えて、モバイルデバイスの実施態様において用いることができる。モバイルデバイスは、他のタイプのセンサデバイスを含むことができる。
したがって、1つまたは複数の慣性センサを用いて得られた測定値に基づいて、モバイルデバイスが受けた運動(たとえば、デバイスの画像取込ユニットによって取り込まれた2つの連続した画像間の間隔中に受けた運動)を判断することができる。判断された運動は、その間隔中に進行した距離、方位の相対的変化などを含むことができる。いくつかの実施形態では、デバイスの絶対位置または方位を知る必要がない場合があることに留意されたい。むしろ、そのような実施形態では、後に取り込まれた画像を早期に取り込まれた画像と位置合わせするために、たとえば、連続する画像取込間の間隔中の方位の変化またはその間隔中にデバイスが進行する距離しか判断する必要がない。
いくつかの実施形態では、画像は、基準画像と後続の画像との間のホモグラフィを計算することによって位置合わせされる。ホモグラフィ行列は、トラッカによって特徴点間の対応に基づいて推定することができる。代替的には、ホモグラフィ行列は、センサによって推定された回転行列および並進行列から計算することができる(たとえば、画像に対する面法線がわかっている場合)。面法線は、トラッカによって、特徴対応から推定することができる。この情報が入手可能であると、トラッカおよびセンサからの観測結果を、たとえば、カルマンフィルタを用いて合成して、カメラの姿勢を推定することができる。こうして、回転行列R、並進行列Tおよび面法線nを仮定すると、ホモグラフィ行列は、以下の式によって与えられる。
H=R+(1/d)nT'
ただし、dは平面までの距離であり、一般性を失うことなく、1に設定することができ、T'は転置並進行列である。
言及されたように、いくつかの実施形態では、モバイルデバイスが受ける運動は、静止していることがわかっているか、または静止していると推定されるシーン内の基準物体を追跡することによって判断することができる。したがって、基準物体の位置の変化は、デバイスによる運動に起因すると考えることができる。それゆえ、第1の取り込まれた画像から第2の後続の取り込まれた画像までの基準物体の位置、方位および/または寸法の変化は、基準物体を位置合わせし直すために、それゆえ、第2の画像の全体を第1の画像に位置合わせするために用いることができる。いくつかの実施形態では、基準物体の追跡は、基準物体の特徴に関する容易に認識可能な点を識別することによって実行することができる。基準物体は、あらかじめデバイスに知られている場合がある。その代わりに、またはそれに加えて、いくつかの実施形態では、モバイルデバイスを操作するユーザが、追跡されることになる基準物体を(たとえば、タッチスクリーンまたは何らかの他の入力インターフェースを通して)識別することができる。したがって、追跡されることになる物体は、動的に選択することができる。いくつかの実施形態では、2つ以上の基準物体が識別され、追跡される場合がある。追跡される物体内の適切な点を識別する他の方法およびプロセスを用いることもできる。
いくつかの実施形態では、基準物体の基準点が第1の画像および第2の画像の座標系において識別されると(しかしながら、3つ以上の画像が用いられる場合もあることに留意されたい)、各画像座標系における、それらの点の座標を用いて、変換行列Tを導出することができ、変換行列Tは、第2の画像を、その座標系から第1の画像の座標系に変換することになり、それにより、シーンの第2の画像内の静止している物体と、シーンの第1の取り込まれた画像内に現れるときに同じ静止している物体と位置合わせできるようになる。いくつかの実施形態では、変換行列Tの導出は、基準点が第1の画像の座標系内で表されるとき、第2の画像内の基準点の座標を同じ基準点の座標系にマッピングする変換行列Tのパラメータの値を求めることによって実行することができる。
図4を再び参照すると、図示されるように、シーンの画像が取り込まれ、モバイルデバイスの運動が判断されると、シーン内の対象物の位置から独立している物体の1つまたは複数の変化する特徴の変動(たとえば、物体の表面において生じる小さい運動、色変化など)が、デバイスの判断された運動に少なくとも部分的に基づいて、取り込まれた画像から検出される、430。言及されるように、いくつかの実施態様では、モバイルデバイスの判断された運動を用いて、取り込まれた画像を基準画像(たとえば、早期に取り込まれた画像)と位置合わせするか、または別の方法で第1の取り込まれた画像に対応する第1の基準系を判断し、他の取り込まれた画像の基準系を第1の基準系に合わせる。取り込まれた画像のうちの少なくともいくつかが位置合わせされると、位置合わせされた画像に画像処理動作(たとえば、フィルタリング動作)を適用して、物体の位置(相対または絶対)から独立している監視されている対象物の1つまたは複数の変化する特徴を分離し、および/または抽出する。監視される物体が人である状況では、物体の変化する特徴の判断された変動から、人のバイオメトリック特性(たとえば、心拍数、呼吸頻度など)を判断することができる。たとえば、人の皮膚の色は一般的に、血液循環とともに変化し、それゆえ、人の1つまたは複数の取り込まれた画像から判断される色変動を用いて、人の心拍数を判断することができる。
いくつかの実施形態では、1つまたは複数の取り込まれた画像の処理は(たとえば、画像が位置合わせされると)、一連の画像を異なる空間周波数帯域に分解することができる空間および時間処理の組合せを含むことができる(たとえば、異なる空間周波数帯が異なる信号対雑音比を有する場合があるという事実、および時間処理中に用いられる種々の線形近似が、ある帯域には適しているが、他の帯域には適していない場合があるという事実を考慮に入れるため)。画像を異なる周波数帯域に分解することは、いくつかの実施形態では、空間フィルタリング動作(たとえば、ローパスフィルタリング)を通して実行することができ、その後、いくつかの実施形態では、ダウンサンプリング動作が行われる場合がある。
異なる空間周波数帯域に分解されると、種々の分解された帯域に時間処理を適用することができる(時間フィルタリングは、状況によっては、空間並進を近似する場合がある)。いくつかの実施形態では、同じ時間処理が種々の帯域に適用される。たとえば、同じ時間フィルタ(たとえば、時間バンドパスフィルタ)がすべての空間周波数帯に適用される場合がある。そのような実施形態では、種々の画像の種々の帯域のためのピクセル値は、後に時間フィルタを適用することができる時間関数近似(たとえば、テーラー級数近似)を用いて表すことができる。用いられる時間フィルタは、観測される/判断されることになる具体的な特性によって決まる場合がある。たとえば、判断されることになる特性が人の脈拍数(人の顔または腕において生じる皮膚の色または皮膚の脈動のような変化する特徴から判断されることになる)である場合には、適用されることになる時間バンドパスフィルタは、0.4Hz〜4Hz(1分あたり24〜240の心拍数に対応する)の周波数範囲においてフィルタリングを行うことができる。いくつかの実施形態では、異なる帯域に異なるフィルタリング動作を適用することができる。
いくつかの実施形態では、種々の空間周波数帯域に時間フィルタリング動作を適用した後に、結果として生成された信号は、特定の帯域に関連付けられる特定の増幅率だけ増幅することができる。このようにして、いくつかの実施形態では、より良好な信号対雑音比を有するか、または時間関数近似がより適切である帯域は、信号対雑音比が良くないか、または時間信号関数近似が必ずしも正確でない帯域より、大きい増幅率だけ増幅することができる。時間フィルタリングおよび増幅動作を含む時間処理は、オイラー処理とも呼ばれる。
いくつかの実施形態では、種々の空間帯域内の結果として生成される増幅された時間信号は、時間フィルタリング動作を通して帯域信号から除去されたそれぞれの成分に再び加算され、結果として加算された信号(ここでは、それぞれ、増幅された時間フィルタリング後の信号と、時間フィルタリングを通して除去された成分とを含む)を合成して、結果として、検出/判断されることになる小さい特徴変動が増幅されている信号を生成する。
オイラー処理の一例として、特定の時刻tにおける特定の場所xに関する強度I(x,t)が以下のように表される、特定の帯域の信号を考える。
I(x,t) = f(x + δ(t))
ただし、δ(t)は変位関数である。
画像が一次テーラー級数として表すことができると仮定すると、I(x,t)は以下のように表すことができる。
Figure 2016538053
信号I(x,t)にバンドパスフィルタを適用し、f(x)を除去する結果として、以下の信号B(x,t)が生成される。
Figure 2016538053
その信号は、その後、増幅率α(それは、対象とする特定の空間帯域によって決まる可変増幅率とすることができる)だけ増幅され、増幅された信号を元の信号I(x,t)に加算して、処理済み信号を与える。
Figure 2016538053
したがって、変位関数δ(t)は拡大されている。
その後、生成された合成後の結果的な信号にさらなる処理を適用して、判断されることになる所望の特性を判断することができる(たとえば、モバイルデバイスの画像取込ユニットで監視される対象物が人、または人の頭もしくは腕のような人のあるエリアであるときの脈拍数または呼吸頻度)。たとえば、結果として生成された画像を処理して、ある期間内に生じる、結果として生成された画像内に現れる変化する特徴のサイクル数を解析し、判断することができる(たとえば、監視される人の脈拍数を示す、変化する皮膚色のサイクルが1分間に何回生じるか)。いくつかの実施形態では、判断されることになる特性は、帯域のうちの1つまたは複数に対応する個々の増幅された信号(画像内の含まれる他の視覚情報に対して増幅される)のうちの1つまたは複数から(すなわち、分解された帯域の元の信号成分を加算し、および/または結果として生成された帯域信号を合成して1つの合成画像にすることによって合成複合画像を生成することなく)導出することができる。オイラー画像処理に関するさらなる詳細は、たとえば、H.Y Wuら「Eulerian Video Magnification for Revealing Subtle Changes in the World」(ACM Transactions on Graphics(TOG), SIGGRAPH 2012, Conference Proceedings, Volume 31 Issue 4, Article No. 65, July 2012)において提供され、その内容は、その全体を参照することにより本明細書に援用される。物体内の小運動を増幅する別の手順が、Guha Balakrishnanら「Detecting Pulse From Head Motions in Video」(CVPR 2013)において記述されており、その内容は、その全体を参照することにより本明細書に援用される。
いくつかの実施形態では、物体の変化する特徴を判断/検出できるようにする他のタイプの処理を用いることもできる。たとえば、そこからバイオメトリック特性を判断することができるフォトプレチスモグラフィ信号を得ることに基づく処理を実現することができる。そのような処理のさらなる詳細が、たとえば、W. Verkruysseら「Remote plethysmographic imaging using ambient light」(Optics Express, Vol. 16, Issue 26, pp. 21434-21445(2008))において提供され、その内容は、その全体を参照することにより本明細書に援用される。
モバイルデバイスのための運動判断を実行する手順、物体の1つまたは複数の変化する特徴の変動(そこから、バイオメトリックパラメータのような特性/値を判断することができる)を検出する動作を含む、本明細書において説明される種々の手順および動作は、1つまたは複数のプロセッサベースのコンピューティングシステムによって容易にすることができる。図5を参照すると、例示的なコンピューティングシステム500の概略図が示される。本明細書において説明されるデバイス、サーバ、および/またはシステムのうちの1つもしくは複数(たとえば、図2に示されるデバイス、アクセスポイント、またはサーバのうちのいずれか)は、少なくとも部分的に、例示的なコンピューティングシステム500と同様とすることができるコンピューティングシステムの一部またはすべてを使用して実現することができる。
コンピューティングシステム500は、通常、中央プロセッサユニット512を含む、パーソナルコンピュータ、専用コンピューティングデバイスなどのプロセッサベースのデバイス510を含む。CPU512に加えて、そのシステムは、メインメモリと、キャッシュメモリと、バスインターフェース回路(図示せず)とを含む。プロセッサベースのデバイス510は、コンピュータシステムに関連付けられるハードドライブおよび/またはフラッシュドライブなどの大容量記憶デバイス514を含むことができる。コンピューティングシステム500は、キーボード、またはキーパッド516、およびユーザがそれらにアクセスすることができる場所に配置することができるモニタ520、たとえば、CRT(陰極線管)モニタもしくはLCD(液晶ディスプレイ)モニタ(たとえば、モバイルデバイスの画面)をさらに含むことができる。
プロセッサベースのデバイス510は、たとえば、本明細書において説明される手順の実施態様を容易にするように構成される(いくつかの実施形態では、手順の動作のうちのいくつかは、モバイルデバイスなどの第1のデバイスにおいて実行される場合があり、一方、他の手順の動作は、モバイルデバイスと通信するシステムにおいて実行される場合がある)。したがって、大容量記憶デバイス514は、プロセッサベースのデバイス510上で実行されるとき、プロセッサベースのデバイスに、本明細書において説明される手順の実施態様を容易にする動作を実行させるコンピュータプログラム製品を含むことができる。プロセッサベースのデバイスは、入出力機能を可能にする周辺デバイスをさらに含むことができる。そのような周辺デバイスは、たとえば、CD-ROMドライブおよび/もしくはフラッシュドライブ、または関連コンテンツを接続されたシステムにダウンロードするためのネットワーク接続を含むことができる。そのような周辺デバイスは、それぞれのシステム/デバイスの一般的な動作を可能にするためのコンピュータ命令を含むソフトウェアをダウンロードするために使用される場合もある。その代わりに、および/またはそれに加えて、いくつかの実施形態では、コンピューティングシステム500の実施態様において、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、DSPプロセッサ、またはASIC(特定用途向け集積回路)を用いることができる。プロセッサベースのデバイス510とともに含まる場合がある他のモジュールは、スピーカ、サウンドカード、それによってユーザがコンピューティングシステム500に入力を与えることができるポインティングデバイス、たとえば、マウスまたはトラックボールである。プロセッサベースのデバイス510はオペレーティングシステムを含むことができる。
(プログラム、ソフトウェア、ソフトウェアプリケーションまたはソフトウェアコードとしても知られる)コンピュータプログラムは、プログラマブルプロセッサ用の機械命令を含み、ハイレベル手続き型および/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実現することができる。本明細書において用いられるとき、「機械可読媒体」という用語は、機械可読信号として機械命令を受信する非一時的機械可読媒体を含む、機械命令および/もしくはデータをプログラマブルプロセッサに与えるために使用される任意の非一時的コンピュータプログラム製品、装置、および/またはデバイス(たとえば、磁気ディスク(disc)、光ディスク(disk)、メモリ、プログラマブル論理デバイス(PLD))を指す。
メモリは、処理ユニット内で実装されるかあるいは処理ユニットの外部で実装することができる。本明細書において用いられるとき、「メモリ」という用語は、任意の種類の長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指しており、いずれかの特定のタイプのメモリもしくはメモリ数に限定されるべきではなく、または、メモリが記憶される媒体のタイプに限定されるべきではない。
機能が、ファームウェアおよび/またはソフトウェアにおいて実施される場合には、コンピュータ可読媒体上に1つまたは複数の命令またはコードとして記憶することができる。例として、データ構造を符号化したコンピュータ可読媒体、およびコンピュータプログラムを符号化したコンピュータ可読媒体がある。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスすることができる任意の入手可能な媒体とすることができる。例であって、限定はしないが、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージ、半導体ストレージ、または他のストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる、任意の他の媒体を含むことができ、本明細書において用いられるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
コンピュータ可読媒体に記憶することに加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として与えることができる。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含むことができる。命令およびデータは、1つまたは複数の処理ユニットに、特許請求の範囲において概説される機能を実施させるように構成される。すなわち、通信装置は、開示される機能を実行するための情報を示す信号を伴う伝送媒体を含む。最初に、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第1の部分を含むことができ、2度目に、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第2の部分を含むことができる。
本明細書において説明される主題のうちのいくつかまたはすべては、(たとえば、データサーバとして)バックエンド構成要素を含むか、もしくは(たとえば、アプリケーションサーバなどの)ミドルウェア構成要素を含むか、またはフロントエンド構成要素(たとえば、それを介してユーザが本明細書において説明される主題の実施形態とやりとりことができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、あるいはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実施することができる。本システムの構成要素は、任意の形態または媒体のデジタルデータ通信、たとえば、通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットを含む。
コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、概して、互いに離れており、一般に、通信ネットワークを通してやりとりする。クライアントおよびサーバの関係は、概して、それぞれのコンピュータ上で実行され、互いに対してクライアント-サーバ関係を有するコンピュータプログラムにより生じる。
特定の実施形態が本明細書において詳細に論じられてきたが、これは、例として例示するためだけに論じられ、以下の添付の請求項の範囲に関して限定することは意図していない。詳細には、特許請求の範囲によって定められる本発明の趣旨および範囲から逸脱することなく、種々の置換、改変、および修正を行うことができると考えられる。他の態様、利点、および修正は、以下の請求項の範囲内にあると見なされる。提示される請求項は、本明細書において開示された実施形態および特徴を表す。他の特許請求されない実施形態および特徴も考えられる。したがって、他の実装形態も以下の特許請求の範囲内にある。
100 シーン
110 モバイルデバイス
112a 破線
112b 破線
114a〜n 画像
116 ブロック
118 ブロック
120 人
122 ランプ
124 テーブル
200 動作環境
202a〜b 衛星測位システム(SPS)
204a〜c ワイドエリアネットワークワイヤレスアクセスポイント(WAN-WAP)
206a〜e ローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)
208 モバイルデバイス
210 サーバ
300 モバイルデバイス
320 方位センサ
330 カメラ
335 ワイヤレス送受信機
336 専用アンテナ
340 受信機
344 アンテナ
350 コントローラ
352 プロセッサ
353 クロック
354 メモリ
355 画像処理エンジン
356 ハードウェア
357 ファームウェア
358 ソフトウェア
360 ユーザインターフェース
362 ディスプレイ
364 キーパッド
500 コンピューティングシステム
510 プロセッサベースのデバイス
512 中央プロセッサユニット(CPU)
514 大容量記憶デバイス
516 キーパッド
520 モニタ

Claims (30)

  1. モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むステップと、
    前記モバイルデバイスの運動を判断するステップと、
    前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、方法。
  2. 前記対象物の前記1つまたは複数の変化する特徴は、前記対象物の表面において生じる小さい運動特徴、または前記対象物の前記表面において生じる色変化のうちの1つまたは複数を含む、請求項1に記載の方法。
  3. 前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するステップをさらに含む、請求項1に記載の方法。
  4. 前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項3に記載の方法。
  5. 前記モバイルデバイスの前記運動を判断するステップは、
    前記画像取込ユニットによって取り込まれた画像内に現れる静止した基準物体の位置を追跡するステップと、
    前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断するステップとを含む、請求項1に記載の方法。
  6. 前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
    前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせするステップと、
    前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断するステップとを含む、請求項5に記載の方法。
  7. 前記モバイルデバイスの前記運動を判断するステップは、
    前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得るステップと、
    前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断するステップとを含む、請求項1に記載の方法。
  8. 前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
    前記モバイルデバイスの前記画像取込ユニットの基準系を決定するステップと、
    前記取り込まれた画像のうちの2つ以上を前記モバイルデバイスの前記画像取込ユニットの前記基準系に合わせるステップと、
    前記対象物の前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記画像取込ユニットの前記基準系に合わせられた、前記取り込まれた画像のうちの前記2つ以上を処理するステップとを含む、請求項1に記載の方法。
  9. 前記対象物の前記1つまたは複数の変化する特徴を検出するステップは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記1つまたは複数の取り込まれた画像にフィルタリングプロセスを適用するステップを含む、請求項1に記載の方法。
  10. 前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するステップを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項1に記載の方法。
  11. 前記オイラー運動増幅プロセスは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行するステップと、
    前記1つまたは複数の変化する特徴の前記抽出された変動を増幅するステップとを含む、請求項10に記載の方法。
  12. 画像取込ユニットと、
    コントローラとを備え、前記コントローラは、
    前記画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
    モバイルデバイスの運動を判断することと、
    前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらすように構成され、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、モバイルデバイス。
  13. 前記コントローラは、
    前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらすようにさらに構成され、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項12に記載のモバイルデバイス。
  14. 前記モバイルデバイスの前記運動を判断することは、
    前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
    前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項12に記載のモバイルデバイス。
  15. 前記モバイルデバイスの前記運動を判断することは、
    前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
    前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項12に記載のモバイルデバイス。
  16. 前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項12に記載のモバイルデバイス。
  17. 前記オイラー運動増幅プロセスは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
    前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項16に記載のモバイルデバイス。
  18. 対象物を含むシーンの画像を取り込むための手段と、
    装置の運動を判断するための手段と、
    前記取り込まれた画像から、装置の前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出するための手段とを備え、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、装置。
  19. 前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するための手段をさらに備え、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項18に記載の装置。
  20. 前記装置の前記運動を判断するための前記手段は、
    前記取り込むための手段によって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡するための手段と、
    前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記装置の前記運動を判断するための手段とを備える、請求項18に記載の装置。
  21. 前記装置の前記運動を判断するための前記手段は、
    前記装置の1つまたは複数のセンサから1つまたは複数の測定値を得るための手段と、
    前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記装置の前記運動を判断するための手段とを備える、請求項18に記載の装置。
  22. 前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するための前記手段は、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するための手段を備え、前記2つ以上の取り込まれた画像は前記装置の前記判断された運動に基づいて位置合わせされる、請求項18に記載の装置。
  23. 前記オイラー運動増幅プロセスは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
    前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項22に記載の装置。
  24. プロセッサ上で実行可能なコンピュータ命令を用いてプログラムされたプロセッサ可読媒体であって、前記コンピュータ命令は、実行されるときに、
    モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
    前記モバイルデバイスの運動を判断することと、
    前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらし、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、プロセッサ可読媒体。
  25. 実行されるときに、
    前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらす命令をさらに含み、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項24に記載のプロセッサ可読媒体。
  26. 前記モバイルデバイスの前記運動を判断することは、
    前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
    前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項24に記載のプロセッサ可読媒体。
  27. 前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
    前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせすることと、
    前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断することとを含む、請求項26に記載のプロセッサ可読媒体。
  28. 前記モバイルデバイスの前記運動を判断することは、
    前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
    前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項24に記載のプロセッサ可読媒体。
  29. 前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項24に記載のプロセッサ可読媒体。
  30. 前記オイラー運動増幅プロセスは、
    前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
    前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項29に記載のプロセッサ可読媒体。
JP2016531654A 2013-11-19 2014-10-24 非固定デバイスによる物体の変化する特徴の検出 Pending JP2016538053A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/084,490 US9418279B2 (en) 2013-11-19 2013-11-19 Detection of an object's varying features with a non-stationary device
US14/084,490 2013-11-19
PCT/US2014/062121 WO2015076977A1 (en) 2013-11-19 2014-10-24 Detection of an object's varying features with a non-stationary device

Publications (1)

Publication Number Publication Date
JP2016538053A true JP2016538053A (ja) 2016-12-08

Family

ID=51999506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531654A Pending JP2016538053A (ja) 2013-11-19 2014-10-24 非固定デバイスによる物体の変化する特徴の検出

Country Status (6)

Country Link
US (1) US9418279B2 (ja)
EP (1) EP3072106B1 (ja)
JP (1) JP2016538053A (ja)
KR (1) KR20160088896A (ja)
CN (1) CN105723417A (ja)
WO (1) WO2015076977A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015147517A (ja) * 2014-02-07 2015-08-20 三菱航空機株式会社 整備支援システムおよび整備支援方法
JP2020522292A (ja) * 2017-05-15 2020-07-30 スミス アンド ネフュー ピーエルシーＳｍｉｔｈ ＆ Ｎｅｐｈｅｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ 創傷分析装置および方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020854B2 (en) 2004-03-08 2015-04-28 Proxense, Llc Linked account system using personal digital key (PDK-LAS)
US8433919B2 (en) * 2005-11-30 2013-04-30 Proxense, Llc Two-level authentication for secure transactions
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
US8036152B2 (en) 2006-01-06 2011-10-11 Proxense, Llc Integrated power management of a client device via system time slot assignment
WO2009062194A1 (en) 2007-11-09 2009-05-14 Proxense, Llc Proximity-sensor supporting multiple application services
US8508336B2 (en) 2008-02-14 2013-08-13 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
US8918854B1 (en) 2010-07-15 2014-12-23 Proxense, Llc Proximity-based system for automatic application initialization
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
GB201317746D0 (en) 2013-10-08 2013-11-20 Smith & Nephew PH indicator
WO2014183106A2 (en) 2013-05-10 2014-11-13 Proxense, Llc Secure element as a digital pocket
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US20150265161A1 (en) * 2014-03-19 2015-09-24 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Parameter Estimation
US10118345B2 (en) * 2015-06-17 2018-11-06 Xerox Corporation System and method for evaluation of a three-dimensional (3D) object during formation of the object
GB2542108B (en) * 2015-06-18 2017-08-30 Flight Path Ip Ltd Automatic dartboard scoring system
EP3347789B1 (en) * 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
US10515350B2 (en) * 2016-03-15 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus to trigger mobile payment based on distance
CN109069712A (zh) 2016-05-13 2018-12-21 史密夫及内修公开有限公司 启用传感器的伤口监测和治疗装置
CN106791407B (zh) * 2016-12-27 2021-02-23 宇龙计算机通信科技(深圳)有限公司 一种自拍控制方法和系统
US11324424B2 (en) 2017-03-09 2022-05-10 Smith & Nephew Plc Apparatus and method for imaging blood in a target region of tissue
US11690570B2 (en) 2017-03-09 2023-07-04 Smith & Nephew Plc Wound dressing, patch member and method of sensing one or more wound parameters
US11790647B2 (en) * 2017-03-22 2023-10-17 Huawei Technologies Co., Ltd. Object recognition in photographs and automatic sharing
US10210730B2 (en) 2017-03-31 2019-02-19 The United States of America, as Represented by the Secretary of Homeland Security Security system and method to detect concealed items
CA3059516A1 (en) 2017-04-11 2018-10-18 Smith & Nephew Plc Component positioning and stress relief for sensor enabled wound dressings
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
AU2018288530B2 (en) 2017-06-23 2024-03-28 Smith & Nephew Plc Positioning of sensors for sensor enabled wound monitoring or therapy
GB201804502D0 (en) 2018-03-21 2018-05-02 Smith & Nephew Biocompatible encapsulation and component stress relief for sensor enabled negative pressure wound therapy dressings
GB201809007D0 (en) 2018-06-01 2018-07-18 Smith & Nephew Restriction of sensor-monitored region for sensor-enabled wound dressings
AU2018312883A1 (en) 2017-08-10 2020-02-20 Smith & Nephew Plc Positioning of sensors for sensor enabled wound monitoring or therapy
GB201718870D0 (en) 2017-11-15 2017-12-27 Smith & Nephew Inc Sensor enabled wound therapy dressings and systems
WO2019048624A1 (en) 2017-09-10 2019-03-14 Smith & Nephew Plc ENCAPSULATION INSPECTION SYSTEMS AND METHODS AND COMPONENTS IN SENSOR EQUIPMENT DRESSINGS
GB201804971D0 (en) 2018-03-28 2018-05-09 Smith & Nephew Electrostatic discharge protection for sensors in wound therapy
GB201718859D0 (en) 2017-11-15 2017-12-27 Smith & Nephew Sensor positioning for sensor enabled wound therapy dressings and systems
WO2019063481A1 (en) 2017-09-27 2019-04-04 Smith & Nephew Plc PH DETECTION FOR NEGATIVE PRESSURE WOUND THERAPY SURVEILLANCE AND THERAPY APPARATUS
EP3687396A1 (en) 2017-09-28 2020-08-05 Smith & Nephew plc Neurostimulation and monitoring using sensor enabled wound monitoring and therapy apparatus
CN111343950A (zh) 2017-11-15 2020-06-26 史密夫及内修公开有限公司 实施传感器的集成伤口监测和/或治疗敷料和系统
CN108433727A (zh) * 2018-03-15 2018-08-24 广东工业大学 一种监测婴儿呼吸的方法及装置
CN108960091B (zh) * 2018-06-20 2021-12-31 深圳市科迈爱康科技有限公司 监控系统、方法、可读存储介质及汽车
GB2592508B (en) 2018-09-12 2022-08-31 Smith & Nephew Device, apparatus and method of determining skin perfusion pressure
GB201820927D0 (en) 2018-12-21 2019-02-06 Smith & Nephew Wound therapy systems and methods with supercapacitors
CN110595749B (zh) * 2019-04-26 2021-08-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020509A1 (en) * 2012-08-02 2014-02-06 Koninklijke Philips N.V. Device and method for extracting physiological information
WO2014095759A1 (en) * 2012-12-21 2014-06-26 Koninklijke Philips N.V. System and method for extracting physiological information from remotely detected electromagnetic radiation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688999B2 (en) 2004-12-08 2010-03-30 Electronics And Telecommunications Research Institute Target detecting system and method
US20100324437A1 (en) 2007-09-12 2010-12-23 Freeman Jenny E Device and method for assessing physiological parameters
EP2192546A1 (en) 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
WO2010100593A1 (en) 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Method of controlling a function of a device and system for detecting the presence of a living being
US8634591B2 (en) 2009-08-20 2014-01-21 Koninklijke Philips N.V. Method and system for image analysis
EP2699146B1 (en) 2011-04-21 2018-12-26 Koninklijke Philips N.V. Device and method for vital sign measurement of a person
WO2013166341A1 (en) 2012-05-02 2013-11-07 Aliphcom Physiological characteristic detection based on reflected components of light
US10143377B2 (en) 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020509A1 (en) * 2012-08-02 2014-02-06 Koninklijke Philips N.V. Device and method for extracting physiological information
JP2015523184A (ja) * 2012-08-02 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ 生理学的情報を抽出する装置及び方法
WO2014095759A1 (en) * 2012-12-21 2014-06-26 Koninklijke Philips N.V. System and method for extracting physiological information from remotely detected electromagnetic radiation
JP2016505317A (ja) * 2012-12-21 2016-02-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015147517A (ja) * 2014-02-07 2015-08-20 三菱航空機株式会社 整備支援システムおよび整備支援方法
JP2020522292A (ja) * 2017-05-15 2020-07-30 スミス アンド ネフュー ピーエルシーＳｍｉｔｈ ＆ Ｎｅｐｈｅｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ 創傷分析装置および方法
JP7272962B2 (ja) 2017-05-15 2023-05-12 スミス アンド ネフュー ピーエルシー 創傷分析装置

Also Published As

Publication number Publication date
KR20160088896A (ko) 2016-07-26
EP3072106A1 (en) 2016-09-28
EP3072106B1 (en) 2018-01-03
US9418279B2 (en) 2016-08-16
US20150138330A1 (en) 2015-05-21
WO2015076977A1 (en) 2015-05-28
CN105723417A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
EP3072106B1 (en) Detection of an object's varying features with a non-stationary device
US11816853B2 (en) Systems and methods for simultaneous localization and mapping
US9576183B2 (en) Fast initialization for monocular visual SLAM
EP3077992B1 (en) Process and system for determining the location of an object by fusing motion features and iamges of the object
US9303999B2 (en) Methods and systems for determining estimation of motion of a device
US9292936B2 (en) Method and apparatus for determining location
US20200025907A1 (en) Systems to track a moving sports object
US9390344B2 (en) Sensor-based camera motion detection for unconstrained slam
US20150092048A1 (en) Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US10733798B2 (en) In situ creation of planar natural feature targets
US20150193971A1 (en) Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US20160116290A1 (en) Simultaneous localization and mapping by using earth's magnetic fields
JP2016504611A (ja) 地図作成と自己位置推定とのための複数のセンサの使用
US11674807B2 (en) Systems and methods for GPS-based and sensor-based relocalization
CN110657802B (zh) 一种gps失效情况下的智能手环导航方法
US11898847B2 (en) Position detecting system and position detecting method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190128