CN112313705A - 视频中细微运动的分析和可视化 - Google Patents
视频中细微运动的分析和可视化 Download PDFInfo
- Publication number
- CN112313705A CN112313705A CN201980040192.XA CN201980040192A CN112313705A CN 112313705 A CN112313705 A CN 112313705A CN 201980040192 A CN201980040192 A CN 201980040192A CN 112313705 A CN112313705 A CN 112313705A
- Authority
- CN
- China
- Prior art keywords
- image
- phase information
- video stream
- motion
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 186
- 238000004458 analytical method Methods 0.000 title description 4
- 238000012800 visualization Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 121
- 230000002123 temporal effect Effects 0.000 claims abstract description 35
- 230000002526 effect on cardiovascular system Effects 0.000 claims abstract description 26
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 26
- 241001465754 Metazoa Species 0.000 claims description 6
- 210000004731 jugular vein Anatomy 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012880 independent component analysis Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000036391 respiratory frequency Effects 0.000 claims 1
- 230000003321 amplification Effects 0.000 abstract description 18
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 13
- 238000001914 filtration Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 14
- 241000699666 Mus <mouse, genus> Species 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000036772 blood pressure Effects 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000036387 respiratory rate Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003534 oscillatory effect Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000007920 subcutaneous administration Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000005228 Pericardial Effusion Diseases 0.000 description 1
- 206010034487 Pericarditis constrictive Diseases 0.000 description 1
- 208000001122 Superior Vena Cava Syndrome Diseases 0.000 description 1
- 201000001943 Tricuspid Valve Insufficiency Diseases 0.000 description 1
- 206010044642 Tricuspid valve stenosis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 208000000839 constrictive pericarditis Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Pulmonology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
示例实施例通过将视频流的图像帧分解成多个空间尺度下和/或取向上的局部相位信息允许对视频流进行快速、高效的运动放大。然后，将每个图像帧的相位信息缩放以放大局部运动，并将缩放的相位信息变换回图像帧，以生成运动放大视频流。相位信息的缩放可以包括在图像帧之间对相位信息进行时间滤波，例如以放大特定频率的运动。在一些实施例中，对在呼吸、心血管脉搏或某个其他感兴趣的过程的频率处的相位信息进行时间滤波允许对视频流内与呼吸或其他感兴趣的特定过程对应的运动的进行运动放大。该相位信息还可以用于确定与视频流内感兴趣的运动对应的时变运动信号。
Description
背景技术
在各种应用中检测和/或放大视频中存在的运动是有利的。例如，放大正在睡眠的孩童的视频中的运动以核实孩童正在呼吸和/或检测孩童的呼吸率可能是有益的。为了放大和/或检测视频中的运动，可以应用各种技术。例如，可以通过比较视频的不同图像来确定光流图(optical flow map)。然后可以例如通过使视频的图像帧失真以增强在光流图中表示的运动来使用这样的光流图来放大视频内的运动。
用于监视人的心率和心动周期的一种已知技术是体积描记图(plethysmogram)，其是对例如皮下静脉或动脉的器官的体积测量。光学获得的体积描记图被称为光电体积描记图，并且可以使用脉搏血氧仪获得，脉搏血氧仪照射人的皮肤并测量由血液供应变化引起的光吸收变化，因为随着每个心动周期，心脏将血液泵送到外周，引起血液系统中的压力脉冲。即使该压力脉冲在到达皮肤以前有所减弱，但也足以使皮下组织中的动脉张开，并且在某些静脉中也可以看到压力脉冲。测量这些压力脉冲提供人的心律和心动周期的度量。
该技术的一种应用是在颈静脉压(JVP)的测量中，颈静脉压通过静脉系统进行间接观察。JVP的测量可有用于区分不同形式的心脏和肺部疾病。但是，难以观察JVP中的压力脉冲。当前，获得JVP迹线(trace)的唯一方法是通过使用导管，这是一种侵入性技术。
发明内容
可以通过变换来自视频流的图像以生成关于图像的内容的局部相位信息来实现运动放大。然后，可以对该相位信息进行缩放、滤波(例如，在视频流的图像之间进行时间滤波)或者以其他方式操纵该相位信息以强调/不强调视频流内的运动。然后，可以将经操纵的相位信息变换回一组图像，以生成运动放大视频流。可转向图像金字塔、Reisz图像金字塔或其他变换可用于生成相位信息和/或将经操纵的相位信息变换回图像。附加地或替代地，相位信息可以用于生成关于视频流内的运动的信息，例如，以检测与呼吸和/或心血管脉搏相关的周期性运动。
本公开的一方面涉及一种由一个或多个计算机实现的方法，该方法包括：(i)通过以下方式生成视频流的第一图像的第一组图像相位信息：(1)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息，其中，第一空间尺度和第二空间尺度不同。该方法还包括：(ii)通过以下方式生成视频流的第二图像的第二组图像相位信息：(1)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息。该方法还包括：(iii)通过以下方式基于第一组图像相位信息和第二组图像相位信息，生成第一组修改的图像相位信息和第二组修改的图像相位信息：(1)将时间滤波器应用于第一组图像相位信息和第二组图像相位信息，以确定在指定时间频率处的第一组图像相位信息的第一分量和在指定时间频率处的第二组图像相位信息的第二分量；(2)通过以第一缩放因子缩放第一组图像相位信息的第一分量来生成第一组修改的图像相位信息；以及(3)通过以第一缩放因子缩放第二组图像相位信息的第二分量来生成第二组修改的图像相位信息。该方法还包括：(iv)生成包括第一运动放大图像和第二运动放大图像的运动放大视频流。生成运动放大视频流包括：(1)将第一和第二组滤波器应用于第一组修改的图像相位信息，以生成第一运动放大图像；以及(2)将第一和第二组滤波器应用于第二组修改的图像相位信息以生成第二运动放大图像。
该方面的方法生成运动放大视频流，其中，视频流中的对象的运动幅度被放大(即，“运动放大图像”)，从而对象的运动在运动放大视频流中比在原始视频流中更容易检测到。此外，该方法仅放大指定频率处或附近的运动幅度。因此，相对于其他时间频率的运动，由于已选择性地增加了该运动的幅度，因此在运动放大图像中更易于检测/观察到指定频率的运动。作为示例，如果图像是人的图像，并且他们的心血管脉搏率是已知的，或者可以从视频流中确定，则可以在运动放大视频流中放大人的心血管脉搏率的运动的幅度，因此其更易于检测到。在一个应用中，可以使用该方法获得JVP迹线，从而避免使用导管的需要。
本公开的另一方面涉及一种由一个或多个计算机实现的方法，该方法包括：(i)通过以下方式生成视频流的第一图像的第一组图像相位信息：(2)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息，其中，第一空间尺度和第二空间尺度不同。该方法还包括：(ii)通过以下方式生成视频流的第二图像的第二组图像相位信息：(1)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息；和(iii)基于第一组图像相位信息和第二组图像相位信息，生成视频流内的特定空间区域的时变运动信号。
该方面的方法生成与视频流内的运动相关的信号。可以修改该方法以提供仅与视频流的特定区域内的运动和/或特定时间频率处或特定时间频率内的运动对应的运动信号。例如，如果视频是人的视频，则提取的运动信号可以与他们的心血管脉搏率、他们的颈静脉压、他们的呼吸率或某个其他感兴趣的属性相关。在一个应用中，可以使用该方法获得JVP迹线，从而避免使用导管的需要。
本公开的再另一方面涉及一种方法，该方法包括：(i)通过设备的相机获得视频流，其中，视频流包括第一图像和第二图像；以及(ii)通过以下方式通过设备的控制器生成第一图像的第一组图像相位信息：(1)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息，其中，第一空间尺度和第二空间尺度不同。该方法还包括：(iii)通过以下方式通过控制器生成第二图像的第二组图像相位信息：(1)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(2)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息。该方法还包括：(iv)通过控制器对第一组图像相位信息和第二组图像相位信息进行缩放，以分别生成第一组修改的图像相位信息和第二组修改的图像相位信息；(v)从设备的发送器发送视频流的指示；和(vi)从发送器发送第一组修改的图像相位信息和第二组修改的图像相位信息的指示。
该方面的方法有利地生成与视频流内的运动相关的信号，并将该运动信号与视频流本身一起发送。然后，接收设备(例如蜂窝电话、计算机)可以使用运动信号来使视频流失真，从而生成运动放大视频流。计算任务的这种分离适合其中视频发送带宽由于在生成视频流的同一设备中执行运动信号生成而受到限制的情况。视频流和/或运动信号然后可以在发送之前被压缩，从而降低了视频发送带宽要求。
为了避免疑虑，术语“第一图像”用于表示视频流的特定图像，并且不要求“第一图像”是视频流的初始图像。
尽管第一图像和第二图像可以是连续图像，但是它们不必是视频流中的连续图像。
视频流可以进一步包括多个附加图像，并且该方法可以进一步包括将第一组滤波器和第二组滤波器应用于多个附加图像中的每一个，以生成多个附加图像的附加图像相位信息。然后，可以以与针对第一组和第二组图像相位信息定义的相同的方式，使用附加图像相位信息来在运动放大视频流中生成一个或多个附加运动放大图像。
通过在适当的情况下参考附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应当理解，在本发明内容部分和本文其他地方提供的描述旨在通过示例而非限制的方式说明所要求保护的主题。
附图说明
图1A描绘了视频流的示例图像的内容。
图1B描绘了图1A中描绘的视频流的一部分内的变化。
图1C描绘了图1B中描绘的视频流的一部分的运动放大版本内的变化。
图2A描绘了示例图像的内容。
图2B描绘了两组图像滤波器。
图2C描绘了图2A的示例图像在通过图2B中描绘的滤波器被滤波之后的版本。
图3A描绘了视频流的示例图像的内容。
图3B示意性地描绘了从图3A中描绘的图像生成的相位信息。
图3C描绘了基于图3B中描绘的相位信息针对图3A中描绘的视频流确定的时变运动信号。
图3D描绘了图3C中描绘的时变运动信号的放大版本。
图4A描绘了包括人颈部的视频流的图像。
图4B描绘了针对图4A中描绘的视频流确定的相位信息的大小。
图4C描绘了图4A中描绘的视频流内的颈静脉脉冲的位置。
图5A描绘了包括小鼠的视频流的图像。
图5B描绘了图5A中描绘的视频流内的感兴趣区域。
图5C描绘了从图5A中描绘的视频流确定的时变运动信号。
图6是示出示例计算系统的一些组件的简化框图。
图7是示出示例计算系统的一些组件的简化框图。
图8是方法的流程图。
图9是方法的流程图。
具体实施方式
本文描述了方法和系统的示例。应当理解，词语“示例性”、“示例”和“说明性”在本文中用来表示“用作示例、实例或说明”。本文中被描述为“示例性”、“示例”或“说明性”的任何实施例或特征不必被解释为比其他实施例或特征优选或有利。此外，本文描述的示例性实施例并不意味着是限制性的。容易理解的是，所公开的系统和方法的某些方面可以以各种不同的配置进行布置和组合。
一、概述
在各种应用中，放大(或缩小)视频中存在的运动(特别是小幅度运动)是有益的。例如，可以放大婴儿监视器提供的视频流中存在的孩童呼吸的细微运动或其他运动，以帮助父母或护理者确认孩童呼吸正常。在另一示例中，可以放大由于皮肤下面血管中血液运动造成的皮肤的微小运动，以检测脉搏率或提供关于视频中存在的人的某些其他医学诊断信息。另外，执行这样的运动放大的方法还提供与视频中存在的运动相关的信号。例如，可以生成与血管上方皮肤的运动相关的运动信号，并将其用于确定脉搏率、估计光电体积描记信号、确定血压或确定关于人的某些其他健康信息。
可以以各种方式实现这样的运动放大和/或检测。例如，用于光流检测的方法可以用于在视频内帧到帧地检测视频流的内容的运动，并且然后该检测的运动可以被放大以生成运动放大的视频流，可以被量化以检测视频内的呼吸或其他运动，或者可以被用于其他应用。附加地或替代地，可以使用滤波或其他变换方法来高效地确定视频流的每个帧内的局部空间相位。这样的局部相位信息类似于图像的傅立叶变换或类似变换的分量的相位，但是以某种方式被限制使得“局部相位”描述图像内的受限局部区域的这样的相位信息。
可以在视频流的多个图像帧之间确定这样的局部相位信息，并且对于视频流的图像内的给定区域，这样的局部相位信息的变化可以与在给定区域中发生的运动相关。由于局部相位信息表示图像内指定区域内图像内容的相位，因此可以在多个不同的空间尺度(spatial scale)下确定局部相位信息(例如，使用可转向图像金字塔、Reisz图像金字塔或某种其他多尺度图像处理技术)以在不同空间尺度下检测运动。因此，可以针对视频流的图像序列确定在视频流的图像内的特定位置处且在特定空间尺度下的局部相位信息，并将其用作该特定尺度下且在视频流中的该特定位置处的运动的代理(proxy)。
这样的运动相关信号可以与呼吸、心血管脉搏或某种其他感兴趣的运动相关，并且运动相关信号可以相应地用于检测和/或分析这样的运动(例如，检测呼吸的存在或呼吸率、检测心血管脉搏率或血压)。附加地或替代地，这样的局部相位信息可以用于在视频流内定位运动和/或运动对象(例如，通过确定视频流的与局部相位信息对应(一个或多个)部分来在视频内定位孩童，该局部相位信息随着时间的推移以与孩童呼吸率对应的方式发生变化)。
可以修改这样生成的局部相位信息，并且将修改的相位信息变换回图像，以生成运动放大和/或运动衰减的视频流。这可以包括在视频流的图像帧之间将时间滤波器或其他技术应用于相位信息，以生成与要放大/衰减的感兴趣运动相关的相位信息的分量。例如，通过提取与视频流内的呼吸或其他感兴趣运动相关的运动信号并从该运动确定呼吸率(或其他特性)，可以从相位信息本身来确定指定时间滤波的频率或其他信息。
在说明性示例中，可以将具有与视频流中表示的人的呼吸率(测量、估计和/或预期的呼吸率)对应的中心频率的带通滤波器应用于从视频流的图像确定的相位信息。例如，可以通过带通滤波器针对特定空间尺度和视频流的帧内的特定位置对视频流的序列图像上的相位信息进行时间滤波，以生成针对特定空间尺度和视频流的帧内位置在带通频率处的相位信息的经滤波分量。可以附加地针对针对视频流确定的相位信息的一些或所有其他空间尺度和/或位置执行这种操作。然后可以将该经滤波的分量乘以大于1(greater-than-unity)的缩放因子，以生成修改的相位信息。然后，可以将修改的相位信息变换回运动放大视频流的图像，其中，在带通中心频率处或附近的运动(例如，与人的呼吸有关的运动)相对于原始视频流被放大。附加地或替代地，相位信息内的某些时间分量可以通过小于1(less-than-unity)的缩放因子来缩放，以缩小对应运动。例如，可以将高通滤波器应用于视频流的相位信息，并且可以衰减图像相位信息的所得分量。然后，可以将修改的相位信息变换回运动放大视频流的图像，其中，在高通频率以上或附近的运动(例如，与视频流中的热雾(heat haze)相关的运动)相对于原始视频流被缩小。
图1A示出了表示船的视频流的示例帧100。随时间推移(即，在视频流的图像帧之间)，船的元素在视频内运动。例如，船的桅杆可能在视频流内水平地来回振荡(即，“随时间推移”或在视频流的序列图像帧之间)。这种振荡运动在图1B中示出。图1B示出了视频流的一维切片，其由指示条101位于的视频流的帧内(例如，在图1A的帧100内)。图1B的垂直轴表示时间和/或视频流的图像帧索引。因此，随着桅杆反复左右运动，视频流的指示切片的暗部分(表示切片的船桅杆占据的部分)在图1B中左右运动。本文描述的方法可以用于高效地放大(或衰减)视频流内的运动。因此，这些方法可以用于放大所有运动，或者具有与图1A和1B表示的视频流中的桅杆的振荡对应的特征时间尺度(timescale)/频率的运动。图1C示出了这样的运动放大视频流的一维切片，位置与原始视频流中的指示条101的位置对应。
二、示例运动提取和运动放大
关于视频流内特定位置处的“局部”相位随时间推移和/或在图像帧之间的变化的信息可以与视频流在该特定位置处的内容的运动有关。对于视频流的特定图像帧，这样的局部相位信息可以通过类比与从图像的傅立叶变换(或类似变换)生成的相位信息进行比较，但限于图像的局部区域。因此，尽管傅立叶变换将生成整个图像的单个相位值(在特定空间频率处)，但是可以在图像之间的多个位置生成局部相位信息(例如，在指定的空间采样频率处)。
针对特定位置被“限制”于描述邻近该特定位置的图像的内容的相位的这样的局部相位信息可以包括仅基于邻近该特定位置的图像的指定子集的局部相位信息。例如，可以使用仅考虑图像的在邻近特定位置的指定区域内的像素(或其他信息内容)的有限支持小波(limited-support wavelet)、滤波器、函数或其他算法来确定局部相位信息。替代地，可以通过对图像的邻近特定位置的部分进行优势(preferentially)加权来“限制”局部相位信息。尽管在这样的示例中图像的远处部分对局部相位信息的影响可能不为零，但是相对于更邻近区域的影响，这样的区域对所确定的局部相位信息的相对影响较低。例如，考虑整个图像上的像素(或其他信息内容)的高斯啁啾(Gaussian chirp)、升余弦滤波器、正弦滤波器或一些其他非有限支持(non-limited-support)可用于生成局部相位信息。
可以将一组滤波器应用于视频流的图像，以生成图像的局部相位信息。可以应用各种滤波器类型，例如小波滤波器、升余弦滤波器、正弦滤波器、Gabor滤波器。此外，应用的滤波器可以包括对下多个不同尺度下的图像信息敏感的滤波器。例如，使用的滤波器可以是与图像金字塔对应的一组滤波器的一部分，其中，金字塔的一个或多个滤波器分别与不同的空间尺度对应。因此，这样的一组滤波器中的滤波器的输出将与在相应的空间尺度下的图像特征的相位对应。
图2A示出了视频流的示例图像200。该图像描绘了时钟。指示了图像200内的示例位置201。可以将一组滤波器(例如，图像金字塔的滤波器)应用于图像200，以在多个不同的空间尺度下生成图像200的局部相位信息(例如，生成示例位置201的一个或多个局部相位值)。
图2B示出了可以用于生成这样的局部相位信息的一组滤波器。图2B中所示的每个滤波器与空间尺度和取向对应。因此，滤波器210a和210a’与第一空间尺度和第一(水平)取向对应，而滤波器210b和210b’与相同的第一空间尺度和第二不同的(垂直)取向对应。此外，滤波器210c和210c’与第二不同的空间尺度和第一取向对应，而滤波器210d和210d’与第二空间尺度和第二取向对应。这些示例滤波器被提供为正交对(例如，滤波器210a和210a’形成正交对)，以允许确定输入图像(例如200)在多个不同空间尺度下且沿不同取向的局部幅度和局部相位信息。
因此，图2B中所示的滤波器可以用于在两个不同的空间尺度下生成输入图像200的局部相位和/或幅度信息。这在图2C中示出，图2C示出了通过将来自图2B的不同的滤波器对应用于示例图像200而生成的局部幅度信息的多个示例。因此，可以通过将第一对滤波器210a、210a’应用于输入图像200来生成第一幅度图像220a。另外，可以通过将第二对滤波器210b、210b’、第三对滤波器210c、210c’和第四对滤波器210d、210d’分别应用于输入图像200来生成第二幅度图像220b、第三幅度图像220c和第四幅度图像220d。类似地，可以使用滤波器(未显示)在第一和第二空间尺度下且沿第一和第二取向生成相位图像。
每个经滤波的幅度图像220a、220b、220c、220d或相位图像(未示出)由输入图像200的多个所确定的局部相位和幅度组成。也就是说，第一幅度图像220a在第一幅度图像220a内的指示位置251a处的局部幅度表示输入图像200在输入图像200内的指示位置201处在沿第一取向的第一空间尺度下的局部幅度。因此，该组幅度图像220a、220b、220c、220d表示输入图像200的一组图像幅度信息。对应地，如上所述确定的一组相位图像可以表示输入图像200的一组图像相位信息。
可以针对视频流的每个图像确定这样的一组图像相位信息。这样的相位信息从视频流的图像到图像的变化可以与在与应用的滤波器组(filter bank)的空间尺度对应的空间尺度下的视频内的运动相关。因此，我们可以从该生成的图像相位信息随时间推移/在图像帧之间的变化中提取关于该运动(例如，关于视频流内的细微或小幅度运动、关于与血液灌注和/或血管内血液流动相关的皮肤运动、关于呼吸)的信息。
附加地或替代地，可以在时间上滤波、缩放或以其他方式修改该相位信息。然后，可以将该修改的图像相位信息重构为修改的视频流的图像。取决于施加在图像相位信息上的修改，此修改的视频流可以展现放大、缩小或其他方式被修改的运动。这样的修改可以适于运动的时间特性。例如，可以放大在某些时间频率(例如，呼吸的频率、心跳的频率)处发生的规则运动，而可以缩小其他运动(例如，与图像伪像或噪声对应的高频运动)。
这样的过程可以称为“运动放大”(其中，增加了视频流中至少一些运动的明显幅度)，并且使用这样的过程基于源视频流生成的视频流可以称为“运动放大视频流”。这样的运动放大视频流的特定图像帧可以称为“运动放大图像”。
图3A示出了视频流的两个示例图像300a、300b。该视频流在视频流的帧内描绘了的摆锤的振荡运动。在相应的第一300a示例图像和第二300b示例图像内的所示位置301a和301b位于视频流的帧内的相同所示位置。摆锤从第一图像300a到第二图像300b的运动导致摆锤的弦邻接所示位置的部分。结果，摆锤的弦在第一图像300a中出现在所示位置301a的左侧而在第一图像300b中出现在所示位置301b的右侧。
如上所述，可以针对图像300a、300b，在多个不同的空间尺度下生成局部相位信息。这在图3B中示出，图3B示出针对第一图像300a确定的第一组图像相位信息310a和针对第二图像300b确定的第二组图像相位信息310b。图像相位信息组中的每一个包括在三个不同的空间尺度(在图像相位信息组内示为三个不同大小的正方形)下确定的局部相位信息。在每个空间尺度下，图像相位信息内的点指示在图像相位信息组内与视频流的图像300a、300b内的所示位置301a、301b对应的局部相位信息的位置。
因此，图像相位信息组内在特定位置和空间尺度下的局部相位信息将根据视频流的内容在特定位置和空间尺度下的运动随时间推移和/或在图像流的图像之间变化。例如，如果视频流的内容在特定位置和空间尺度下以振荡方式运动(例如，作为摆锤的运动)，则与特定空间尺度和位置对应的局部相位信息将展现在时间上随摆锤的振荡的振荡。取决于用于生成局部相位信息的方法，这样的振荡可以在局部相位信息的幅度、实分量和/或虚分量中展现。
这通过图3C中的图示说明。图3C示出了随时间推移和/或在视频流的图像帧之间(“TIME”(时间))针对图3A中表示的是频率内的所示位置301a、301b在特定空间尺度下确定的局部相位信息“φ”的幅度。当邻近特定位置301a、301b的摆弦随时间推移水平地振荡时，针对特定位置350确定的局部相位信息的幅度随时间推移展现正弦变化，具有偏移(由虚线示出)。与第一图像300a对应的时间点在“τ1”指示，而与第二图像300b对应的时间点在“τ2”指示。
该相位信息在其在视频流的图像帧之间变化时与单个图像中的空间位置和随时间推移的运动对应，可以用于提取关于视频流的内容的运动或其他属性的信息。例如，可以确定(例如，通过应用傅立叶变换)与视频流的帧内的特定位置对应的局部相位信息的变化和/或振荡的频率，并将其用于确定在该特定位置存在于视频流内的对象的运动的频率和/或相位。例如，如果对象是人或动物(或其一部分)，则局部相位信息随时间推移的变化可用于确定人内(例如，在皮下脉管系统的一部分内)一个或多个位置的心血管脉搏的频率和/或相位、呼吸率或某种其他运动的频率。
关于视频流的帧内的运动的这样的信息也可以用于确定关于视频流的帧内的运动对象的位置、范围(extent)、形状或其他信息。例如，如果视频流描绘人或动物的颈部，则可以通过确定视频流的哪些区域对应于以与心血管脉搏对应的频率随时间推移定期变化的局部图像相位信息来确定人或动物的颈静脉脉搏的位置。附加地或替代地，可以基于生成的图像相位信息来确定视频流的帧内的特定空间区域内的特定对象的运动。
附加地或替代地，可以修改该相位信息并将其用于生成修改的视频流的修改的(例如，运动放大的)图像(例如，通过反向执行视频流的图像的分解)。例如，可以在时间上滤波(例如，高通、带通、低通)、缩放或以其他方式修改视频流内每个空间尺度和/或位置的局部相位信息，以放大视频流内的某些运动和/或衰减视频流内的其他运动。
这可以包括将时间滤波器(例如，高通滤波器)应用于视频流的图像的相位信息组，以确定与要被修改的运动对应的图像相位信息组中的每一个的分量。然后，可以对该经滤波的分量进行缩放(例如，增加或减小幅度)，并将其用于生成修改的图像相位信息的相应组(例如，通过将缩放的经滤波的分量与未修改图像相位信息的其他经滤波的分量进行组合)。
这样的滤波和/或缩放可以通过例如对图像相位信息组应用高通滤波器以生成图像相位信息组中的每一个的可缩放分量而应用于视频流内的所有运动。附加地或替代地，可以应用带通滤波器或其他方法以对图像相位信息组进行时间滤波，以在指定的时间频率处生成图像相位信息的分量。这样的指定的时间频率可以是感兴趣的运动或过程的频率，例如奔跑或步行的频率、呼吸的频率、心血管脉搏的频率或某种其他感兴趣的过程。这样的指定的频率可以被预先指定(例如，根据心血管脉搏、呼吸或某种其他重复过程的预期频率)，或者可以在一个或多个时间点确定。例如，可以使用传感器来检测和/或基于如本文所述生成的图像相位信息来检测心血管脉搏的频率(或其他频率或感兴趣的过程)。
这样的滤波和缩放的示例在图3D中示出。图3D示出了基于针对图3B中表示的特定位置350确定的局部相位信息，在视频流内的所示位置301a、301b处针对特定空间尺度确定的修改的局部相位信息(“φM”)的幅度。可以例如通过将带通或高通滤波器应用于针对特定位置350确定的局部相位信息以生成该未修改的局部相位信息的分量来确定针对特定位置360确定的该修改的局部相位信息。然后，可以缩放生成的分量(例如，乘以预定缩放因子)并与其他生成的分量(例如，与图3C中的虚线偏移对应的恒定偏移)组合以生成修改(例如，放大)的图像相位信息组。然后，可以将修改的图像相位信息组用于生成修改的视频流的相应的修改的(例如，运动放大的)图像。
当如本文所述放大视频流中的运动时，该运动可以被放大预设或以其他方式指定的量。对于较小的运动，这些方法可以放大运动，伴随有最少的伪像。但是，包含较大运动的视频流的放大可能会导致输出的运动放大视频流中明显的运动相关失真。这样的失真的特性(specifics)可能与用于从视频流的图像生成图像相位信息组的滤波器的有效空间支持相关。空间尺度大于(一个或多个)滤波器支持区域的程度的运动可能会导致所得运动放大视频流中的失真。
为了防止发生这样的失真，可以基于存在于视频流中的运动的大小，随时间推移节制应用于图像相位信息的缩放(例如，放大)程度。例如，在大幅度运动时段期间，运动放大的程度可以变为零，使得在高运动时段期间输出的“运动放大”的视频流基本上未被放大，从而失真在输出的视频流中不明显。
为了确定视频流中存在的运动程度，可以基于针对视频流确定的图像相位信息组来确定随时间推移和/或在视频流的图像帧之间存在的图像相位变化的大小。这可以包括确定视频流的第一图像的第一组相位信息的时间滤波分量和视频流的第二图像的第二组相位信息的时间滤波分量之间的变化大小，以确定与视频流的第一图像和第二图像对应的时间时的视频流的平均相位变化。可以针对视频流的整个帧确定这样的平均(例如，基于关于第一图像和第二图像中的每个图像的整体上的运动的信息)，并将其应用于确定缩放因子，该缩放因子用于修改用于生成输出的修改(例如，运动放大)视频流的整个帧的相位信息。替代地，可以针对视频流的帧内的多个区域确定随时间推移的这样的局部图像相位变化的程度，并将其相应地用于节制应用的运动放大的大小。
如上所述，可以通过将一组滤波器应用于图像来确定图像(例如，视频流的图像帧)的图像相位信息。该组滤波器可以包括两个或更多个不同空间尺度中的每一个下的一个或多个滤波器，使得所得局部相位信息表示在两个或更多个不同空间尺度下的图像的局部相位。“在特定空间尺度下”的特定滤波器可以包括生成对在该尺度下的输入图像内的空间信息敏感的输出的滤波器。因此，可以通过调整滤波器的内核或其他组件的空间频率或通过调整滤波器的某个其他与缩放相关的参数来控制滤波器的空间尺度。例如，如果滤波器包括Gabor滤波器，则可以通过调整Gabor滤波器的空间波长参数λ来控制每个滤波器的空间尺度。
关于空间尺度不同的第一和第二滤波器(或滤波器组)可以包括相差超过最小量(例如，相差20％以上)和/或相差超过最小比率(例如1:1.2)的滤波器空间尺度，使得由此生成的局部相位信息足够不同，以激励(motivate)将两个滤波器应用于图像和执行任何附加的相关处理的计算成本。可以根据应用指定空间尺度之间的比率/差，例如，以提供期望的空间尺度分辨率，同时最小化所应用的滤波器的总数。作为示例的非限制性列表，对应的两个滤波器(或滤波器组)的两个空间尺度可以关于空间尺度以1:1.3、1:1.414、1:2、1:3、1:4、1:8、1:10、1:16的比率或某个其他比率不同。可以指定该比率以简化经滤波输出的计算，例如，该比率可以是1:2或2的某个其他幂，以使得能够在附加的空间尺度下生成局部相位信息时重新使用滤波器和/或经滤波的输出。
在使用分别在不同空间尺度下的两个以上的滤波器(或滤波器组)的实施例中，相邻空间尺度对可以相差不同的量/比率或相同的量/比率(例如，形成空间尺度的指数系列)。例如，第一空间尺度与第二空间尺度的比率可以为1:2，而第二空间尺度本身与第三空间尺度的比率可以为1:2(因此，第一空间尺度与第三空间尺度的比率可以为1:4)。
与相同空间尺度对应的滤波器可以关于一个或多个属性而不同，以提供附加的局部相位信息。例如，在特定空间尺度下的一组滤波器(例如，第一组滤波器)可以各自与相应不同的空间取向对应。例如，这样的组中的第一滤波器可以与水平取向对应，并且因此输出关于沿水平方向输入图像内的空间变化的相位的局部相位信息。这样的组中的第二滤波器可以与垂直取向对应，并且因此输出关于沿垂直方向输入图像内的空间变化的相位的局部相位信息。在特定示例中，这样的一组滤波器可以与可转向图像金字塔对应。可以根据应用来指定滤波器的数量以及与之对应的特定取向，例如，以提供局部相位信息的取向的期望分辨率同时最小化所应用的滤波器的总数。
其他方法和/或滤波器组可以用于生成输入图像的图像相位信息。例如，应用于输入图像的滤波器可以与Reisz图像金字塔对应。然后，这样的滤波器的输出可以用于生成输入图像内的多个位置的局部相位信息。这样的局部相位信息可以包括在特定空间尺度下图像的空间内容的变化大小。Reisz图像金字塔的使用可通过允许沿局部最大方向确定这样的大小(而不是像在可转向图像金字塔中那样通过应用多个滤波器来确定沿多个相应指定取向的空间变化的大小)来降低计算成本(例如，与使用可转向图像金字塔相比)。
三、示例应用：颈静脉压
颈静脉压(“JVP”)是在时间和空间上与颈部血管中的血液压力相关的重要诊断征兆。JVP可以用于诊断和/或间接观察各种健康状况或状况，包括心脏病、肺部疾病、心力衰竭、各种心脏时点不对(mis-timing)和/或不启动(mis-firing)失调症、上腔静脉综合征、三尖瓣关闭不全、三尖瓣狭窄、缩窄性心包炎、心包积液或其他生理或解剖学状态。
然而，JVP是在视觉上非常细微的征兆，从其难以检测或提取诊断信息。因此，本文描述的用于通过应用滤波器以生成图像相位信息来进行运动放大和/或运动信号提取的方法可以被应用于促进JVP的检测和/或使用。这可以包括执行运动放大以生成要被诊断的人的颈部的运动放大视频流。特别地，可以对图像相位信息进行时间滤波，以在人的检测的或以其他方式确定的心血管脉搏频率处生成局部相位分量，以优势放大颈部的JVP或其他脉搏相关运动。然后，可以将运动放大视频流呈现给医师，医师可以基于所呈现的视频流生成诊断。
附加地或替代地，可以对生成的图像相位信息(例如，生成的局部图像相位信息)执行自动分析，以确定心血管脉搏率、确定静脉血压波形、确定沿颈部的压力波速度或确定某些其他有用的诊断信息。这可以包括检测人的颈部的视频流内的位置，并确定颈部上的血压和/或血液脉搏波(或其他相关的生理过程)的相对相位或其他定时信息。
图4A示出了描绘人的颈部的视频流的图像帧。这样的视频流可以被运动放大或以其他方式被处理，以促进本文描述的应用。这可以包括检测视频流内包含颈部和/或包含颈部的展现与JVP相关的运动的部分的区域。然后，可以特别地对所确定的区域执行运动放大，或者可以基于所确定的区域执行其他分析(例如，压力波速度)。
可以通过各种方法来确定视频流内包含颈部和/或包含颈部的展现与JVP相关的运动的部分的区域。在一些示例中，人工神经网络(例如，卷积神经网络)可以用于分割视频流和/或其图像帧，以确定颈部/JVP区域。附加地或替代地，如本文所述从视频流生成的图像相位信息可以用于确定显示人的心血管脉搏的频率的运动的区域。
图4B示出了在这样的生成的图像相位信息内的运动大小的“热图”。因此，“热图”显示了在视频流内与描绘的人的颈部对应的区域处，心血管脉搏频率的运动大小增加。可以基于局部相位大小的移动平均(moving average)或根据某种其他方法来确定这样的大小信息。根据该信息，可以确定视频流的帧内描绘JVP的区域的位置和范围。在图4C中用虚线描绘了这样的所确定区域。
四、示例应用：运动信号提取
本文描述的方法，因为它们生成视频流的图像帧的图像相位信息，所以可以用于生成与视频流内描绘的运动对应的运动信号。根据包含在生成的图像相位信息内的局部相位信息的分辨率，这样的运动信号可以与视频流内特定空间区域的运动对应，或者可以与视频内特定空间区域上的整体运动对应。这样的运动信号可以用于检测感兴趣的生物信号，例如心血管脉搏、呼吸率、血压或某种其他运动相关生理变量。
附加地或替代地，这样的运动信号可以用于促进各种应用，包括影响用于生成图像相位信息本身的过程。例如，视频流内运动的大小可用于节制应用于视频流的运动放大程度(例如，通过设置缩放因子以在存在大幅运动时减少运动放大视频流中的失真或其他伪像)。在另一示例中，运动信号可以用于确定指定的感兴趣频率，该感兴趣频率用于在缩放之前在时间上滤波图像相位信息，例如，以确定心血管脉搏的频率，从而优势放大视频流内的在该频率处发生的运动。
可以采用各种方法来基于如本文所述生成的图像相位信息来生成有用的运动信号。为了说明这样的方法，图5A示出了描绘小鼠501的视频流的图像帧。本文描述的方法可以应用于视频流，以生成与小鼠的呼吸相关的运动信号。这样的运动信号的自动、低成本的生成例如在生成关于响应于药物、手术、行为和/或遗传干预，或响应于暴露于病原体或某些其他疾病状态的发作的小鼠的生理功能随时间推移的大量高时间分辨率数据时可能是有用的。
在时间上和/或在视频流的图像帧之间针对视频流内的特定位置确定的局部相位信息的变化可以与视频流内在该特定位置描绘的运动相关。因此，如果指定了特定位置(例如，通过确定小鼠501或某个其他感兴趣的对象的位置与特定位置对应)，则可以基于与该特定位置对应的局部相位信息来生成运动信号。
然而，从图像相位信息内的单个局部相位信息变量确定运动信号可能易受噪声影响，特别是在不精确和/或准确地知道感兴趣的对象在视频流的帧内的位置的情况下。替代地，可以确定与感兴趣的对象对应的特定空间区域。这由图5B示出，图5B示出了方框510，方框510指示视频流的帧内包含小鼠501的的特定空间区域。然后，可以基于与方框510内的区域对应的局部相位信息来确定小鼠501的运动信号。这可以包括针对视频流的每个图像帧确定与方框510内的整体相位相关的平均(例如，算术平均、几何平均)或某个其他度量。
可以以多种方式确定方框510的位置和形状，或视频流的帧内包含感兴趣的对象的某个其他区域(例如，圆形、椭圆形和不规则形状的区域)的位置和形状。可以手动指定该区域。可以使用人工神经网络(例如，卷积神经网络)或某种其他机器学习算法确定感兴趣的区域的(例如，颈部的展现JPV的区域的)位置和/或范围来确定该区域。可以基于图像相位信息随时间推移/在图像帧之间的变化来确定该区域，例如，以与视频流的帧内展现指定频率的运动的区域对应。
附加地或替代地，可以通过对视频流的图像帧的图像相位信息执行统计分析来确定运动信号。这样的统计分析可以将针对其确定了局部相位信息的每个位置和空间尺度视为相应的变量。在视频流的图像帧之间针对特定空间尺度和位置确定的局部相位信息可以表示与特定空间尺度和位置对应的变量的样本。图像相位信息组中的每个这样的变量将展现与各种运动源(例如，与小鼠501的呼吸相关的运动)和噪声相关的变化。例如，与小鼠501对应的变量将比与其他区域对应的变量包括更多与小鼠的呼吸运动相关的分量。
可以使用各种方法来在时间上分解图像相位信息以生成一个或多个运动信号。例如，可以使用主成分分析、独立成分分析、典范相关性分析、Fisher线性判别或某种其他降维方法或其他时间分解方法来生成一个或多个运动信号。每种这样的方法可以生成多个时变分量，每个时变分量与视频流内各个位置上的相关运动和/或噪声源对应。这在图5C中示出，图5C示出了第一520a、第二520b、第三520c和第四520d时变分量，其通过对针对描绘小鼠501的视频流的多个图像帧生成的图像相位信息进行时间分解而生成。如图所示，第四时变分量520d与视频流内小鼠的呼吸运动对应，并因此展现周期性变化。
然后，可以选择一个或多个生成的时变分量，并将其用于生成期望的运动信号。该选择可以包括确定时变分量和/或它们与视频流内的特定位置的关系的噪声水平、频谱、地理聚类程度、功率或某些其他属性。例如，选择与心血管脉搏、呼吸(例如，小鼠501的呼吸)或某个其他周期性过程对应的时变分量可以包括确定该组时变分量中的哪个时变分量最接近周期性和/或比其他任何时变分量更具周期性。这可以包括确定生成的时变分量的相干性、频谱、Q因子或某种其他属性。
四、示例系统
可以通过一个或多个计算系统执行本文所述的计算功能(例如，用于生成图像相位信息、在时间上滤波图像相位信息的局部相位信息和/或放大或衰减这样的局部相位信息、生成运动放大视频流或其图像帧、基于图像相位信息确定运动信号的功能)。这样的计算系统可以被集成到例如移动电话、平板计算机、膝上型计算机、服务器、家庭自动化元件、独立视频捕获和处理设备、云计算网络和/或可编程逻辑控制器的计算设备中或采取其形式。出于示例目的，图6是示出了示例计算设备600的一些组件的简化框图，该示例计算设备600可以包括相机组件624。相机组件624可以包括一个或多个相机，例如可见光相机、红外相机、光场相机、全光相机或其他类型的相机。
作为示例而非限制，计算设备600可以是蜂窝移动电话(例如，智能电话)、静态相机、摄像机、婴儿监视器、家庭安保相机、计算机(例如台式机、笔记本计算机、平板计算机或手持式计算机)、个人数字助理(PDA)、家庭自动化组件、数字录像机(DVR)、数字电视、可穿戴计算设备或可以配备有至少一些图像捕获和/或图像处理能力的某种其他类型的设备。应当理解，计算设备600可以表示例如数字相机的物理相机设备、视频捕获应用以软件在其上操作的特定物理硬件平台或者被配置为执行图像捕获和/或图像处理功能的硬件和软件的其他组合。
如图6所示，计算设备600可以包括通信接口602、用户接口604、处理器606、数据存储装置608和相机组件624，所有这些都可以通过系统总线、网络或其他连接机制610通信地链接在一起。
通信接口602可以用于允许计算设备600使用电、磁、电磁、光或其他信号的模拟或数字调制与其他设备，接入网络和/或传输网络进行通信。因此，通信接口602可以促进电路交换和/或分组交换通信，例如普通老式电话服务(POTS)通信和/或互联网协议(IP)或其他分组通信。例如，通信接口602可以包括芯片组和天线，该芯片组和天线被布置用于与无线电接入网络或接入点进行无线通信。另外，通信接口602可以采取有线接口的形式或包括有线接口，例如以太网、通用串行总线(USB)或高清多媒体接口(HDMI)端口。通信接口602也可以采取无线接口的形式或包括无线接口，例如，Wifi、
全球定位系统(GPS)或广域无线接口(例如，WiMAX或3GPP长期演进(LTE))。然而，可以在通信接口602上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，通信接口602可以包括多个物理通信接口(例如，Wifi接口、
接口和广域无线接口)。
在一些实施例中，通信接口602可以用于允许计算设备600与其他设备、远程服务器、接入网络和/或传输网络进行通信。例如，通信接口602可以用于发送视频流(例如，压缩视频流、运动放大视频流)的指示、发送视频流内的运动指示(例如，针对视频流的图像帧确定的两组或更多组图像相位信息的指示、其压缩版本的指示、从这样的图像相位信息确定的光流图的指示)。例如，计算系统600可以是蜂窝电话、数码相机、婴儿监视器或其他图像捕获设备，并且远程系统可以是计算机、平板计算机或具有被配置为显示运动放大视频流的显示器的蜂窝电话。
用户接口604可以用于允许计算设备600与用户交互，例如以从用户接收输入和/或向用户提供输出。因此，用户接口604可以包括输入组件，例如小键盘、键盘、触敏或存在敏感面板、计算机鼠标、轨迹球、操纵杆、麦克风等。用户接口604还可以包括一个或多个输出组件，例如显示屏，该显示屏可以例如与存在敏感面板组合。显示屏可以基于CRT、LCD和/或LED技术，或其他目前已知或以后开发的技术。用户接口604还可以被配置为通过扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其他类似设备来生成(一个或多个)可听输出。
在一些实施例中，用户接口604可以包括显示器，该显示器用于向用户呈现运动放大视频流(例如，使用相机组件624生成的视频流的运动放大版本)。另外，用户接口604可以包括一个或多个按钮、开关、旋钮和/或拨盘，其有助于相机组件624的配置和聚焦、使用相机组件624捕获图像和/或视频流、从图像和/或视频流生成运动放大视频流(例如，设置用于放大视频流中的运动的缩放因子)或配置系统600的某种其他操作。这些按钮、开关、旋钮和/或拨盘中的一些或全部在触摸敏感或存在敏感面板上被实现为功能件也是可能的。
处理器606可以包括一个或多个通用处理器(例如，微处理器)和/或一个或多个专用处理器(例如，数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC))。在某些情况下，除其他应用程序或功能外，专用处理器可能能够进行图像处理、图像对齐和合并图像。数据存储装置608可以包括一个或多个易失性和/或非易失性存储组件，例如磁、光学、闪存或有机存储装置，并且可以全部或部分地与处理器606集成。数据存储装置608可以包括可移动和/或不可移动组件。
处理器606可以能够执行存储在数据存储装置608中的程序指令618(例如，编译或未编译的程序逻辑和/或机器代码)以执行本文所述的各种功能。因此，数据存储装置608可以包括其上存储有程序指令的非暂时性计算机可读介质，该程序指令在由计算设备600执行时使计算设备600执行本说明书和/或附图中公开的任何方法、过程或功能。
举例来说，程序指令618可以包括安装在计算设备600上的操作系统622(例如，操作系统内核、(一个或多个)设备驱动器和/或其他模块)和一个或多个应用程序620(例如，相机功能、图像滤波、图像相位信息生成、运动放大、运动信号生成)。
应用程序620可以采取“应用(app)”的形式，其可以通过一个或多个在线应用商店或应用市场(例如，经由通信接口602)下载到计算设备600。然而，应用程序也可以以其他方式安装在计算设备600上，例如经由网络浏览器或通过计算设备600的物理接口(例如，USB端口)。
相机组件624可以包括但不限于光圈、快门、记录表面(例如，摄影胶片和/或图像传感器)、镜头和/或快门。相机组件624可以至少部分地由处理器606执行的软件(例如，通过应用程序620)控制。此外，相机组件624可以包括多个相机系统，每个相机系统包括相应的光圈、快门、记录表面、镜头、图像传感器、处理器和/或其他元件。
在一些示例中，根据应用，可以由不同的设备执行本文描述的方法的一些部分。例如，系统的不同设备可以具有不同量的计算资源(例如，存储器、处理器周期)和用于设备之间的通信的不同信息带宽。例如，第一设备可以是小型婴儿监视器或其他摄像机，其可以将视频流发送到另一设备或服务器，该另一设备或服务器具有必要的计算资源以对发送的视频流执行运动放大。可以根据这样的考虑来分配本文描述的方法的不同部分。
在一些示例中，可用于发送视频流的带宽(例如，在婴儿监视器与蜂窝电话或其他显示设备之间)可能不足以发送未压缩的视频流。然而，本文描述的用于生成运动放大视频流的方法会对输入视频流的相位信息内容的变化非常敏感。因此，可能难以对已经压缩的视频流执行这些方法。因此，使相机本地的处理器(例如，其结合到婴儿监视器或结合有相机的其他装置中)执行本文所述的图像相位信息生成和其他运动放大过程可能是有利的。然后可以将关于视频流的信息和运动放大图像相位信息发送(例如，以压缩形式)到另一设备，该另一设备然后可以基于发送的信息来生成并显示运动放大视频流。
图7示出了基站700(例如，婴儿监视器、家庭安保相机、家庭自动化元件)，其包括通信接口702、处理器704和相机组件706。处理器704被编程为操作相机组件706以生成视频流。处理器704还被编程为根据本文所述的方法生成视频流的图像帧的图像相位信息，并据此生成运动放大图像相位信息(即，与视频流的图像帧的运动放大版本对应的图像相位信息)。处理器704还被编程为经由通信接口702发送视频流和放大图像相位信息的指示。
为了保存功率和/或传输带宽，可以在发送之前压缩视频流和/或放大图像相位信息。对于视频流，这可以包括将一个或多个视频压缩编解码器应用于视频流以生成压缩视频流，然后可以通过通信接口702发送该压缩视频流。对于放大图像相位信息，可以将通用数据压缩算法应用于放大视频相位信息，然后经由通信接口702发送压缩数据。附加地或替代地，放大图像相位信息可以用于生成视频流的光流图。然后可以经由通信接口702发送光流图的指示。
图7还示出了包括通信接口712、处理器716和用户接口714的接收器单元710(例如，蜂窝电话、远程服务器、计算机、平板计算机、家庭自动化系统的显示器、蜂窝电话)。处理器714被编程为操作通信接口712以从基站700接收视频流和放大图像相位信息的指示。处理器704还被编程为操作用户接口714的显示器以呈现运动放大视频流。处理器716还被编程为基于接收的视频流和放大图像相位信息的指示生成这样的运动放大视频流。这可以包括应用编解码器或其他信息解压缩算法以恢复视频流和/或放大图像相位信息的未压缩版本。附加地或替代地，这可以包括应用光流算法，以根据接收的放大图像相位信息的指示所表示(例如，由在这样的指示中提供的光流图所表示)的运动使接收的视频流失真。
五、示例方法
图8是用于生成运动放大视频流的方法800的流程图。方法800包括生成视频流的第一图像的第一组图像相位信息(810)。这包括(i)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息。第一和第二空间尺度不同。方法800附加地包括生成视频流的第二图像的第二组图像相位信息(820)。这包括(i)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息。
方法800附加地包括基于第一组图像相位信息和第二组图像相位信息，生成第一组修改的图像相位信息和第二组修改的图像相位信息(830)。这可以包括应用高通滤波器、低通滤波器、带通滤波器或某种其他方法来在时间上滤波第一组图像相位信息和第二组图像相位信息，以生成其随时间推移与指定频率(例如，心血管脉搏的频率)的变化对应的一个或多个分量。然后可以通过缩放因子缩放生成的分量。
生成第一组修改的图像相位信息和第二组修改的图像相位信息可以包括(i)将时间滤波器应用于第一和第二组图像相位信息，以确定在指定时间频率处的第一组图像相位信息的第一分量和在指定时间频率处的第二组图像相位信息的第二分量；(ii)通过以第一缩放因子缩放第一组图像相位信息的第一分量来生成第一组修改的图像相位信息；以及(iii)通过以第一缩放因子缩放第二组图像相位信息的第二分量来生成第二组修改的图像相位信息。
方法800附加地包括生成包括第一运动放大图像和第二运动放大图像的运动放大视频流(840)。这可以包括(i)将第一和第二组滤波器应用于第一组修改的图像相位信息以生成第一运动放大图像；以及(ii)将第一和第二组滤波器应用于第二组修改的图像相位信息，以生成第二运动放大图像。
方法800可以包括附加要素或特征。
图9是用于生成与视频流的运动放大相关的信息的方法900的流程图。方法900包括通过设备的相机获得包括第一图像和第二图像的视频流(910)。方法900附加地包括通过设备的控制器生成第一图像的第一组图像相位信息(920)。这可以包括(i)将第一组滤波器应用于第一图像以生成关于在第一空间尺度下第一图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于第一图像以生成关于在第二空间尺度下第一图像的内容的第二局部相位的信息。第一和第二空间尺度不同。
方法900还包括通过控制器生成第二图像的第二组图像相位信息(930)。这可以包括(i)将第一组滤波器应用于第二图像以生成关于在第一空间尺度下第二图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于第二图像以生成关于在第二空间尺度下第二图像的内容的第二局部相位的信息。
方法900附加地包括通过控制器缩放第一组图像相位信息和第二组图像相位信息以分别生成第一组修改的图像相位信息和第二组修改的图像相位信息(940)。该方法附加地包括从设备的发送器发送视频流的指示(960)，并且从发送器发送第一和第二组修改的图像相位信息的指示(960)。
方法900可以包括附加要素或特征。
六、结语
上面的详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，除非上下文另有所指，否则相似的符号通常标识相似的组件。在详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离本文所呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。将容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计本文一般地描述且在附图中示出的本公开的各方面，所有这些都被明确地在本文设想。
关于附图中以及如本文所讨论的任何或所有消息流图、场景和流程图，每个步骤、框和/或通信可以表示根据示例实施例对信息的处理和/或信息的发送。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中，例如，作为步骤、框、发送、通信、请求、响应和/或消息进行描述的功能可以与所示出或所讨论的顺序不同的顺序执行，包括以基本上同时或相反的顺序执行，这取决于涉及的功能。此外，更多或更少的步骤、框和/或功能可以与本文讨论的任何消息流图、场景和流程图一起使用，并且这些消息流图、场景和流程图可以部分地或完全地彼此组合。
表示对信息的处理的步骤或框可以与可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路对应。替代地或附加地，表示对信息的处理的步骤或框可以与程序代码(包括相关数据)的模块、段或一部分对应。程序代码可以包括一个或多个可由处理器执行的指令，用于在该方法或技术中实现特定的逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质(例如存储设备，包括盘驱动器、硬盘驱动器或其他存储介质)上。
计算机可读介质还可以包括非暂时性计算机可读介质，例如短时间存储数据的计算机可读介质，比如寄存器存储器、处理器高速缓存和/或随机存取存储器(RAM)。计算机可读介质还可以包括用于存储程序代码和/或数据较长时间的非暂时性计算机可读介质，例如辅助或持久性长期存储装置，比如例如，只读存储器(ROM)、光盘或磁盘和/或紧凑式盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质或有形存储设备。
此外，表示一个或多个信息发送的步骤或框可以与同一物理设备中的软件和/或硬件模块之间的信息发送对应。然而，其他信息发送可以在不同物理设备中的软件模块和/或硬件模块之间。
尽管本文已经公开了各个方面和实施例，但是其他方面和实施例对于本领域技术人员将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的，而不是要进行限制，真实范围由所附权利要求指示。
Claims (31)
1.一种由一个或多个计算机实现的方法，所述方法包括：
通过以下方式生成视频流的第一图像的第一组图像相位信息：(i)将第一组滤波器应用于所述第一图像以生成关于在第一空间尺度下所述第一图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于所述第一图像以生成关于在第二空间尺度下所述第一图像的内容的第二局部相位的信息，其中，所述第一空间尺度和第二空间尺度不同；
通过以下方式生成所述视频流的第二图像的第二组图像相位信息：(i)将所述第一组滤波器应用于所述第二图像以生成关于在所述第一空间尺度下所述第二图像的内容的第一局部相位的信息，以及(ii)将所述第二组滤波器应用于所述第二图像以生成关于在所述第二空间尺度下所述第二图像的内容的第二局部相位的信息；
通过以下方式基于所述第一组图像相位信息和所述第二组图像相位信息，生成第一组修改的图像相位信息和第二组修改的图像相位信息：(i)将时间滤波器应用于所述第一组图像相位信息和所述第二组图像相位信息，以确定在指定时间频率处的所述第一组图像相位信息的第一分量和在所述指定时间频率处的所述第二组图像相位信息的第二分量；(ii)通过以第一缩放因子缩放所述第一组图像相位信息的所述第一分量来生成所述第一组修改的图像相位信息；以及(iii)通过以所述第一缩放因子缩放所述第二组图像相位信息的所述第二分量来生成所述第二组修改的图像相位信息；和
生成运动放大视频流，其中，所述运动放大视频流包括第一运动放大图像和第二运动放大图像，并且其中，生成所述运动放大视频流包括：
将所述第一组滤波器和第二组滤波器应用于所述第一组修改的图像相位信息，以生成所述第一运动放大图像；和
将所述第一组滤波器和第二组滤波器应用于所述第二组修改的图像相位信息，以生成所述第二运动放大图像。
2.根据权利要求1所述的方法，其中，所述第一组滤波器与可转向图像金字塔对应。
3.根据权利要求1所述的方法，其中，所述第一组滤波器与Reisz图像金字塔对应。
4.根据权利要求1-3中任一项所述的方法，其中，所述指定时间频率与预期的心血管脉搏频率对应。
5.根据权利要求1-3中任一项所述的方法，还包括：
检测人的心血管脉搏的频率，其中，所述视频流描绘人的颈部，并且其中，所述指定时间频率与所检测的人的心血管脉搏的频率对应。
6.根据权利要求5所述的方法，其中，检测人的心血管脉搏的频率包括基于所述第一组图像相位信息和所述第二组图像相位信息来确定人的心血管脉搏的频率。
7.根据权利要求1-6中任一项所述的方法，还包括：
在所述第一图像内确定颈静脉脉搏的位置。
8.根据权利要求7所述的方法，其中，在所述第一图像内确定颈静脉脉搏的位置包括基于所述第一组图像相位信息的所述第一分量和所述第二组图像相位信息的所述第二分量确定颈静脉脉搏的位置。
9.根据权利要求1-6中任一项所述的方法，还包括：
基于所述第一组图像相位信息的所述第一分量和所述第二组图像相位信息的所述第二分量，确定平均图像相位大小；和
基于所确定的平均图像相位大小，确定所述第一缩放因子。
10.一种由一个或多个计算机实现的方法，所述方法包括：
通过以下方式生成视频流的第一图像的第一组图像相位信息：(i)将第一组滤波器应用于所述第一图像以生成关于在第一空间尺度下所述第一图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于所述第一图像以生成关于在第二空间尺度下所述第一图像的内容的第二局部相位的信息，其中，所述第一空间尺度和第二空间尺度不同；
通过以下方式生成所述视频流的第二图像的第二组图像相位信息：(i)将所述第一组滤波器应用于所述第二图像以生成关于在所述第一空间尺度下所述第二图像的内容的第一局部相位的信息，以及(ii)将所述第二组滤波器应用于所述第二图像以生成关于在所述第二空间尺度下所述第二图像的内容的第二局部相位的信息；
基于所述第一组图像相位信息和所述第二组图像相位信息，生成所述视频流内的特定空间区域的时变运动信号。
11.根据权利要求10所述的方法，其中，所述第一组滤波器与可转向图像金字塔对应。
12.根据权利要求10所述的方法，其中，所述第一组滤波器与Reisz图像金字塔对应。
13.根据权利要求10-12中任一项所述的方法，其中，生成所述视频流内的特定空间区域的时变运动信号包括：(i)基于所述第一组图像相位信息的与所述视频流内的所述特定空间区域对应的一部分来确定第一平均图像相位，以及(ii)基于所述第二组图像相位信息的与所述视频流内的所述特定空间区域对应的一部分来确定第二平均图像相位。
14.根据权利要求10-13中任一项所述的方法，其中，所述视频流还包括多个附加图像，并且所述方法还包括：
将所述第一组滤波器和所述第二组滤波器应用于所述多个附加图像中的每一个，以生成所述多个附加图像的附加图像相位信息；
其中，生成所述视频流内的所述特定空间区域的所述时变运动信号包括对包括所述第一组图像相位信息、所述第二组图像相位信息和所述附加图像相位信息的组合的图像相位信息组执行时间分解。
15.根据权利要求14所述的方法，其中，对组合的图像相位信息组执行时间分解包括：对所述组合的图像信息组执行主成分分析或独立成分分析中的至少一个，以确定所述图像相位信息组内的一组时变分量。
16.根据权利要求15所述的方法，还包括：
确定所述一组时变分量中的哪个时变分量最接近周期性；
其中，生成所述视频流内的特定空间区域的所述时变运动信号包括基于最接近周期性的所述一组时变分量确定所述时变运动信号。
17.根据权利要求10-16中任一项所述的方法，还包括：
通过以下方式基于所述第一组图像相位信息和所述第二组图像相位信息，生成第一组修改的图像相位信息和第二组修改的图像相位信息：(i)将时间滤波器应用于所述第一组图像相位信息和所述第二组图像相位信息，以确定在指定时间频率处的所述第一组图像相位信息的第一分量和在所述指定时间频率处的所述第二组图像相位信息的第二分量；(ii)通过以第一缩放因子缩放所述第一组图像相位信息的所述第一分量来生成所述第一组修改的图像相位信息；以及(iii)通过以所述第一缩放因子缩放所述第二组图像相位信息的所述第二分量来生成所述第二组修改的图像相位信息；和
生成运动放大视频流，其中，所述运动放大视频流包括第一运动放大图像和第二运动放大图像，并且其中，生成所述运动放大视频流包括：
将所述第一组滤波器和所述第二组滤波器应用于所述第一组修改的图像相位信息，以生成所述第一运动放大图像；和
将所述第一组滤波器和所述第二组滤波器应用于所述第二组修改的图像相位信息，以生成所述第二运动放大图像。
18.根据权利要求17所述的方法，还包括：
基于所述时变运动信号确定所述指定时间频率。
19.根据权利要求17-18中任一项所述的方法，还包括：
基于所述第一组图像相位信息的所述第一分量和所述第二组图像相位信息的所述第二分量，确定平均图像相位大小；和
基于所确定的平均图像相位大小，确定所述第一缩放因子。
20.一种方法，包括：
通过设备的相机获得视频流，其中，所述视频流包括第一图像和第二图像；
通过以下方式通过所述设备的控制器生成所述第一图像的第一组图像相位信息：(i)将第一组滤波器应用于所述第一图像以生成关于在第一空间尺度下所述第一图像的内容的第一局部相位的信息，以及(ii)将第二组滤波器应用于所述第一图像以生成关于在第二空间尺度下所述第一图像的内容的第二局部相位的信息，其中，所述第一空间尺度和第二空间尺度不同；
通过以下方式通过所述控制器生成所述第二图像的第二组图像相位信息：(i)将所述第一组滤波器应用于所述第二图像以生成关于在所述第一空间尺度下所述第二图像的内容的第一局部相位的信息，以及(ii)将所述第二组滤波器应用于所述第二图像以生成关于在所述第二空间尺度下所述第二图像的内容的第二局部相位的信息；
通过所述控制器对所述第一组图像相位信息和所述第二组图像相位信息进行缩放，以分别生成第一组修改的图像相位信息和第二组修改的图像相位信息；
从所述设备的发送器发送所述视频流的指示；和
从所述发送器发送所述第一组修改的图像相位信息和所述第二组修改的图像相位信息的指示。
21.根据权利要求20所述的方法，其中，所述第一组滤波器与可转向图像金字塔对应。
22.根据权利要求20所述的方法，其中，所述第一组滤波器与Reisz图像金字塔对应。
23.根据权利要求20-22中任一项所述的方法，还包括：
确定所述视频流内的感兴趣的特定空间区域；
其中，通过所述设备的控制器生成所述第一图像的第一组图像相位信息包括：(i)将所述第一组滤波器应用于所述第一图像的与所述视频流内的所述感兴趣的特定空间区域对应的一部分，以生成关于在所述第一空间尺度下所述第一图像的内容的第一局部相位的信息，以及(ii)将所述第二组滤波器应用于所述第一图像的与所述视频流内的所述感兴趣的特定空间区域对应的所述一部分，以生成关于在所述第二空间尺度下所述第一图像的内容的第二局部相位的信息；并且
其中，通过所述控制器生成所述第二图像的第二组图像相位信息包括：(i)将所述第一组滤波器应用于所述第二图像的与所述视频流内的所述感兴趣的特定空间区域对应的一部分，以生成关于在所述第一空间尺度下所述第二图像的内容的第一局部相位的信息，以及(ii)将所述第二组滤波器应用于所述第二图像的与所述视频流内的所述感兴趣的特定空间区域对应的所述一部分，以生成关于在所述第一空间尺度下所述第二图像的内容的第二局部相位的信息。
24.根据权利要求20-23中任一项所述的方法，还包括：
通过所述控制器基于所述视频流生成压缩视频流，其中，发送所述视频流的指示包括发送所述压缩视频流的指示。
25.根据权利要求20-24所述的方法，还包括：
通过所述控制器基于所述第一组修改的图像相位信息和所述第二组修改的图像相位信息生成所述视频流的光流图，其中，发送所述第一组修改的图像相位信息和所述第二组修改的图像相位信息的指示包括发送所述光流图的指示。
26.根据权利要求20-25一项所述的方法，其中，生成所述第一组修改的图像相位信息和所述第二组修改的图像相位信息还包括：
将时间滤波器应用于所述第一组图像相位信息和所述第二组图像相位信息，以确定在指定时间频率处的所述第一组图像相位信息的第一分量和在所述指定时间频率处的所述第二组图像相位信息的第二分量；
通过以第一缩放因子缩放所述第一组图像相位信息的所述第一分量来生成所述第一组修改的图像相位信息；和
通过以所述第一缩放因子缩放所述第二组图像相位信息的所述第二分量来生成所述第二组修改的图像相位信息。
27.根据权利要求26所述的方法，其中，所述指定时间频率与预期的心血管脉搏频率或预期的呼吸频率中的至少一个对应。
28.根据权利要求26所述的方法，还包括：
基于所述第一组图像相位信息和所述所述第二组图像相位信息，检测人或动物的呼吸的频率，其中，所述视频流描绘人或动物的至少一部分，并且其中，所述指定时间频率与所检测的人或动物的呼吸的频率对应。
29.根据权利要求20-28中任一项所述的方法，还包括：
基于所述第一组图像相位信息和所述第二组图像相位信息，确定平均图像相位大小；和
基于所确定的平均图像相位大小，确定所述第一缩放因子。
30.一种包括非暂时性计算机可读介质的制品，在所述非暂时性计算机可读介质上存储有程序指令，所述程序指令在由计算设备执行时使所述计算设备执行根据权利要求1-29中任一项所述的方法。
31.一种系统，包括：
控制器；和
非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有程序指令，该程序指令在由控制器执行时使所述控制器执行根据权利要求1-29中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862692806P | 2018-07-01 | 2018-07-01 | |
| US62/692,806 | 2018-07-01 | ||
| PCT/US2019/038111 WO2020009801A1 (en) | 2018-07-01 | 2019-06-20 | Analysis and visualization of subtle motions in videos |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112313705A true CN112313705A (zh) | 2021-02-02 |
Family
ID=67297273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980040192.XA Pending CN112313705A (zh) | 2018-07-01 | 2019-06-20 | 视频中细微运动的分析和可视化 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11526996B2 (zh) |
| EP (1) | EP3769285A1 (zh) |
| CN (1) | CN112313705A (zh) |
| WO (1) | WO2020009801A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378798A (zh) * | 2021-07-16 | 2021-09-10 | 福建师范大学 | 基于视频微运动放大的脉搏视频脉搏提取方法及系统 |
| WO2022227044A1 (zh) * | 2021-04-30 | 2022-11-03 | 深圳市爱贝宝移动互联科技有限公司 | 基于摄像头的自适应多尺度呼吸监测方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020021886A1 (ja) * | 2018-07-23 | 2020-01-30 | パナソニックＩｐマネジメント株式会社 | 生体状態検出装置および生体状態検出方法 |
| EP3671630A1 (en) * | 2018-12-19 | 2020-06-24 | Nokia Technologies Oy | Movement indication |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053757A (ja) * | 2005-08-13 | 2007-03-01 | Integrant Technologies Inc | 地上波デジタルマルチメディア放送用／デジタルオーディオ放送用のＬｏｗ−ＩＦ受信器。 |
| US20090097607A1 (en) * | 2007-10-12 | 2009-04-16 | Micron Technology, Inc. | Method and system of detecting and locking to multi-standard video streams |
| US20140205175A1 (en) * | 2013-01-18 | 2014-07-24 | Xerox Corporation | Processing source video for real-time enhancement of a signal of interest |
| US20150195430A1 (en) * | 2014-01-09 | 2015-07-09 | Massachusetts Institute Of Technology | Riesz Pyramids For Fast Phase-Based Video Magnification |
| CN105792742A (zh) * | 2013-11-27 | 2016-07-20 | 皇家飞利浦有限公司 | 用于获得对象的脉搏传导时间和/或脉搏波速度信息的设备和方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526156B1 (en) * | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
| US20120050334A1 (en) * | 2009-05-13 | 2012-03-01 | Koninklijke Philips Electronics N.V. | Display apparatus and a method therefor |
| US20110206118A1 (en) * | 2010-02-19 | 2011-08-25 | Lazar Bivolarsky | Data Compression for Video |
| US9532048B2 (en) * | 2012-03-15 | 2016-12-27 | Intel Corporation | Hierarchical motion estimation employing nonlinear scaling and adaptive source block size |
| US11389119B2 (en) * | 2016-09-06 | 2022-07-19 | Photorithm, Inc. | Generating a breathing alert |
| US10709354B2 (en) * | 2016-09-06 | 2020-07-14 | Photorithm, Inc. | Generating a breathing alert |
| US10776928B1 (en) * | 2018-10-16 | 2020-09-15 | Hrl Laboratories, Llc | Efficient egomotion estimation using patch-based projected correlation |
-
2019
- 2019-06-20 EP EP19740124.3A patent/EP3769285A1/en active Pending
- 2019-06-20 US US17/055,831 patent/US11526996B2/en active Active
- 2019-06-20 CN CN201980040192.XA patent/CN112313705A/zh active Pending
- 2019-06-20 WO PCT/US2019/038111 patent/WO2020009801A1/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053757A (ja) * | 2005-08-13 | 2007-03-01 | Integrant Technologies Inc | 地上波デジタルマルチメディア放送用／デジタルオーディオ放送用のＬｏｗ−ＩＦ受信器。 |
| US20090097607A1 (en) * | 2007-10-12 | 2009-04-16 | Micron Technology, Inc. | Method and system of detecting and locking to multi-standard video streams |
| US20140205175A1 (en) * | 2013-01-18 | 2014-07-24 | Xerox Corporation | Processing source video for real-time enhancement of a signal of interest |
| CN105792742A (zh) * | 2013-11-27 | 2016-07-20 | 皇家飞利浦有限公司 | 用于获得对象的脉搏传导时间和/或脉搏波速度信息的设备和方法 |
| US20150195430A1 (en) * | 2014-01-09 | 2015-07-09 | Massachusetts Institute Of Technology | Riesz Pyramids For Fast Phase-Based Video Magnification |
Non-Patent Citations (9)
| Title |
|---|
| EULERIAN VIDEO MAGNIFICATION FOR REVEALING SUBTLE CHANGES IN THE WORLD": "Eulerian video magnification for revealing subtle changes in the world", 《ACM TRANSACTIONS ON GRAPHICS》, pages 1 - 8 * |
| HE: "Using Eulerian Video Magnification Framework to Measure Pulse Transit Time", 《2014 IEEE INTERNATIONAL SYMPOSIUM ON MEDICAL MEASUREMENTS AND APPLICATIONS (MEMEA)》, pages 2384 * |
| JOÃO RIBAS: "I could (technically) tell your heartbeat from your Snapchat video", pages 1 - 6, Retrieved from the Internet <URL:《https://medium.com/@joaoribas/i-can-technically-tell-your-heartbeat-from-your-snapchat-video-593c6c11df4c>》> * |
| KRANTI KAMBLE: "A Review: Eulerian Video Motion Magnification", INTERNATIONAL JOURNAL OF INNOVATIVE RESEARCH IN COMPUTER AND COMMUNICATION ENGINEERING", pages 1 - 7, Retrieved from the Internet <URL:《A Review: Eulerian Video Motion Magnification", INTERNATIONAL JOURNAL OF INNOVATIVE RESEARCH IN COMPUTER AND COMMUNICATION ENGINEERING》> * |
| LIU YI ET: "Video motion magnification based on Laplacian-Riesz pyramid", 《 PROCEEDINGS OF SPIE; [PROCEEDINGS OF SPIE ISSN 0277-786X VOLUME 10524》, pages 102553 * |
| WADHWA NEAL: "iesz pyramids for fast phase-based video magnification", 《2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP)》, pages 1 - 10 * |
| 中国的GRIFFIN: "欧拉影像放大算法（Eulerian Video Magnification）的原理和实现", pages 1 - 8, Retrieved from the Internet <URL:《欧拉影像放大算法（Eulerian Video Magnification）的原理和实现》> * |
| 徐佳健: "基于ActiveX的网络视频监控客户端设计", 《万方》, pages 1 - 45 * |
| 王博: "数字图像缩放及其质量评价方法研究", 《万方》, pages 1 - 56 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227044A1 (zh) * | 2021-04-30 | 2022-11-03 | 深圳市爱贝宝移动互联科技有限公司 | 基于摄像头的自适应多尺度呼吸监测方法 |
| CN113378798A (zh) * | 2021-07-16 | 2021-09-10 | 福建师范大学 | 基于视频微运动放大的脉搏视频脉搏提取方法及系统 |
| CN113378798B (zh) * | 2021-07-16 | 2023-06-23 | 福建师范大学 | 基于视频微运动放大的脉搏视频脉搏提取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210110549A1 (en) | 2021-04-15 |
| EP3769285A1 (en) | 2021-01-27 |
| US11526996B2 (en) | 2022-12-13 |
| WO2020009801A1 (en) | 2020-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112313705A (zh) | 视频中细微运动的分析和可视化 | |
| JP6072893B2 (ja) | 脈波伝播速度の測定方法、その測定方法を用いた測定システムの作動方法及び脈波伝播速度の測定システム並びに撮像装置 | |
| McDuff et al. | iphys: An open non-contact imaging-based physiological measurement toolbox | |
| Gideon et al. | The way to my heart is through contrastive learning: Remote photoplethysmography from unlabelled video | |
| US9795306B2 (en) | Method of estimating blood pressure based on image | |
| Gudi et al. | Real-time webcam heart-rate and variability estimation with clean ground truth for evaluation | |
| US20150170360A1 (en) | Ophthalmic reference image selection | |
| Antink et al. | Beat-to-beat heart rate estimation fusing multimodal video and sensor data | |
| US9687189B2 (en) | Automatic visual remote assessment of movement symptoms in people with parkinson's disease for MDS-UPDRS finger tapping task | |
| US11653883B2 (en) | Systems and methods for acquiring PPG signals for measuring blood pressure | |
| JP2018520753A (ja) | 堅牢な心拍数推定 | |
| Zaunseder et al. | Signal-to-noise ratio is more important than sampling rate in beat-to-beat interval estimation from optical sensors | |
| Molinaro et al. | Multi-roi spectral approach for the continuous remote cardio-respiratory monitoring from mobile device built-in cameras | |
| Chaichulee et al. | Localised photoplethysmography imaging for heart rate estimation of pre-term infants in the clinic | |
| CN115379791A (zh) | 用于处理激光散斑信号的系统和方法 | |
| van Es et al. | Contactless cardiovascular assessment by imaging photoplethysmography: A comparison with wearable monitoring | |
| Hu et al. | Contactless blood oxygen estimation from face videos: A multi-model fusion method based on deep learning | |
| Lomaliza et al. | Detecting pulse from head motions using smartphone camera | |
| US11129539B2 (en) | Pulse measuring device and control method thereof | |
| Wu | Eulerian video processing and medical applications | |
| CN111820870B (zh) | 生物影像处理方法以及生理信息检测装置 | |
| Lomaliza et al. | Improved peak detection technique for robust PPG-based heartrate monitoring system on smartphones | |
| Chowdhury et al. | LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams | |
| Mohsen et al. | Video magnification techniques: Medical applications and comparison of methods | |
| Ayesha et al. | A web application for experimenting and validating remote measurement of vital signs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |