CN112292688A - 运动检测方法和装置、电子设备以及计算机可读存储介质 - Google Patents
运动检测方法和装置、电子设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112292688A CN112292688A CN202080001060.9A CN202080001060A CN112292688A CN 112292688 A CN112292688 A CN 112292688A CN 202080001060 A CN202080001060 A CN 202080001060A CN 112292688 A CN112292688 A CN 112292688A
- Authority
- CN
- China
- Prior art keywords
- picture frame
- calibration component
- detection
- calibration
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 147
- 230000033001 locomotion Effects 0.000 title claims abstract description 103
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 34
- 239000003086 colorant Substances 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 13
- 238000005260 corrosion Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007797 corrosion Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000011410 subtraction method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 29
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 230000009466 transformation Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 10
- 238000003825 pressing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000002680 cardiopulmonary resuscitation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011065 in-situ storage Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本发明涉及一种运动检测方法和装置、电子设备以及计算机可读存储介质,该运动检测方法包括:拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及测定所述标定组件的移动距离。根据本发明的运动检测方法和装置、电子设备以及计算机可读存储介质,能够实现更精确和更快速的目标检测、跟踪和测量。
Description
技术领域
本发明属于检测设备领域,具体涉及一种运动检测方法和装置、电子设备以及计算机可读存储介质。
背景技术
测距存在于人类生活的方方面面,对人类的进步与发展有着非常重要的作用,而人类的社会发展又促进了测距技术的发展与完善。随着人类社会的发展,测距从最原始的估测到测量工具的产生再到近现代高科技测量仪器的诞生,测距技术的理论已趋向完备。有关距离的测量方法很多,从是否接触层次上可以分为两种:接触式测量和非接触式测量。非接触式测量无须与被测表面接触,一般通过光学、电气学、影像学等技术获取最终测量距离。接触式测量测距精度高、稳定性好,但由于受到体积、质量、安装条件、结构以及操作不方便等因素影响而得不到广泛利用;非接触式测量虽然测量精度以及稳定性上不及接触式测量,但具有自动化程度高、测量速度快、信息量丰富、动态范围大等优势而逐渐受到人们的重视,特别是在现在技术的高速发展下,测量精度以及稳定性上非接触式测量已趋近于接触式测量。非接触式测量中使用普遍的一种方法是图像测量。图像测量就是通过图像获取设备获取图像,然后利用图像处理技术对图像进行相关处理获取最终测距结果的一种测量方法。该方法对测量工具和被测物体没有特殊要求,比较适合应用于传统接触式测量无法实施的场合。
测距可以应用到生活的各个方面,尤其在人体运动场景时,往往需要对身体运动进行检测、跟踪和测量,例如,心肺复苏操作检测的场景的检测、跟踪和测量,还包括健身、康复等各种肢体运动的场景的检测、跟踪和测,例如,体育运动打分(体操等)、健身(例如原地快速蹬踏,检测其频率拐点)、康复、身体运用机能测量、舞蹈、拉琴(如小提琴)、打鼓等。
现有技术中虽然存在一些运动检测的系统和方法,但是,这些运动检测系统和方法的精度和速度有待进一步提升。
发明内容
本发明提供一种运动检测方法和装置、电子设备以及计算机可读存储介质,能够进一步提升运动检测的精度和速度,并且所提供的方法和装置能够应用与各种运动检测的场景。
根据本发明的第一方面,提供一种运动检测方法,其包括:
拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;
对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;
根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及
测定所述标定组件的移动距离。
根据本发明的第二方面,提供一种运动检测装置,其包括:
拍摄模块,用于拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;
检测模块,用于对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;
跟踪模块,用于根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及
测定模块,用于测定所述标定组件的移动距离。
根据本申请的第三方面,提供了一种电子设备,包括:
处理器;
存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行第一方面所述的方法。
根据本申请的第四方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行第一方面所述的方法。
根据本发明的运动检测方法和装置、电子设备以及计算机可读存储介质,通过运动目标检测过程,通过检测目标颜色且处于运动的物体,能够大致识别标记组件的位置,在经过膨胀腐蚀和连通域筛选处理后,还能够去除图片中的噪声和干扰,然后通过边缘检测并将所提取的边缘进行对应的变换,能够精确识别标记组件,并获取标记组件的位置信息。最后,在获取标记的位置信息后再进行跟踪和距离测量。本发明的运动检测装置能够实现更精确和更快速的目标检测、跟踪和测量。
附图说明
图1是根据本发明实施例的运动检测辅助系统的示意图;
图2是根据本发明实施例的标定组件的示意图;
图3是根据本发明一个实施例的运动检测方法的流程图;
图4是根据本发明一个实施例的图3所示的步骤S32的流程图;
图5是根据本发明一个实施例的运动目标检测的流程图;
图6是根据本发明另一个实施例的运动目标检测的流程图;
图7是根据本发明一个实施例的正方形标记部件的示意图;
图8是根据本发明一个实施例的标记部件上下移动的示意图;
图9是根据本发明一个实施例的运动检测装置的示意图;
图10是根据本发明一个实施例的图9所示的检测模块92的示意图;
图11是根据本发明一个实施例的运动目标检测模块的示意图;
图12是根据本发明另一个实施例的运动目标检测模块的示意图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中,需要理解的是,术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语"第一"、"第二"仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,"多个"的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语"安装"、"相连"、"连接"应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明的实施例提供一种运动检测辅助系统。运动检测辅助系统包括标定组件100和检测终端支架400,运动检测辅助系统与检测终端200配合,可检测运动过程中的参数。检测终端200可以为手机、iPad等智能设备。
如图2所示,运动检测用的标定组件100包括固定部件101和标记部件102。进行运动时,固定部件101用于将标定组件100固定于运动者的手腕部、腿、腰上等。标记部件102设置于固定部件101上,并形成为具有预定尺寸参数的图形,作为光学信标,便于在标定组件100的视频图像中进行识别,例如,该标记部件102可以是一种LOGO。标记部件102包括自发光结构和/或反光结构。
标记部件102形成的图形及图形的尺寸预先存储于检测终端中,便于检测终端进行后续的处理。本实施例中,标记部件102形成的图形为圆形,圆形的直径是确定的,将圆形的直径预先存储于检测终端中。另一种方案中,标记部件102的图形可为矩形或正方形,将矩形或正方形的边长预先存储于检测终端中。标记部件102的图形也可以为其他特定的形状,具有确定的尺寸即可。
根据本发明一个可选的技术方案,标记部件102的数量为多个,在固定部件101上依次设置,便于对标定组件100的空间姿态进行识别。多个标记部件102还可设置为不同的颜色,提高空间姿态识别的准确性。
标定组件100可以为手环,将手环带在运动人员的手腕上。标定组件100也可以为手表或护臂套等可相对手臂进行固定的设备。例如,在进行心肺复苏时,标定组件100优选地用于佩戴于手腕处,因为这种情况下手环的移动距离与手掌的移动距离之间的误差最小。
在根据图1所示的系统中,检测终端200对运动的过程进行拍摄。影响测距精度的因素很多,其中,硬件因素的影响可以通过选取高分辨率的CCD(Charge Coupled Device,电荷耦合器件)摄像机、高采样频率的图像采集卡等高品质硬件,降低各种环境因素的限制。因为检测终端(例如,手机)的款式不同,通过软件算法来提高系统测距精度的方法是相对最有效的途径。检测终端200在对运动的过程进行拍摄,获得视频输入。为了对标定组件100进行目标检测、目标跟踪和距离测量,首先需要将视频输入转换为单帧图片,使得视频输入成为图片帧序列。在一个可选的实施例中,为了通过简单高效的方式提取目标,将RGB(Red Green Blue,红绿蓝)颜色空间转换为HSV(Hue,Saturation,Value,色调、饱和度、明度)颜色空间,便于颜色的筛选和提取。相比正常图片所使用的RGB颜色空间,HSV颜色空间的描述方式更接近人的肉眼的识别方式,可以更好的描述颜色和亮度的情况。另外,由于目标背景的复杂化,存在颜色丰富后,进行分割出现多个目标,导致图像存在无法定位和角点检测错误的情况,可以将HSV空间模型的H为用圆周表示。
根据本发明的一个方面,提供一种运动检测方法。如图3所示,该方法包括如下步骤:
步骤S31,拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件。
被检测者佩戴标定组件,所述标定组件可以为手环、脚环等。在被检测者佩戴标定组件后,检测终端可以拍摄被检测者的运动,形成视频输入,然后将视频输入转换为图片帧序列,形成图片帧序列。
步骤S32,对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息。
在将视频输入转换为图片帧序列后,首先需要识别图片中标定组件的位置,在获取标定位置的位置信息后,才便于后续对标定组件的跟踪以及根据跟踪后的结果对标定组件移动距离的测量。在图4、图5和图6中将会对步骤S32进行更详细的描述。
步骤S33,根据跟踪算法跟踪所述图片帧序列中的所述标定组件。
为了保证测距的速度,需要对标定组件进行目标检测并进行跟踪。在通过步骤S32获得标定组件的位置信息后,由于标定组件处于运动的状态,需要保持对标定组件的跟踪。通过跟踪算法,保证在目标在仅仅有微弱形变且快速移动的时候保证良好的跟踪效果,能够提取出标定组件移动的轨迹。
在一个优选的实施例中,跟踪算法可以包括KCF算法(Kernel CorrelationFilter,核相关滤波算法)。KCF算法具有如下优点:实现简洁、效果好、速度快。通过循环矩阵位移产生大量样本来解决问题,并且通过离散傅里叶变换的推导,在频域计算速度极快。在缺少样本的情况下,通过简单的方法检测,连接核运算进行跟踪,保证了跟踪的泛化能力。
步骤S34,测定所述标定组件的移动距离。
首先,检测终端200预先知道标定组件100上的标记部件102的预定尺寸,并在捕捉到标记部件102后,获知标记部件102所占用的像素值。然后,在跟踪标定组件的过程中,提取标定组件运动过程中的极值点的位置信息,该极值点的位置信息包括上下运动的最上位置时的位置信息以及最下位置的位置信息,或者包括左右运动的最左位置时的位置信息以及最右位置的位置信息,当然,极值点的位置信息还可以包括其他运动极限位置的信息。通过取标定组件运动过程中的极值点的位置信息,获知标定组件运动过程中所占用的像素值,然后依据标记部件102的尺寸以及标记部件102所占用的像素值,获得标定组件的运动距离。在图7和图8中将会对步骤S32进行更详细的描述。
图4是根据本发明一个实施例的图3所示的步骤S32的流程图。如图4所示,步骤S32包括如下子步骤:
子步骤S41,对所述图片帧序列进行运动目标检测。
运动目标检测用于提取图片帧中标定组件的信息。运动目标检测算法有很多种,包括背景减除法、光流法和帧差法。在一个优选的实施例中,采用帧差法实施运动目标检测。其中,采用帧差法实施运动目标检测如图5和图6所示,下文将会进行详细介绍。
在一个可选的实施例中,为了减少计算量,步骤S32还可以包括如下子步骤:
子步骤S42,对所述运动目标检测后的结果进行二值化处理。
通过二值化处理,滤除掉多余信息,将颜色信息处理为黑和白,能够大大减少计算量。
在另一个可选的实施例中,为了减少滤除掉除了标定组件外的小面积的噪声干扰,步骤S32还可以包括如下子步骤:
子步骤S43,对二值化处理后的结果进行膨胀腐蚀处理;以及
子步骤S44,对膨胀腐蚀后的结果进行连通域筛选处理。
其中,可以设置合适的膨胀腐蚀的大小,也可以设置连通域筛选的面积,例如,筛选掉小于300像素的连通域。在完成运动目标检测的筛选后,可以在图片帧中大致得到感兴趣的目标,包括标记组件,但是仍然不能排除掉一小部分的干扰。因此,将根据标记组件的边缘特征来识别标记组件的具体位置。从而,步骤S32包括:
子步骤S45,将所述运动目标检测的结果进行边缘检测处理,在边缘检测处理过程中,所提取的边缘包括所述标定组件的边缘。
在一个具体的实施例中,进行边缘检测的算法包括canny算法。
在进行边缘检测处理后,所提取的边缘包含标定组件的边缘,也可能包含不是标定组件的其他物体的边缘。从而,为了更精确确定标定组件的位置,步骤S32包括:
子步骤S46,根据所述标定组件的预设形状,将所提取的边缘进行对应的变换,从而获取所述标定组件的所述位置信息。
例如,标定组件为手环,那么其预设形状为矩形,可以通过相应的变换算法,例如,霍夫变换,提取矩形的各个直线段,从而确定所提取的边缘为手环的边缘。更为具体地,设定一个直线段的数量的阈值,例如2或3,当经过霍夫变换提取的直线段的数量大于等于该阈值时,可以确认该边缘为矩形的边缘,即检测到手环的边缘。
再如,如果编辑组件的预设形状为圆形或椭圆,可以通过相应的变换算法,例如,另一种霍夫变换,提取圆形或椭圆形,从而确定所提取的边缘为标记组件的边缘或边缘的组成部分。
在提取标定组件的边缘或边缘的组成部分时,根据标定组件的预设形状的特点,设置对应的变换算法,提取出标定组件的边缘或边缘的组成部分,对于采用什么样的变换算法,本发明不做限定,只要该变换算法能够提取并确定标定组件的边缘即可。
在获取标记组件的边缘后,就能够知道标记组件的位置信息。例如,标记组件为手环,可以以坐标[X,Y,H,W]表示手环的位置,在一个具体实施例中,X和Y分别表示手环矩形的左上角顶点的横坐标和纵坐标,而H和W分别表示手环矩形的高度和宽度。
图5是根据本发明一个实施例的运动目标检测的流程图。对于视频输入的图片帧序列,选择其中的两个相邻的图片帧(这两个图片帧优选的为图片帧序列的前两个相邻的图片帧)进行运动目标检测。该运动目标检测流程包括:
步骤S51,获取所述图片帧序列中的相邻的第一图片帧和第二图片帧。
步骤S52,从所述第一图片帧和所述第二图片帧中分别提取目标颜色。
目标颜色是标记组件的颜色,提取目标颜色是为了便于对标记组件的检测。目标颜色优选与人体肤色、衣着以及视频背景均不同的颜色,例如,红色或绿色等。
步骤S53,将所述第一图片帧和所述第二图片帧中提取目标颜色进行差分,获得运动目标检测的结果。
图6是根据本发明另一个实施例的运动目标检测的流程图。与图5不同的是,对于视频输入的图片帧序列,选择其中的三个相邻的图片帧(这三个图片帧优选的为图片帧序列的前三个相邻的图片帧)进行运动目标检测。该运动目标检测流程包括:
步骤S61,获取所述图片帧序列中的相邻的第一图片帧、第二图片帧和第三图片帧。
步骤S62,从所述第一图片帧、第二图片帧和第三图片帧中分别提取目标颜色。
目标颜色是标记组件的颜色,提取目标颜色是为了便于对标记组件的检测。目标颜色优选与人体肤色、衣着以及视频背景均不同的颜色,例如,红色或绿色等。
步骤S63,将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得第一差分结果。
步骤S64,将所述第二图片帧和所述第三图片帧中提取的目标颜色进行差分,获得第二差分结果。
其中,对步骤S63和步骤S64执行的顺序没有限定,步骤S63可以在步骤S64之前执行,也可以在步骤S64之后执行,还可以与步骤S64同时执行。
步骤S65,将所述第一差分结果与所述第二差分结果取交集,获得运动目标检测的结果。
图6所示的运动目标检测过程相对图5能够有效减少图像中存在的噪声。在图5和图6所示的实施例的教示下,本领域技术人员可以想到,对于视频输入的图片帧序列,还可以选择其中的更多个相邻的图片帧进行运动目标检测,这些都属于本申请覆盖的范围。
此外,在一个优选的实施例中,保证跟踪的可靠性,在跟踪图片帧达到设定数目后,需要再次执行对标定组件的检测,获取标定组件的位置信息。从而,本发明的运动检测方法还可以包括:获取跟踪所述图片帧序列所跟踪帧的数目;以及响应于所述跟踪帧的数目达到预设值,再次执行所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息,即再次执行步骤S32或步骤S41。
图7和图8描述了标定组件移动距离的测定。如图7所示,以标记部件102的图形形状为正方形为例。标记部件102的边长L为2cm。检测终端200由标定组件100的视频图像中确定正方形的边对应第一像素数为100,则标定组件100的视频图像中像素对应的实际距离为0.02cm。
以运动为实施心肺复苏为例。在实施心肺复苏的过程中,施救人员进行按压,标定组件100移动时,检测终端200由标定组件的视频图像中确定上极限图像帧和下极限图像帧。根据上极限图像帧和下极限图像帧确定标定组件移动距离对应的第二像素数。
如图8所示,标定组件100移动时,检测终端200由标定组件100的视频图像的各个图像帧中可识别出一次按压操作的上极限图像帧和下极限图像帧。上极限图像帧和下极限图像帧中标记部件102的上极限位和下极限位之间的像素数作为标定组件100移动距离对应的第二像素数。
进行初次按压时,将标定组件100未移动时图像中的图像帧作为初次按压的上极限图像帧;随着标定组件100的下移,视频图像中标记部件102对应的像素不断下移;检测终端200识别到标记部件102对应的像素不再下移时,将此时的一图像帧作为初次按压的下极限图像帧。随着标定组件100的上移,处理模块202的第二子模块识别到标记部件102对应的像素不再上移时,将此时的一图像帧作为二次按压的上极限图像帧;之后标定组件100下移,检测终端200识别到标记部件102对应的像素不再下移时,将此时的一图像帧作为二次按压的下极限图像帧。如此循环,检测终端200可识别出每次按压对应的上极限图像帧和下极限图像帧。通过上极限图像帧和下极限图像帧,确定每次按压时标定组件100移动距离对应的第二像素数。检测终端200根据述标定组件的视频图像中像素对应的实际距离和第二像素数确定标定组件移动距离。
例如,一次按压中,检测终端200确定标定组件100移动距离S对应的第二像素数为200,标定组件的视频图像中像素对应的实际距离为0.02cm,计算得出标定组件移动距离S为4cm。将4cm作为此次的按压深度。
在实际场景中,标定组件上的标记部件102的法线可能并不指向检测终端200,即检测终端200由斜向拍摄标定组件。此时,处理模块202可根据标记部件的图像变形量确定检测终端200由哪个方向拍摄标定组件100;根据相应角度的余弦关系转换,检测终端200确定标定组件的视频图像中像素对应的实际距离。此设计主要是涉及到人在佩戴标定组件100进行救治时,标定组件100的标记部件102所在平面不一定与标定组件100与检测终端200的连线方向是垂直的。当不垂直时,检测终端200检测到的标记部件102就会形成一定的畸变。例如本来标记部件是圆形时,在标定组件的标记部件所在平面与标定组件和检测终端的连线方向不垂直时,检测到的标记部件就呈现椭圆形。此时虽然检测终端知道标记部件的尺寸,例如圆的直径是2㎝,但在其检测到的图像中椭圆的长轴是2厘米,而短轴不到2㎝。此时,检测终端200就要根据其实际拍摄到的图形来识别出实际的标记部件的尺寸,例如以椭圆的长轴来代表圆形的直径。在圆变为椭圆的情况下,还相对比较简单,而在例如使用矩形、多边形等情况下,畸变会变得复杂。例如矩形包括长、短边,在不垂直时,可能拍摄到的是一个平行四边形。此时需要根据平行四边形的两条相邻边的夹角,判断出该矩形所在平面与(标定组件与检测终端之间的)连线的夹角,进而根据余弦关系转换计算所拍摄到的平行四边形的各边所代表的实物的长度,进而计算出在按压方向上,各像素代表的实际距离。
当标定组件100的标记部件102所在平面不与标定组件100与检测终端200的连线方向垂直时,除了上述检测终端200根据标记部件102的具体形状纠正检测到的标记部件102形成的畸变,获取标记部件102的实际参考尺寸的方式,还可以通过矫正标定组件100与检测终端200所处的参考坐标系的方式,获取标记部件102的实际参考尺寸。
此外,对于检测终端200测量的距离的精度,一方面,检测终端200在拍摄运动过程中使用的摄像头的清晰度越高,精度损失越小,即精度越高;另一方面,依据如下精度损失的公式:
其中,εeref和εpref分别表示测量时的边缘选取造成的误差和像素本身的误差,εereal和εpreal分别实际待测目标距离的误差和参考距离的误差,lref和lreal分别代表参考距离和实际待测目标的距离,参考距离表示运动过程中第一极限位置点的标定组件100的第一设定参考基准线至第二极限位置点的标定组件100的第二设定参考基准线的距离,而实际待测目标的距离表示运动过程中第一极限位置点的标定组件100的第一设定参考基准线至第二极限位置点的标定组件100的所述第一设定参考基准线的距离。例如,对于进行上下运动(例如心肺复运动)过程来说,参考距离表示运动过程最高点的标定组件100(例如,手环)的上边沿至最低点的标定组件100的下边沿的距离,而实际待测目标的距离表示运动过程最高点的标定组件100(例如,手环)的上边沿至最低点的标定组件100的上边沿的距离。
从上述公式可以看出,以看到当参考距离越大,精度损失E就会逐渐变小。从而可知,拍摄时的摄像头的像素值和实际距离的测量都会造成实验时的精度误差,一方面通过使用高清摄像头,另一方面通过增加参考距离,可以有效缩减实验中的误差。
尽管上面实施例结合心肺复苏检测描述了具体的算法,但本方案不限于应用于该场景,而是还可以应用于诸如肢体、身体运动的跟踪和测量上,进而可以应用到健身、康复等各种肢体运动的场景中的运动检测,例如:体育运动打分(体操等)、健身(例如原地快速蹬踏,检测其频率拐点)、康复、身体运用机能测量、舞蹈、拉琴(如小提琴)、打鼓等。
本方案不仅可以采集心肺复苏时的上半身运动数据,还可以在平时采集人体原地训练数据,如计算原地快速抬落腿,俯卧撑的频率、次数、深度等指标。在康复者需要运动的身体部分,比如手臂、腿、腰上带上标定装置,比如手环、腿环等,利用手机摄像头拍摄监控运动过程,监测运动幅度、频率、轨迹等,并能給出幅度测量记录(分辨率2mm,精度5mm)、频率记录、轨迹在视频上画出等功能。
根据本发明的运动检测方法,通过运动目标检测过程,通过检测目标颜色且处于运动的物体,能够大致识别标记组件的位置,在经过膨胀腐蚀和连通域筛选处理后,还能够去除图片中的噪声和干扰,然后通过边缘检测并将所提取的边缘进行对应的变换,能够精确识别标记组件,并获取标记组件的位置信息。最后,在获取标记的位置信息后再进行跟踪和距离测量。本发明的运动检测方法能够实现更精确和更快速的目标检测、跟踪和测量。
根据本发明的另一个方面,提供一种运动检测装置。如图9所示,该装置包括如下模块:
拍摄模块91,用于拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件。
被检测者佩戴标定组件,所述标定组件可以为手环、脚环等。在被检测者佩戴标定组件后,检测终端可以拍摄被检测者的运动,形成视频输入,然后将视频输入转换为图片帧序列,形成图片帧序列。
检测模块92,用于所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息。
在将视频输入转换为图片帧序列后,首先需要识别图片中标定组件的位置,在获取标定位置的位置信息后,才便于后续对标定组件的跟踪以及根据跟踪后的结果对标定组件移动距离的测量。在图10、图11和图12中将会对检测模块92进行更详细的描述。
跟踪模块93,用于根据跟踪算法跟踪所述图片帧序列中的所述标定组件。
为了保证测距的速度,需要对标定组件进行目标检测并进行跟踪。在通过检测模块92获得标定组件的位置信息后,由于标定组件处于运动的状态,需要保持对标定组件的跟踪。通过跟踪算法,保证在目标在仅仅有微弱形变且快速移动的时候保证良好的跟踪效果,能够提取出标定组件移动的轨迹。
在一个优选的实施例中,跟踪算法可以包括KCF算法(Kernel CorrelationFilter,核相关滤波算法)。KCF算法具有如下优点:实现简洁、效果好、速度快。通过循环矩阵位移产生大量样本来解决问题,并且通过离散傅里叶变换的推导,在频域计算速度极快。在缺少样本的情况下,通过简单的方法检测,连接核运算进行跟踪,保证了跟踪的泛化能力。
测定模块94,用于测定所述标定组件的移动距离。
首先,检测终端200预先知道标定组件100上的标记部件102的预定尺寸,并在捕捉到标记部件102后,获知标记部件102所占用的像素值。然后,在跟踪标定组件的过程中,提取标定组件运动过程中的极值点的位置信息,该极值点的位置信息包括上下运动的最上位置时的位置信息以及最下位置的位置信息,或者包括左右运动的最左位置时的位置信息以及最右位置的位置信息,当然,极值点的位置信息还可以包括其他运动极限位置的信息。通过取标定组件运动过程中的极值点的位置信息,获知标定组件运动过程中所占用的像素值,然后依据标记部件102的尺寸以及标记部件102所占用的像素值,获得标定组件的运动距离。
图10是根据本发明一个实施例的图9所示的检测模块92的示意图。如图10所示,检测模块92包括如下单元:
运动目标检测单元101,用于对所述图片帧序列进行运动目标检测。
运动目标检测用于提取图片帧中标定组件的信息。运动目标检测算法有很多种,包括背景减除法、光流法和帧差法。在一个优选的实施例中,采用帧差法实施运动目标检测。其中,采用帧差法实施运动目标检测如图11和图12所示,下文将会进行详细介绍。
在一个可选的实施例中,为了减少计算量,检测模块92还可以包括如下单元:
二值化处理单元102,用于对所述运动目标检测后的结果进行二值化处理。
通过二值化处理,滤除掉多余信息,将颜色信息处理为黑和白,能够大大减少计算量。
在另一个可选的实施例中,为了减少滤除掉除了标定组件外的小面积的噪声干扰,检测模块92还可以包括如下单元:
膨胀腐蚀处理单元103,用于对二值化处理后的结果进行膨胀腐蚀处理;以及
连通域筛选处理单元104,用于对膨胀腐蚀后的结果进行连通域筛选处理。
其中,可以设置合适的膨胀腐蚀的大小,也可以设置连通域筛选的面积,例如,筛选掉小于300像素的连通域。
在完成运动目标检测的筛选后,可以在图片帧中大致得到感兴趣的目标,包括标记组件,但是仍然不能排除掉一小部分的干扰。因此,将根据标记组件的边缘特征来识别标记组件的具体位置。从而,检测模块92包括:
边缘处理单元105,用于将所述运动目标检测的结果进行边缘检测处理,在边缘检测处理过程中,所提取的边缘包括所述标定组件的边缘。
在一个具体的实施例中,进行边缘检测的算法包括canny算法。在进行边缘检测处理后,所提取的边缘包含标定组件的边缘,也可能包含不是标定组件的其他物体的边缘。从而,为了更精确确定标定组件的位置,检测模块92包括:
边缘变换单元106,用于根据所述标定组件的预设形状,将所提取的边缘进行对应的变换,从而获取所述标定组件的所述位置信息。
例如,标定组件为手环,那么其预设形状为矩形,可以通过相应的变换算法,例如,霍夫变换,提取矩形的各个直线段,从而确定所提取的边缘为手环的边缘。更为具体地,设定一个直线段的数量的阈值,例如2或3,当经过霍夫变换提取的直线段的数量大于等于该阈值时,可以确认该边缘为矩形的边缘,即检测到手环的边缘。
再如,如果编辑组件的预设形状为圆形或椭圆,可以通过相应的变换算法,例如,另一种霍夫变换,提取圆形或椭圆形,从而确定所提取的边缘为标记组件的边缘或边缘的组成部分。
在提取标定组件的边缘或边缘的组成部分时,根据标定组件的预设形状的特点,设置对应的变换算法,提取出标定组件的边缘或边缘的组成部分,对于采用什么样的变换算法,本发明不做限定,只要该变换算法能够提取并确定标定组件的边缘即可。
在获取标记组件的边缘后,就能够知道标记组件的位置信息。例如,标记组件为手环,可以以坐标[X,Y,H,W]表示手环的位置,在一个具体实施例中,X和Y分别表示手环矩形的左上角顶点的横坐标和纵坐标,而H和W分别表示手环矩形的高度和宽度。
图11是根据本发明一个实施例的运动目标检测模块的示意图。对于视频输入的图片帧序列,选择其中的两个相邻的图片帧(这两个图片帧优选的为图片帧序列的前两个相邻的图片帧)进行运动目标检测。该运动目标检测单元包括:
第一图片帧获取子单元111,用于获取所述图片帧序列中的相邻的第一图片帧和第二图片帧。
第一颜色提取子单元112,用于从所述第一图片帧和所述第二图片帧中分别提取目标颜色。
目标颜色是标记组件的颜色,提取目标颜色是为了便于对标记组件的检测。目标颜色优选与人体肤色、衣着以及视频背景均不同的颜色,例如,红色或绿色等。
第一差分子单元113,用于将所述第一图片帧和所述第二图片帧中提取目标颜色进行差分,获得运动目标检测的结果。
图12是根据本发明一个实施例的运动目标检测模块的示意图。与图11不同的是,对于视频输入的图片帧序列,选择其中的三个相邻的图片帧(这三个图片帧优选的为图片帧序列的前三个相邻的图片帧)进行运动目标检测。该运动目标检测单元包括:
第二图片帧获取子单元121,用于获取所述图片帧序列中的相邻的第一图片帧、第二图片帧和第三图片帧。
第二颜色提取子单元122,用于从所述第一图片帧、第二图片帧和第三图片帧中分别提取目标颜色。
目标颜色是标记组件的颜色,提取目标颜色是为了便于对标记组件的检测。目标颜色优选与人体肤色、衣着以及视频背景均不同的颜色,例如,红色或绿色等。
第二差分子单元123,用于将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得第一差分结果。
第三差分子单元124,用于将所述第二图片帧和所述第三图片帧中提取的目标颜色进行差分,获得第二差分结果。
取交集子单元125,用于将所述第一差分结果与所述第二差分结果取交集,获得运动目标检测的结果。
图12所示的运动目标检测过程相对图11能够有效减少图像中存在的噪声。在图11和图12所示的实施例的教示下,本领域技术人员可以想到,对于视频输入的图片帧序列,还可以选择其中的更多个相邻的图片帧进行运动目标检测,这些都属于本申请覆盖的范围。
此外,在一个优选的实施例中,保证跟踪的可靠性,在跟踪图片帧达到设定数目后,需要再次执行对标定组件的检测,获取标定组件的位置信息。从而,本发明的运动检测装置还可以包括:获取模块,用于获取跟踪所述图片帧序列所跟踪帧的数目。这样,在跟踪帧的数目达到预设值后,使得检测模块92再次执行所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息。
根据本发明的运动检测装置,通过运动目标检测过程,通过检测目标颜色且处于运动的物体,能够大致识别标记组件的位置,在经过膨胀腐蚀和连通域筛选处理后,还能够去除图片中的噪声和干扰,然后通过边缘检测并将所提取的边缘进行对应的变换,能够精确识别标记组件,并获取标记组件的位置信息。最后,在获取标记的位置信息后再进行跟踪和距离测量。本发明的运动检测装置能够实现更精确和更快速的目标检测、跟踪和测量。
根据本申请的另一方面,提供了一种电子设备,其包括处理器和存储器,该存储器存储有计算机程序,当该计算机程序被该处理器执行时,使得该处理器执行如以上任一个实施方式所述的运动检测方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当该指令被处理器执行时,能够使得该处理器执行如以上任一个实施方式所述的运动检测方法。具体来说,该运动检测方法包括:拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及测定所述标定组件的移动距离。
其中,所述对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息包括:对所述图片帧序列进行运动目标检测;将所述运动目标检测的结果进行边缘检测处理,在边缘检测处理过程中,所提取的边缘包括所述标定组件的边缘;以及根据所述标定组件的预设形状,将所提取的边缘进行对应的变换,从而获取所述标定组件的所述位置信息。
其中,所述对所述图片帧序列进行运动目标检测包括:获取所述图片帧序列中的相邻的第一图片帧和第二图片帧;从所述第一图片帧和所述第二图片帧中分别提取目标颜色;将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得运动目标检测的结果。
其中,所述对所述图片帧序列进行运动目标检测包括:获取所述图片帧序列中的相邻的第一图片帧、第二图片帧和第三图片帧;从所述第一图片帧、第二图片帧和第三图片帧中分别提取目标颜色;将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得第一差分结果;将所述第二图片帧和所述第三图片帧中提取的目标颜色进行差分,获得第二差分结果;将所述第一差分结果与所述第二差分结果取交集,获得运动目标检测的结果。
其中,所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息还包括:对所述运动目标检测后的结果进行二值化处理。
其中,所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息还包括:对二值化处理后的结果进行膨胀腐蚀处理;以及对膨胀腐蚀后的结果进行连通域筛选处理。
其中,所述跟踪算法包括KCF算法,所述边缘检测处理包括采用canny算法,并且/或者所述运动目标检测包括背景减除法、光流法和帧差法。
进一步地,该运动检测方法还包括:获取跟踪所述图片帧序列所跟踪帧的数目;以及响应于所跟踪帧的数目达到预设值,再次执行所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过其通信部件从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收单元、查找单元、发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,接收单元还可以被描述为“接收用于索取区块链账户地址信息的用户请求的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置执行如上所述的方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种运动检测方法,其包括:
拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;
对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;
根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及
测定所述标定组件的移动距离。
2.如权利要求1所述的方法,其中,所述对所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息包括:
对所述图片帧序列进行运动目标检测;
将所述运动目标检测的结果进行边缘检测处理,在边缘检测处理过程中,所提取的边缘包括所述标定组件的边缘;以及
根据所述标定组件的预设形状,将所提取的边缘进行对应的变换,从而获取所述标定组件的所述位置信息。
3.如权利要求2所述的方法,其中,所述对所述图片帧序列进行运动目标检测包括:
获取所述图片帧序列中的相邻的第一图片帧和第二图片帧;
从所述第一图片帧和所述第二图片帧中分别提取目标颜色;
将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得运动目标检测的结果。
4.如权利要求2所述的方法,其中,所述对所述图片帧序列进行运动目标检测包括:
获取所述图片帧序列中的相邻的第一图片帧、第二图片帧和第三图片帧;
从所述第一图片帧、第二图片帧和第三图片帧中分别提取目标颜色;
将所述第一图片帧和所述第二图片帧中提取的目标颜色进行差分,获得第一差分结果;
将所述第二图片帧和所述第三图片帧中提取的目标颜色进行差分,获得第二差分结果;
将所述第一差分结果与所述第二差分结果取交集,获得运动目标检测的结果。
5.如权利要求2所述的方法,所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息还包括:
对所述运动目标检测后的结果进行二值化处理。
6.如权利要求5所述的方法,所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息还包括:
对二值化处理后的结果进行膨胀腐蚀处理;以及
对膨胀腐蚀后的结果进行连通域筛选处理。
7.如权利要求2所述的方法,其中,
所述跟踪算法包括KCF算法,
所述边缘检测处理包括采用canny算法,并且/或者
所述运动目标检测包括背景减除法、光流法和帧差法。
8.如权利要求1所述的方法,还包括:
获取跟踪所述图片帧序列所跟踪帧的数目;以及
响应于所跟踪帧的数目达到预设值,再次执行所述对视频输入的图片帧序列中的标定组件进行检测,获取所述标定组件的位置信息。
9.一种运动检测装置,其包括:
拍摄模块,用于拍摄被检测者的运动,形成图片帧序列,所述被检测者佩戴标定组件;
检测模块,用于所述图片帧序列中的所述标定组件进行检测,获取所述标定组件的位置信息;
跟踪模块,用于根据跟踪算法跟踪所述图片帧序列中的所述标定组件;以及
测定模块,用于测定所述标定组件的移动距离。
10.一种电子设备,包括:
处理器;以及
存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如权利要求1-8中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/093981 WO2021243572A1 (zh) | 2020-06-02 | 2020-06-02 | 运动检测方法和装置、电子设备以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112292688A true CN112292688A (zh) | 2021-01-29 |
Family
ID=74425093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080001060.9A Pending CN112292688A (zh) | 2020-06-02 | 2020-06-02 | 运动检测方法和装置、电子设备以及计算机可读存储介质 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN112292688A (zh) |
TW (1) | TWI778552B (zh) |
WO (1) | WO2021243572A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556447A (zh) * | 2021-12-30 | 2022-05-27 | 焦旭 | 手部按压深度检测方法及装置 |
WO2023123214A1 (zh) * | 2021-12-30 | 2023-07-06 | 焦旭 | 电子设备、手部按压深度检测方法、系统以及穿戴设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132925B (zh) * | 2023-10-26 | 2024-02-06 | 成都索贝数码科技股份有限公司 | 一种体育赛事的智能场记方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
CN110111364A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 运动检测方法、装置、电子设备及存储介质 |
US20190318645A1 (en) * | 2016-12-27 | 2019-10-17 | Coaido Inc. | Measurement device |
CN110968182A (zh) * | 2018-09-30 | 2020-04-07 | 广东虚拟现实科技有限公司 | 定位追踪方法、装置及其穿戴式设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986141A (zh) * | 2018-07-03 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 物体运动信息处理方法、装置、增强现实设备及存储介质 |
-
2020
- 2020-06-02 CN CN202080001060.9A patent/CN112292688A/zh active Pending
- 2020-06-02 WO PCT/CN2020/093981 patent/WO2021243572A1/zh active Application Filing
-
2021
- 2021-03-23 TW TW110110400A patent/TWI778552B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
CN103198492A (zh) * | 2013-03-28 | 2013-07-10 | 沈阳航空航天大学 | 一种人体运动捕获方法 |
US20190318645A1 (en) * | 2016-12-27 | 2019-10-17 | Coaido Inc. | Measurement device |
CN110968182A (zh) * | 2018-09-30 | 2020-04-07 | 广东虚拟现实科技有限公司 | 定位追踪方法、装置及其穿戴式设备 |
CN110111364A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 运动检测方法、装置、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556447A (zh) * | 2021-12-30 | 2022-05-27 | 焦旭 | 手部按压深度检测方法及装置 |
WO2023123214A1 (zh) * | 2021-12-30 | 2023-07-06 | 焦旭 | 电子设备、手部按压深度检测方法、系统以及穿戴设备 |
Also Published As
Publication number | Publication date |
---|---|
TW202145957A (zh) | 2021-12-16 |
TWI778552B (zh) | 2022-09-21 |
WO2021243572A1 (zh) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI778552B (zh) | 運動檢測方法和裝置、電子設備以及內儲程式之電腦可讀取記錄媒體 | |
US11423562B2 (en) | Device and method for obtaining distance information from views | |
CN109583304A (zh) | 一种基于结构光模组的快速3d人脸点云生成方法及装置 | |
WO2018176938A1 (zh) | 红外光斑中心点提取方法、装置和电子设备 | |
US8059870B2 (en) | Time-of-flight sensor-assisted iris capture system and method | |
US8374389B2 (en) | Iris deblurring method based on global and local iris image statistics | |
CN105205815B (zh) | 基于云台可控制摄像机的实时视频跟踪方法 | |
KR100660725B1 (ko) | 얼굴 추적 장치를 가지는 휴대용 단말기 | |
US20090304231A1 (en) | Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device | |
JP2010157924A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
CN111220235B (zh) | 水位监测方法及装置 | |
CN107767358B (zh) | 一种图像中物体模糊度确定方法和装置 | |
CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
CN111387987A (zh) | 一种基于图像识别的身高测量方法、装置、设备及存储介质 | |
CN110781712A (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
CN114463663A (zh) | 一种人员身高的计算方法、装置、电子设备及存储介质 | |
CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 | |
JPWO2019097690A1 (ja) | 画像処理装置、制御方法及び制御プログラム | |
CN109410272B (zh) | 一种变压器螺母识别与定位装置及方法 | |
CN116386089A (zh) | 运动场景下人体姿态估计方法、装置、设备及存储介质 | |
CN113313707B (zh) | 原始图像处理方法、装置、设备及可读存储介质 | |
CN116261043A (zh) | 对焦距离确定方法、装置、电子设备和可读存储介质 | |
JP5076567B2 (ja) | テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム | |
JP4312185B2 (ja) | ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |