CN112990140A - 手势轮廓提取方法、装置、可读存储介质及电子设备 - Google Patents

手势轮廓提取方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN112990140A
CN112990140A CN202110474491.3A CN202110474491A CN112990140A CN 112990140 A CN112990140 A CN 112990140A CN 202110474491 A CN202110474491 A CN 202110474491A CN 112990140 A CN112990140 A CN 112990140A
Authority
CN
China
Prior art keywords
image
frame difference
gesture
current moment
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110474491.3A
Other languages
English (en)
Other versions
CN112990140B (zh
Inventor
熊斌
郭振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202110474491.3A priority Critical patent/CN112990140B/zh
Publication of CN112990140A publication Critical patent/CN112990140A/zh
Application granted granted Critical
Publication of CN112990140B publication Critical patent/CN112990140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种手势轮廓提取方法、装置、可读存储介质及电子设备，该方法包括：实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；将当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；将预存的噪声图像作为阈值过滤当前时刻的帧差图像，得到当前时刻对应的预处理帧差图像；将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。本发明可以有效的去除背景噪声，实时得到高品质的手势轮廓图像。

Description

手势轮廓提取方法、装置、可读存储介质及电子设备
技术领域
本发明涉及图像处理领域，特别是涉及一种手势轮廓提取方法、装置、可读存储介质及电子设备。
背景技术
手势识别在VR技术（Virtual Reality，虚拟现实）、AR技术（Augmented Reality，增强现实）、无人机控制、智能家居和手语识别等众多领域都有广泛应用。手部的轮廓提取是很多动态手势识别算法的前期基础工作，目前的轮廓提取算法，比如边缘检测，canny算法，深度学习等等。
目前的手势的轮廓提取方法对硬件要求较高，比如深度学习方法需要专用的芯片或者显卡加速，而canny算法等传统方法通常适用于主频较高的CPU，对于低成本的嵌入式平台，CPU计算能力有限，实时性不足。
发明内容
鉴于上述状况，有必要针对现有技术中存在的问题，提供了一种手势轮廓提取方法、装置、可读存储介质及电子设备，以实现简单高效、低成本的手势轮廓提取，并得到与图像传感器同等帧率的高实时性手势轮廓。
一种手势轮廓提取方法，包括：
实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；
将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；
将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像；
将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
进一步的，上述手势轮廓提取方法，其中，所述将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像的步骤之前还包括：
获取图像传感器预先采集的多帧连续的背景图像，并将各帧背景图像转化为灰度图像后，进行帧差处理，得到多个背景帧差图像；
根据多个所述背景帧差图像生成噪声图像，并进行存储。
进一步的，上述手势轮廓提取方法，其中，所述根据多个所述背景帧差图像生成噪声图像的步骤包括：
确定各帧所述背景帧差图像中每个位置点的像素的灰度值，并确定每个所述位置点中像素的最大灰度值；
根据确定的各个所述位置点的像素的最大灰度值生成噪声图像。
进一步的，上述手势轮廓提取方法，其中，将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像的步骤包括：
将所述当前时刻对应的帧差图像中各个位置点的像素的灰度值与预存的噪声图像中对应位置点的像素灰度值进行比较；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值小于所述噪声图像中对应位置点的像素灰度值时，将所述当前位置点的像素的灰度值修改为0；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值大于或等于所述噪声图像中对应位置点的像素的灰度值时，将所述当前位置点的像素的灰度值修改为所述噪声图像中对应的位置点的像素的灰度值。
进一步的，上述手势轮廓提取方法，其中，所述得到当前时刻对应的手势轮廓图像的步骤之后还包括：
对所述手势轮廓图像进行二值化处理，得到二值化的手势轮廓图像。
进一步的，上述手势轮廓提取方法，其中，所述实时获取图像传感器采集的手势图像的步骤之前还包括：
初始化系统；
将初始化系统后获取的第二预设数量个时刻的手势的初始图像分别进行帧差处理，得到对应的初始帧差图像，所述第二预设数量为所述第一预设数量加1，所述当前时刻为系统初始后第二预设数量个时刻之后的时刻；
将所述噪声图像作为阈值过滤各个所述初始帧差图像。
进一步的，上述手势轮廓提取方法，其中，将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像的步骤之后还包括
将最近的所述第一预设数量个时刻对应的预处理帧差图像存储在缓存区。
本发明还提供一种手势轮廓提取装置，包括：
灰度化处理模块，用于实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；
帧差处理模块，用于将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；
过滤模块，用于将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像；
均值处理模块，用于将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
进一步的，上述手势轮廓提取装置，还包括：
二值化处理模块，用于对所述手势轮廓图像进行二值化处理，得到二值化的手势轮廓图像。
进一步的，上述手势轮廓提取装置，还包括：
初始化系统；
将初始化系统后获取的第二预设数量个时刻的手势的初始图像分别进行帧差处理，得到对应的初始帧差图像，所述第二预设数量为所述第一预设数量加1，所述当前时刻为系统初始后第二预设数量个时刻之后的时刻；
将所述噪声图像作为阈值过滤各个所述初始帧差图像。
进一步的，上述手势轮廓提取装置，还包括：
缓存模块，用于将最近的所述第一预设数量个时刻对应的预处理帧差图像存储在缓存区。
本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的手势轮廓提取方法。
本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的手势轮廓提取方法。
本发明实施例中，在背景环境固定的情况下，根据图像传感器采集的多张环境背景的图片生成噪声图像，并在对实时采集的手势图像进行提取轮廓阶段中，以该噪声图像作为阈值对手势图像进行过滤去燥，实时得到高品质的手势轮廓图像。
附图说明
图1为本发明第一实施例中手势轮廓提取方法的流程图；
图2为本发明第二实施例中手势轮廓提取方法的流程图；
图3为基于FPGA平台进行手势图像处理的示意图；
图4为本发明第三实施例中手势轮廓提取装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发明第一实施例中的手势轮廓提取方法，包括步骤S11~S14。
步骤S11，实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像。
本实施例中的手势轮廓提取方法可应用于电子设备中，该电子设备例如为集成有FPGA平台的电子器件，或者为计算机等设备。该电子设备通过数据采集接口获取图像传感器实时采集的手势图像，该手势图像为手势应用场景中图像传感器采集的手部的图像。该图像传感器可以为高帧率的相机中的图像采集传感器。
电子设备将实时获取的手势图像转换为灰度图像。以当前时刻为例，对当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像。
步骤S12，将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像。
对当前时刻得到的待处理灰度图像与前一时刻的待处理灰度图像进行帧差运算得到一副新的图像，即得到当前时刻对应的帧差图像。帧差处理即是对相邻帧图像的做差运算，称为帧差，帧差处理可捕捉到运动物体的轮廓体，由于人的手部无法保持完全静止，所以帧差处理在本发明中可以得到手部的边缘轮廓的图像。
举例来说，针对图像传感器第1至第4时刻采集的手势图像，实时转换为灰度图
Figure 230722DEST_PATH_IMAGE001
，由于第1个时刻之前没有手势图像，因此从第2时刻至第4时刻开始进行帧差计算，得到对应的帧差图像分别为
Figure 129408DEST_PATH_IMAGE002
，
Figure 964509DEST_PATH_IMAGE003
和
Figure 505212DEST_PATH_IMAGE004
。
可以理解的，每一时刻采集的手势图像为一帧图像，进行帧差运算时，一般从第二个时刻（即第二帧）图像开始进行，最终得到帧差图像比手势图像的数量少1。
步骤S13，将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像。
该噪声图像根据图像传感器预先采集的多帧连续的背景图像生成的，该噪声图像可预先生成好后存储在该电子设备中，并在手势轮廓提取的运行阶段直接调用，以实时对采集的手势图像进行过滤处理。该背景图像为手势场景中环境背景的图像，即对手势应用场景的环境下进行拍照得到的图像。
具体的，在本发明的一种实施方式中该噪声图像的生成方式为：
获取图像传感器预先采集的多帧连续的背景图像，并将各帧背景图像转化为灰度图像后，进行帧差处理，得到多个背景帧差图像；
根据多个所述背景帧差图像生成噪声图像，并进行存储。
虽然帧差处理可以一定程度上去除背景像素，但是由于图像传感器成像噪声的存在，有些背景噪声无法通过帧差处理方式消除，本实施例中将该无法通过帧差处理方式消除的噪声定义为固有噪声。本实施例中将多帧连续的背景图像，通过灰度处理后再进行帧差处理，最后根据帧差处理后得到的多个背景帧差图像生成噪声图像，该生成的噪声图像反映了背景明暗对图像的影响。
具体实施时，所述根据多个所述背景帧差图像生成噪声图像的步骤包括：
确定各帧所述背景帧差图像中每个位置点的像素的灰度值，并确定每个所述位置点中像素的最大灰度值；
根据确定的各个所述位置点的像素的最大灰度值生成噪声图像。
即该实施方式中，该噪声图像中的各个位置点的像素的灰度值为各个背景帧差图像中对应位置点像素的最大灰度值。
在环境背景中，在环境光照条件不稳定的情况下，环境变化导致的固有噪声对手势轮廓图像品质影响最大，通常亮暗区域的边缘为成像的噪声最大处。这是由于环境变化会导致亮点和暗点交替在图像传感器的某个像素点上投影，因此交界处像素点的值会不稳定，从而产生较大的噪声。因此，在环境光照条件不稳定的情况下，将各个背景帧差图像中各像素的最大灰度值作为噪声图像中像素点的灰度值，以此得到的噪声图像可以很好的体现背景环境明暗导致的固有噪声。
将噪声图像作为阈值对各个时刻对应的帧差图像进行过滤，得到的新的帧差图像，即预处理帧差图像。该预处理帧差图像已经较好的去除了图像传感器成像噪声，提高了手势轮廓图像的清晰度和品质。对帧差图像
Figure 617524DEST_PATH_IMAGE005
进行过滤得到对应的预处理帧差图像
Figure 31319DEST_PATH_IMAGE006
。
步骤S14，将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
大多情况下，单幅帧差图的轮廓很不明显，对多幅预处理帧差图像进行均值计算后，可避免轮廓不明的情况，而且，多幅均值处理也可以滤出一些随机噪声，进一步的提高了手势轮廓图像的品质。
其中，该第一预设数量可根据实际需要进行设置，例如为2，即将当前时刻，以及当前时刻之前的前两个时刻的预处理帧差图像进行均值计算，即对三幅帧差
Figure 229082DEST_PATH_IMAGE007
取均值，得到手势轮廓图像P为：
Figure 901372DEST_PATH_IMAGE008
。
本实施例中，根据图像传感器采集的多张环境背景的图片生成噪声图像，在对实时采集的手势图像进行提取轮廓阶段中，以该噪声图像作为阈值对手势图像进行过滤去燥，实时得到高品质的手势轮廓图像。并且，通过对多帧手势轮廓图像做均值计算，最终得到完整、清晰的手势轮廓图像。
请参阅图2，为本发明第二实施例中的手势轮廓提取方法，包括步骤S21~S27。
步骤S21，获取图像传感器预先采集的多帧连续的背景图像，并将各帧背景图像转化为灰度图像后，进行帧差处理，得到多个背景帧差图像。
步骤S22，根据多个所述背景帧差图像生成噪声图像，并进行存储。
具体实施时，将图像传感器固定，连续采集多幅背景图像，背景图像数量可以根据图像传感器帧率和背景环境状况而定，例如取100幅背景图像。将各个背景图像转化为灰度图，记为I1，I2， …，I100。对这100幅图像做帧差运算Sm(i, j)= |Im(i, j) – Im-1(i, j)|，得到99幅背景帧差图像S2 S3, …, S100。其中，Sm(i, j)表示第m幅背景帧差图像中位置点（i,j）的像素的灰度值，其中（i,j）表示图像在第i行，第j列的位置。Im-1(i, j)表示第m-1幅背景帧差图像位置点（i,j）的像素的灰度值。|Im(i, j) – Im-1(i, j)|表示第m幅和第m-1幅背景帧差图像对应位置点的像素灰度值的差的绝对值。由于图像传感器是固定的，环境背景也是固定的，因此背景帧差图像帧差S2，S3， …， S100可以认为是图像传感器的图像传感器的噪声。
具体的，所述根据多个所述背景帧差图像生成噪声图像的步骤包括：
确定各帧所述背景帧差图像中每个位置点的像素的灰度值，并确定每个所述位置点中像素的最大灰度值；
根据确定的各个所述位置点的像素的最大灰度值生成噪声图像。
记噪声图像为N，该造成图像N中每个位置点的像素的灰度值为：
Figure 664929DEST_PATH_IMAGE009
。其中，
Figure 905417DEST_PATH_IMAGE010
表示{}中所有元素的最大值。
该噪声图像的生成可在系统的初始化阶段完成，该初始化阶段对时间没有严格要求，所以初始化过程由电子设备中单独的初始化模块实现，计算出来噪声图像N后存入外部RAM，在后续的运行过程中读取使用。
步骤S23，实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像。
图像传感器每一个时刻采集一帧手势图像，并实时发送至电子设备进行灰度化处理，从而得到各个时刻对应的待处理灰度图像。
步骤S24，将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像。
每得到一个时刻对应的待处理灰度图像时，均将其与前一时刻对应的待处理灰度图像进行帧差处理，得到一帧差图像。如当前时刻n对应的帧差图像
Figure 200264DEST_PATH_IMAGE011
，其中，n为大于1的整数。
步骤S25，将所述噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像。
具体的，将所述噪声图像作为阈值过滤当前时刻对应的帧差图像的步骤包括：
将所述当前时刻对应的帧差图像中各个位置点的像素的灰度值与预存的噪声图像中对应位置点的像素灰度值进行比较；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值小于所述噪声图像中对应位置点的像素灰度值时，将所述当前位置点的像素的灰度值修改为0；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值大于或等于所述噪声图像中对应位置点的像素的灰度值时，将所述当前位置点的像素的灰度值修改为所述噪声图像中对应的位置点的像素的灰度值。
例如，对于待处理的帧差图像
Figure 286031DEST_PATH_IMAGE012
中的每个像素
Figure 231991DEST_PATH_IMAGE013
，用噪声图像中的第i行，第j列位置点的像素的灰度值作为阈值，进行过滤得到预处理帧差图像
Figure 440118DEST_PATH_IMAGE014
。其中，噪声图像作为阈值过滤帧差图像
Figure 346894DEST_PATH_IMAGE015
的具体方式例如为：
如果
Figure 111719DEST_PATH_IMAGE016
，则将
Figure 787551DEST_PATH_IMAGE017
；
如果
Figure 494476DEST_PATH_IMAGE018
，则将
Figure 888548DEST_PATH_IMAGE019
。
步骤S26，将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
该第一预设数量例如为3，即手势轮廓提取的运行阶段终需要维持过去3个时刻的预处理帧差图像
Figure 457064DEST_PATH_IMAGE020
，并与当前时刻n得到的预处理帧差图像
Figure 987402DEST_PATH_IMAGE021
进行均值计算，以得到当前时刻n对应的手势轮廓图像。
步骤S27，对所述手势轮廓图像进行二值化处理，得到二值化的手势轮廓图像。
手势识别算法中有一般要求输入数据为二值化的图像，因此需要对得到的手势轮廓图像进行二值化处理。二值化阈值的选取方法有多种，比如通过均值，直方图等。
可以理解的，本实施例中采用多帧帧差求均值来提取手部轮廓，帧数可以根据实际情况而定。如对3帧的预处理帧差图像取均值，系统运行阶段始终维持过去两个时刻对应的预处理帧差图像，并实时根据当前时刻采集的手势图像进行手势轮廓提取。即系统初始化后从第三个时刻之后即可采用均值法得到高品质的手势轮廓图像。
本实施例中，所述实时获取图像传感器采集的手势图像的步骤之前还包括：
初始化系统；
将初始化系统后获取的第二预设数量个时刻的手势的初始图像分别进行帧差处理，得到对应的初始帧差图像，所述第二预设数量为所述第一预设数量加1，所述当前时刻为系统初始后第二预设数量个时刻之后的时刻；
将所述噪声图像作为阈值过滤各个所述初始帧差图像。
即系统初始化后最开始的第二预设数量个时刻（如3个时刻）采集的手势图像进行帧差计算和阈值过滤后，得到两帧预处理帧差图像，并存储在图像缓存模块。将下一时刻（第4个时刻）采集的手势图像进行帧差计算和阈值过滤后得到的一帧预处理帧差图像，与缓存的两帧预处理帧差图像进行均值计算，得到对应的手势轮廓图像。
可以理解的，本发明实施例中，如采用3帧的预处理帧差取均值，则从第4个时刻开始得到一个手势轮廓图像，从第1个时刻至第3个时刻的对应的手势轮廓图像可以不体现，或者将第1个时刻至第3个时刻得到的预处理帧差图像作为对应时刻的手势轮廓图像。
需要说明的是，如图3所示，本发明实施例可通过FPGA（Field-Programmable GateArray，现场可编程门阵列）平台实现。借助FPGA平台中的图像缓存模块，例如xilinx FPGA中的VDMA模块即为一种方便易用的图像缓存模块，可以方便地实现两帧帧差
Figure 537332DEST_PATH_IMAGE022
,以及当前时刻得到的一帧灰度图
Figure 543334DEST_PATH_IMAGE023
的维护。而且VDMA缓存一帧的功能可实现
Figure 40175DEST_PATH_IMAGE024
的更新,即
Figure 565965DEST_PATH_IMAGE025
。
噪声图像的生成可在初始化阶段实现，由于背景图像的数据量较大，因此该初始化阶段运算量较大，但是由于初始化阶段只计算一次，在后面的运行阶段噪声图像不用重复计算，且初始化阶段并无实时性要求，因此少量计算资源进行长时间计算即可。
在运行阶段，本算法实时地进行图像流运算，通过一次移位运算，即可实时地输出手势轮廓图像，计算资源消耗极小。并且，对于图像流上的每一个像素，在下一个像素数据到来之前，该像素完成计算并输出对应的轮廓图像上的像素灰度值，因此可以实现以图像传感器相等帧率运行。
请参阅图4，为本发明第三实施例中的手势轮廓提取装置，包括：
灰度化处理模块10，用于实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；
帧差处理模块20，用于将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；
过滤模块30，用于将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像；
均值处理模块40，用于将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
进一步的，上述手势轮廓提取装置，包括：
二值化处理模块，用于对所述手势轮廓图像进行二值化处理，得到二值化的手势轮廓图像。
进一步的，上述手势轮廓提取装置还包括：
初始化系统；
将初始化系统后获取的第二预设数量个时刻的手势的初始图像分别进行帧差处理，得到对应的初始帧差图像，所述第二预设数量为所述第一预设数量加1，所述当前时刻为系统初始后第二预设数量个时刻之后的时刻；
将所述噪声图像作为阈值过滤各个所述初始帧差图像。
进一步的，上述手势轮廓提取装置，还包括：
缓存模块，用于将最近的所述第一预设数量个时刻对应的预处理帧差图像存储在缓存区。
本发明实施例所提供的手势轮廓提取装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的手势轮廓提取方法。
本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的手势轮廓提取方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手势轮廓提取方法，其特征在于，包括：
实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；
将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；
将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像；
将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
2.如权利要求1所述的手势轮廓提取方法，其特征在于，所述将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像步骤之前还包括：
获取图像传感器预先采集的多帧连续的背景图像，并将各帧背景图像转化为灰度图像后，进行帧差处理，得到多个背景帧差图像；
根据多个所述背景帧差图像生成噪声图像，并进行存储。
3.如权利要求2所述的手势轮廓提取方法，其特征在于，所述根据多个所述背景帧差图像生成噪声图像的步骤包括：
确定各帧所述背景帧差图像中每个位置点的像素的灰度值，并确定每个所述位置点中像素的最大灰度值；
根据确定的各个所述位置点的像素的最大灰度值生成噪声图像。
4.如权利要求1所述的手势轮廓提取方法，其特征在于，所述将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像的步骤包括：
将所述当前时刻对应的帧差图像中各个位置点的像素的灰度值与预存的噪声图像中对应位置点的像素灰度值进行比较；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值小于所述噪声图像中对应位置点的像素灰度值时，将所述当前位置点的像素的灰度值修改为0；
当所述当前时刻对应的帧差图像中当前位置点的像素的灰度值大于或等于所述噪声图像中对应位置点的像素的灰度值时，将所述当前位置点的像素的灰度值修改为所述噪声图像中对应的位置点的像素的灰度值。
5.如权利要求1所述的手势轮廓提取方法，其特征在于，所述得到当前时刻对应的手势轮廓图像的步骤之后还包括：
对所述手势轮廓图像进行二值化处理，得到二值化的手势轮廓图像。
6.如权利要求1所述的手势轮廓提取方法，其特征在于，所述实时获取图像传感器采集的手势图像的步骤之前还包括：
初始化系统；
将初始化系统后获取的第二预设数量个时刻的手势的初始图像分别进行帧差处理，得到对应的初始帧差图像，所述第二预设数量为所述第一预设数量加1，所述当前时刻为系统初始后第二预设数量个时刻之后的时刻；
将所述噪声图像作为阈值过滤各个所述初始帧差图像。
7.如权利要求1所述的手势轮廓提取方法，其特征在于，所述将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像的步骤之后还包括
将最近的所述第一预设数量个时刻对应的预处理帧差图像存储在缓存区。
8.一种手势轮廓提取装置，其特征在于，应用于权利要求1至7任意一项所述的手势轮廓提取方法，所述手势轮廓提取装置包括：
灰度化处理模块，用于实时获取图像传感器采集的手势图像，并将当前时刻采集的手势图像进行灰度化处理，得到当前时刻对应的待处理灰度图像；
帧差处理模块，用于将所述当前时刻对应的待处理灰度图像与前一时刻对应的待处理灰度图像进行帧差处理得到当前时刻对应的帧差图像；
过滤模块，用于将预存的噪声图像作为阈值过滤当前时刻对应的帧差图像，得到所述当前时刻对应的预处理帧差图像，所述噪声图像根据图像传感器预先采集的多帧连续的背景图像生成，所述背景图像为环境背景的图像；
均值处理模块，用于将当前时刻对应的预处理帧差图像与前第一预设数量个时刻对应的预处理帧差图像进行均值计算，以得到当前时刻对应的手势轮廓图像。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－7任一所述的手势轮廓提取方法。
10.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－7任意一项所述的手势轮廓提取方法。
CN202110474491.3A 2021-04-29 2021-04-29 手势轮廓提取方法、装置、可读存储介质及电子设备 Active CN112990140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474491.3A CN112990140B (zh) 2021-04-29 2021-04-29 手势轮廓提取方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474491.3A CN112990140B (zh) 2021-04-29 2021-04-29 手势轮廓提取方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112990140A true CN112990140A (zh) 2021-06-18
CN112990140B CN112990140B (zh) 2021-08-10

Family

ID=76336705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474491.3A Active CN112990140B (zh) 2021-04-29 2021-04-29 手势轮廓提取方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112990140B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947683A (zh) * 2021-10-15 2022-01-18 兰州交通大学 指尖点检测方法、系统及指尖点运动轨迹识别方法、系统
CN116452595A (zh) * 2023-06-19 2023-07-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523889A (zh) * 2006-10-04 2009-09-02 株式会社拿拿奥 轮廓修正方法、图像处理装置及显示装置
US20130083246A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Scene adaptive temporal filtering
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
US20140119607A1 (en) * 2009-10-23 2014-05-01 Sony Corporation Image processing apparatus and image processing method
WO2016076912A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523889A (zh) * 2006-10-04 2009-09-02 株式会社拿拿奥 轮廓修正方法、图像处理装置及显示装置
US20140119607A1 (en) * 2009-10-23 2014-05-01 Sony Corporation Image processing apparatus and image processing method
US20130083246A1 (en) * 2011-09-30 2013-04-04 Apple Inc. Scene adaptive temporal filtering
CN103514432A (zh) * 2012-06-25 2014-01-15 诺基亚公司 人脸特征提取方法、设备和计算机程序产品
WO2016076912A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAN-SUNG PARK等: "《Real-time hand gesture recognition for augmented screen using average background and camshift》", 《THE 19TH KOREA-JAPAN JOINT WORKSHOP ON FRONTIERS OF COMPUTER VISION》 *
ZIMING ZHAO等: "《Picture Gesture Authentication:Empirical Analysis,Automated Attacks,and Scheme Evaluation》", 《ACM TRANSACTIONS ON INFORMATION AND SYSTEM SECURITY》 *
张钰等: "《去除冗余背景的手势连续轮廓提取算法与实验》", 《实验室研究与探索》 *
罗红温: "《基于关键帧的近重复视频检索》", 《万方数据知识服务平台》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947683A (zh) * 2021-10-15 2022-01-18 兰州交通大学 指尖点检测方法、系统及指尖点运动轨迹识别方法、系统
CN116452595A (zh) * 2023-06-19 2023-07-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备
CN116452595B (zh) * 2023-06-19 2023-08-18 烟台金丝猴食品科技有限公司 一种基于图像处理的控制方法及设备

Also Published As

Publication number Publication date
CN112990140B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
US9036917B2 (en) Image recognition based on patterns of local regions
US10949984B2 (en) Object tracking system and method thereof
CN112990140B (zh) 手势轮廓提取方法、装置、可读存储介质及电子设备
JP2010525486A (ja) 画像分割及び画像強調
WO2006087581A1 (en) Method for facial features detection
WO2005048191A3 (en) Object detection in images
CN111079613B (zh) 姿势识别方法和装置、电子设备及存储介质
JP7403562B2 (ja) スラップ／指前景マスクを生成するための方法
CN113781421A (zh) 基于水下的目标识别方法、装置及系统
CN112733823A (zh) 手势姿态识别关键帧提取方法、装置及可读存储介质
CN110807756B (zh) 用于检测图像中的车辆光的装置和方法
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
KR102386930B1 (ko) 도로 영상의 경계선 검출 장치 및 그 방법
CN111126191B (zh) 一种虹膜图像的采集方法、装置及存储介质
KR101600617B1 (ko) 영상내 사람 검출 방법
US20230410561A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object
US7372994B2 (en) Image processing device for recognizing outline of moving target and method therefor
KR102297908B1 (ko) 영상 분석에 기반한 상품 수량 관리 시스템 및 방법
US11275926B2 (en) Face tracking method and device
JP2013197892A (ja) 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
KR102719926B1 (ko) 도로 검출 장치 및 방법
KR102430120B1 (ko) 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치
US20240037985A1 (en) Cascaded detection of facial attributes
CN112470165B (zh) 图像处理装置及图像处理方法
KR101426039B1 (ko) 얼굴/물체 인식을 위한 특징점 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant