CN109409316B - 空中签名方法及装置 - Google Patents

Abstract

本发明提供了一种空中签名方法及装置，涉及空中签名技术领域，所述方法包括：步骤S1，获取用户指尖的多帧深度图像，从每一帧所述深度图像中提取指尖的空间坐标；步骤S2，将多帧所述深度图像中指尖的空间坐标进行投影处理以及连接处理，得到所述用户的二维签名轨迹；步骤S3，将所述二维签名轨迹转换为图像格式，获得二维签名图像；将所述二维签名图像作为签名模板进行存储，当用户进行签名验证时，重复步骤S1‑步骤S3，获取用户的待验证二维签名图像；步骤S4将所述待验证二维签名图像与所述签名模板进行比对，以验证用户身份。本发明在进行空中签名时，无需佩戴任何设备，方便、快捷、卫生，用户体验好，识别精度高。

Description

空中签名方法及装置

技术领域

本发明涉及空中签名技术领域，尤其是涉及一种空中签名方法及装置。

背景技术

随着社会的进步，智能终端设备的不断更新换代，人们对智能化体验、方便、快捷、卫生的生活环境提出了新的要求，针对银行、餐厅、办公室等公共场所需要客户签名来确认客户信息或者方案认同需求，空中签名方案极好的满足用户追求快捷、方便、卫生的签名体验。现有的空中签名方案，是通过加速度传感器或陀螺仪采集手势的空间位置信息来进行验证的，但是，需要用户手握或佩戴带安装有加速度传感器或陀螺仪的检测设备，使用不方便，用户体验不好。

发明内容

有鉴于此，本发明的目的在于提供一种空中签名方法及装置，无需佩戴任何设备，方便、快捷、卫生，用户体验好，识别精度高。

第一方面，本发明实施例提供了一种空中签名方法，包括如下步骤：

步骤S1，获取用户指尖的多帧深度图像，从每一帧所述深度图像中提取指尖的空间坐标；

步骤S2，将多帧所述深度图像中指尖的空间坐标进行投影处理以及连接处理，得到所述用户的二维签名轨迹；

步骤S3，将所述二维签名轨迹转换为图像格式，获得二维签名图像；

步骤S4，将所述二维签名图像作为签名模板进行存储；

步骤S5，当用户进行签名验证时，重复步骤S1-S3，获取用户的待验证二维签名图像；

步骤S6，将所述待验证二维签名图像与所述签名模板进行比对，以验证用户身份。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，步骤S2包括：

将多帧所述深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

将所述四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹的步骤，包括：

将投影后的四维矩阵的空间坐标通过圆滑曲线进行连接，并将所述图像帧数转化为曲线的粗细；

将所述曲线进行圆滑处理和滤波处理，得到所述二维签名轨迹。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，当用户进行签名验证时，所述方法还包括：

将所述四维矩阵的空间坐标进行拼接处理，得到三维签名轨迹；

获取所述用户指尖的RGB图像，将所述三维签名轨迹与所述RGB图像进行结合处理，得到动态签名图像，并将所述动态签名图像进行显示。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，步骤S6，包括：

对所述待验证二维签名图像与所述签名模板中签名的结构比例进行比对，以及对签名中每个拐点间的相互关系进行比对。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，步骤S4，包括：

对所述二维签名图像进行加密后，作为签名模板进行存储。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，步骤S1包括：

从所述深度图像中获取每一帧深度图像中指尖的带有深度值的点云数据，从所述点云数据中提取指尖的空间坐标。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，将所述四维矩阵投影至同一深度平面的步骤，包括：

将所述四维矩阵投影至深度值的均值平面。

第二方面，本发明实施例还提供一种空中签名装置，包括：包括依次相连的空间坐标提取模块、二维签名轨迹提取模块、图像转换模块、存储模块、待验证签名提取模块和比对模块；所述空间坐标提取模块用于获取用户指尖的多帧深度图像，从每一帧所述深度图像中提取指尖的空间坐标；

所述二维签名轨迹提取模块用于将多帧所述深度图像中指尖的空间坐标进行投影处理以及连接处理，得到所述用户的二维签名轨迹；

所述图像转换模块用于将所述二维签名轨迹转换为图像格式，获得二维签名图像；

所述存储模块用于将所述二维签名图像作为签名模板进行存储；

所述待验证签名提取模块用于当用户进行签名验证时，通过空间坐标提取模块、二维签名轨迹提取模块和图像转换模块获取用户的待验证二维签名图像；

所述比对模块用于将所述待验证二维签名图像与所述签名模板进行比对，以验证用户身份。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述二维签名轨迹提取模块包括四维矩阵提取模块和投影模块；

所述四维矩阵提取模块用于将多帧所述深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

所述投影模块用于将所述四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

本发明实施例带来了以下有益效果：通过获取用户指尖的深度图像，从深度图像中提取出空间坐标，并将空间坐标进行投影处理及连接处理，从而得到用户的二维签名轨迹；通过以上方法分别获取签名模板和待验证二维签名图像，将两者加以比对，从而实现用户身份验证；通过以上方法，用户无需佩戴任何设备，即可实现空中签名，验证用户身份，用户体验好，使用方便、快捷、卫生，识别精度高。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的空中签名方法流程图；

图2为本发明实施例一提供的空中签名装置系统原理图。

图标：10-空间坐标提取模块；20-二维签名轨迹提取模块；30-图像转换模块；40-存储模块；50-待验证签名提取模块；60-比对模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前现有的空中签名方案，需要用户手握或佩戴加速度传感器，使用不方便，用户体验不好，基于此，本发明实施例提供的一种空中签名方法及装置，无需佩戴任何设备，使用方便、快捷、卫生，用户体验好，识别精度高。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种空中签名方法进行详细介绍，

实施例一：

参照图1，本实施例突出的空中签名方法包括如下步骤：

步骤S1，获取用户指尖的多帧深度图像，从每一帧深度图像中提取指尖的空间坐标；

步骤S2，将多帧深度图像中指尖的空间坐标进行投影处理以及连接处理，得到用户的二维签名轨迹；

步骤S3，将二维签名轨迹转换为图像格式，获得二维签名图像；

步骤S4，将二维签名图像作为签名模板进行存储；

步骤S5，当用户进行签名验证时，重复步骤S1-S3，获取用户的待验证二维签名图像；

步骤S6将待验证二维签名图像与签名模板进行比对，以验证用户身份。

具体地，采用带有TOF相机的采集设备获取用户的深度图像。TOF相机采集的深度图像中包含深度信息，能够通过测量飞行时间来获取距离值。该采集设备能够获取高帧率的深度图像，用户只需要用食指在设备操作区域空中签名即可。

可以理解的是，在获取签名模板时，可以多次重复步骤S1-步骤S3，采集多次用户签名，经数据处理形成一个签名模板，存储在后台数据库中。每当用户需要进行签名验证时，与后台数据库中签名模板比对即可。通常，人们在空中签名时，采用食指进行签名，因此，本实施例中，采集的指尖的深度图像指的是食指指尖的深度图像。

进一步地，步骤S2包括：

将多帧深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

将四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

具体地，例如四维矩阵为(a,x,y,z),其中，z表示深度值，a表示连续时间段内具有坐标(x,y,z)的深度图像的帧数。在进行投影时，投影至z1平面，得到(a,x,y,z1),z1为所有的空间坐标中z的均值。将帧数与空间坐标结合形成四维矩阵的目的在于，用户在进行签名时，在同一空间坐标停留的时间越长(即不同帧的指尖空间坐标相同)，反映在二维签名轨迹上的效果越粗。

进一步地，将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹的步骤，包括：

将投影后的四维矩阵的空间坐标通过圆滑曲线进行连接，并将图像帧数转化为曲线的粗细；

将曲线进行圆滑处理和滤波处理，得到二维签名轨迹。

进一步地，当用户进行签名验证时，所述方法还包括：

将四维矩阵的空间坐标进行拼接处理，得到三维签名轨迹；

获取用户指尖的RGB图像，将三维签名轨迹与RGB图像进行结合处理，得到动态签名图像，并将动态签名图像进行显示。

具体地，将动态签名图像进行实时显示的目的是，用户可根据自身状态调整签名手势，并且某一位置停留时间越长，反映在显示屏上的轨迹线越粗；从而方便用户实时观看自己的签名，并作出动作调整。

同理，将四维矩阵合成三维签名轨迹时，也对三维签名轨迹进行了滤波以及圆滑处理。

进一步地，步骤S6，包括：

对待验证二维签名图像与签名模板中签名的结构比例进行比对，以及对签名中每个拐点间的相互关系进行比对。

在本实施例中，通过比对签名的结构比例特征、拐点间的相互关系特征进行识别，在具体实施中，不限于采用这些特征，还可以采用其他的特征进行比对识别。

进一步地，步骤S4包括：

对二维签名图像进行加密后，作为签名模板进行存储。

具体地，加密的目的在于确保用户信息安全。

进一步地，步骤S1包括：

从深度图像中获取每一帧深度图像中指尖的带有深度值的点云数据，从点云数据中提取指尖的空间坐标。

具体地，该点云数据是指从TOF相机拍摄的深度图像中获取的。点云数据包括三维坐标数据，还可以包括颜色数据和反射强度数据。

进一步地，将四维矩阵投影至同一深度平面的步骤，包括：

将四维矩阵投影至深度值的均值平面。

本实施例的原理是：首先从多帧深度图像中获取食指的点云数据，即包含深度信息；将点云数据与同一坐标的深度图像的帧数相结合，得到四维矩阵；将四维矩阵投影至深度均值平面，将投影后的数据进行数据拼接及圆滑处理，得到连续的二维签名轨迹；将二维签名轨迹存储为图片格式；通过上述方法分别得到用户的签名模板和待验证的二维签名，将两者加以比对，进行身份验证；同时，通过RGB相机采集食指签名时的实时RGB图像；将四维矩阵进行拼接后得到三维签名轨迹，将三维签名轨迹与RGB图像进行结合，得到用户的动态签名图像并加以显示。

本实施例在具体应用时，例如在某些重要场合，可以与人脸识别结合进行身份验证。首先，通过TOF相机扫描人脸的深度信息并加密，与后台数据库的人脸信息模板比对进行人脸识别认证，再通过本实施例的空中签名进行签名认证，经过双重认证，从而确保身份认证的准确无误。

本实施例的另一应用场景是，与手势识别相结合，进行业务办理时的身份认证。TOF相机不仅能够识别空中签名，而且还可以通过定位追踪手掌的位置，实现屏幕上的光标移动，从而实现业务类型的选择。TOF相机通过识别用户握拳的手势，实现确认功能；通过识别用户手掌的向前推移，实现取消功能；通过控制签名，实现用户的身份认证。

本实施例的有益效果是：不仅摆脱了签名需要手持设备的麻烦，使用方便、快捷、卫生，用户体验好，识别精度高；而且使用户的签名3D化，立体化呈现，更重要的是可以满足在不同光照，甚至是暗光环境下的操作，可以说能够满足任意场合，任意环境下的签名。

附图中的流程图显示了根据本发明实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，流程图中的每个方框，以及流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

实施例二：

如图2所示，本实施例提供的空中签名装置，包括依次相连的空间坐标提取模块10、二维签名轨迹提取模块20、图像转换模块30、存储模块40、待验证签名提取模块50和比对模块60；

空间坐标提取模块10用于获取用户指尖的多帧深度图像，从每一帧深度图像中提取指尖的空间坐标；

二维签名轨迹提取模块20用于将多帧深度图像中指尖的空间坐标进行投影处理以及连接处理，得到用户的二维签名轨迹；

图像转换模块30用于将二维签名轨迹转换为图像格式，获得二维签名图像；

存储模块40用于将二维签名图像作为签名模板进行存储；

待验证签名提取模块50用于当用户进行签名验证时，通过空间坐标提取模块、二维签名轨迹提取模块和图像转换模块获取用户的待验证二维签名图像；

比对模块60用于将待验证二维签名图像与签名模板进行比对，以验证用户身份。

进一步地，二维签名轨迹提取模块20包括四维矩阵提取模块和投影模块；

四维矩阵提取模块用于将多帧深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

投影模块用于将四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

进一步地，投影模块包括第一处理模块和第二处理模块；

第一处理模块用于将投影后的四维矩阵的空间坐标通过圆滑曲线进行连接，并将图像帧数转化为曲线的粗细；

第二处理模块用于将曲线进行圆滑处理和滤波处理，得到二维签名轨迹。

进一步地，还包括三维签名轨迹获取模块和显示模块；

三维签名轨迹获取模块用于将四维矩阵的空间坐标进行拼接处理，得到三维签名轨迹；

显示模块用于获取用户指尖的RGB图像，将三维签名轨迹与RGB图像进行结合处理，得到动态签名图像，并将动态签名图像进行显示。

进一步地，比对模块60包括：

对待验证二维签名图像与签名模板中签名的结构比例进行比对，以及对签名中每个拐点间的相互关系进行比对。

进一步地，存储模块40包括：

对二维签名图像进行加密后，作为签名模板进行存储。

进一步地，空间坐标提取模块10包括：

从深度图像中获取每一帧深度图像中指尖的带有深度值的点云数据，从点云数据中提取指尖的空间坐标。

进一步地，投影模块还包括第三处理模块，第三处理模块将四维矩阵投影至深度值的均值平面。

空中签名设备可以是一个集成TOF深度相机和RGB相机的显示屏，也可以是其他智能显示设备，显示屏主要是信息的显示。在通过TOF相机和RGB相机进行指尖签名拍摄时，可以是正向拍摄，也可以是其他角度拍摄。拍摄的角度可以根据实际情况定制，拍摄时，可以拍摄整个手的手势动作，从手部图像中分离出指尖的数据。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种空中签名方法，其特征在于，包括如下步骤：

步骤S1，获取用户指尖的多帧深度图像，从每一帧所述深度图像中提取指尖的空间坐标；

步骤S2，将多帧所述深度图像中指尖的空间坐标进行投影处理以及连接处理，得到所述用户的二维签名轨迹；

步骤S3，将所述二维签名轨迹转换为图像格式，获得二维签名图像；

步骤S4，将所述二维签名图像作为签名模板进行存储；

步骤S5，当用户进行签名验证时，重复步骤S1-S3，获取用户的待验证二维签名图像；

步骤S6，将所述待验证二维签名图像与所述签名模板进行比对，以验证用户身份；

其中，步骤S2包括：

将多帧所述深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

将所述四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

2.根据权利要求1所述的空中签名方法，其特征在于，将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹的步骤，包括：

将投影后的四维矩阵的空间坐标通过圆滑曲线进行连接，并将所述图像帧数转化为曲线的粗细；

将所述曲线进行圆滑处理和滤波处理，得到所述二维签名轨迹。

3.根据权利要求1所述的空中签名方法，其特征在于，当用户进行签名验证时，所述方法还包括：

将所述四维矩阵的空间坐标进行拼接处理，得到三维签名轨迹；

获取所述用户指尖的RGB图像，将所述三维签名轨迹与所述RGB图像进行结合处理，得到动态签名图像，并将所述动态签名图像进行显示。

4.根据权利要求1所述的空中签名方法，其特征在于，步骤S6，包括：

对所述待验证二维签名图像与所述签名模板中签名的结构比例进行比对，以及对签名中每个拐点间的相互关系进行比对。

5.根据权利要求1所述的空中签名方法，其特征在于，步骤S4，包括：

对所述二维签名图像进行加密后，作为签名模板进行存储。

6.根据权利要求1所述的空中签名方法，其特征在于，步骤S1包括：

从所述深度图像中获取每一帧深度图像中指尖的带有深度值的点云数据，从所述点云数据中提取指尖的空间坐标。

7.根据权利要求1所述的空中签名方法，其特征在于，将所述四维矩阵投影至同一深度平面的步骤，包括：

将所述四维矩阵投影至深度值的均值平面。

8.一种空中签名装置，其特征在于，包括依次相连的空间坐标提取模块、二维签名轨迹提取模块、图像转换模块、存储模块、待验证签名提取模块和比对模块；

所述空间坐标提取模块用于获取用户指尖的多帧深度图像，从每一帧所述深度图像中提取指尖的空间坐标；

所述二维签名轨迹提取模块用于将多帧所述深度图像中指尖的空间坐标进行投影处理以及连接处理，得到所述用户的二维签名轨迹；

所述图像转换模块用于将所述二维签名轨迹转换为图像格式，获得二维签名图像；

所述存储模块用于将所述二维签名图像作为签名模板进行存储；

所述待验证签名提取模块用于当用户进行签名验证时，通过空间坐标提取模块、二维签名轨迹提取模块和图像转换模块获取用户的待验证二维签名图像；

所述比对模块用于将所述待验证二维签名图像与所述签名模板进行比对，以验证用户身份；

其中，所述二维签名轨迹提取模块包括四维矩阵提取模块和投影模块；

所述四维矩阵提取模块用于将多帧所述深度图像中指尖的不同空间坐标与每一空间坐标的图像帧数集合成四维矩阵；

所述投影模块用于将所述四维矩阵投影至同一深度平面，并将投影后的四维矩阵的空间坐标进行连接，得到二维签名轨迹。

Images