CN113093904A - 基于体感设备的图形获取方法、系统、介质及设备 - Google Patents
基于体感设备的图形获取方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN113093904A CN113093904A CN202110328047.0A CN202110328047A CN113093904A CN 113093904 A CN113093904 A CN 113093904A CN 202110328047 A CN202110328047 A CN 202110328047A CN 113093904 A CN113093904 A CN 113093904A
- Authority
- CN
- China
- Prior art keywords
- hand
- motion
- sketch
- area
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于体感设备的图形获取方法、系统、介质及设备,通过人机交互的方式,采用体感设备获得的数据将手的运动模拟信息实时地反映到交互界面上,减少了技术人员需要精确制图的复杂性,只需简单勾勒手绘草图即可自动实现草图检索。在草图检索部分,提出了对图形间的相似度计算,根据相似度确定用户想要获得的图形。上述方案使得草图检索更加贴近和方便用户,从而提高了草图检索的易用性以及图形获得的准确性。
Description
技术领域
本发明涉及图形处理技术领域,具体而言,为一种基于体感设备的图形获取方法、系统、介质及设备。
背景技术
传统的图形获取方法是通过鼠标、绘图板或者触屏的方式,通过专业制图软件,进行图形绘制。而在现场测图作业中,除了测图人员外,需要配备专门的制图人员,使得反复修改作业难度大,给后期图片修改造成困难,严重影响工作效率。
发明内容
针对现有技术中的缺陷,本发明提供一种基于体感设备的图形获取方法、系统、介质及设备,利用体感设备实现了一种基于手势控制的图形绘制。利用体感设备传感器输送的数据帧完成物理坐标到浏览器坐标的转换,完整地实现了基于草图的图像获取。基于体感设备的用户检索体验更为自然、直观。在虚拟现实大力发展的今天,把用户从设备的使用中解脱出来,减少人工成本,代之以自然人机交互的方式,是改进用户体验和提升趣味性的有效途径。
为实现上述目的,本发明的技术方案如下:
一种基于体感设备的图形获取方法,所述系统包括:
通过体感设备实时监测手部运动,获取手部运动的帧数据;
识别帧数据中包含的手绘草图局部特征;
利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
优选的,所述通过体感设备实时监测手部运动,获取手部运动的帧数据包括:
将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
将运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
进一步地,所述建立手部运动状态预测方程,确定手部运动的帧数据包括:
设t时刻的手部运动轨迹S是由二维位置Px、Py、Pz和Vx、Vy、Vz组成,则手部运动轨迹S可表示为:
任一当前位置P可表示为:
式中:P-表示上一时刻位置;V-表示上一时刻速度;t表示两时间点之间的时间间隔;a表示两时间间隔过程中的加速度;
建立如下式所示的状态预测方程:
优选的,所述识别帧数据中手绘草图包含的局部特征包括:
其中,N为区域Crc内i方向上Ri(x,y)≠0的物理点的个数,局部特征为将k个方向上的n′×n个特征向量组合成的n′×n′×k个单元的特征向量。
优选的,所述利用k-means法对手绘草图的所有局部特征进行相似度计算,确定图形包括:
利用k-means方法,从手绘草图中提取了m个特征向量(500<m<1024),m为局部采样点个数;
随机选取了若干个局部特征值,通过k-means聚类获得图像集合;
其中,每幅线画图I使用一个c维的图像集合向量I=[v0,v1,…,vc-1];q为输入查询手绘草图的图向量q=[q0,q1,…,qc-1];
通过计算手绘草图和二维线画图之间的相似度的最大值,以及二维线画图之间的相似度最大值,确定图形。
一种基于体感设备的图形获取系统,所述系统包括:
获取模块,用于通过体感设备实时监测手部运动,获取手部运动的帧数据;
识别模块,用于识别帧数据中包含的手绘草图局部特征;
确定模块,用于利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
优选的,所述获取模块包括:
数据追踪单元,用于将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
确定单元,用于将所述运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
优选的,所述识别模块包括:计算单元,用于将交互区域分成n′×n个子区域,每个区域用Crc表示,其中(r,c)为子区域的行列坐标,如果图像上的一点(x,y)在子区域(r,c)中,则那么在i方向上的描述符是一个包含n′×n个单元的特征向量;
其中,N为区域Crc内i方向上Ri(x,y)≠0的物理点的个数,局部特征为将k个方向上的n′×n个特征向量组合成的n×n′×k个单元的特征向量。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-5之一所述的方法。
一种基于体感设备的图形获取设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-5之一所述的方法。
本发明的有益效果体现在:
本发明提供的一种基于体感设备的图形获取方法、系统、介质及设备,利用体感设备实现了一种基于手势控制的图形绘制,基于体感设备的用户检索体验更为自然、直观。在虚拟现实大力发展的今天,把用户从设备的使用中解脱出来,代之以自然人机交互的方式,是有效地改进用户体验和提升趣味性的途径。
基于体感设备的草图获取能大大降低用户输入的复杂度。通过基于体感设备获取的数据,实现手与浏览器的交互,利用体感设备传感器输送的数据帧完成物理坐标到浏览器坐标的转换,从而获得草图并进行检索,在草图检索部分,首先需要对草图进行预处理,该阶段通常要解决线画图提取、特征提取、特征匹配和相似性比较问题;其后筛选出相应的图像模型,完整地实现了基于草图的图像模型获取。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明具体实施方式中的种基于体感设备的图形获取方法流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1:
本发明具体实施方式提供如图1所示的一种基于体感设备的图形获取方法,通过实时获取手部运动的帧数据,在应用和设备服务之间建立起了连接。本文利用体感设备传感器作为输入设备,监测手部运动,从而将“JSON”格式的数据帧发送到websocket以及浏览器,继而通过指向物检测、触摸模拟和手势识别的方式在浏览器上追踪手部运动的轨迹,得到草图并用于图形检索。具体方法步骤如下:
S1通过体感设备实时监测手部运动,获取手部运动的帧数据;
S2识别帧数据中包含的手绘草图局部特征;
S3利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
步骤S1中,通过体感设备实时监测手部运动,获取手部运动的帧数据包括:
将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
将运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
其中,建立手部运动状态预测方程,确定手部运动的帧数据包括:
设t时刻的手部运动轨迹S是由二维位置Px、Py、Pz和Vx、Vy、Vz组成,则手部运动轨迹S可表示为:
任一当前位置P可表示为:
式中:P-表示上一时刻位置;V-表示上一时刻速度;t表示两时间点之间的时间间隔;a表示两时间间隔过程中的加速度;
建立如下式所示的状态预测方程:
步骤S2中,识别帧数据中手绘草图包含的局部特征包括:
其中,N为区域Crc内i方向上Ri(x,y)≠0的物理点的个数,局部特征为将k个方向上的n′×n个特征向量组合成的n′×n′×k个单元的特征向量。
步骤S3中,利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形包括:
利用k-means方法,从手绘草图中提取了m个特征向量(500<m<1024),m为局部采样点个数;
随机选取了若干个局部特征值,通过k-means聚类获得图像集合;
其中,每幅线画图I使用一个c维的图像集合向量I=[v0,v1,…,vc-1];q为输入查询手绘草图的图向量q=[q0,q1,…,qc-1];
通过计算手绘草图和二维线画图之间的相似度的最大值,以及二维线画图之间的相似度最大值,确定目标图形。
实施例2:基于相同技术构思,本发明具体实施方式中还提过一种基于体感设备的图形获取系统,所述系统包括:
获取模块,用于通过体感设备实时监测手部运动,获取手部运动的帧数据;
识别模块,用于识别帧数据中包含的手绘草图局部特征;
确定模块,用于利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
其中,获取模块包括:
数据追踪单元,用于将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
确定单元,用于将所述运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
识别模块包括:计算单元,用于将交互区域分成n′×n个子区域,每个区域用Crc表示,其中(r,c)为子区域的行列坐标,如果图像上的一点(x,y)在子区域(r,c)中,则那么在i方向上的描述符是一个包含n′×n个单元的特征向量;
其中,N为区域Crc内i方向上Ri(x,y)≠0的物理点的个数,局部特征为将k个方向上的n′×n个特征向量组合成的n×n′×k个单元的特征向量。
确定模块,还包括选取单元,用于利用k-means方法,从手绘草图中提取了m个特征向量(500<m<1024),m为局部采样点个数;
随机选取了若干个局部特征值,通过k-means聚类获得图像集合;
其中,每幅线画图I使用一个c维的图像集合向量I=[v0,v1,…,vc-1];q为输入查询手绘草图的图向量q=[q0,q1,…,qc-1];
通过计算手绘草图和二维线画图之间的相似度的最大值,以及二维线画图之间的相似度最大值,确定图形。
此外,本具体实施例3提出一种计算机可读存储介质和一种基于体感设备的图形获取设备。其中,一种计算机可读存储介质,包括:其上存储有计算机程序,该程序被处理器执行时实现实施例1中S1-S3之一所述的方法。
一种基于体感设备的图形获取设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实施例1中S1-S3之一所述的方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于体感设备的图形获取方法,其特征在于,所述方法包括:
通过体感设备实时监测手部运动,获取手部运动的帧数据;
识别帧数据中包含的手绘草图局部特征;
利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
2.如权利要求1所述的方法,其特征在于,所述通过体感设备实时监测手部运动,获取手部运动的帧数据包括:
将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
将运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
5.如权利要求1所述的方法,其特征在于,所述利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形包括:
利用k-means方法,从手绘草图中提取了m个特征向量(500<m<1024),m为局部采样点个数;
随机选取了若干个局部特征值,通过k-means聚类获得图像集合;
其中,每幅线画图I使用一个c维的图像集合向量I=[v0,v1,…,vc-1];q为输入查询手绘草图的图向量q=[q0,q1,…,qc-1];
通过计算手绘草图和二维线画图之间的相似度的最大值,以及二维线画图之间的相似度最大值,确定图形。
6.一种基于体感设备的图形获取系统,其特征在于,所述系统包括:
获取模块,用于通过体感设备实时监测手部运动,获取手部运动的帧数据;
识别模块,用于识别帧数据中包含的手绘草图局部特征;
确定模块,用于利用k-means法对手绘草图的所有局部特征进行相似度计算,确定目标图形。
7.如权利要求6所述的系统,其特征在于,所述获取模块包括:
数据追踪单元,用于将用户手指的物理坐标与浏览器界面交互区域内的位置进行关联,当手指在交互区域的虚拟框中,采用笛卡尔坐标系,以体感设备中心为原点,X轴和Z轴在体感设备的水平面上,Y轴垂直朝上,将Y轴垂直朝上区域定义为可视区域,追踪运动数据;
确定单元,用于将所述运动数据的物理点原始坐标换算成能够代表该点在体感设备交互区域范围内相对位置的等效数值,建立手部运动状态预测方程,确定手部运动的帧数据。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-5之一所述的方法。
10.一种基于体感设备的图形获取设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-5之一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110328047.0A CN113093904A (zh) | 2021-03-26 | 2021-03-26 | 基于体感设备的图形获取方法、系统、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110328047.0A CN113093904A (zh) | 2021-03-26 | 2021-03-26 | 基于体感设备的图形获取方法、系统、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113093904A true CN113093904A (zh) | 2021-07-09 |
Family
ID=76670363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110328047.0A Pending CN113093904A (zh) | 2021-03-26 | 2021-03-26 | 基于体感设备的图形获取方法、系统、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113093904A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
CN108170823A (zh) * | 2018-01-04 | 2018-06-15 | 江西师范大学 | 一种基于高层语义属性理解的手绘交互式三维模型检索方法 |
CN108829701A (zh) * | 2018-04-25 | 2018-11-16 | 鹰霆(天津)科技有限公司 | 一种基于草图的3d模型检索方法 |
CN108919955A (zh) * | 2018-07-02 | 2018-11-30 | 中北大学 | 一种基于多体感设备的虚拟沙画交互结合方法 |
CN112506342A (zh) * | 2020-12-04 | 2021-03-16 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
-
2021
- 2021-03-26 CN CN202110328047.0A patent/CN113093904A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
CN108170823A (zh) * | 2018-01-04 | 2018-06-15 | 江西师范大学 | 一种基于高层语义属性理解的手绘交互式三维模型检索方法 |
CN108829701A (zh) * | 2018-04-25 | 2018-11-16 | 鹰霆(天津)科技有限公司 | 一种基于草图的3d模型检索方法 |
CN108919955A (zh) * | 2018-07-02 | 2018-11-30 | 中北大学 | 一种基于多体感设备的虚拟沙画交互结合方法 |
CN112506342A (zh) * | 2020-12-04 | 2021-03-16 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
Non-Patent Citations (4)
Title |
---|
李忠虎等: "基于惯性传感器的空中运动轨迹识别与实现", 《科学技术与工程》 * |
潘佳佳,等.: "基于Leap Motion的三维自由手势操作", 《中国科技论文》 * |
王清辉,等.: "基于Leap Motion的人机互动系统", 《龙岩学院学报》 * |
钱露,等.: "基于LeapMotion的三维模型草图检索", 《图学学报》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeng et al. | Hand gesture recognition using leap motion via deterministic learning | |
US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
CN102402289B (zh) | 一种基于机器视觉的手势鼠标识别方法 | |
JP2021524951A (ja) | 空中手書きを識別するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体 | |
CN103809733A (zh) | 人机交互系统和方法 | |
CN106502390B (zh) | 一种基于动态3d手写数字识别的虚拟人交互系统及方法 | |
CN103777748A (zh) | 一种体感输入方法及装置 | |
Linqin et al. | Dynamic hand gesture recognition using RGB-D data for natural human-computer interaction | |
Liu et al. | Hand gesture recognition based on single-shot multibox detector deep learning | |
Mohammadi et al. | Air-writing recognition system for Persian numbers with a novel classifier | |
Chiang et al. | Recognizing arbitrarily connected and superimposed handwritten numerals in intangible writing interfaces | |
CN116909393A (zh) | 基于手势识别的虚拟现实输入系统 | |
CN112199015A (zh) | 智能交互一体机及其书写方法、装置 | |
Huang et al. | Real-time precise human-computer interaction system based on gaze estimation and tracking | |
Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
CN113093904A (zh) | 基于体感设备的图形获取方法、系统、介质及设备 | |
CN109542229B (zh) | 手势识别方法、用户设备、存储介质及装置 | |
Luong et al. | Human computer interface using the recognized finger parts of hand depth silhouette via random forests | |
JP6623366B1 (ja) | 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体 | |
CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 | |
Xue et al. | The simulated mouse method based on dynamic hand gesture recognition | |
Khaliq et al. | Virtual Mouse Implementation Using Color Pointer Detection | |
Prabhakar et al. | AI And Hand Gesture Recognition Based Virtual Mouse | |
Verma et al. | 7 Machine vision for human–machine interaction using hand gesture recognition | |
Iswarya et al. | Fingertip Detection for Human Computer Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |