CN107610236B - 一种基于图形识别的交互方法及系统 - Google Patents
一种基于图形识别的交互方法及系统 Download PDFInfo
- Publication number
- CN107610236B CN107610236B CN201710720565.0A CN201710720565A CN107610236B CN 107610236 B CN107610236 B CN 107610236B CN 201710720565 A CN201710720565 A CN 201710720565A CN 107610236 B CN107610236 B CN 107610236B
- Authority
- CN
- China
- Prior art keywords
- binary image
- graph
- image
- interactive
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及一种基于图形识别的交互方法及系统，其方法包括以下步骤：在多个客户端中分别建立一个三维交互模型；服务器将多个所述客户端中的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；将实体的图形卡片放置在所述屏幕上，客户端通过图形识别技术识别出所述图形卡片的坐标位置和形状信息；服务器根据图形卡片的坐标位置和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为。本发明一种基于图形识别的交互方法基于图形识别的技术，可以给用户提供新的玩法，让用户体验到新的交互方式，提高用户的体验效果。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于图形识别的交互方法及系统。
背景技术
AR是基于现实环境的叠加数字图像，具有一些动作追踪和反馈技术，让用户在现实环境中看到一些数字图像。现有的基于图形识别的交互方式是通过客户端识别图形卡片在客户端中形成AR交互场景，其用户体验不佳。
发明内容
本发明所要解决的技术问题是提供一种基于图形识别的交互方法及系统，给用户提供一种全新的交互方式，可以给用户带来全新的体验。
本发明解决上述技术问题的技术方案如下：一种基于图形识别的交互方法，包括以下步骤：
S1，在多个客户端中分别建立一个三维交互模型；
S2，服务器将所有所述客户端中的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；
S3，将实体的图形卡片放置在所述屏幕上，通过其中至少一个客户端识别出所述图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器；
S4，所述服务器根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到所有所述客户端的三维交互模型中。
本发明的有益效果是：本发明一种基于图形识别的交互方法基于图形识别的技术，客户端进行图形卡片的识别和定位，与服务器交互后，服务器产生做出相应，并同步给所有的客户端，可以给用户提供新的玩法，让用户体验到新的交互方式，提高用户的体验效果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，
所述S3具体为，
S31，将实体的图形卡片放置在所述屏幕上；
S32，其中至少一个所述客户端通过红外线来识别出所述图形卡片在所述屏幕上遮挡所产生的阴影图形，并采用激光定位出所述阴影图形的坐标信息；
S33，客户端将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；
S34，客户端将所述阴影图形的坐标信息和形状信息发送给所述服务器。
进一步，
所述阴影图形为多边形，则所述S33具体为，
S331a，对多边形的阴影图形的二值图进行缩放处理；
S332a，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
S333a，对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；
S334a，对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；
S335a，根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；
S336a，获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形；
S337a，获取凸多边形的二维XY轴坐标及长宽值。
进一步，
所述阴影图形为圆形，则所述S33具体为，
S331b，对圆形的阴影图形的二值图进行缩放处理；
S332b，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
S333b，获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；
S334b，以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径。
进一步，
所述阴影图形为除多边形和圆形以外的异构形状，则所述S33具体为，
S331c，将预制的异构图形读取为Ipl Image对象，并存储在内存中；
S332c，对需要识别的异构的阴影图形的二值图进行缩放处理；
S333c，对经过缩放处理后的二值图做边缘检测；
S334c，查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；
S335c，将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别出异构的阴影图形。
基于上述一种基于图形识别的交互方法，本发明还提供一种基于图形识别的交互系统。
一种基于图形识别的交互系统，包括多个客户端和一个服务器，
所述客户端用于建立一个三维交互模型；
所述服务器用于将多个所述客户端中建立的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；
所述客户端还用于识别出放置在所述屏幕上的图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器；
所述服务器还用于根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到所有所述客户端的三维交互模型中。
本发明的有益效果是：本发明一种基于图形识别的交互系统基于图形识别的技术，客户端进行图形卡片的识别和定位，与服务器交互后，服务器产生做出相应，并同步给所有的客户端，可以给用户提供新的玩法，让用户体验到新的交互方式，提高用户的体验效果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，
所述客户端具体用于，
通过红外线来识别出放置在所述屏幕上的图形卡片在所述屏幕上遮挡所产生的的阴影图形，并采用激光定位出所述阴影图形的坐标信息；
将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；
将所述阴影图形的坐标信息和形状信息发送给所述服务器。
进一步，
所述阴影图形为多边形，所述客户端具体用于，
对多边形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；
对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；
根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；
获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形；
获取凸多边形的二维XY轴坐标及长宽值。
进一步，
所述阴影图形为圆形，所述客户端具体用于，
对圆形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；
以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径。
进一步，
所述阴影图形为除多边形和圆形以外的异构形状，所述客户端具体用于，
将预制的异构的图形读取为Ipl Image对象，并存储在内存中；
对需要识别的异构的阴影图形的二值图进行缩放处理；
对经过缩放处理后的二值图做边缘检测；
查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；
将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别出异构的阴影图形。
附图说明
图1为本发明一种基于图形识别的交互方法的流程图；
图2为本发明一种基于图形识别的交互方法中识别圆形阴影图形的过程状态图；
图3为本发明一种基于图形识别的交互系统方法中识别复杂阴影图形的过程状态图；
图4为本发明一种基于图形识别的交互系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于图形识别的交互方法，包括以下步骤：
S1，在多个客户端中分别建立一个三维交互模型；三维交互模型是基于Unity3d建立的。
S2，服务器将所有所述客户端中的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景。在具体实施例中，使用的是一个服务器创建的空间中，有三个客户端，再将三个客户端中的三维交互模型使用屏幕融合技术，在同一个场馆中使用投影的方式，将多个相机视角无缝融合在一起呈现在场馆的屏幕上形成AR三维交互场景；本具体实施例以海底世界的AR三维交互场景为例进行介绍。
S3，将实体的图形卡片放置在所述屏幕上，通过其中至少一个客户端识别出所述图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器。所述S3具体为，S31，将实体的图形卡片放置在所述屏幕上；S32，其中至少一个所述客户端通过红外线来识别出所述图形卡片在所述屏幕上遮挡所产生的阴影图形，并采用激光定位出所述阴影图形的坐标信息；S33，客户端将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；S34，客户端将所述阴影图形的坐标信息和形状信息发送给所述服务器。
S4，所述服务器根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到多个所述客户端的三维交互模型中。在本具体实施例中，服务器在一个空间的几何映射中，按照一定的规则(图形卡片的坐标位置和形状信息)产生鱼实体(交互元素)后，所有的客户端会在收到服务器的信息做出响应；即在与服务器几何空间映射对应的三维空间中，与服务器相同的坐标位置产生对应的鱼实体，也就是服务器对应多个客户端产生实体的流程；而后，由服务器中的鱼实体的AI(人工智能，预设的交互规则)来控制鱼实体在各个状态下的交互行为(自由游动、追捕、逃跑等)，并同步到所有的客户端，实现虚拟的海底世界中类似现实世界中海底的生态链。
海底世界场景体验场馆中的屏幕上显示的为虚拟场景中的海底的生态系统(AR三维交互场景：大鱼吃小鱼，逃跑，追击)，使用图形识别的技术，在现实与虚拟环境之间，添加新的交互方式，例如：将一个圆圈形状的卡片放到屏幕上，利用客户端的图形识别技术，在AR三维交互场景中会产生一个渔网；将一个海龟形状的卡片放到屏幕上，在AR三维交互场景中会在该位置产生一个海龟等等。
在本具体实施例中，在使用三角形、四边形、圆形等简单形状的卡片，放在屏幕上，客户端使用图形识别的方式，识别出各种形状，在AR三维场景中产生相应的道具(交互元素)。当屏幕中存在各种图形，可以根据OpenCV(一个基于BSD许可发行的跨平台计算机视觉库)来识别出当前屏幕中存在的图形。将图形卡片放置在屏幕上，会在屏幕上产生阴影图形，客户端是将阴影图形的二值图作为源图片进行处理的，下面具体介绍客户端分别对多边形的阴影图形、圆形的阴影图形和除去多边形和圆形之外的异构的阴影图形进行识别的具体过程。
客户端对多边形的阴影图形进行图形识别的过程具体为，
S331a，对多边形的阴影图形的二值图进行缩放处理；目标是提高识别速度。
S332a，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；具体的是使用OpenCV提供的Resize函数确定缩放后的二值图的长宽尺寸，再使用cvSmooth函数进行高斯平滑图像处理。
S333a，对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；具体的是使用cvCanny算法做边缘检测，获取到图像上的所有轮廓。
S334a，对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；具体的是使用cvApproxPoly函数分别计算多个拟合多边形的面积。
S335a，根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；具体的是根据面积和边数过滤掉不合格或者面积低于规定阈值的多边形。使用多边形拟合后，如果场景中比较杂乱，可能会得到多个大小不一的多边形，例如窗户，键盘，书本等都是多边形，此时可以根据我们想要多边形的面积和边数过滤掉不合格的多边形。
S336a，获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形。
S337a，获取凸多边形的二维XY轴坐标及长宽值。具体的，使用cvReleaseMemStorage函数把筛选掉的多边形从内存中释放，此时可以使用cvGetSeqElem获取到源图片的内存序列中的某个多边形元素指针，通过指针可以获取x和y轴的float类型的二维xy轴坐标(坐标体系中的零点坐标为图片的左上角，X轴为图像矩形的上面那条水平线，向右递增；Y轴为图像矩形左边的那条垂直线，向下递增)和多边形的长宽值。
图2为本发明一种基于图形识别的交互方法中识别圆形阴影图形的过程状态图，将圆形的图形卡片放置在屏幕上，此时在海底世界的AR三维交互场景中会在该位置产生一个鱼网，当附近的鱼儿进入鱼网后会有相应的交互处理。
客户端别对圆形的阴影图形进行图形识别的过程具体为，
S331b，对圆形的阴影图形的二值图进行缩放处理；目标是提高识别速度。
S332b，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；具体的是使用OpenCV提供的cvResize函数确定缩放后二值图的长宽尺寸，再使用cvSmooth函数进行高斯平滑图像处理。
S333b，获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；目标是为了决定所能识别出圆形的最大/最小半径。具体的，考虑到目标二值图可能为非规则图片，圆形识别的做法异于多边形的做法，因为圆形的直径最大只能为整个源图片的最短一边，所以要获取图像中最短的一边，使用cvGetSize函数，获取图像的所有边长，然后取最小值。
S334b，以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径；具体的是使用cvHoughCircles函数进行霍夫曼变换，标准霍夫变换的原理就是把图像空间转换成参数空间(即霍夫空间)，圆可以表示成：(x-a)2+(y-b)2＝r2，其中a和b表示圆心坐标，r表示圆半径，因此霍夫变换的圆检测就是在这三个参数组成的三维空间内进行检测；而HoughCircles函数实现了圆形检测，它使用的算法也是改进的霍夫变换——2-1霍夫变换(21HT)，也就是把霍夫变换分为两个阶段，从而减小了霍夫空间的维数。cvHoughCircles算法中，第一阶段用于检测圆心，第二阶段从圆心推导出圆半径。检测圆心的原理是圆心是它所在圆周所有法线的交汇处，因此只要找到这个交点，即可确定圆心，该方法所用的霍夫空间与图像空间的性质相同，因此它仅仅是二维空间。检测圆半径的方法是从圆心到圆周上的任意一点的距离(即半径)是相同，设定一个阈值，只要相同距离的数量大于该阈值，我们就认为该距离就是该圆心所对应的圆半径，该方法只需要计算半径直方图，不使用霍夫空间，即可得到识别出的圆形的二维xy轴坐标(坐标体系中的零点坐标为图片的左上角，X轴为图像矩形的上面那条水平线，向右递增；Y轴为图像矩形左边的那条垂直线，向下递增)和圆的半径。
图3为本发明一种基于图形识别的交互系统方法中识别除去多边形和圆形之外的异构的阴影图形(即复杂的阴影图形)的过程状态图；在使用复杂的图形(各种鱼以及假山等形状)的图形卡片放到屏幕上，客户端使用图形匹配的方式，通过匹配对比，识别出当前图形卡片的形状，并在海底世界的AR三维交互场景的生态链中加入相应的鱼或假山等环境模型(交互元素)。比如识别匹配的图形卡片为海龟，此时在AR三维交互场景中会在该位置产生一个海龟，如图3所示。
客户端对除去多边形和圆形之外的异构的阴影图形进行图形识别的过程具体为，
S331c，将预制的异构的图形读取为Ipl Image对象，并存储在内存中；具体的是使用cvLoadImage函数将所有预制的复杂图片读取为Ipl Image对象，存储在内存中。
S332c，对需要识别的异构的阴影图形的二值图进行缩放处理；目标是提高识别速度
S333c，对经过缩放处理后的二值图做边缘检测；具体的是使用cvCanny函数算法做边缘检测，Canny算法会检测到输入二值图的边缘而且在输出图像中标识这些边缘，其实就是滤波到增强，再到检测的过程。
S334c，查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；具体的是使用cvFindContours函数查找所有轮廓。
S335c，将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别异构的阴影图形；具体的是使用cvMatchShapes函数把当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，该值越小，表示轮廓的相似度越高，最小为0，在本具体实施例中，可以根据识别设备到目标的距离来设置合适的相似度阈值进行图像识别，避免因为距离或者图片相似造成的误判或者检测失败。
本发明一种基于图形识别的交互方法基于图形识别的技术，客户端进行图形卡片的识别和定位，与服务器交互后，服务器产生做出相应，并同步给所有的客户端，可以给用户提供新的玩法，让用户体验到新的交互方式，提高用户的体验效果。
基于上述一种基于图形识别的交互方法，本发明还提供一种基于图形识别的交互系统。
如图4所示，一种基于图形识别的交互系统，包括多个客户端和一个服务器，
所述客户端用于建立一个三维交互模型；
所述服务器用于将多个所述客户端中建立的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；
所述客户端还用于识别出放置在所述屏幕上的图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器；
所述服务器还用于根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到所有所述客户端的三维交互模型中。
具体的，
所述客户端具体用于，
通过红外线来识别出放置在所述屏幕上的图形卡片在所述屏幕上遮挡所产生的的阴影图形，并采用激光定位出所述阴影图形的坐标信息；
将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；
将所述阴影图形的坐标信息和形状信息发送给所述服务器。
具体的，
所述阴影图形为多边形，所述客户端具体用于，
对多边形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；
对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；
根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；
获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形；
获取凸多边形的二维XY轴坐标及长宽值。
具体的，
所述阴影图形为圆形，所述客户端具体用于，
对圆形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；
以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径。
具体的，
所述阴影图形为除多边形和圆形以外的异构形状，所述客户端具体用于，
将预制的异构的图形读取为Ipl Image对象，并存储在内存中；
对需要识别的异构的阴影图形的二值图进行缩放处理；
对经过缩放处理后的二值图做边缘检测；
查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；
将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别出阴影图形。
本发明一种基于图形识别的交互系统形成的海底世界场馆是一个AR(增强现实)技术实现的体验场馆，在场馆内，用户可以零距离体验现实和虚拟世界无缝结合实现的海底场景，在这里可以看到虚拟环境中的鱼儿在游戏追逐，觅食，躲避等完整的生态链系统，用户也可以与鱼儿进行交互，仿佛置身于真实的海底。
本发明一种基于图形识别的交互系统基于图形识别的技术，客户端进行图形卡片的识别和定位，与服务器交互后，服务器产生做出相应，并同步给所有的客户端，可以给用户提供新的玩法，让用户体验到新的交互方式，提高用户的体验效果。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图形识别的交互方法，其特征在于：包括以下步骤：
S1，在多个客户端中分别建立一个三维交互模型；
S2，服务器将所有所述客户端中的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；
S3，将实体的图形卡片放置在所述屏幕上，通过其中至少一个客户端识别出所述图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器；
S4，所述服务器根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到所有所述客户端的三维交互模型中。
2.根据权利要求1所述的一种基于图形识别的交互方法，其特征在于：所述S3具体为，
S31，将实体的图形卡片放置在所述屏幕上；
S32，其中至少一个所述客户端通过红外线来识别出所述图形卡片在所述屏幕上遮挡所产生的阴影图形，并采用激光定位出所述阴影图形的坐标信息；
S33，客户端将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；
S34，客户端将所述阴影图形的坐标信息和形状信息发送给所述服务器。
3.根据权利要求2所述的一种基于图形识别的交互方法，其特征在于：所述阴影图形为多边形，则所述S33具体为，
S331a，对多边形的阴影图形的二值图进行缩放处理；
S332a，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
S333a，对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；
S334a，对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；
S335a，根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；
S336a，获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形；
S337a，获取凸多边形的二维XY轴坐标及长宽值。
4.根据权利要求2所述的一种基于图形识别的交互方法，其特征在于：所述阴影图形为圆形，则所述S33具体为，
S331b，对圆形的阴影图形的二值图进行缩放处理；
S332b，确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
S333b，获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；
S334b，以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径。
5.根据权利要求2所述的一种基于图形识别的交互方法，其特征在于：所述阴影图形为除多边形和圆形以外的异构形状，则所述S33具体为，
S331c，将预制的异构图形读取为Ipl Image对象，并存储在内存中；
S332c，对需要识别的异构的阴影图形的二值图进行缩放处理；
S333c，对经过缩放处理后的二值图做边缘检测；
S334c，查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；
S335c，将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别出异构的阴影图形。
6.一种基于图形识别的交互系统，其特征在于：包括多个客户端和一个服务器，
所述客户端用于建立一个三维交互模型；
所述服务器用于将多个所述客户端中建立的三维交互模型进行无缝融合并投影到同一屏幕上，形成虚拟的AR三维交互场景；
所述客户端还用于识别出放置在所述屏幕上的图形卡片的坐标信息和形状信息，并将所述图形卡片的坐标信息和形状信息发送给所述服务器；
所述服务器还用于根据接收到的所述图形卡片的坐标信息和形状信息，在所述AR三维交互场景对应的坐标位置上生成虚拟的交互元素，并根据预设的交互规则控制所述交互元素在所述AR三维交互场景中的交互行为，同时将所述交互元素和所述交互行为同步到所有所述客户端的三维交互模型中。
7.根据权利要求6所述的一种基于图形识别的交互系统，其特征在于：所述客户端具体用于，
通过红外线来识别出放置在所述屏幕上的图形卡片在所述屏幕上遮挡所产生的阴影图形，并采用激光定位出所述阴影图形的坐标信息；
将所述阴影图形的二值图作为源图片进行图形识别，得出所述阴影图形的形状信息；
将所述阴影图形的坐标信息和形状信息发送给所述服务器。
8.根据权利要求7所述的一种基于图形识别的交互系统，其特征在于：所述阴影图形为多边形，所述客户端具体用于，
对多边形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
对经过高斯平滑图像处理后的二值图做边缘检测，获取到二值图上所有的轮廓；
对二值图上所有的轮廓进行多边形拟合，得到多个拟合多边形，并分别计算多个拟合多边形的面积；
根据预设的面积和边数过滤掉不符合预设规定的拟合多边形；
获取符合预设规定的拟合多边形的面积的凸包，过滤掉与凸包面积不相等的拟合多边形，与凸包面积相等的拟合多边形为凸多边形；
获取凸多边形的二维XY轴坐标及长宽值。
9.根据权利要求7所述的一种基于图形识别的交互系统，其特征在于：所述阴影图形为圆形，所述客户端具体用于，
对圆形的阴影图形的二值图进行缩放处理；
确定经过缩放处理后的二值图的长宽尺寸，并对确定长宽尺寸的二值图进行高斯平滑图像处理；
获取经过高斯滤波和高斯平滑处理后的二值图中最短的一边；
以二值图中最短的一边的长度为阈值对二值图进行霍夫曼变换，得到二值图的二维XY轴坐标和半径。
10.根据权利要求7所述的一种基于图形识别的交互系统，其特征在于：所述阴影图形为除多边形和圆形以外的异构形状，所述客户端具体用于，
将预制的异构的图形读取为Ipl Image对象，并存储在内存中；
对需要识别的异构的阴影图形的二值图进行缩放处理；
对经过缩放处理后的二值图做边缘检测；
查找经过边缘检测后的二值图的所有轮廓，并返回轮廓的个数，从所有轮廓中筛选出当前所需要的轮廓；
将当前得到的轮廓与存储在内存中的Ipl Image对象进行匹配，得到double类型的差异程度值，并将double类型的差异程度值与预设的相似度阈值进行对比即可识别出异构的阴影图形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710720565.0A CN107610236B (zh) | 2017-08-21 | 2017-08-21 | 一种基于图形识别的交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710720565.0A CN107610236B (zh) | 2017-08-21 | 2017-08-21 | 一种基于图形识别的交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610236A CN107610236A (zh) | 2018-01-19 |
| CN107610236B true CN107610236B (zh) | 2021-05-11 |
Family
ID=61065366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710720565.0A Active CN107610236B (zh) | 2017-08-21 | 2017-08-21 | 一种基于图形识别的交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610236B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134221A (zh) * | 2018-02-09 | 2019-08-16 | 无锡四维交互数字科技有限公司 | 一种基于智能标识进行信息交互的设备及方法 |
| CN110478892A (zh) * | 2018-05-14 | 2019-11-22 | 彼乐智慧科技（北京）有限公司 | 一种三维交互的方法及系统 |
| CN112433641B (zh) * | 2020-11-11 | 2022-06-17 | 大庆思特传媒科技有限公司 | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 |
| CN114968041A (zh) * | 2022-05-24 | 2022-08-30 | 北京有竹居网络技术有限公司 | 基于图形的事件响应方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097794A (zh) * | 2016-07-25 | 2016-11-09 | 焦点科技股份有限公司 | 基于增强现实的汉语拼音组合认读学习系统及认读方法 |
| CN106504225A (zh) * | 2016-09-27 | 2017-03-15 | 深圳增强现实技术有限公司 | 一种规则多边形的识别方法和装置 |
| CN206402367U (zh) * | 2016-12-08 | 2017-08-11 | 南京信息工程大学 | 一种基于Unity3D的三维场景环幕无缝投影系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101110100B (zh) * | 2006-07-17 | 2012-05-02 | 松下电器产业株式会社 | 检测包含任意线段组合的形状的方法及装置 |
| US8094129B2 (en) * | 2006-11-27 | 2012-01-10 | Microsoft Corporation | Touch sensing using shadow and reflective modes |
| CN103279191B (zh) * | 2013-06-18 | 2016-01-06 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
-
2017
- 2017-08-21 CN CN201710720565.0A patent/CN107610236B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097794A (zh) * | 2016-07-25 | 2016-11-09 | 焦点科技股份有限公司 | 基于增强现实的汉语拼音组合认读学习系统及认读方法 |
| CN106504225A (zh) * | 2016-09-27 | 2017-03-15 | 深圳增强现实技术有限公司 | 一种规则多边形的识别方法和装置 |
| CN206402367U (zh) * | 2016-12-08 | 2017-08-11 | 南京信息工程大学 | 一种基于Unity3D的三维场景环幕无缝投影系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610236A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11798239B2 (en) | Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3D environment | |
| CN112150575B (zh) | 场景数据获取方法及模型训练方法、装置及计算机设备 | |
| KR101993920B1 (ko) | 물리적 장면을 표현하기 위한 방법 및 장치 | |
| US10740963B2 (en) | 3D virtual environment generating method and device | |
| CN107610236B (zh) | 一种基于图形识别的交互方法及系统 | |
| US9855496B2 (en) | Stereo video for gaming | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| US9275277B2 (en) | Using a combination of 2D and 3D image data to determine hand features information | |
| CN109859305B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN111328396A (zh) | 用于图像中的对象的姿态估计和模型检索 | |
| EP3545497B1 (en) | System for acquiring a 3d digital representation of a physical object | |
| Azad et al. | 6-DoF model-based tracking of arbitrarily shaped 3D objects | |
| US10380796B2 (en) | Methods and systems for 3D contour recognition and 3D mesh generation | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| US10950056B2 (en) | Apparatus and method for generating point cloud data | |
| US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
| KR101652594B1 (ko) | 증강 현실 컨텐츠 제공 장치 및 방법 | |
| CN114240981A (zh) | 标记识别方法及装置 | |
| Khandelwal et al. | Detection of features to track objects and segmentation using grabcut for application in marker-less augmented reality | |
| Zhang et al. | Kinect-based Universal Range Sensor and its Application in Educational Laboratories. | |
| CN116485896A (zh) | 基于机器人的物体抓取方法、装置、机器人及存储介质 | |
| Furness et al. | Interaction control based on vision for AR interface of smart phone | |
| CN115620344A (zh) | 一种基于姿态识别的针对人手部的三维建模系统 | |
| CN116721376A (zh) | 一种场景显示指引方法、设备以及存储介质 | |
| CN115359375A (zh) | 目标地图的构建方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |