CN117075730A - 一种基于图像识别技术的3d虚拟展厅控制系统 - Google Patents

一种基于图像识别技术的3d虚拟展厅控制系统 Download PDF

Info

Publication number
CN117075730A
CN117075730A CN202311042648.0A CN202311042648A CN117075730A CN 117075730 A CN117075730 A CN 117075730A CN 202311042648 A CN202311042648 A CN 202311042648A CN 117075730 A CN117075730 A CN 117075730A
Authority
CN
China
Prior art keywords
image
camera
pixel point
depth
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311042648.0A
Other languages
English (en)
Other versions
CN117075730B (zh
Inventor
张秋玲
苏浩聪
张夺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Morning Good Culture Development Co ltd
Original Assignee
Guangdong Morning Good Culture Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Morning Good Culture Development Co ltd filed Critical Guangdong Morning Good Culture Development Co ltd
Priority to CN202311042648.0A priority Critical patent/CN117075730B/zh
Publication of CN117075730A publication Critical patent/CN117075730A/zh
Application granted granted Critical
Publication of CN117075730B publication Critical patent/CN117075730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别领域，公开了一种基于图像识别技术的3D虚拟展厅控制系统，包括第一摄像头、第二摄像头和滤波装置；第一摄像头和第二摄像头的分辨率相同、主光轴平行且主光轴均平行于地面，两条主光轴之间的距离小于设定的距离阈值S；第一摄像头和第二摄像头分别用于获取包含用户的手部的深度图像和平面图像；滤波装置用于对深度图像进行滤波处理，包括：获取平面图像中用户的手部区域所对应的像素点的第一集合；根据第一摄像头和第二摄像头之间的映射关系，在深度图像中获取第一集合所对应的像素点所组成的第二集合；在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像。本发明提高了滤波处理的速度。

Description

一种基于图像识别技术的3D虚拟展厅控制系统
技术领域
本发明涉及图像识别领域，尤其涉及一种基于图像识别技术的3D虚拟展厅控制系统。
背景技术
3D虚拟展厅指的是在虚拟现实空间中进行展示的对真实的展厅进行建模所得到的展厅模型。当用户戴上虚拟现实设备之后，便需要通过手势识别的方式来获取用户的操作指令，然后虚拟现实系统根据操作指令来对展厅模型进行相应的变化，从而实现对3D虚拟展厅的控制。
现有技术中在通过手势识别的方式对3D虚拟展厅控制时，需要通过获取手势的深度图像来实现对手势的识别，在进行识别之前需要先对深度图像进行滤波处理，现有技术是直接对深度图像中所有的点进行滤波处理，显然，这样会导致对深度图像中不属于用户的手部的点也进行滤波处理，降低了获得用户的手势所对应的操作指令的效率，从而影响了3D虚拟展厅控制系统的对用户所发出的操作指令进行响应的速度。
发明内容
本发明的目的在于公开一种基于图像识别技术的3D虚拟展厅控制系统，解决通过手势识别的方式对3D虚拟展厅进行控制时，如何提高手势的识别速度，从而提高3D虚拟展厅控制系统的对用户所发出的操作指令进行响应的速度的问题。
为了达到上述目的，本发明提供如下技术方案：
本发明提供了一种基于图像识别技术的3D虚拟展厅控制系统，包括第一摄像头、第二摄像头和滤波装置；
第一摄像头和第二摄像头的分辨率相同，第一摄像头的主光轴和第二摄像头的主光轴平行，第一摄像头的主光轴和第二摄像头的主光轴均平行于地面，第一摄像头的主光轴和第二摄像头的主光轴之间的距离小于设定的距离阈值S；
第一摄像头用于获取包含用户的手部的深度图像；
第二摄像头用于获取包含用户的手部的平面图像；
滤波装置用于对深度图像进行滤波处理，包括：
获取平面图像中用户的手部区域所对应的像素点的第一集合；
根据第一摄像头和第二摄像头之间的映射关系，在深度图像中获取第一集合所对应的像素点所组成的第二集合；
在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像。
可选的，还包括手势识别装置；
手势识别装置用于对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型。
可选的，对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型，包括：
对滤波后的深度图像进行分割，获得深度图像中的用户的手部所对应的像素点所组成的分割图像；
获取分割图像的图像特征；
将分割图像的图像特征分别与每种类型的手势的图像特征进行匹配，从而确定滤波后的深度图像中所包含的手势的类型。
可选的，还包括响应装置和显示装置；
响应装置用于根据手势的类型所对应的操作指令，在虚拟现实空间中控制展厅模型进行变化，得到变化后的展厅模型；
显示装置用于显示变化后的展厅模型。
可选的，在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像，包括：
根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合；
采用预设的第一滤波算法对一类点集合中的点进行滤波处理，得到第一滤波集合；
采用预设的第二滤波算法对二类点集合中的点进行滤波处理，得到第二滤波集合；
由第一滤波集合和第二滤波集合中的点组成滤波后的深度图像。
可选的，滤波处理系数的计算函数为：
noireda表示第二集合中的像素点a的滤波处理系数，w1、w2、w3表示设定的权重值，deptha表示深度图像中像素点a的深度值，judgneia表示像素点a的判断值，rnda表示以像素点a为中心的，半径为D的范围内的像素点的集合，midepth表示rnda中的像素点的深度值的中值，depthi表示像素点i的深度值，depthave表示rnda中的像素点的深度值的均值，nfrnda表示rnda中的像素点的总数。
可选的，judgneia的获取过程为：
用(xa,ya)表示像素点a的坐标，则若像素点a的8邻域的像素点符合如下任一种情况，则judgneia的值为1，否则，judgneia的值为0.5；
第一种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya+1)和(xa+1,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第二种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya)和(xa+1,ya)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第三种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya-1)和(xa+1,ya+1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第四种情况，像素点a的8邻域中有且仅有坐标为(xa,ya+1)和(xa,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值。
可选的，根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合，包括：
若像素点a的滤波处理系数大于设定的滤波处理系数阈值，则将像素点a分到一类点集合；
若像素点a的滤波处理系数小于等于设定的滤波处理系数阈值，则将像素点a分到二类点集合。
在本发明中，先获取平面图像中的手部区域的像素点的第一集合，然后根据映射关系获取深度图像中的第二集合，从而使得仅需要对第二集合中的像素点进行滤波处理，大幅度减少了需要进行滤波处理的像素点的数量，从而提高了滤波处理的速度，提高了手势的识别速度，从而提高3D虚拟展厅控制系统的对用户所发出的操作指令进行响应的速度。
附图说明
从下文给出的详细描述和附图中将更充分地理解本公开，附图仅以说明的方式给出，因此不限制本公开，并且其中：
图1为本发明一种基于图像识别技术的3D虚拟展厅控制系统的第一种示意图。
图2为本发明一种基于图像识别技术的3D虚拟展厅控制系统的第二种示意图。
图3为本发明一种基于图像识别技术的3D虚拟展厅控制系统的第三种示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示的一种实施例，本发明提供了一种基于图像识别技术的3D虚拟展厅控制系统，包括第一摄像头、第二摄像头和滤波装置；
第一摄像头和第二摄像头的分辨率相同，第一摄像头的主光轴和第二摄像头的主光轴平行，第一摄像头的主光轴和第二摄像头的主光轴均平行于地面，第一摄像头的主光轴和第二摄像头的主光轴之间的距离小于设定的距离阈值S；
第一摄像头用于获取包含用户的手部的深度图像；
第二摄像头用于获取包含用户的手部的平面图像；
滤波装置用于对深度图像进行滤波处理，包括：
获取平面图像中用户的手部区域所对应的像素点的第一集合；
根据第一摄像头和第二摄像头之间的映射关系，在深度图像中获取第一集合所对应的像素点所组成的第二集合；
在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像。
上述实施过程，先获取平面图像中的手部区域的像素点的第一集合，然后根据映射关系获取深度图像中的第二集合，从而使得仅需要对第二集合中的像素点进行滤波处理，大幅度减少了需要进行滤波处理的像素点的数量，从而提高了滤波处理的速度，提高了手势的识别速度，从而提高3D虚拟展厅控制系统的对用户所发出的操作指令进行响应的速度。
具体的，第一摄像头与第二摄像头的主光轴的高度相同。在安装时，将第一摄像头安装于第二摄像头的右边或将第一摄像头安装与第二摄像头的左边。
具体的，映射关系的确定过程为：
根据上述位置关系安装好第一摄像头和第二摄像头后，在第一摄像头和第二摄像头的拍摄范围重叠的区域放置一个易于进行识别的物体，如与背景之间的灰度值差异大于设定灰度值阈值的物体；
分别启动第一摄像头和第二摄像头对该物体进行拍摄，得到第一图像和第二图像；
在第一图像中获取属于该物体的第一区域，获取第一区域的中心的坐标(x1,mid,y1,mid)；
在第二图像中获取属于该物体的第二区域，获取第二区域的中心的坐标(x2,mid,y2,mid)；
则对于第一图像中的像素点(x1,y1)，其与第二图像中的像素点(x2,y2)之间的关系为：
将K作为第一摄像头和第二摄像头之间的映射关系。
具体的，第一摄像头由于与第二摄像头的分辨率相同，拍摄角度也相同，但是拍摄的位置不同，因此，对于同一个物体，其中心在第一图像和第二图像中的坐标并不相同，因此，通过获取中心点的坐标的差别，便可以知道属于同一个点的像素点在第一摄像头和第二摄像头获得的图像中的位置的差异，通过这种差异，可以在其中一个摄像头拍摄得到的图像中识别出需要进行识别的物体，然后利用映射关系找到另一个摄像头拍摄得到的图像中，该需要就行识别的物体的像素点。
可选的，获取平面图像中用户的手部区域所对应的像素点的第一集合，包括：
使用基于HSV空间的肤色检测模型对平面图像进行检测，获取平面图像中符合肤色检测模型的像素点的集合faceA；
基于faceA获取需要再次进行检测的像素点的集合facedl；
使用椭圆肤色模型对facedl中的像素点进行检测，将符合椭圆肤色模型的像素点保存到集合faceB；
在平面图像由faceA和faceB中的像素点组成区域C；
获取区域C的最小外接矩形；
将处于最小外接矩形范围内的像素点作为第一集合中的像素点。
具体的，本发明先使用计算速度最快的肤色检测模型来对平面图像中所有的像素点进行检测，然后再在前一次检测的结果的基础上获得需要进行第二次检测的像素点的集合，从而大幅度减少了需要进行第二次检测的像素点的数量，有效地提升了获得第一集合的效率。
由于基于HSV空间的肤色检测模型仅需要一个分量便可以判断出结果，因此，运算速度非常快。但是，此时faceA中的像素点所组成的区域依然存在部分的边缘的断裂，即部分属于手部边缘的像素点未能被正确检测为用户的手部的区域所对应的像素点，此时，本发明通过二次检测，能够有效地降低边缘的断裂的出现概率，从而提高获得的第一集合中的包含属于用户的手部区域的像素点的比例，使得后续得到的最小外接矩形更加准确，从而在保留完整的手部区域的同时，尽可能地减少第一集合中不属于手部区域的像素点的数量。有效地减少了第二集合中的像素点的数量。
可选的，使用基于HSV空间的肤色检测模型对平面图像进行检测，获取平面图像中符合肤色检测模型的像素点的集合faceA，包括：
基于HSV空间的肤色检测模型如下：
0.04≤H≤0.13
将平面图像中符合上述肤色检测模型的像素点保存到集合faceA。
可选的，基于faceA获取需要再次进行检测的像素点的集合facedl，包括：
对于faceA中的像素点j，计算像素点j的检测半径：
dtcred表示像素点j的检测半径，nbltk表示像素点k的8邻域中不属于集合faceA的像素点的数量，k表示faceA中的像素点，miretc表示由faceA中的像素点所对应的最小外接矩形中的像素点的总数；itR表示预设的数值；itR大于等于3；
对于像素点j，将与像素点处于同一列的且属于集合faceA的像素点保存到集合arrj，将与像素点处于同一行的且属于集合faceA的像素点保存到集合rowj；
若像素点j的横坐标大于等于rowj中的像素点的横坐标的最大值或像素点j的横坐标小于等于rowj中的像素点的横坐标的最小值或像素点j的纵坐标大于等于rowj中的像素点的横坐标的最大值或像素点j的纵坐标小于等于rowj中的像素点的纵坐标的最小值，则将以像素点j的为圆心的，检测半径为dtcred的圆形区域中的像素点保存到集合neij，将neij中不属于集合faceA的像素点保存到集合facedl。
在本发明中，将处于faceA中的像素点所形成的区域的边缘的像素点作为facedl中的像素点的判断基础，能够避免将处于faceA中的像素点所形成的区域的中间的像素点进行作为facedl中的像素点的判断基础，从而大幅度减少了无效的运算，因为后续需要获取最小外接矩形，而处于该区域的中间的像素点并不会对最小外接矩形的大小造成影响，这样的计算方式不仅减少了facedl中的像素点的数量，而且，也获得了更加准确的最小外接矩形。
另外，本发明的检测半径与faceA中的像素点的8邻域中不属于集合faceA的像素点的总数相关，当越大时，表示faceA中的像素点分布得越分散，在faceA之外的像素点中，属于用户的手部的区域的像素点的数量越多，此时，本发明的检测半径也越大，从而增加facedl中的像素点的数量，从而使得faceB中包含更多的属于用户的手部的区域的像素点，进而使得区域C中更为完整地包含用户的手部的区域。当/>越小时，表示faceA中的像素点分布得越密集，在faceA之外的像素点中，属于用户的手部的区域的像素点的数量越少，此时，本发明的检测半径也越小，从而减少facedl中的像素点的数量，有利于提高减少进行二次检测的数量，提高二次检测的效率。
由于基于HSV空间的肤色检测模型并不能将所有的属于用户的手部的像素点识别出来，因此，本发明通过对facedl中的像素点进行再次识别，从而提高了获得完整的手部边缘的概率。有利于提高手势识别的准确率。
可选的，如图2所示，还包括手势识别装置；
手势识别装置用于对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型。
可选的，对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型，包括：
对滤波后的深度图像进行分割，获得深度图像中的用户的手部所对应的像素点所组成的分割图像；
获取分割图像的图像特征；
将分割图像的图像特征分别与每种类型的手势的图像特征进行匹配，从而确定滤波后的深度图像中所包含的手势的类型。
具体的，由于第二集合中依然包含小部分的不属于用户的手部区域的像素点，此时，本发明通过进一步的图像分割来进一步确认用户的手部所对应的像素点，有利于在后续进行图像特征的提取过程中，得到更加准确的图像特征。
具体的，可以通过计算分割图像的图像特征分与每种类型的手势的图像特征之间的相似度来确认分割图像的图像特征所对应的手势的类型。
当有且只有一种类型的手势的图像特征与分割图像的图像特征的相似度大于设定相似度阈值时，则该种类型为分割图像的图像特征所对应的手势的类型。
手势的类型包括举手、五指张开、四指张开等。
可选的，如图3所示，还包括响应装置和显示装置；
响应装置用于根据手势的类型所对应的操作指令，在虚拟现实空间中控制展厅模型进行变化，得到变化后的展厅模型；
显示装置用于显示变化后的展厅模型。
具体的，操作指令可以是对展厅模型中的灯光进行控制的指令、对展厅模型中进行展出的物体进行控制的指令等。
响应装置在获取到操作指令后，例如获取到对展厅模型中的灯光进行控制的指令时，根据指令的内容对展厅模型中用户的视觉所指向的灯具进行控制。指令的内容可以是开灯、关灯、提升亮度等。
可选的，在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像，包括：
根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合；
采用预设的第一滤波算法对一类点集合中的点进行滤波处理，得到第一滤波集合；
采用预设的第二滤波算法对二类点集合中的点进行滤波处理，得到第二滤波集合；
由第一滤波集合和第二滤波集合中的点组成滤波后的深度图像。
具体的，基于滤波处理系数来为像素点选择相应的滤波算法进行滤波处理，能够在确保得到足够准确的滤波结果的同时，减少整体的滤波时间。
可选的，滤波处理系数的计算函数为：
noireda表示第二集合中的像素点a的滤波处理系数，w1、w2、w3表示设定的权重值，deptha表示深度图像中像素点a的深度值，judgneia表示像素点a的判断值，rnda表示以像素点a为中心的，半径为D的范围内的像素点的集合，midepth表示rnda中的像素点的深度值的中值，depthi表示像素点i的深度值，depthave表示rnda中的像素点的深度值的均值，nfrnda表示rnda中的像素点的总数。
具体的，滤波处理系数主要是从像素点a的深度值与rnda中的像素点的深度值之间的差别程度以及像素点a的属于手部区域的边缘的概率两个方向计算得到，差别程度越大，属于手部区域的边缘的概率越大，则滤波处理系数越大，此时，表示像素点a越重要，越需要得到准确的滤波结果。因此，本发明的滤波处理系数能够为重要的像素点赋予更大的滤波处理系数数值，有利于在后续的计算中得到更加准确手部的边缘的识别结果。
可选的，judgneia的获取过程为：
用(xa,ya)表示像素点a的坐标，则若像素点a的8邻域的像素点符合如下任一种情况，则judgneia的值为1，否则，judgneia的值为0.5；
第一种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya+1)和(xa+1,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第二种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya)和(xa+1,ya)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第三种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya-1)和(xa+1,ya+1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第四种情况，像素点a的8邻域中有且仅有坐标为(xa,ya+1)和(xa,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值。
具体的，当像素点a符合上述任一种情况时，表示像素点a属于用户的手部的边缘的概率比较大，此时，本发明对judgneia赋予更大的值，使得滤波处理系数能够正确地表示像素点a的重要程度。
可选的，根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合，包括：
若像素点a的滤波处理系数大于设定的滤波处理系数阈值，则将像素点a分到一类点集合；
若像素点a的滤波处理系数小于等于设定的滤波处理系数阈值，则将像素点a分到二类点集合。
可选的，第一滤波算法是NML算法、条件滤波算法等滤波能力较强，但是滤波所需要的时间较长的算法；
第二滤波算法是中值滤波算法、高斯滤波算法等滤波能力稍差，但是滤波所需要的时间较短的算法。
一类点集合中的像素点所处的区域的深度值分布较为复杂，需要滤波能力较强的算法来进行滤波处理，因此，本发明将其分类到一类点集合中，二类点集合中的像素点所处的区域的深度值分布较为简单，因此，一些简单的滤波算法便能够得到足够准确的滤波结果，本发明将其分类到二类点集合中。
这种滤波方式，能够在保证获得足够准确的滤波结果的同时，进一步缩短滤波所需要的时间，有利于更快地识别出用户的手势所对应的指令。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，包括第一摄像头、第二摄像头和滤波装置；
第一摄像头和第二摄像头的分辨率相同，第一摄像头的主光轴和第二摄像头的主光轴平行，第一摄像头的主光轴和第二摄像头的主光轴均平行于地面，第一摄像头的主光轴和第二摄像头的主光轴之间的距离小于设定的距离阈值S；
第一摄像头用于获取包含用户的手部的深度图像；
第二摄像头用于获取包含用户的手部的平面图像；
滤波装置用于对深度图像进行滤波处理，包括：
获取平面图像中用户的手部区域所对应的像素点的第一集合；
根据第一摄像头和第二摄像头之间的映射关系，在深度图像中获取第一集合所对应的像素点所组成的第二集合；
在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像。
2.根据权利要求1所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，还包括手势识别装置；
手势识别装置用于对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型。
3.根据权利要求2所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，对滤波后的深度图像进行识别，获得滤波后的深度图像中所包含的手势的类型，包括：
对滤波后的深度图像进行分割，获得深度图像中的用户的手部所对应的像素点所组成的分割图像；
获取分割图像的图像特征；
将分割图像的图像特征分别与每种类型的手势的图像特征进行匹配，从而确定滤波后的深度图像中所包含的手势的类型。
4.根据权利要求2所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，还包括响应装置和显示装置；
响应装置用于根据手势的类型所对应的操作指令，在虚拟现实空间中控制展厅模型进行变化，得到变化后的展厅模型；
显示装置用于显示变化后的展厅模型。
5.根据权利要求1所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，在深度图像中对第二集合中的像素点进行滤波处理，得到滤波后的深度图像，包括：
根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合；
采用预设的第一滤波算法对一类点集合中的点进行滤波处理，得到第一滤波集合；
采用预设的第二滤波算法对二类点集合中的点进行滤波处理，得到第二滤波集合；
由第一滤波集合和第二滤波集合中的点组成滤波后的深度图像。
6.根据权利要求5所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，滤波处理系数的计算函数为：
noireda表示第二集合中的像素点a的滤波处理系数，w1、w2、w3表示设定的权重值，deptha表示深度图像中像素点a的深度值，judgneia表示像素点a的判断值，rnda表示以像素点a为中心的，半径为D的范围内的像素点的集合，midepth表示rnda中的像素点的深度值的中值，depthi表示像素点i的深度值，depthave表示rnda中的像素点的深度值的均值，nfrnda表示rnda中的像素点的总数。
7.根据权利要求6所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，judgneia的获取过程为：
用(xa,ya)表示像素点a的坐标，则若像素点a的8邻域的像素点符合如下任一种情况，则judgneia的值为1，否则，judgneia的值为0.5；
第一种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya+1)和(xa+1,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第二种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya)和(xa+1,ya)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第三种情况，像素点a的8邻域中有且仅有坐标为(xa-1,ya-1)和(xa+1,ya+1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值；
第四种情况，像素点a的8邻域中有且仅有坐标为(xa,ya+1)和(xa,ya-1)的像素点与像素点a之间的深度值的差值的绝对值小于设定的绝对值阈值。
8.根据权利要求5所述的一种基于图像识别技术的3D虚拟展厅控制系统，其特征在于，根据第二集合中的像素点的滤波处理系数，将第二集合分成一类点集合和二类点集合，包括：
若像素点a的滤波处理系数大于设定的滤波处理系数阈值，则将像素点a分到一类点集合；
若像素点a的滤波处理系数小于等于设定的滤波处理系数阈值，则将像素点a分到二类点集合。
CN202311042648.0A 2023-08-18 2023-08-18 一种基于图像识别技术的3d虚拟展厅控制系统 Active CN117075730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311042648.0A CN117075730B (zh) 2023-08-18 2023-08-18 一种基于图像识别技术的3d虚拟展厅控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311042648.0A CN117075730B (zh) 2023-08-18 2023-08-18 一种基于图像识别技术的3d虚拟展厅控制系统

Publications (2)

Publication Number Publication Date
CN117075730A true CN117075730A (zh) 2023-11-17
CN117075730B CN117075730B (zh) 2024-04-30

Family

ID=88705547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311042648.0A Active CN117075730B (zh) 2023-08-18 2023-08-18 一种基于图像识别技术的3d虚拟展厅控制系统

Country Status (1)

Country Link
CN (1) CN117075730B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
US20150326845A1 (en) * 2014-05-09 2015-11-12 Ricoh Company, Ltd. Depth value restoration method and system
CN108876799A (zh) * 2018-06-12 2018-11-23 杭州视氪科技有限公司 一种基于双目相机的实时台阶检测方法
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
CN111258411A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种用户交互方法及设备
CN113570701A (zh) * 2021-07-13 2021-10-29 聚好看科技股份有限公司 一种头发重建方法及设备
CN114627561A (zh) * 2022-05-16 2022-06-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备
CN116311492A (zh) * 2022-12-08 2023-06-23 西安交通大学 一种基于深度相机和轮廓提取的手势识别方法及系统
CN116503567A (zh) * 2023-06-26 2023-07-28 广州智算信息技术有限公司 基于ai大数据的智慧建模管理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
US20150326845A1 (en) * 2014-05-09 2015-11-12 Ricoh Company, Ltd. Depth value restoration method and system
CN108876799A (zh) * 2018-06-12 2018-11-23 杭州视氪科技有限公司 一种基于双目相机的实时台阶检测方法
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
CN111258411A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种用户交互方法及设备
CN113570701A (zh) * 2021-07-13 2021-10-29 聚好看科技股份有限公司 一种头发重建方法及设备
CN114627561A (zh) * 2022-05-16 2022-06-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备
CN116311492A (zh) * 2022-12-08 2023-06-23 西安交通大学 一种基于深度相机和轮廓提取的手势识别方法及系统
CN116503567A (zh) * 2023-06-26 2023-07-28 广州智算信息技术有限公司 基于ai大数据的智慧建模管理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MALLIKA GARG; PYARI MOHAN PRADHAN; DEBASHIS GHOSH: "Multiview Hand Gesture Recognition using Deep Learning", IEEE, 1 February 2022 (2022-02-01), pages 1 - 6 *
孟恬;全红艳;: "基于快速行进算法的深度图像增强算法", 计算机应用与软件, no. 08, 15 August 2017 (2017-08-15), pages 232 - 237 *
时梦丽，张备伟，刘光徽: "基于深度图像的实时手势识别方法", 《计算机工程与设计》, vol. 41, no. 7, 31 July 2020 (2020-07-31), pages 2057 - 2062 *

Also Published As

Publication number Publication date
CN117075730B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
CN1255756C (zh) 校正旋转的虹膜图像的非接触型人虹膜识别方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
WO2019174276A1 (zh) 用于定位目标物体区域中心的图像处理方法、装置、设备和介质
US10885321B2 (en) Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device
WO2015149475A1 (zh) 图片处理方法及装置
CN107705288A (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN107330354B (zh) 一种自然手势识别方法
CN106295644B (zh) 符号识别方法及装置
CN108960185A (zh) 基于YOLOv2的车辆目标检测方法及系统
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN103218615B (zh) 人脸判定方法
CN110032946A (zh) 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
CN117392733B (zh) 一种痤疮分级检测方法、装置、电子设备及存储介质
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN104392211A (zh) 一种基于显著性检测的皮肤识别方法
CN107480678A (zh) 一种棋盘识别方法和识别系统
CN110909631A (zh) 一种手指静脉图像roi提取和增强方法
CN107153806B (zh) 一种人脸检测方法及装置
WO2017054276A1 (zh) 一种生物特征身份识别方法及装置
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
CN109993046B (zh) 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆
CN117075730B (zh) 一种基于图像识别技术的3d虚拟展厅控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant