CN112925415A - 一种基于ar的互动投影系统 - Google Patents
一种基于ar的互动投影系统 Download PDFInfo
- Publication number
- CN112925415A CN112925415A CN202110182479.5A CN202110182479A CN112925415A CN 112925415 A CN112925415 A CN 112925415A CN 202110182479 A CN202110182479 A CN 202110182479A CN 112925415 A CN112925415 A CN 112925415A
- Authority
- CN
- China
- Prior art keywords
- participant
- projection
- billiard
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 52
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 72
- 230000009471 action Effects 0.000 claims description 23
- 239000011521 glass Substances 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 10
- 238000012549 training Methods 0.000 description 13
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63D—BOWLING GAMES, e.g. SKITTLES, BOCCE OR BOWLS; INSTALLATIONS THEREFOR; BAGATELLE OR SIMILAR GAMES; BILLIARDS
- A63D15/00—Billiards, e.g. carom billiards or pocket billiards; Billiard tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供一种基于AR的互动投影系统,应用于台球运动辅助系统,台球运动辅助系统还包括:台球桌、台球杆、台球、视频获取系统、中央控制器和第一通讯模块;包括:互动模块,设置在台球桌上或台球桌的上方的天花板上,用于获取用户的互动动作,并基于互动动作生成互动信息;投影模块,与互动模块连接,用于接收到互动信息后切换投影画面。本发明的基于AR的互动投影系统,实现与用户的互动,丰富了投影功能,提高用户的体验。
Description
技术领域
本发明涉及投影系统技术领域,特别涉及一种基于AR的互动投影系统。
背景技术
目前,台球,因其玩法简单且变化多样,吸引各个层次的爱好者。随着科技的发展,出现了多种辅助台球训练或娱乐的系统,一般都是采用投影模块辅助台球训练,但是现有的投影模块功能单一,带给用户的体验并不好。
发明内容
本发明目的之一在于提供了一种基于AR的互动投影系统,实现与用户的互动,丰富了投影功能,提高用户的体验。
本发明实施例提供的一种基于AR的互动投影系统,应用于台球运动辅助系统,台球运动辅助系统还包括:台球桌、台球杆、台球、视频获取系统、中央控制器和第一通讯模块;包括:
互动模块,设置在台球桌上或台球桌的上方的天花板上,用于获取用户的互动动作,并基于互动动作生成互动信息;
投影模块,与互动模块连接,用于接收到互动信息后切换投影画面。
优选的,互动模块包括:
至少一个摄像装置,用于拍摄台球桌的周围的第一图像;
处理器,与摄像装置电连接;在台球运动开始之前,处理器通过摄像装置获取台球桌的周围的第一图像,基于第一图像确定参加台球运动的用户;
其中,基于第一图像确定参加台球运动的用户,包括:
对第一图像进行图像识别,确定第一图像中每个用户对应的第一手部状态信息;
基于第一手部状态信息,确定第一参与者;
解析第一参与者的第一手部状态信息,当第一参与者有指向性手势时,确定指向性手势对应的用户为第二参与者;
当第一参与者无指向性手势时,基于除第一参与者的所有用户的第一手部状态信息,确定第二参与者;
其中,第一手部状态信息包括:是否持有台球杆、是否有预设的参与手势、手心面向其中一种或多种结合。
优选的,基于第一手部状态信息,确定第一参与者,包括:
将第一手部状态信息带入预设的第一神经网络模型中,确定第一参与者;
或,
基于第一手部状态信息建立第一状态向量;
获取预设的第一参与者的第一筛选数据库,第一筛选数据库中筛选因子与第二状态向量一一对应;
计算第一状态向量与第二状态向量的匹配度,计算公式如下:
其中,Pj为第一状态向量与第j个第二状态向量的匹配度;n为第一状态向量的数据个数或第二状态向量的数据个数;ai,j为第j个第二状态向量的第i个数据的值;bi为第一状态向量的第i个数据的值;
获取匹配度最大的第二状态向量对应的筛选因子;
获取筛选因子最大的第一手部状态信息对应的用户作为第一参与者。
优选的,在台球运动过程中,处理器执行如下操作:
通过摄像装置获取第一参与者的第二图像和第二参与者的第三图像;
基于第二图像,确定第一参与者的第二手部状态信息;
基于第三图像,确定第二参与者的第三手部状态信息;
解析第二手部状态信息和/或第三手部状态信息,获取解析结果;
当解析结果为第一参与者和/或第二参与者手上并未持有台球杆时,向投影模块输出往台球杆位置投射灯光需求,投影模块往台球杆的当前位置投射灯光;
当解析结果为第一参与者将手上的台球杆交给其他用户和/或第二参与者将手上的台球杆交给其他用户时,将其他用户替换掉原有的第一参与者或第二参与者;
当解析结果为第一参与者的第一手势为结束台球运动和/或第一参与者的第二手势为结束台球运动时,输出结束的需求至中央控制器和投影模块;投影模块关闭并中央控制器控制台球运动辅助系统关闭。
优选的,当处理器对第一图像进行识别后,确定第一图像中有且只有一个用户时,将用户作为唯一参与者;投影装置输出预设的初始投影画面;
处理器获取唯一参与者的交互手势,基于交互手势对初始投影画面内的光标进行操作。
优选的,投影模块包括:
至少一个第一投影装置,用于对台球杆放置处进行投射灯光;
至少一个第二投影装置,用于对第一参与者和第二参与者进行灯光投射;
至少一个第三投影装置,用于对台球桌进行对局信息的投射;
控制器,分别与第一投影装置、第二投影装置和第三投影装置电连接;用于控制第一投影装置、第二投影装置和第三投影装置的启动及投影模式的切换。
优选的,控制器控制第二投影装置对第一参与者和第二参与者进行灯光投射之前,执行如下操作:
建立三维坐标空间;
将每个第二投影装置映射至三维坐标空间内;获取每个第二投影装置的投影向量;
获取第一参与者或第二参与者的用户图像,基于用户图像建立用户模型,并将用户模型映射至三维坐标空间内,确定用户的面向的方向向量;
基于方向向量和投影向量,计算出灯光与用户面向的夹角,计算公式如下:
其中,arccos为反余弦函数;θi为方向向量与第i个第二投影装置的投影向量的夹角;a1,i、a2,i、a3,i分别为投影向量中各个数据的值;b1、b2、b3分别为方向向量中各个数据的值;
采用夹角与90度角之间的差值最小的第二投影装置对第一参与者或第二参与者进行灯光投射。
优选的,第三投影装置包括:
红点射灯,用于在台球桌上投射出台球的位置;
球号投影灯,用于在红点射灯投射的位置旁投射出该位置的球号。
优选的,基于AR的互动投影系统,还包括:
AR眼镜,为第一参与者或第二参与者佩戴使用;
服务器,与AR眼镜、第一通讯模块连接;
服务器执行如下操作:
通过AR眼镜获取第一参与者视野的第四图像;
当当前击球局不是第一参与者的击球局时,解析第四图像,获取第二参与者的击球准备动作,
获取当前台球桌上的台球状态;
基于台球状态和第二参与者的击球准备动作,对台球的运动轨迹进行预测;
将预测的运动轨迹通过AR眼镜输出给第一参与者。
优选的,服务器还执行如下操作:
通过AR眼镜在台球桌上显示虚拟台球的方式实现第一参与者和第二参与者之间的台球运动;
在台球运动的过程中,当前为第一参与者的击球局时,通过第一参与者佩戴的AR眼镜获取第一参与者视野的第四图像;
解析第四图像,获取第一参与者的动作;
当动作为移动虚拟台球时,基于动作的起点和终点;将位于起点的虚拟台球移动到终点。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于AR的互动投影系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于AR的互动投影系统,应用于台球运动辅助系统,台球运动辅助系统还包括:台球桌、台球杆、台球、视频获取系统、中央控制器和第一通讯模块;包括:
互动模块1,设置在台球桌上或台球桌的上方的天花板上,用于获取用户的互动动作,并基于互动动作生成互动信息;
投影模块2,与互动模块1连接,用于接收到互动信息后切换投影画面。
上述技术方案的工作原理及有益效果为:
基于AR的互动投影系统在台球运动辅助系统中的作用至关重要,可以投影出辅助训练的线条、标识台球速度的辅助光环、标识参与者的光环等;通过互动模块获取用户的互动动作,基于互动动作控制投影模块切换投影画面或更换投影模式,提高了应用于台球运动辅助系统的投影模块的互动性;此外,通过互动动作可以更快地更便捷地控制应用于台球运动辅助系统的投影模块的运行,简化应用于台球运动辅助系统的投影模块的控制,提高了应用于台球运动辅助系统的投影模块的适用性,进而使台球辅助系统更适应日常的台球运动。其中,台球运动辅助系统中的中央控制器通过视频获取系统拍摄台球桌空间内的图像,基于图像识别技术确定台球的位置,进而构建虚拟台球空间,建立虚拟台球模型,实现虚拟与现实相结合,进而实现辅助用户进行训练。
本发明的基于AR的互动投影系统,实现与用户的互动,丰富了投影功能,提高用户的体验。
在一个实施例中,互动模块包括:
至少一个摄像装置,用于拍摄台球桌的周围的第一图像;
处理器,与摄像装置电连接;在台球运动开始之前,处理器通过摄像装置获取台球桌的周围的第一图像,基于第一图像确定参加台球运动的用户;
其中,基于第一图像确定参加台球运动的用户,包括:
对第一图像进行图像识别,确定第一图像中每个用户对应的第一手部状态信息;
基于第一手部状态信息,确定第一参与者;
解析第一参与者的第一手部状态信息,当第一参与者有指向性手势时,确定指向性手势对应的用户为第二参与者;
当第一参与者无指向性手势时,基于除第一参与者的所有用户的第一手部状态信息,确定第二参与者;
其中,第一手部状态信息包括:是否持有台球杆、是否有预设的参与手势、手心面向其中一种或多种结合。
上述技术方案的工作原理及有益效果为:
在台球运动开始前,通过互动模块智能识别台球桌周围的用户的手部的状态确定手部状态信息,基于手部状态信息确定参与者;在确定参与者时,先确定第一参与者,确定好第一参与者后,需要对其手部信息进行确定,当存在指向性手势时,基于第一参与者的意愿将指向性手势对应的用户作为第二参与者;实现互动模块智能获取第一参与者的意图,提高了互动模块的智能化;当第一参与者并无指向性手势时,在根据剩余的用户的手部状态信息进行筛选确定第二参与者;通过手部状态信息实现快速准确地确定台球运动的参与者,提高了基于AR的互动投影系统的智能性。当确定了第一参与者和第二参与者后,对第一参与者和第二参与者进行身份识别,基于身份识别调取第一参与者和第二参与者的历史对战信息,当存在未完成对战时,台球运动辅助系统将未完成的对战复制出来,让第一参与者和第二参与者继续。
在一个实施例中,基于第一手部状态信息,确定第一参与者,包括:
将第一手部状态信息带入预设的第一神经网络模型中,确定第一参与者;
或,
基于第一手部状态信息建立第一状态向量;
获取预设的第一参与者的第一筛选数据库,第一筛选数据库中筛选因子与第二状态向量一一对应;
计算第一状态向量与第二状态向量的匹配度,计算公式如下:
其中,Pj为第一状态向量与第j个第二状态向量的匹配度;n为第一状态向量的数据个数或第二状态向量的数据个数;ai,j为第j个第二状态向量的第i个数据的值;bi为第一状态向量的第i个数据的值;
获取匹配度最大的第二状态向量对应的筛选因子;
获取筛选因子最大的第一手部状态信息对应的用户作为第一参与者。
上述技术方案的工作原理及有益效果为:
根据手部状态信息确定参与者的方案主要有两种,一种采用神经网络模型对第一手部状态信息进行识别,确定用户作为参与者的意愿,然后选定参与者;第二种,基于手部状态信息与筛选数据库中的状态信息进行匹配的方法,具体为构建对应手部状态信息的第一状态向量和对应筛选数据库的第二状态向量,计算状态向量之间的匹配度,根据计算结果选取用户。其中,第一神经网络模型为实现经过大量被选定为第一参与者的历史手部状态数据训练收敛获得的;筛选数据库为基于大量被选定为第一参与者的历史手部状态数据构建成的。相对的,在采用手部状态信息确定第二参与者时,也可以采用与第一参与者确定方式相同的方式来确定。
在一个实施例中,在台球运动过程中,处理器执行如下操作:
通过摄像装置获取第一参与者的第二图像和第二参与者的第三图像;
基于第二图像,确定第一参与者的第二手部状态信息;
基于第三图像,确定第二参与者的第三手部状态信息;
解析第二手部状态信息和/或第三手部状态信息,获取解析结果;
当解析结果为第一参与者和/或第二参与者手上并未持有台球杆时,向投影模块输出往台球杆位置投射灯光需求,投影模块往台球杆的当前位置投射灯光;
当解析结果为第一参与者将手上的台球杆交给其他用户和/或第二参与者将手上的台球杆交给其他用户时,将其他用户替换掉原有的第一参与者或第二参与者;
当解析结果为第一参与者的第一手势为结束台球运动和/或第一参与者的第二手势为结束台球运动时,输出结束的需求至中央控制器和投影模块;投影模块关闭并中央控制器控制台球运动辅助系统关闭。
上述技术方案的工作原理及有益效果为:
通过对台球运动过程中第一参与者和第二参与者的手部状态信息的监控,实现实时获取第一参与者和第二参与者的动作,基于动作确定第一参与者和第二参与者的用意和需求,提高投影模块的智能化。例如:当第一参与者或第二参与者在台球运动过程中将台球杆放下,投影模块对台球杆进行灯光投射,当到达该参与者的击球局时使参与者可以更快找到台球杆。例如:当第一参与者与其他用户进行交接台球杆时,可以认为此时第一参与者的意图为其他用户替换他来进行台球运动,在投影模块进行参与者的标识的投射时,将该其他用户作为投射目标。当第一参与者或第二参与者想要结束台球运动时,可以采用手势进行关闭投影模块和运动辅助系统;其中,第一手势和第二手势可以包括:认输的手势或再见的手势;但采用再见的手势,还需在手势后的一段时间内确定参与者的位置是否为远离台球桌,当远离时确定再见的手势为有效,否则,该手势为无效,从而避免了在台球运动中与其他好友告别时的误判。
在一个实施例中,当处理器对第一图像进行识别后,确定第一图像中有且只有一个用户时,将用户作为唯一参与者;投影装置输出预设的初始投影画面;
处理器获取唯一参与者的交互手势,基于交互手势对初始投影画面内的光标进行操作。
上述技术方案的工作原理及有益效果为:
当台球桌周围只有一个用户时,该用户可以作为唯一参与者,进行台球运动辅助系统的辅助训练。唯一参与者通过移动手指的方式输入拖动的交互手势对初始投影画面内的光标进行移动。当移动到需要的训练模式对应的虚拟触发按钮的位置时,唯一参与者通过弯曲手指的方式输入确认的交互手势,选定训练模式,然后台球运动辅助系统按照该选定的训练模式运行。
在一个实施例中,投影模块包括:
至少一个第一投影装置,用于对台球杆放置处进行投射灯光;
至少一个第二投影装置,用于对第一参与者和第二参与者进行灯光投射;
至少一个第三投影装置,用于对台球桌进行对局信息的投射;
控制器,分别与第一投影装置、第二投影装置和第三投影装置电连接;用于控制第一投影装置、第二投影装置和第三投影装置的启动及投影模式的切换。
上述技术方案的工作原理及有益效果为:
当第一参与者或第二参与者手上未持有台球杆时,通过第一投影装置对台球杆进行投射灯光,实现第一参与者或第二参与者快速拿取台球杆;在台球运动时,通过对第一参与者或第二参与者投射灯光,实现第一参与者或第二参与者或者观众知晓台球运动的当前的击球方,通过第三投影装置对台球桌进行对局信息投射,方便第一参与者或第二参与者的台球训练,具体投射包括:在继续未完成对局时,投射出台球的位置,方便第一参与者或第二参与者将未完成对局进行在线;在对局时,投射出击球辅助线、速度辅助标识等,提高了训练的效果;此外,还可进行对局的复盘投射,投射出历史对局画面、精彩瞬间画面等。投影模式包括:双人对局、单人模式和两组双人模式,例如:双人对局的投影的具体操作为第二投影装置投射的用户为两人,投射的画面相互区别,例如,第一参与者采用冷色调的光进行投射,第二参与者采用暖色调的光进行投射;击球时,投射的光也与不击球时进行区别。
在一个实施例中,控制器控制第二投影装置对第一参与者和第二参与者进行灯光投射之前,执行如下操作:
建立三维坐标空间;
将每个第二投影装置映射至三维坐标空间内;获取每个第二投影装置的投影向量;
获取第一参与者或第二参与者的用户图像,基于用户图像建立用户模型,并将用户模型映射至三维坐标空间内,确定用户的面向的方向向量;
基于方向向量和投影向量,计算出灯光与用户面向的夹角,计算公式如下:
其中,arccos为反余弦函数;θi为方向向量与第i个第二投影装置的投影向量的夹角;a1,i、a2,i、a3,i分别为投影向量中各个数据的值;b1、b2、b3分别为方向向量中各个数据的值;
采用夹角与90度角之间的差值最小的第二投影装置对第一参与者或第二参与者进行灯光投射。
上述技术方案的工作原理及有益效果为:
在对第一参与者或第二参与者进行投射时,要控制投射光线的角度,不能影响第一参与者或第二参与者的视线也要保证投射的效果,通过第二投影装置的投影向量与第一参与者或第二参与者面向的角度对投影第一参与者或第二参与者的第二投影装置进行筛选,确定最佳的第二投影装置进行投影。更进一步地,第二投影装置为可转动时,实现构建第二投影装置的投影向量集合;基于投影向量集合中每个投影向量与第一参与者或第二参与者面向的方向向量的夹角进行筛选,筛选出第二投影装置后还需根据夹角确定该第二投影装置的最佳投影角度,实现无论第一参与者或第二参与者站在台球桌周围的任何位置,都能有较好的投影效果。
在一个实施例中,处理器还执行如下操作:
建立三维坐标空间;
将每个摄像装置都映射至三维坐标空间内,确定每个摄像装置的中心摄像向量;中心摄像向量为垂直于摄像装置镜头的中心并向着摄像装置的方向;
获取第一参与者或第二参与者的面向向量;
基于面向向量和中心摄像向量,计算摄像方向与第一参与者或第二参与者的夹角;
采用夹角最小的摄像装置拍摄的图像进行图像识别,获取第一参与者或第二参与者的手部状态信息。
上述技术方案的工作原理及有益效果为:
基于摄像装置的中心摄像向量与参与者的面向向量对摄像装置拍摄的图像进行筛选,实现选择参与者正面拍摄的图像进行识别,提高了手部状态信息获取的准确性。
在一个实施例中,第三投影装置包括:
红点射灯,用于在台球桌上投射出台球的位置;
球号投影灯,用于在红点射灯投射的位置旁投射出该位置的球号。
上述技术方案的工作原理及有益效果为:
红外射灯和球号投影灯为在调取历史对局信息时,提示第一参与者或第二参与者历史对局信息中各个台球摆放位置使用,更进一步,台球运动辅助系统还包括:台球整理机构时,通过投射,方便第一参与者或第二参与者确定台球整理机构整理后的台球是否与历史对局信息符合。
在一个实施例中,基于AR的互动投影系统,还包括:
AR眼镜,为第一参与者或第二参与者佩戴使用;
服务器,与AR眼镜、第一通讯模块连接;
服务器执行如下操作:
通过AR眼镜获取第一参与者视野的第四图像;
当当前击球局不是第一参与者的击球局时,解析第四图像,获取第二参与者的击球准备动作,
获取当前台球桌上的台球状态;
基于台球状态和第二参与者的击球准备动作,对台球的运动轨迹进行预测;
将预测的运动轨迹通过AR眼镜输出给第一参与者。
上述技术方案的工作原理及有益效果为:
第一参与者和第二参与者通过AR眼镜实现辅助台球运动;在第一参与者击球时,第二参与者可以通过AR眼镜获取服务器根据第一参与者的击球准备动作和中央控制器输出的当前击球局上的台球状态确定的台球预测路线,实现对第一参与者的击球直观的掌握。例如第一参与者为训练学员,第二参与者为教练;这样教练可以根据AR眼镜的虚拟显示内容对训练学员进行姿势、击球习惯进行纠正;虚拟显示内容包括:击球点的位置、预测的台球路线等。同样在,第二参与者击球时,第一参与者同样可以看到服务器发送的虚拟显示内容。
在一个实施例中,服务器还执行如下操作:
通过AR眼镜在台球桌上显示虚拟台球的方式实现第一参与者和第二参与者之间的台球运动;
在台球运动的过程中,当前为第一参与者的击球局时,通过第一参与者佩戴的AR眼镜获取第一参与者视野的第四图像;
解析第四图像,获取第一参与者的动作;
当动作为移动虚拟台球时,基于动作的起点和终点;将位于起点的虚拟台球移动到终点。
上述技术方案的工作原理及有益效果为:
基于AR眼镜、服务器和投影模块可以实现参与者通过虚拟台球进行训练,在使用时,参与者可以通过手势移动虚拟台球的摆放位置实现虚拟台球摆放位置的微调;动作的起点手势为所有手指由张开到虚握;然后移动一段距离,到到终点,确定终点为所有手指由虚握到张开;实现通过第一参与者的动作调整虚拟台球位置,提高虚拟现实交互的效果。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于AR的互动投影系统,应用于台球运动辅助系统,所述台球运动辅助系统还包括:台球桌、台球杆、台球、视频获取系统、中央控制器和第一通讯模块;其特征在于,包括:
互动模块,设置在所述台球桌上或所述台球桌的上方的天花板上,用于获取用户的互动动作,并基于互动动作生成互动信息;
投影模块,与所述互动模块连接,用于接收到所述互动信息后切换投影画面,
其中,所述互动模块包括:
至少一个摄像装置,用于拍摄所述台球桌的周围的第一图像;
处理器,与所述摄像装置电连接;在台球运动开始之前,所述处理器通过所述摄像装置获取所述台球桌的周围的所述第一图像,基于所述第一图像确定参加所述台球运动的用户;
其中,所述基于所述第一图像确定参加所述台球运动的用户,包括:
对所述第一图像进行图像识别,确定所述第一图像中每个用户对应的第一手部状态信息;
基于所述第一手部状态信息,确定第一参与者;
解析所述第一参与者的所述第一手部状态信息,当所述第一参与者有指向性手势时,确定所述指向性手势对应的用户为第二参与者;
当所述第一参与者无指向性手势时,基于除所述第一参与者的所有用户的所述第一手部状态信息,确定第二参与者;
其中,所述第一手部状态信息包括:是否持有台球杆、是否有预设的参与手势、手心面向其中一种或多种结合。
2.如权利要求1所述的基于AR的互动投影系统,其特征在于,所述基于所述第一手部状态信息,确定第一参与者,包括:
将所述第一手部状态信息带入预设的第一神经网络模型中,确定所述第一参与者;
或,
基于所述第一手部状态信息建立第一状态向量;
获取预设的第一参与者的第一筛选数据库,所述第一筛选数据库中筛选因子与第二状态向量一一对应;
计算所述第一状态向量与所述第二状态向量的匹配度,计算公式如下:
其中,Pj为所述第一状态向量与第j个所述第二状态向量的匹配度;n为所述第一状态向量的数据个数或所述第二状态向量的数据个数;ai,j为第j个所述第二状态向量的第i个数据的值;bi为所述第一状态向量的第i个数据的值;
获取匹配度最大的所述第二状态向量对应的筛选因子;
获取筛选因子最大的所述第一手部状态信息对应的用户作为所述第一参与者。
3.如权利要求1所述的基于AR的互动投影系统,其特征在于,在台球运动过程中,所述处理器执行如下操作:
通过所述摄像装置获取所述第一参与者的第二图像和所述第二参与者的第三图像;
基于所述第二图像,确定所述第一参与者的第二手部状态信息;
基于所述第三图像,确定所述第二参与者的第三手部状态信息;
解析所述第二手部状态信息和/或所述第三手部状态信息,获取解析结果;
当所述解析结果为所述第一参与者和/或所述第二参与者手上并未持有台球杆时,向所述投影模块输出往台球杆位置投射灯光需求,所述投影模块往所述台球杆的当前位置投射灯光;
当所述解析结果为所述第一参与者将手上的台球杆交给其他用户和/或所述第二参与者将手上的台球杆交给其他用户时,将所述其他用户替换掉原有的所述第一参与者或所述第二参与者;
当所述解析结果为所述第一参与者的第一手势为结束所述台球运动和/或所述第一参与者的第二手势为结束所述台球运动时,输出结束的需求至所述中央控制器和所述投影模块;所述投影模块关闭并所述中央控制器控制所述台球运动辅助系统关闭。
4.如权利要求1所述的基于AR的互动投影系统,其特征在于,当所述处理器对所述第一图像进行识别后,确定所述第一图像中有且只有一个用户时,将所述用户作为唯一参与者;所述投影装置输出预设的初始投影画面;
所述处理器获取所述唯一参与者的交互手势,基于所述交互手势对所述初始投影画面内的光标进行操作。
5.如权利要求1所述的基于AR的互动投影系统,其特征在于,所述投影模块包括:
至少一个第一投影装置,用于对台球杆放置处进行投射灯光;
至少一个第二投影装置,用于对第一参与者和第二参与者进行灯光投射;
至少一个第三投影装置,用于对台球桌进行对局信息的投射;
控制器,分别与所述第一投影装置、所述第二投影装置和所述第三投影装置电连接;用于控制所述第一投影装置、所述第二投影装置和所述第三投影装置的启动及投影模式的切换。
6.如权利要求5所述的基于AR的互动投影系统,其特征在于,所述控制器控制所述第二投影装置对所述第一参与者和所述第二参与者进行灯光投射之前,执行如下操作:
建立三维坐标空间;
将每个所述第二投影装置映射至所述三维坐标空间内;获取每个所述第二投影装置的投影向量;
获取所述第一参与者或所述第二参与者的用户图像,基于所述用户图像建立用户模型,并将所述用户模型映射至所述三维坐标空间内,确定用户的面向的方向向量;
基于所述方向向量和所述投影向量,计算出灯光与用户面向的夹角,计算公式如下:
其中,arccos为反余弦函数;θi为所述方向向量与第i个所述第二投影装置的所述投影向量的夹角;a1,i、a2,i、a3,i分别为所述投影向量中各个数据的值;b1、b2、b3分别为所述方向向量中各个数据的值;
采用所述夹角与90度角之间的差值最小的所述第二投影装置对所述第一参与者或所述第二参与者进行灯光投射。
7.如权利要求5所述的基于AR的互动投影系统,其特征在于,
所述第三投影装置包括:
红点射灯,用于在所述台球桌上投射出台球的位置;
球号投影灯,用于在所述红点射灯投射的位置旁投射出该位置的球号。
8.如权利要求1至7任一所述的基于AR的互动投影系统,其特征在于,还包括:
AR眼镜,为第一参与者或第二参与者佩戴使用;
服务器,与所述AR眼镜、所述第一通讯模块连接;
所述服务器执行如下操作:
通过AR眼镜获取所述第一参与者视野的第四图像;
当当前击球局不是所述第一参与者的击球局时,解析所述第四图像,获取所述第二参与者的击球准备动作,
获取当前台球桌上的台球状态;
基于所述台球状态和所述第二参与者的击球准备动作,对所述台球的运动轨迹进行预测;
将预测的所述运动轨迹通过所述AR眼镜输出给所述第一参与者。
9.如权利要求8所述的基于AR的互动投影系统,其特征在于,所述服务器还执行如下操作:
通过所述AR眼镜在所述台球桌上显示虚拟台球的方式实现所述第一参与者和所述第二参与者之间的台球运动;
在所述台球运动的过程中,当前为所述第一参与者的击球局时,通过所述第一参与者佩戴的所述AR眼镜获取所述第一参与者视野的所述第四图像;
解析所述第四图像,获取所述第一参与者的动作;
当所述动作为移动所述虚拟台球时,基于所述动作的起点和终点;将位于所述起点的所述虚拟台球移动到所述终点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110182479.5A CN112925415B (zh) | 2021-02-07 | 2021-02-07 | 一种基于ar的互动投影系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110182479.5A CN112925415B (zh) | 2021-02-07 | 2021-02-07 | 一种基于ar的互动投影系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112925415A true CN112925415A (zh) | 2021-06-08 |
CN112925415B CN112925415B (zh) | 2023-06-06 |
Family
ID=76171424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110182479.5A Active CN112925415B (zh) | 2021-02-07 | 2021-02-07 | 一种基于ar的互动投影系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925415B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104117202A (zh) * | 2014-07-02 | 2014-10-29 | 乔冰 | 投影式台球击球智能辅助系统和方法 |
CN104117201A (zh) * | 2014-07-02 | 2014-10-29 | 乔冰 | 投影式台球系统手势/球杆控制系统及其实现方法 |
CN105955473A (zh) * | 2016-04-27 | 2016-09-21 | 周凯 | 一种基于计算机的静态手势图像识别交互系统 |
CN107466246A (zh) * | 2016-08-25 | 2017-12-12 | 深圳英麦吉科技有限公司 | 台球击球辅助方法、台球击球辅助系统及便携式电子设备 |
US20180096507A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
WO2019150781A1 (ja) * | 2018-01-30 | 2019-08-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2021
- 2021-02-07 CN CN202110182479.5A patent/CN112925415B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104117202A (zh) * | 2014-07-02 | 2014-10-29 | 乔冰 | 投影式台球击球智能辅助系统和方法 |
CN104117201A (zh) * | 2014-07-02 | 2014-10-29 | 乔冰 | 投影式台球系统手势/球杆控制系统及其实现方法 |
CN105955473A (zh) * | 2016-04-27 | 2016-09-21 | 周凯 | 一种基于计算机的静态手势图像识别交互系统 |
CN107466246A (zh) * | 2016-08-25 | 2017-12-12 | 深圳英麦吉科技有限公司 | 台球击球辅助方法、台球击球辅助系统及便携式电子设备 |
US20180096507A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
WO2019150781A1 (ja) * | 2018-01-30 | 2019-08-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112925415B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10486050B2 (en) | Virtual reality sports training systems and methods | |
KR101572526B1 (ko) | 시공간적 제약 없는 스크린 야구 경기 장치 | |
US11826628B2 (en) | Virtual reality sports training systems and methods | |
KR101543371B1 (ko) | 스크린 야구 시스템 경기 방법 | |
US20220203248A1 (en) | Robot Utility and Interface Device | |
KR101546666B1 (ko) | 스크린 야구 시스템 운영 방법 | |
WO2016000505A1 (zh) | 投影式台球击球智能辅助系统和方法 | |
KR101145126B1 (ko) | 당구게임 교육 시스템과 교육 제어방법 | |
KR102044874B1 (ko) | 당구장 영상 관리 시스템 | |
GB2567579A (en) | Billiard ball striking assistance method, billiard ball striking assistance system, and portable electronic device | |
KR101572525B1 (ko) | 스크린 야구 경기 운영 및 제어 장치 | |
KR20240038933A (ko) | 프로젝터 및 로봇팔을 이용하여 반복적인 당구 훈련을 제공하는 당구 훈련 장치, 방법 및 컴퓨터 프로그램 | |
KR101633246B1 (ko) | 빔 프로젝터 기반의 오프라인 당구 게임 지원 시스템 및 방법 | |
KR20100033205A (ko) | 골프연습 보조 시스템 및 그 방법 | |
KR102240733B1 (ko) | 당구 실력 향상을 위한 당구 학습 시스템 및 그 동작 방법 | |
CN112925415B (zh) | 一种基于ar的互动投影系统 | |
CN112995621B (zh) | 一种具有红外唤醒功能的智能投影装置和监控方法 | |
KR102234638B1 (ko) | 당구 영상 판독 시스템 및 그 방법 | |
KR101348419B1 (ko) | 영상컨텐츠를 제공하는 가상 골프 시뮬레이션 장치 및 그 방법 | |
KR102064402B1 (ko) | 인터넷을 이용한 당구공 배치 확인 시스템 및 그 방법 | |
CN112546607B (zh) | 基于多投影装置的投影式台球系统的坐标匹配方法 | |
KR20200009720A (ko) | 당구 게임 관리 및 보조 시스템 | |
JP7403581B2 (ja) | システム及びデバイス | |
CN112755500B (zh) | 一种虚拟和现实相结合的台球运动装置及其使用方法 | |
KR102455948B1 (ko) | 당구 게임 관리 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |