CN115937725A - 空间交互装置的姿态显示方法、装置、设备及其存储介质 - Google Patents
空间交互装置的姿态显示方法、装置、设备及其存储介质 Download PDFInfo
- Publication number
- CN115937725A CN115937725A CN202310234177.7A CN202310234177A CN115937725A CN 115937725 A CN115937725 A CN 115937725A CN 202310234177 A CN202310234177 A CN 202310234177A CN 115937725 A CN115937725 A CN 115937725A
- Authority
- CN
- China
- Prior art keywords
- virtual
- interaction device
- image
- real
- space interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 abstract description 13
- 230000036544 posture Effects 0.000 description 76
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种空间交互装置的姿态显示方法、装置、设备及其存储介质，属于虚拟现实技术领域。所述空间交互装置的姿态显示方法包括：动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。本申请解决了现有技术对空间交互装置动作姿态还原的准确度低的技术问题。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种空间交互装置的姿态显示方法、装置、设备及其存储介质。
背景技术
桌面3D（three-dimensional）交互系统，是一种显示屏上的3D交互，即沉浸式虚拟现实(virtualreality，VR)的一种表现形式。它牺牲了一部分的沉浸感，使用更加轻便和开放的3D显示设备，让原有的平面的三维模型，有一种出屏感，从而获得一种较为真实的立体视觉。桌面3D交互系统通常包括空间交互装置、3D显示设备和动作捕捉设备，通过动作捕捉设备获取空间交互装置的实际动作姿态，进而在虚拟现实内容中，还原空间交互装置的动作姿态，以获得在虚拟现实环境下的真实操控感。
为了实现在虚拟现实环境下，对空间交互装置动作姿态的还原，常规方式是通过主动光学定位追踪技术，识别空间交互装置上主动光点的空间姿态，但该方法难以准确判断空间交互装置的指向，导致在虚拟现实环境下，对空间交互装置动作姿态还原的准确度低。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种空间交互装置的姿态显示方法、装置、设备及其存储介质，旨在解决现有技术对空间交互装置动作姿态还原的准确度较低的技术问题。
为实现上述目的，本申请提供一种空间交互装置的姿态显示方法，所述空间交互装置的姿态显示方法包括：
动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态
可选地，所述动态获取图像采集设备采集的第一图像的步骤包括：
根据预设发光规则，控制所述空间交互装置上设置的光源按照对应的发光规则发光；其中，所述空间交互装置的前后两端分别设置有一个光源，各所述光源对应的发光规则不同。
可选地，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤包括：
对所述第一图像进行预设降噪处理，得到第二图像；
根据预设渲染算法，对所述第二图像进行渲染，得到第三图像；
根据预设图像识别算法，识别所述第三图像中的有效光斑。
可选地，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤，还包括：
根据预设图像识别算法，滤除所述第一图像中的无效光斑，得到第四图像，其中，所述无效光斑为对应的光斑亮度在预设光斑阈值区间之外的光斑；
从所述第四图像中多次选取两个光斑作为光斑组，并计算各所述光斑组对应的光斑距离，其中，所述光斑距离为所述光斑组对应的两个光斑之间的距离；
根据所述光斑距离，确定目标光斑组，并将所述目标光斑组中的目标光斑作为所述有效光斑，其中，所述目标光斑组为光斑距离等于预设光斑距离标准值的光斑组。
可选地，所述根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点的步骤包括：
根据预设发光规则，确定各所述有效光斑对应的光源；
获取各所述光源在所述空间交互装置中的位置，并将位于所述空间交互装置前端的光源所对应的有效光斑作为所述真实前点，将位于所述空间交互装置后端的光源所对应的有效光斑作为所述真实后点。
可选地，所述根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态的步骤包括：
分别获取所述空间交互装置的真实前点和真实后点对应的真实前点位置和真实后点位置；
根据预设坐标转换规则，将所述真实前点位置和所述真实后点位置分别转换为虚拟前点位置和虚拟后点位置；
根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
可选地，所述根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中的步骤包括：
分别识别所述虚拟前点位置对应的虚拟前点，和所述虚拟后点位置对应的虚拟后点；
以所述虚拟后点为初始点，所述虚拟前点为终止点，生成虚拟射线，并作为所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
本申请还提供一种姿态显示装置，所述姿态显示装置包括：
获取模块，用于动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
识别模块，用于根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
确定模块，用于根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
显示模块，用于根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。
本申请还提供一种姿态显示设备，所述姿态显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态显示程序，所述姿态显示程序配置为实现上述的姿态显示方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有姿态显示程序，所述姿态显示程序被处理器执行以实现上述的姿态显示方法的步骤。
本申请公开了一种空间交互装置的姿态显示方法、装置、设备及其存储介质，通过动态获取图像采集设备采集的第一图像，进而根据预设图像识别算法，识别第一图像中空间交互装置上设置的光源发出的有效光斑；进而根据有效光斑，确定空间交互装置的真实前点和真实后点，从而根据空间交互装置的真实前点和真实后点，在虚拟显示设备中显示空间交互装置的虚拟姿态；通过对空间交互装置的前点和后点的差异化区分，使得在虚拟界面能够准确判断出空间交互装置的正确指向，确保虚拟现实环境下能够正确且真实的还原空间交互装置的实时动作姿态，进一步提升对空间交互装置动作姿态还原的准确度；并且，通过对空间交互装置前点和后点的设置，仅通过两点即可实现对空间交互装置位置的精准识别，进而降低了姿态还原的计算复杂度，减少计算资源的耗费，使得实现空间交互装置姿态精准显示的实现代价大幅度减少。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的姿态显示设备的结构示意图；
图2为本申请空间交互装置的姿态显示方法第一实施例的流程示意图；
图3为本申请空间交互装置的姿态显示方法第一实施例的场景意图；
图4为本申请空间交互装置的姿态显示方法第二实施例的流程示意图；
图5为本申请实施例方案涉及的姿态显示装置的框架结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
另外，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中的“和/或”包括三个方案，以A和/或B为例，包括A技术方案、B技术方案，以及A和B同时满足的技术方案；另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的姿态显示设备结构示意图。
如图1所示，该姿态显示设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对姿态显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及姿态显示程序。
在图1所示的姿态显示设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请姿态显示设备中的处理器1001、存储器1005可以设置在姿态显示设备中，所述姿态显示设备通过处理器1001调用存储器1005中存储的姿态显示程序，并执行以下操作：
动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态
进一步地，所述动态获取图像采集设备采集的第一图像的步骤包括：
根据预设发光规则，控制所述空间交互装置上设置的光源按照对应的发光规则发光；其中，所述空间交互装置的前后两端分别设置有一个光源，各所述光源对应的发光规则不同。
进一步地，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤包括：
对所述第一图像进行预设降噪处理，得到第二图像；
根据预设渲染算法，对所述第二图像进行渲染，得到第三图像；
根据预设图像识别算法，识别所述第三图像中的有效光斑。
进一步地，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤，还包括：
根据预设图像识别算法，滤除所述第一图像中的无效光斑，得到第四图像，其中，所述无效光斑为对应的光斑亮度在预设光斑阈值区间之外的光斑；
从所述第四图像中多次选取两个光斑作为光斑组，并计算各所述光斑组对应的光斑距离，其中，所述光斑距离为所述光斑组对应的两个光斑之间的距离；
根据所述光斑距离，确定目标光斑组，并将所述目标光斑组中的目标光斑作为所述有效光斑，其中，所述目标光斑组为光斑距离等于预设光斑距离标准值的光斑组。
进一步地，所述根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点的步骤包括：
根据预设发光规则，确定各所述有效光斑对应的光源；
获取各所述光源在所述空间交互装置中的位置，并将位于所述空间交互装置前端的光源所对应的有效光斑作为所述真实前点，将位于所述空间交互装置后端的光源所对应的有效光斑作为所述真实后点。
进一步地，所述根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态的步骤包括：
分别获取所述空间交互装置的真实前点和真实后点对应的真实前点位置和真实后点位置；
根据预设坐标转换规则，将所述真实前点位置和所述真实后点位置分别转换为虚拟前点位置和虚拟后点位置；
根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
进一步地，所述根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中的步骤包括：
分别识别所述虚拟前点位置对应的虚拟前点，和所述虚拟后点位置对应的虚拟后点；
以所述虚拟后点为初始点，所述虚拟前点为终止点，生成虚拟射线，并作为所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
基于上述的结构，提出空间交互装置的姿态显示方法的各个实施例。
参照图2，图2为本申请空间交互装置的姿态显示方法第一实施例的流程示意图。
在本实施例中，空间交互装置的姿态显示方法的执行主体可以是姿态显示设备，姿态显示设备可以是网络设备或本地设备，在本实施例中并不做限制，以下为便于描述，省略执行主体进行各实施例的阐述。在本实施例中，空间交互装置的姿态显示方法包括：
步骤S10，动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
在将空间交互装置的姿态还原至虚拟界面中时，通过图像采集设备连续拍摄空间交互装置上设置的光源的发光图像，进而将获取的发光图像作为第一图像；其中，第一图像还包括图像中各物体的真实位置信息，以便于将各物体的姿态准确还原至虚拟界面中。
空间交互装置是一种带主动光学系统和惯性数据系统的刚体，能够向姿态显示设备发送主动光学数据和惯性数据，从而帮助姿态显示设备通过获取到的各类数据，融合识别并还原空间交互装置的动作姿态，并且用户可以通过空间交互装置实现与虚拟界面中各物体之间的交互；示例性的，空间交互装置为一种交互笔；在本实施例中，空间交互装置的前后两端分别设置有一个光源，所述光源是能够主动发射红外光的装置，包括但不限于红外发光二极管（LED）。
虚拟显示设备是桌面3D交互系统中的3D显示设备，能够将虚拟物体与真实场景相结合形成虚拟界面，使得各类图像不再局限于屏幕平面，仿佛能够走出屏幕外面，让用户获得一种较为真实的立体视觉；虚拟界面是虚拟显示设备中的模拟界面，即虚拟现实环境。
图像采集设备可以为一种红外动捕相机，能够精准捕捉空间交互装置在真实世界中的位置和动作姿态的变化；各第一图像的动态获取的时间间隔可以根据实际情况进行确定，本实施例对此不加以限制。
进一步地，所述动态获取图像采集设备采集的第一图像的步骤包括：
步骤S11，根据预设发光规则，控制所述空间交互装置上设置的光源按照对应的发光规则发光；其中，所述空间交互装置的前后两端分别设置有一个光源，各所述光源对应的发光规则不同。
当空间交互装置启动时，根据预设发光规则，控制空间交互装置上设置的各光源，按照各自对应的发光规则发光，并同步通过图像采集设备抓取空间交互装置上设置的光源的发光图像，其中，空间交互装置的前后两端分别设置有一个光源，且各光源对应的发光规则不同。
预设发光规则是空间交互装置上设置的光源的发光规律，其中，各光源有不同的发光规则；示例性的，0表示灭灯，1表示亮灯；光源1的发光规律为010110110，光源2的发光规律为1001011001。
在本实施例中，通过在空间交互装置的前后两端各设置一个光源，并控制各光源按照不同的发光规则进行发光，从而能够精准识别空间交互装置的前端和后端，并实现对空间交互装置的前点和后点的差异化区分，而通过对空间交互装置前后点的区分，能够实现对空间交互装置指向（朝向）的准确判断，进一步提升对空间交互装置虚拟姿态还原准确度。
步骤S20，根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
由于环境光或其他光源所发出的光可能会在第一图像上形成多个光斑，因此，根据预设图像识别算法，滤除第一图像中的无效光斑，识别空间交互装置上设置的光源所发出的光斑，并作为有效光斑；光斑是指第一图像中的光点。
步骤S30，根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
根据预设发光规则，对获取的有效光斑进行分析，从而确定各有效光斑对应的光源；进而获取光源在空间交互装置上的位置，通过各光源在空间交互装置上的位置，实现对空间交互装置的真实前点和真实后点的精准识别。
前点是描述空间交互装置上的主动光学前位置的特征点，在本实施例中包括真实前点和虚拟前点；其中，真实前点是指空间交互装置在真实世界中的前点，虚拟前点是指空间交互装置在虚拟界面中的前点。
后点是描述空间交互装置上的主动光学后位置的特征点，在本实施例中包括真实后点和虚拟后点；其中，真实后点是指空间交互装置在真实世界中的后点，虚拟后点是指空间交互装置在虚拟界面中的后点。
进一步地，所述根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点的步骤包括：
步骤S31，根据预设发光规则，确定各所述有效光斑对应的光源；
对获取的有效光斑进行分析，确定各有效光斑是按照何种发光规则进行发光，并将有效光斑对应的发光规则与预设发光规则进行比较，进而确定各有效光斑的来源，即各有效光斑对应的光源。
示例性的，预设发光规则中规定0表示灭灯，1表示亮灯，光源1的发光规律为010110110，光源2的发光规律为1001011001；对获取的有效光斑进行分析，确定有效光斑1的发光规律为010110110，有效光斑2的发光规律为1001011001，进而有效光斑1的发光规律与光源1一致，有效光斑2的发光规律与光源2一致，因此有效光斑1对应的光源为光源1，有效光斑2对应的光源为光源2。
步骤S32，获取各所述光源在所述空间交互装置中的位置，并将位于所述空间交互装置前端的光源所对应的有效光斑作为所述真实前点，将位于所述空间交互装置后端的光源所对应的有效光斑作为所述真实后点。
在确定各有效光斑对应的光源后，获取各光源在空间交互装置上的位置，进而根据各光源对应的位置，将位于空间交互装置前端的光源所对应的有效光斑作为真实前点，将位于空间交互装置后端的光源所对应的有效光斑作为真实后点。
在本实施例中，通过预设发光规则，实现对各有效光斑来源的精准判断，进而确定各光源在空间交互装置中的位置；通过各光源在空间交互装置中的位置，将位于空间交互装置前端的光源发出的光斑作为真实前点，将位于空间交互装置后端的光源发出的光斑作为真实后点，从而实现对空间交互装置前后点的差异化区分。
步骤S40，根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。
将获取的空间交互装置的真实前点和真实后点，转换为虚拟界面中的虚拟前点和虚拟后点；进而根据虚拟前点和虚拟后点，在虚拟界面中产生不同动作下空间交互装置的射线精准姿态（虚拟姿态），并通过虚拟显示设备向用户显示空间交互装置的虚拟姿态，从而实现对空间交互装置动作姿态的精准还原，给予用户在虚拟现实环境下的真实操控感。
示例性的，空间交互装置为交互笔，因此，空间交互装置显示在虚拟界面中时，将会以虚拟射线的形式呈现，所以空间交互装置的虚拟姿态可以为一种射线姿态。
为辅助理解以上技术方案，以下以一个具体的空间交互装置的姿态显示方法的第一实施例的场景示意图进行辅助说明，参照图3，实线为真实世界，虚线为虚拟界面；（a）为现有技术中空间交互装置在虚拟界面中的姿态还原方法，（b）为本申请中空间交互装置在虚拟界面中的姿态还原方法；由（a）可知，现有技术是通过识别空间交互装置上的亮点，进而通过算法将亮点对应至虚拟界面中，从而实现在虚拟界面中空间交互装置的姿态显示；但该方法无法准确判断空间交互装置的正确指向，若空间交互装置在原位置上旋转180°，此时，空间交互装置的真实姿态应与原姿态朝向相反；但由于现有技术无法区分空间交互装置上的亮点，因此，在虚拟界面中的姿态不会发生变化，从而导致空间交互装置的虚拟姿态的错误显示；而本申请将空间交互装置进行前点和后点的差异化区分，进而在虚拟界面中对前点和后点进行重建，并从后点向前点生成射线，以作为空间交互装置的虚拟姿态，从而确保空间交互装置在虚拟界面中指向的准确还原，进一步提升对空间交互装置姿态还原的准确度。
在本实施例中，通过动态获取图像采集设备采集的第一图像，进而根据预设图像识别算法，识别第一图像中空间交互装置上设置的光源发出的有效光斑；进而根据有效光斑，确定空间交互装置的真实前点和真实后点，从而根据空间交互装置的真实前点和真实后点，在虚拟显示设备中显示空间交互装置的虚拟姿态；通过对空间交互装置的前点和后点的差异化区分，使得在虚拟界面能够准确判断出空间交互装置的正确指向，确保虚拟现实环境下能够正确且真实的还原现实中空间交互装置的实时动作姿态，进一步提升对空间交互装置动作姿态还原的准确度；并且，通过对空间交互装置前点和后点的设置，仅通过两点即可实现对空间交互装置位置的精准识别，进而降低了姿态还原的计算复杂度，减少计算资源的耗费，使得实现空间交互装置姿态精准显示的实现代价大幅度减少。
进一步地，基于上述第一实施例，提出本申请空间交互装置的姿态显示方法第二实施例，在本实施例中，参照图4，步骤S20包括：
步骤S21，对所述第一图像进行预设降噪处理，得到第二图像；
在获取第一图像后，对第一图像进行预设降噪处理，从而抑制和/或消除图像中的噪点，以提高图像的质量，并将降噪后的第一图像作为第二图像。
预设降噪处理可以是图像滤波，在尽量保留图像细节特征的条件下对图像中的噪声进行抑制，便于更准确的识别出图像中的目标特征。
在一可行实施方式中，对所述第一图像进行预设预处理，得到预处理后第一图像；示例性的，通过OpenCV对第一图像进预处理。
步骤S22，根据预设渲染算法，对所述第二图像进行渲染，得到第三图像；
步骤S23，根据预设图像识别算法，识别所述第三图像中的有效光斑。
在获得第二图像后，根据预设渲染算法，对第二图像进行图像渲染，将渲染后的第二图像作为第三图像；进而根据预设图像识别算法，识别第三图像中空间交互装置上设置的光源发出的有效光斑。
预设渲染算法是对图像进行图像渲染的算法；通过图像渲染能够将三维的光能传递处理转换为一个二维图像，即光栅化。
示例性的，通过OpenGL或OpenGL ES对第二图像进行图像渲染处理。
在本实施例中，在识别第一图像中的有效光斑前，通过对第一图像进行降噪、渲染等预处理，能够消除和/或第一图像中的噪点，从而提高图像的质量，进而更准确的识别出图像中的有效光斑。
进一步地，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤，还包括：
步骤S24，根据预设图像识别算法，滤除所述第一图像中的无效光斑，得到第四图像，其中，所述无效光斑为对应的光斑亮度在预设光斑阈值区间之外的光斑；
根据预设图像识别算法，将第一图像中光斑亮度处于预设光斑阈值区间之外的光斑作为无效光斑进行滤除，将滤除无效光斑后的第一图像作为第四图像。
步骤S25，从所述第四图像中多次选取两个光斑作为光斑组，并计算各所述光斑组对应的光斑距离，其中，所述光斑距离为所述光斑组对应的两个光斑之间的距离；
步骤S26，根据所述光斑距离，确定目标光斑组，并将所述目标光斑组中的目标光斑作为所述有效光斑，其中，所述目标光斑组为光斑距离等于预设光斑距离标准值的光斑组。
从第四图像中任选两个光斑组合，以作为光斑组，并计算两个光斑之间的光斑距离，作为所述光斑组对应的光斑距离；进而根据各光斑组对应的光斑距离，在各光斑组中筛选目标光斑组，其中，目标光斑组为对应的光斑距离等于预设光斑距离标准值的光斑组；进而将目标光斑组中的目标光斑作为有效光斑。
预设光斑距离标准值是空间交互装置上设置的两个光源之间的距离值，由于空间交互装置上设置的两个光源之间的距离固定，因此可以根据各光斑之间的距离，在图像中准确识别有效光斑。
在一可行实施方式中，若第四图像中未识别到距离等于预设光斑距离标准值的光斑组，表明空间交互装置的某一光源可能被用户或者其他物体遮挡，则可以根据预设发光规则，筛选第四图像中满足预设发光规则的光斑作为有效光斑。
在本实施例中，通过设置预设光斑阈值区间，滤除第一图像中的无效光斑；进而在滤除无效光斑后的第四图像中，计算剩余光斑之间的光斑距离，并通过预设光斑距离标准值，在剩余光斑中筛选等于预设光斑距离标准值的两个光斑，并作为有效光斑；由于有效光斑为空间交互装置上设置的光源发出的光斑，因此，光斑的亮度和两个光斑之间的距离均较为固定；因此，通过设置预设光斑阈值区间和预设光斑距离标准值，即可快速筛除无效光斑，并实现对有效光斑的精准识别。
进一步地，基于上述第一和/或第二实施例，提出本申请空间交互装置的姿态显示方法第三实施例，在本实施例中，步骤S40包括：
步骤S41，分别获取所述空间交互装置的真实前点和真实后点对应的真实前点位置和真实后点位置；
步骤S42，根据预设坐标转换规则，将所述真实前点位置和所述真实后点位置分别转换为虚拟前点位置和虚拟后点位置；
根据图像采集设备采集的第一图像中携带的位置信息，确定真实前点对应的真实前点位置，以及真实后点对应的真实后点位置；其中，真实位置是指各物体在真实世界坐标系（现实世界坐标系）中的位置信息（坐标信息），包括：真实前点位置和真实后点位置；进而根据预设坐标转换规则，将真实世界坐标系下的真实位置转换为虚拟界面坐标系（虚拟世界坐标系）中的虚拟位置，得到虚拟前点位置和虚拟后点位置。
预设坐标转换规则是指真实世界坐标系和虚拟界面坐标系之间的坐标转换规则，通过预设坐标转换规则能够将真实世界中的各物体精准还原至虚拟界面中。
步骤S43，根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
根据获得的虚拟前点位置和虚拟后点位置，在虚拟界面中确定空间交互装置的虚拟前点和虚拟后点，并根据虚拟前点和虚拟后点在虚拟界面中对空间交互装置的姿态进行还原，以通过虚拟显示设备显示空间交互装置在虚拟界面中的虚拟姿态。
在本实施例中，通过预设坐标转换规则，实现真实世界坐标系和虚拟界面坐标系之间位置的精准转换，进而通过空间交互装置的真实前点和真实后点，确定空间交互装置在真实世界坐标系中的真实位置，以及虚拟界面坐标系中对应的虚拟位置，进而通过虚拟位置实现对空间交互装置动作姿态的精准还原。
进一步地，所述根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中的步骤包括：
步骤S431，分别识别所述虚拟前点位置对应的虚拟前点，和所述虚拟后点位置对应的虚拟后点；
根据虚拟前点位置在虚拟界面中识别虚拟前点，并根据虚拟后点位置在虚拟界面中识别虚拟后点。
步骤S432，以所述虚拟后点为初始点，所述虚拟前点为终止点，生成虚拟射线，并作为所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
参照图3，（b）以虚拟后点为初始点，所述虚拟前点为终止点，向虚拟前点方向生成虚拟射线，并将虚拟射线作为空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
在本实施例中，通过虚拟前点和虚拟后点的精准识别，实现了对空间交互装置指向的准确判断，从而确保虚拟现实环境下能够正确且真实的还原现实中空间交互装置的实时动作姿态，进一步提升对空间交互装置动作姿态还原的准确度；并且，通过对空间交互装置前点和后点的设置，仅通过两点即可实现对空间交互装置位置的精准识别，进而降低了姿态还原的计算复杂度，减少计算资源的耗费，使得实现空间交互装置姿态精准显示的实现代价大幅度减少。
进一步地，本申请实施例还提供一种姿态显示装置，参照图5，所述姿态显示装置应用于姿态显示设备，所述姿态显示装置包括：
获取模块10，用于动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
识别模块20，用于根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
确定模块30，用于根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
显示模块40，用于根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。
本申请姿态显示装置具体实施方式与上述姿态显示方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种空间交互装置的姿态显示方法，其特征在于，所述空间交互装置的姿态显示方法包括以下步骤：
动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。
2.如权利要求1所述的空间交互装置的姿态显示方法，其特征在于，所述动态获取图像采集设备采集的第一图像的步骤包括：
根据预设发光规则，控制所述空间交互装置上设置的光源按照对应的发光规则发光；其中，所述空间交互装置的前后两端分别设置有一个光源，各所述光源对应的发光规则不同。
3.如权利要求1所述的空间交互装置的姿态显示方法，其特征在于，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤包括：
对所述第一图像进行预设降噪处理，得到第二图像；
根据预设渲染算法，对所述第二图像进行渲染，得到第三图像；
根据预设图像识别算法，识别所述第三图像中的有效光斑。
4.如权利要求1所述的空间交互装置的姿态显示方法，其特征在于，所述根据预设图像识别算法，识别所述第一图像中的有效光斑的步骤，还包括：
根据预设图像识别算法，滤除所述第一图像中的无效光斑，得到第四图像，其中，所述无效光斑为对应的光斑亮度在预设光斑阈值区间之外的光斑；
从所述第四图像中多次选取两个光斑作为光斑组，并计算各所述光斑组对应的光斑距离，其中，所述光斑距离为所述光斑组对应的两个光斑之间的距离；
根据所述光斑距离，确定目标光斑组，并将所述目标光斑组中的目标光斑作为所述有效光斑，其中，所述目标光斑组为光斑距离等于预设光斑距离标准值的光斑组。
5.如权利要求1所述的空间交互装置的姿态显示方法，其特征在于，所述根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点的步骤包括：
根据预设发光规则，确定各所述有效光斑对应的光源；
获取各所述光源在所述空间交互装置中的位置，并将位于所述空间交互装置前端的光源所对应的有效光斑作为所述真实前点，将位于所述空间交互装置后端的光源所对应的有效光斑作为所述真实后点。
6.如权利要求1所述的空间交互装置的姿态显示方法，其特征在于，所述根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态的步骤包括：
分别获取所述空间交互装置的真实前点和真实后点对应的真实前点位置和真实后点位置；
根据预设坐标转换规则，将所述真实前点位置和所述真实后点位置分别转换为虚拟前点位置和虚拟后点位置；
根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
7.如权利要求6所述的空间交互装置的姿态显示方法，其特征在于，所述根据所述虚拟前点位置和所述虚拟后点位置，将所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中的步骤包括：
分别识别所述虚拟前点位置对应的虚拟前点，和所述虚拟后点位置对应的虚拟后点；
以所述虚拟后点为初始点，所述虚拟前点为终止点，生成虚拟射线，并作为所述空间交互装置的虚拟姿态显示在所述虚拟显示设备中。
8.一种姿态显示装置，其特征在于，所述装置包括：
获取模块，用于动态获取图像采集设备采集的第一图像，其中，所述第一图像为空间交互装置上设置的光源的发光图像；
识别模块，用于根据预设图像识别算法，识别所述第一图像中的有效光斑，其中，所述有效光斑为所述空间交互装置上设置的光源发出的光斑；
确定模块，用于根据所述有效光斑，确定所述空间交互装置的真实前点和真实后点；
显示模块，用于根据所述空间交互装置的真实前点和真实后点，在虚拟显示设备中显示所述空间交互装置的虚拟姿态。
9.一种姿态显示设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态显示程序，所述姿态显示程序配置为实现如权利要求1至7中任一项所述的姿态显示方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有姿态显示程序，所述姿态显示程序被处理器执行时实现如权利要求1至7任一项所述的姿态显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310234177.7A CN115937725B (zh) | 2023-03-13 | 2023-03-13 | 空间交互装置的姿态显示方法、装置、设备及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310234177.7A CN115937725B (zh) | 2023-03-13 | 2023-03-13 | 空间交互装置的姿态显示方法、装置、设备及其存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937725A true CN115937725A (zh) | 2023-04-07 |
| CN115937725B CN115937725B (zh) | 2023-06-06 |
Family
ID=86558028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310234177.7A Active CN115937725B (zh) | 2023-03-13 | 2023-03-13 | 空间交互装置的姿态显示方法、装置、设备及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937725B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726960A (zh) * | 2023-12-01 | 2024-03-19 | 广东聚华新型显示研究院 | 一种交互设备识别方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106774992A (zh) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 虚拟现实空间定位特征点识别方法 |
| CN108257177A (zh) * | 2018-01-15 | 2018-07-06 | 天津锋时互动科技有限公司深圳分公司 | 基于空间标识的定位系统与方法 |
| CN108958483A (zh) * | 2018-06-29 | 2018-12-07 | 深圳市未来感知科技有限公司 | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 |
| CN109710056A (zh) * | 2018-11-13 | 2019-05-03 | 宁波视睿迪光电有限公司 | 虚拟现实交互装置的显示方法及装置 |
| CN115686233A (zh) * | 2021-07-26 | 2023-02-03 | 华为技术有限公司 | 一种主动笔与显示设备的交互方法、装置及交互系统 |
-
2023
- 2023-03-13 CN CN202310234177.7A patent/CN115937725B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106774992A (zh) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 虚拟现实空间定位特征点识别方法 |
| CN108257177A (zh) * | 2018-01-15 | 2018-07-06 | 天津锋时互动科技有限公司深圳分公司 | 基于空间标识的定位系统与方法 |
| CN108958483A (zh) * | 2018-06-29 | 2018-12-07 | 深圳市未来感知科技有限公司 | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 |
| CN109710056A (zh) * | 2018-11-13 | 2019-05-03 | 宁波视睿迪光电有限公司 | 虚拟现实交互装置的显示方法及装置 |
| CN115686233A (zh) * | 2021-07-26 | 2023-02-03 | 华为技术有限公司 | 一种主动笔与显示设备的交互方法、装置及交互系统 |
Non-Patent Citations (1)
| Title |
|---|
| 朱兴帅: "基于深度学习的交互笔关键点估计研究", 《计算机工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726960A (zh) * | 2023-12-01 | 2024-03-19 | 广东聚华新型显示研究院 | 一种交互设备识别方法、装置、电子设备及存储介质 |
| CN117726960B (zh) * | 2023-12-01 | 2024-07-05 | 广东聚华新型显示研究院 | 一种交互设备识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937725B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
| KR101930657B1 (ko) | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 | |
| US7643683B2 (en) | Generation of image database for multifeatured objects | |
| KR102114496B1 (ko) | 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버 | |
| CN104166509B (zh) | 一种非接触式屏幕交互方法及系统 | |
| US20140306874A1 (en) | Near-plane segmentation using pulsed light source | |
| US20210232858A1 (en) | Methods and systems for training an object detection algorithm using synthetic images | |
| KR20100049775A (ko) | 동적 임계값을 이용한 마커 인식 장치 및 방법 | |
| US9501810B2 (en) | Creating a virtual environment for touchless interaction | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| CN110489027B (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
| CN114138121B (zh) | 用户手势识别方法、装置、系统、存储介质及计算设备 | |
| CN115937725B (zh) | 空间交互装置的姿态显示方法、装置、设备及其存储介质 | |
| Schütt et al. | Semantic interaction in augmented reality environments for microsoft hololens | |
| CN110598571A (zh) | 活体检测方法、装置及计算机可读存储介质 | |
| CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
| US11282178B2 (en) | Electronic device and method of identifying false image of object attributable to reflection in indoor environment thereof | |
| CN110597397A (zh) | 增强现实的实现方法、移动终端及存储介质 | |
| CN113703577B (zh) | 一种绘图方法、装置、计算机设备及存储介质 | |
| CN111047710B (zh) | 虚拟现实系统及交互设备显示方法和计算机可读存储介质 | |
| KR20200008227A (ko) | 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 | |
| CN115175412A (zh) | 一种照明设备的控制方法及装置 | |
| CN112307865B (zh) | 基于图像识别的交互方法及装置 | |
| CN114495173A (zh) | 一种姿态识别方法、装置、电子设备及计算机可读介质 | |
| CN112860060A (zh) | 一种图像识别方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |