CN112114664A - 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机 - Google Patents

一种基于虚拟现实的安全提醒方法、装置和头戴式一体机 Download PDF

Info

Publication number
CN112114664A
CN112114664A CN202010848679.5A CN202010848679A CN112114664A CN 112114664 A CN112114664 A CN 112114664A CN 202010848679 A CN202010848679 A CN 202010848679A CN 112114664 A CN112114664 A CN 112114664A
Authority
CN
China
Prior art keywords
information
environment
reminding
head
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010848679.5A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010848679.5A priority Critical patent/CN112114664A/zh
Publication of CN112114664A publication Critical patent/CN112114664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开一种基于虚拟现实的安全提醒方法、装置和头戴式一体机。本申请的方法包括：利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；对所述环境图像进行特征点检测，得到特征点集；根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。本申请的技术方案能够对运动障碍物与静止障碍物进行实时报警提醒。

Description

一种基于虚拟现实的安全提醒方法、装置和头戴式一体机
技术领域
本申请涉及计算机技术领域，具体涉及一种基于虚拟现实的安全提醒方法、装置和头戴式一体机。
背景技术
虚拟现实(Virtual Reality，VR)技术是利用计算机将多种信息融合重建，生成三维交互虚拟环境，向用户提供沉浸感的技术。当用户佩戴头戴式一体机在有桌椅等障碍物的空间走动时，由于无法看到周围的环境状态，很有可能与环境中的障碍物发送碰撞，影响使用者安全。
目前，各个VR头戴式一体机的设备厂商通常是通过在虚拟场景中设定一个固定安全区域虚拟围栏，当用户在虚拟场景中自由走动时，在安全区域虚拟围栏边界时，会通过显示出安全区域围栏，提醒用户前方可能存在不安全隐患，请用户不要走出安全区域围栏。或者，通过头戴式一体机的See-Through(透视)功能，用户基于See-Through功能可以看到外部真实空间环境，通过用户提示的操作交互，进行自定义安全区域围栏的设定。
现有技术中的方法在一定程度上是可以规避用户体验头戴式一体机的身体安全隐患的，但是由于现有方案都是事先建立好的安全区域围栏，只能规避与处于静止状态的障碍物发生碰撞，如果用户在佩戴头戴式一体机的时候，突然有猫狗等宠物在身边经过或者游玩，或者有小孩在身边经过玩耍，很有可能会和这些运动的障碍物发生肢体碰撞，双方都会产生一定安全隐患。
发明内容
本申请提供了一种基于虚拟现实的安全提醒方法、装置和头戴式一体机，用于解决或部分解决上述问题。
一方面，本申请提供了一种基于虚拟现实的安全提醒方法，包括：
利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；
对所述环境图像进行特征点检测，得到特征点集；
根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；
根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
另一方面，本申请提供了一种基于虚拟现实的安全提醒装置，包括：
信息采集单元，用于利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；
特征点检测单元，用于对所述环境图像进行特征点检测，得到特征点集；
空间位置计算单元，用于根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；
安全提醒单元，根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
再一方面，本申请提供了一种头戴式一体机，包括双目相机、存储器和处理器；
双目相机，采集环境图像；
存储器，存储计算机可执行指令；
处理器，计算机可执行指令在被执行时使处理器执行上述基于虚拟现实的安全提醒方法。
又一方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质上存储有一个或多个计算机程序，该一个或多个计算机程序被执行时实现上述基于虚拟现实的安全提醒方法。
本申请的有益效果是：本申请通过实时采集环境图像和与环境图像对应的位姿信息，对环境图像进行特征点检测，并利用位姿信息携带的头戴式一体机相对空间环境的位置与姿态信息对检测到的特征点集进行空间变换，利用特征点的空间位置信息监测空间环境中的运动障碍物与静止障碍物，并生成相应的提醒信息进行用户提醒。即本申请基于头戴式一体机的See-Through功能与头戴式一体机的位姿信息对空间环境中的运动障碍物与静止障碍物进行监测，实时对各种障碍物进行安全提醒。
附图说明
图1是本申请一个实施例示出的基于虚拟现实的安全提醒方法流程图；
图2是本申请一个实施例示出的基于虚拟现实的安全提醒装置结构框图；
图3是本申请一个实施例示出的头戴式一体机的结构框图；
图4是本申请一个实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例用于对头戴式一体机在实际场景中使用时，对于用户的保护和安全引导，如比较常见的客厅、卧室等家庭场景下对用户的安全引导。由于VR技术的进步和发展，目前头戴式一体机可以支持6DoF(degree of freedom,自由度)场景使用，即用户佩戴头戴式一体机可以在通过来回自由随意走动，体验头戴式一体机中的各种体验内容。
由于用户是佩戴者头戴式一体机，当用户在家里玩的时候，用户对现实环境是一无所知的，此种情况下在现实环境中来回走动的过程中，很有可能与障碍物发生碰撞，比如有可能会碰到墙壁、桌子、凳子等处于静止状态的静止障碍物，也有可能与处于运动状态的运动障碍物发生碰撞，比如有可能会与过往的宠物猫狗等发生碰撞，也有可能会和经过的小孩发生碰撞，这样会对用户的身体安全带来一些危险隐患。
基于以上描述，本申请实施例为头戴式一体机用户提供了一种安全提醒机制，在用户和现实环境中的物体即将发生碰撞前，在头戴式一体机中显示一些友好的安全隐患提醒，同步给用户保障用户安全。
图1是本申请一个实施例示出的基于虚拟现实的安全提醒方法流程图，如图1所示，本申请实施例的方法包括如下步骤：
步骤S110，利用头戴式一体机实时采集空间环境的环境图像，并获取环境图像对应的头戴式一体机的位姿信息。
本实施例中的头戴式一体机外置两个双目相机，双目相机可以是两个可见光摄像头，用于模拟人眼，实时捕捉空间环境的环境图像，其中空间环境为头戴式一体机的实际使用场景下的空间环境。本实施例中的头戴式一体机还设置有传感器模组，例如内置IMU 9轴惯性导航传感器，利用内置的传感器模组实时采集头戴式一体机的位姿信息。
其中，环境图像对应的头戴式一体机的位姿信息可以理解为：与环境图像具有相同或相近时间戳信息的位姿信息。例如，环境图像是在A1时刻采集得到，那么与环境图像对应的位姿信息为在A1±10ms时刻采集到的头戴式一体机的位姿信息。±10ms为一示例，在应用过程中，可以根据精度要求具体设置，本实施例对此不做具体限制。
步骤S120，对环境图像进行特征点检测，得到特征点集。
本步骤可以利用预设检测算法进行特征点检测，利用FAST(Features FromAccelerated Segment Test，快速特征点检测)，SIFT(Scale-invariant featuretransform，尺度不变特征变换)，SURF(Speeded Up Robust Features，加速稳健特征)等特征点检测算法进行特征点检测，所得到的特征点集表示的位置信息是相机坐标系下的空间位置信息。
步骤S130，根据位姿信息确定特征点集中每个特征点相对空间环境的空间位置信息。
由于头戴式一体机的位姿信息携带了头戴式一体机相对空间环境的位置与姿态信息，因此本实施例利用头戴式一体机的位姿信息将相机坐标系(即头戴式一体机)下的坐标点集转换为世界坐标系(即空间环境)的坐标点集。
步骤S140，根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
由于本步骤是基于世界坐标系下的坐标点集计算出各个图像采集时刻下的障碍物信息，因此可以实现对运动障碍物与静止障碍物的实时检测。
由图1所示可知，本实施例通过实时采集环境图像和与环境图像对应的位姿信息，对环境图像进行特征点检测，并利用位姿信息携带的头戴式一体机相对空间环境的位置与姿态信息对检测到的特征点集进行空间变换，利用特征点的空间位置信息可以监测空间环境中的运动障碍物与静止障碍物，并生成相应的提醒信息进行用户提醒。
本实施例基于头戴式一体机的See-Through功能与头戴式一体机的位姿信息对空间环境中的运动障碍物与静止障碍物进行监测，实时对各种障碍物进行安全提醒。
下面以一个VR头戴式一体机的障碍物监测为例，对图1中的安全提醒方法的实现步骤进行具体说明。
本实施例中的头戴式一体机外置双目相机，内置传感器模组，利用双目相机采集空间环境的环境图像，每帧环境图像均包括左目图像与右目图像；利用内置传感器模组采集头戴式一体机的位姿信息，位姿信息包括头戴式一体机的位置与姿态信息。
其中，环境图像与位姿信息具有相同或相近的时间戳信息，以利用环境图像与位姿信息实时监测空间环境中的各种障碍物。
在利用头戴式一体机采集环境图像之前，相对双目相机进行标定。本实施例是采用传统的张正友标定法，可以获取到左目相机与右目相机的内参、畸变参数以及左目相机相对右目相机旋转平移矩阵参数。
这样，可以根据头戴式一体机用于采集环境图像的相机的标定参数和畸变参数对环境图像进行反畸变处理，得到反畸变处理后的环境图像；对反畸变处理后的环境图像所包括的左目图像与右目图像中的任一图像进行特征点检测，得到一组特征点；根据双目立体成像原理计算得到该一组特征点在另一图像上的位置，得到另一组特征点；通过立体三角定位原理计算出左目图像与右目图像上的两组特征点在相机坐标系下的三维坐标，得到所述特征点集。
一个示例，在利用双目相机采集空间环境的环境图像之后，利用内参和畸变参数对环境图像进行反畸变处理，消除图像的畸变影响，减少图像误差。利用FAST算法对左目图像上的特征点进行检测，基于双目立体成像原理，通过归一化互相关匹配(Normalizedcross correlation，NCC)算法和左目相机相对右目相机的旋转平移矩阵参数，获取到左目图像上每一个特征点对应在右目图像上的位置，同时通过立体三角定位原理，计算出左目图像与右目图像上的特征点在相机坐标系下的三维坐标。
在检测到特征点集之后，根据位姿信息计算出旋转矩阵和平移向量，利用所述旋转矩阵和平移向量对所述特征点集中的特征点进行坐标系转换，得到每个特征点在世界坐标系下的三维坐标。
例如，根据下述公式(1)计算出每个特征点在世界坐标系下的三维坐标：
Objecpointw＝RHMD*Objecpoint+THMD (1)
上述公式(1)中，Objecpointw表示在世界坐标系下的特征点集，Objecpoint表示在相机坐标系下的特征点集，RHMD表示旋转矩阵，THMD表示平移向量。
在计算出每个特征点相对空间环境的空间位置信息之后，根据特征点的空间位置信息，即特征点的三维坐标对特征点集中的特征点进行聚类处理，得到一个或多个聚类结果，每个聚类结果对应一个障碍物；根据每个聚类结果包含的特征点的空间位置信息计算得到每个障碍物的大小；根据监测到的障碍物的数量与每个障碍物的大小生成提醒信息，利用提醒信息进行用户提醒。
由于基于特征点检测算法检测出的特征点数量较多，直接进行障碍物监测会占用大量的计算资源，而检测出的特征点包括环境图像中近距离与远距离的各种特征点，其中只有近距离特征点可以检测出对用户存在安全隐患的障碍物信息，因此本实施例在对特征点集中的特征点进行聚类处理之前，根据特征点的空间位置信息从特征点集中筛选出与头戴式一体机的距离小于预设距离的特征点，得到筛选后的特征点集；根据筛选后的特征点集中每个特征点的空间位置信息监测环境中的障碍物。在保证障碍物监测可靠性的前提下，节省计算资源，提高障碍物检测速度，降低时延。
在一个示例中，可以基于预设距离对特征点集Objecpointw中的特征点进行筛选，例如筛选出距离头戴式一体机50cm以内的特征点。需要说明的是，可以根据实际环境下的复杂度设置预设距离，本示例示出的安全报警范围为50CM，如果距离用户50CM范围内，有障碍物，需要实时提醒用户，显然安全报警范围也可以设置为其他数值，本申请对此不作具体限定。
在筛选特征点的过程中，可以基于下述公式(2)对特征点集Objecpointw中的特征点进行筛选：
Figure BDA0002643980930000071
上述公式(2)中，Dist表示与头戴式一体机的距离。
将特征点集Objecpointw中特征点的Dist小于预设距离的特征点筛选出来，得到特征点集ObstaclePoint，通过KNN聚类算法对特征点集ObstaclePoint进行聚类，获取特征点集ObstaclePoint中的N个障碍物信息ObsPoint，ObsPoint＝{Obstacle1,Obstacle2,Obstacle3,....Obstaclen}，N为大于或等于1的自然数，Obstaclen为第n个障碍物。
其中，可以根据公式(3)计算出每个障碍物的大小：
Figure BDA0002643980930000081
上述公式(3)中，Obstaclei表示第i个障碍物对应的聚类结果，Widthi与Heighti分别表示第i个障碍物的宽与高。
在一些实施例中，在得到聚类结果之后，还计算每个聚类结果的中心位置，基于中心位置得到障碍物相距头戴式一体机的距离信息，既可以根据上述公式(2)计算得到障碍物相距头戴式一体机的距离信息。然后根据监测到的障碍物的数量、每个障碍物的大小和每个障碍物相距头戴式一体机的距离信息生成提醒信息，即生成的提醒信息携带了障碍物的数量，每个障碍物的大小和每个障碍物的距离。由此，可以基于头戴式一体机的各种交互方式，将生成的关于障碍物的提醒信息实时显示给用户，达到实时提醒用户注意安全的目的。
基于上述描述，本实施例可以实现虚拟现实环境下的安全提醒。
与前述方法相对应，本申请还提供了一种基于虚拟现实的安全提醒装置，图2是本申请一个实施例示出的基于虚拟现实的安全提醒装置结构框图，如图2所示，本实施例的安全提醒装置200包括：
信息采集单元210，用于利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；
特征点检测单元220，用于对所述环境图像进行特征点检测，得到特征点集；
空间位置计算单元230，用于根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；
安全提醒单元240，根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
在一些实施例中，安全提醒单元240包括障碍物监测模块和提醒模块；
障碍物监测模块，用于根据所述特征点的空间位置信息对特征点集中的特征点进行聚类处理，得到一个或多个聚类结果，每个聚类结果对应一个障碍物；根据每个聚类结果包含的特征点的空间位置信息计算得到每个障碍物的大小；
提醒模块，用于根据监测到的障碍物的数量与每个障碍物的大小生成提醒信息，利用所述提醒信息进行用户提醒。
在一些实施例中，障碍物监测模块，还用于在得到聚类结果之后，计算每个聚类结果的中心位置，基于所述中心位置得到障碍物相距头戴式一体机的距离信息。
相应的，提醒模块，还用于根据监测到的障碍物的数量、每个障碍物的大小和每个障碍物相距头戴式一体机的距离信息生成提醒信息。
在一些实施例中，安全提醒单元240还包括筛选模块，用于根据特征点的空间位置信息从特征点集中筛选出与头戴式一体机的距离小于预设距离的特征点，得到筛选后的特征点集；相应的，障碍物监测模块，具体是用于根据筛选后的特征点集中每个特征点的空间位置信息监测环境中的障碍物。
在一些实施例中，特征点检测单元220，还用于根据头戴式一体机用于采集环境图像的相机的标定参数和畸变参数对环境图像进行反畸变处理，得到反畸变处理后的环境图像；对反畸变处理后的环境图像所包括的左目图像与右目图像中的任一图像进行特征点检测，得到一组特征点；根据双目立体成像原理计算得到该一组特征点在另一图像上的位置，得到另一组特征点；通过立体三角定位原理计算出左目图像与右目图像上的两组特征点在相机坐标系下的三维坐标，得到所述特征点集。
在一些实施例中，空间位置计算单元230，还用于根据所述位姿信息计算出旋转矩阵和平移向量；利用所述旋转矩阵和平移向量对所述特征点集中的特征点进行坐标系转换，得到每个特征点在世界坐标系下的三维坐标。
综上所述，本实施例通过实时采集环境图像和与环境图像对应的位姿信息，对环境图像进行特征点检测，并利用位姿信息携带的头戴式一体机相对空间环境的位置与姿态信息对检测到的特征点集进行空间变换，利用特征点的空间位置信息可以监测空间环境中的运动障碍物与静止障碍物，并生成相应的提醒信息进行用户提醒。即本申请实施例基于头戴式一体机的See-Through功能与头戴式一体机的位姿信息对空间环境中的运动障碍物与静止障碍物进行监测，实时对各种障碍物进行安全提醒。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的基于虚拟现实的安全提醒装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3是本申请一个实施例示出的头戴式一体机的结构框图，该头戴式一体机300包括双目相机340、处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。双目相机340采集环境图像，存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所示的计算机可读存储介质。
图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被头戴式一体机300的处理器310读取，当计算机可读程序代码331由头戴式一体机300运行时，导致头戴式一体机300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于虚拟现实的安全提醒方法，其特征在于，包括：
利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；
对所述环境图像进行特征点检测，得到特征点集；
根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；
根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
2.如权利要求1所述的方法，其特征在于，根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒，包括：
根据所述特征点的空间位置信息对特征点集中的特征点进行聚类处理，得到一个或多个聚类结果，每个聚类结果对应一个障碍物；
根据每个聚类结果所包含的特征点的空间位置信息计算得到每个障碍物的大小；
根据监测到的障碍物的数量与每个障碍物的大小生成提醒信息，利用所述提醒信息进行用户提醒。
3.如权利要求2所述的方法，其特征在于，在得到聚类结果之后，还包括：
计算每个聚类结果的中心位置，基于所述中心位置得到障碍物相距头戴式一体机的距离信息。
4.如权利要求3所述的方法，其特征在于，根据监测到的障碍物的数量与每个障碍物的大小生成提醒信息，包括：
根据监测到的障碍物的数量、每个障碍物的大小和每个障碍物相距头戴式一体机的距离信息生成提醒信息。
5.如权利要求2所述的方法，其特征在于，在对特征点集中的特征点进行聚类处理之前，还包括：
根据特征点的空间位置信息从特征点集中筛选出与头戴式一体机的距离小于预设距离的特征点，得到筛选后的特征点集；
根据所述特征点的空间位置信息监测环境中的障碍物具体为：
根据筛选后的特征点集中每个特征点的空间位置信息监测环境中的障碍物。
6.如权利要求1-5任一项所述的方法，其特征在于，所述特征点相对所述空间环境的空间位置信息为所述特征点在世界坐标系下的三维坐标。
7.如权利要求6所述的方法，其特征在于，对所述环境图像进行特征点检测，得到特征点集，包括：
根据头戴式一体机用于采集环境图像的相机的标定参数和畸变参数对环境图像进行反畸变处理，得到反畸变处理后的环境图像；
对反畸变处理后的环境图像所包括的左目图像与右目图像中的任一图像进行特征点检测，得到一组特征点；
根据双目立体成像原理计算得到该一组特征点在另一图像上的位置，得到另一组特征点；
通过立体三角定位原理计算出左目图像与右目图像上的两组特征点在相机坐标系下的三维坐标，得到所述特征点集。
8.如权利要求7所述的方法，其特征在于，根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息，包括：
根据所述位姿信息计算出旋转矩阵和平移向量；
利用所述旋转矩阵和平移向量对所述特征点集中的特征点进行坐标系转换，得到每个特征点在世界坐标系下的三维坐标。
9.一种基于虚拟现实的安全提醒装置，其特征在于，包括：
信息采集单元，用于利用头戴式一体机实时采集空间环境的环境图像，并获取所述环境图像对应的所述头戴式一体机的位姿信息；
特征点检测单元，用于对所述环境图像进行特征点检测，得到特征点集；
空间位置计算单元，用于根据所述位姿信息确定所述特征点集中每个特征点相对所述空间环境的空间位置信息；
安全提醒单元，根据所述特征点的空间位置信息监测空间环境中的障碍物，并基于监测到的障碍物生成提醒信息，利用提醒信息进行用户提醒。
10.一种头戴式一体机，其特征在于，包括：双目相机、存储器和处理器；
双目相机，采集环境图像；
存储器，存储计算机可执行指令；
处理器，计算机可执行指令在被执行时使处理器执行如权利要求1-8任一项所述的基于虚拟现实的安全提醒方法。
CN202010848679.5A 2020-08-21 2020-08-21 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机 Pending CN112114664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848679.5A CN112114664A (zh) 2020-08-21 2020-08-21 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848679.5A CN112114664A (zh) 2020-08-21 2020-08-21 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机

Publications (1)

Publication Number Publication Date
CN112114664A true CN112114664A (zh) 2020-12-22

Family

ID=73805308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848679.5A Pending CN112114664A (zh) 2020-08-21 2020-08-21 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机

Country Status (1)

Country Link
CN (1) CN112114664A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112604306A (zh) * 2020-12-29 2021-04-06 严瑞华 一种基于vr设备的游戏平台及其使用方法
CN112785530A (zh) * 2021-02-05 2021-05-11 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备
CN113660395A (zh) * 2021-08-06 2021-11-16 海信视像科技股份有限公司 一种基于目标识别的安全提示方法及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112604306A (zh) * 2020-12-29 2021-04-06 严瑞华 一种基于vr设备的游戏平台及其使用方法
CN112785530A (zh) * 2021-02-05 2021-05-11 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备
CN112785530B (zh) * 2021-02-05 2024-05-24 广东九联科技股份有限公司 用于虚拟现实的图像渲染方法、装置、设备及vr设备
CN113660395A (zh) * 2021-08-06 2021-11-16 海信视像科技股份有限公司 一种基于目标识别的安全提示方法及设备

Similar Documents

Publication Publication Date Title
CN112114664A (zh) 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机
US10257499B2 (en) Motion sensor
US9495008B2 (en) Detecting a primary user of a device
CN106575156B (zh) 虚拟对象的智能放置以停留在头戴式显示器的视野中
EP3131311B1 (en) Monitoring
CN204480228U (zh) 运动感测和成像设备
CN105339868B (zh) 基于眼睛跟踪的视觉增强
JP6307083B2 (ja) 人の行動サマリを生成するためのシステムおよび方法
CN108369449A (zh) 第三方全息门户
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
US20060009702A1 (en) User support apparatus
CN112148118A (zh) 生成物理环境中的人的姿势信息
CN105264461A (zh) 虚拟对象与表面的交互
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
US20170249822A1 (en) Apparatus configured to issue warning to wearer of display, and method therefor
US11436790B2 (en) Passthrough visualization
JP2018524684A (ja) 媒介現実
CN111708432B (zh) 安全区域确定方法、装置、头戴显示设备及存储介质
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
CN116710878A (zh) 情境感知扩展现实系统
CN114026606A (zh) 用于动态遮挡的快速手部网格划分
Wozniak et al. Depth sensor based detection of obstacles and notification for virtual reality systems
WO2019150431A1 (ja) 情報処理装置
CN109426336A (zh) 一种虚拟现实辅助选型设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination