CN114500971A - 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质 - Google Patents

基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质 Download PDF

Info

Publication number
CN114500971A
CN114500971A CN202210130880.9A CN202210130880A CN114500971A CN 114500971 A CN114500971 A CN 114500971A CN 202210130880 A CN202210130880 A CN 202210130880A CN 114500971 A CN114500971 A CN 114500971A
Authority
CN
China
Prior art keywords
mounted display
head
information
display device
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210130880.9A
Other languages
English (en)
Other versions
CN114500971B (zh
Inventor
刘威
夏勇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Beehive Century Technology Co ltd
Original Assignee
Beijing Beehive Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Beehive Century Technology Co ltd filed Critical Beijing Beehive Century Technology Co ltd
Priority to CN202210130880.9A priority Critical patent/CN114500971B/zh
Publication of CN114500971A publication Critical patent/CN114500971A/zh
Application granted granted Critical
Publication of CN114500971B publication Critical patent/CN114500971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示设备和介质,属于图像处理的技术领域,方法包括:响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息;基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备;获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;基于所述第一位置信息和所述第二位置信息的位置关系,将第一3D视频信息以及所述第二3D视频信息依次拼接,生成3D全景视频信息;控制显示所述3D全景视频信息。本申请具有使观众全方位地观看赛事或演出的效果。

Description

基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示 设备和介质
技术领域
本申请涉及图像处理的技术领域,尤其是涉及一种基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示设备和介质。
背景技术
随着文娱活动的蓬勃发展,各种比赛、演唱会和话剧受到越来越多观众的青睐。而在活动现场,大部分的观众只能在场馆固定的座位观看比赛、演唱会或话剧等,或者通过现场的大屏幕直播观看,难以全方位地观看比赛、演唱会或话剧,因此对于既想体验现场氛围又想全方位地观看赛事或演出的观众来说,活动参与体验感并不理想。
因此,如何使位于场馆各个位置的观众都能全方位地观看赛事或演出成为一个关键问题。
发明内容
为了使观众全方位地观看赛事或演出,本申请提供一种基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示设备和介质。
第一方面,本申请提供一种基于数据共享的场馆3D全景视频生成方法,应用于头戴式显示设备,所述方法包括:
响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息;
基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备;
获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;
基于所述第一位置信息和所述第二位置信息的位置关系,将第一3D视频信息以及所述第二3D视频信息依次拼接,生成3D全景视频信息;
控制显示所述3D全景视频信息。
通过采用上述技术方案,头戴式显示设备响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,头戴式显示设备获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域,使观众全方位地观看赛事或演出。
在另一种可能的实现方式中,所述获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息,包括:
获取场馆信息;
基于所述场馆信息确定对应的场馆模型;
基于所述场馆模型确定坐标系和参照对象;
确定所述场馆模型中各个位置上的头戴式显示设备对应的模拟参照图像信息,所述模拟参照图像信息包括参照对象;
各个头戴式显示设备基于自身的视频信息确定包括参照对象的参照图像信息,并基于所述参照图像信息与所述模拟参照图像信息对比确定自身在所述坐标系中的位置信息;
获取自身位于场馆内的第一位置信息,与同一场馆内的其它头戴式显示设备通讯并获取其它头戴式显示设备的第二位置信息。
通过采用上述技术方案,头戴式显示设备获取场馆信息后,根据场馆信息建立场馆模型,并确定对应的坐标系和参照对象,头戴式显示设备通过场馆模型获取每个位置上的模拟参照图像,因此能根据实际的参照图像信息与模拟参照图像信息对比,来确定自身的第一位置信息、其他头戴式显示设备的第二位置信息,进而更加精确地确定每个头戴式显示设备的位置。
在另一种可能的实现方式中,所述基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备,包括:
基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值;
基于当前看台区域确定至少一个同排的看台区域;
以当前看台区域为起点,分别沿左右两个方向执行第一循环步骤,确定至少一个共享头戴式显示设备,直至遍历所有同排的所述看台区域;
所述第一循环步骤,包括:
确定相邻的看台区域;
确定上次确定的共享式头戴式显示设备为当前头戴式显示设备;
根据所述相邻的看台区域内各个头戴式显示设备与当前头戴式显示设备的距离确定共享头戴式显示设备,所述相邻的看台区域内的所述共享头戴式显示设备与当前头戴式显示设备的距离最远;
确定所述相邻的看台区域为当前看台区域。
通过采用上述技术方案,头戴式显示设备在场馆模型中确定各个看台区域,并根据当前的看台区域确定同排看台区域,并根据第一循环步骤,从每个同排的看台区域中确定一个共享头戴式显示设备,并根据座位相距最远的规则确定每个看台区域内的共享头戴式显示设备,保证能根据共享头戴式显示设备的第二3D视频信息拼接成完整的3D全景视频信息,并且计算过程简单,减少计算量。
在另一种可能的实现方式中,所述基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值,包括:
从所述场馆模型中的第一个座位开始,执行第二循环步骤,确定各个看台区域,直至遍历所有的座位;
所述第二循环步骤:依次确定当前座位上的头戴式显示设备的模拟参照图像信息与相邻座位上的头戴式显示设备的模拟参照图像信息的重合率,直至所述重合率小于或等于第一预设值时,确定当前座位与最后对比的座位之间分为两个看台区域;
确定最后对比的座位的下一个座位为当前座位。
通过采用上述技术方案,头戴式显示设备在场馆内模型中划分看台区域时,依次从第一个座位开始,判断相邻座位上的头戴式显示设备的模拟参照图像信息与当前的模拟参照图像信息的重合率,当重合率小于或等于第一预设值时,将两座位之间划分成两个看台区域,因此在确定共享头戴式显示设备时,两相邻的看台区域内的任意两个头戴式显示设备的3D视频信息均有重合,便于拼接。
在另一种可能的实现方式中,若当前看台区域内的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值,所述第二预设值大于所述第一预设值,在所述确定所述相邻的看台区域为当前看台区域之前,还包括:
依次确定下一个相邻的看台区域内的各个头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率;
基于各个所述重合率分别与第一预设值比较,确定共享头戴式显示设备,所述下一个相邻的看台区域内的共享头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率满足第一条件;
删除当前看台区域内的共享头戴式显示设备;
所述第一条件:所述重合率与第一预设值最接近且大于第一预设值。
通过采用上述技术方案,当确定的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值时,当前头戴式显示设备对比下一个相邻的看台区域内的头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息,保留重合率接近且大于第一预设值的头戴式显示设备,因此得到更加适合的共享头戴式显示设备,使两相邻的共享头戴式显示设备的3D视频信息重合率较小,减小拼接时的计算量。
在另一种可能的实现方式中,若未接收到任一共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,所述基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备,还包括:
确定与所述任一共享头戴式显示设备所在看台区域相邻的前排看台区域或后排看台区域;
获取所述前排看台区域或后排看台区域内的备选头戴式显示设备模拟参照图像信息;
分别确定各个所述备选头戴式显示设备与所述任一共享头戴式显示设备的距离;
确定距离所述任一共享头戴式显示设备最近的所述备选头戴式显示设备,并将所述任一共享头戴式显示设备替换为所述备选头戴式显示设备。
通过采用上述技术方案,当未接收到任一共享头戴式显示设备的第二3D视频信息时,通过对比前排看台区域或后排看台区域中备选头戴式显示设备与上述任一共享头戴式显示设备的距离,进而确定用于替换上述任一共享头戴式显示设备的备选头戴式显示设备,保证用户可以实时观看到完整的3D全景视频信息。
在另一种可能的实现方式中,所述基于所述第一位置信息和所述第二位置信息的位置关系,将第一3D视频信息以及所述第二3D视频信息依次拼接,生成3D全景视频信息,包括:
按照第一位置信息和各个第二位置信息的位置关系将第一3D视频信息和各个第二3D视频信息按序排列;
获取每个3D视频信息中靠近两侧边缘位置的处理区域,所述处理区域的宽度占所述3D视频信息的第一预设比例;
确定所述处理区域中两相邻的头戴式显示设备的视频信息中重合的部分,删除任一所述重合的部分,并将相邻的3D视频信息拼接生成3D全景视频信息。
通过采用上述技术方案,头戴式显示设备在拼接视频时,首先按照第一位置信息和第二位置信息的位置关系将第一3D视频信息和第二3D视频信息按序排列,并分别获取每个3D视频信息的处理区域,并确定两相邻的头戴式显示设备的处理区域中相重合的部分,删除其中任一重合部分,并将剩余的视频信息拼接,进而快速生成3D全景视频信息。
第二方面,本申请提供一种基于数据共享的场馆3D全景视频生成装置,包括:
获取模块,用于响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息;
确定模块,用于基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备;
3D视频信息获取模块,用于获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;
视频信息处理模块,用于将第一3D视频信息以及各个所述第二3D视频信息按照第一位置信息和各个第二位置信息的位置关系依次拼接生成3D全景视频信息;
控制显示模块,用于控制显示所述3D全景视频信息。
通过采用上述技术方案,获取模块响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,确定模块根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,3D视频信息获取模块获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而视频信息处理模块将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并控制显示模块将3D全景视频信息显示在当前头戴式显示设备的显示区域,使观众全方位地观看赛事或演出。
在另一种可能的实现方式中,获取模块在获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息时,具体用于:
获取场馆信息;
基于所述场馆信息确定对应的场馆模型;
基于所述场馆模型确定坐标系和参照对象;
确定所述场馆模型中各个位置上的头戴式显示设备对应的模拟参照图像信息,所述模拟参照图像信息包括参照对象;
各个头戴式显示设备基于自身的视频信息确定包括参照对象的参照图像信息,并基于所述参照图像信息与所述模拟参照图像信息对比确定自身在所述坐标系中的位置信息;
获取自身位于场馆内的第一位置信息,与同一场馆内的其它头戴式显示设备通讯并获取其它头戴式显示设备的第二位置信息。
在另一种可能的实现方式中,确定模块在基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备时,具体用于:
基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值;
基于当前看台区域确定至少一个同排的看台区域;
以当前看台区域为起点,分别沿左右两个方向执行第一循环步骤,确定至少一个共享头戴式显示设备,直至遍历所有同排的所述看台区域;
所述第一循环步骤,包括:
确定相邻的看台区域;
确定上次确定的共享式头戴式显示设备为当前头戴式显示设备;
根据所述相邻的看台区域内各个头戴式显示设备与当前头戴式显示设备的距离确定共享头戴式显示设备,所述相邻的看台区域内的所述共享头戴式显示设备与当前头戴式显示设备的距离最远;
确定所述相邻的看台区域为当前看台区域。
在另一种可能的实现方式中,确定模块在基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值时,具体用于:
从所述场馆模型中的第一个座位开始,执行第二循环步骤,确定各个看台区域,直至遍历所有的座位;
所述第二循环步骤:依次确定当前座位上的头戴式显示设备的模拟参照图像信息与相邻座位上的头戴式显示设备的模拟参照图像信息的重合率,直至所述重合率小于或等于第一预设值时,确定当前座位与最后对比的座位之间分为两个看台区域;
确定最后对比的座位的下一个座位为当前座位。
在另一种可能的实现方式中,当前看台区域内的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值,所述第二预设值大于所述第一预设值,确定模块在所述确定所述相邻的看台区域为当前看台区域之前,还具体用于:
依次确定下一个相邻的看台区域内的各个头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率;
基于各个所述重合率分别与第一预设值比较,确定共享头戴式显示设备,所述下一个相邻的看台区域内的共享头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率满足第一条件;
删除当前看台区域内的共享头戴式显示设备;
所述第一条件:所述重合率与第一预设值最接近且大于第一预设值。
在另一种可能的实现方式中,未接收到任一共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,确定模块在基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备时,具体用于:
确定与所述任一共享头戴式显示设备所在看台区域相邻的前排看台区域或后排看台区域;
获取所述前排看台区域或后排看台区域内的备选头戴式显示设备模拟参照图像信息;
分别确定各个所述备选头戴式显示设备与所述任一共享头戴式显示设备的距离;
确定距离所述任一共享头戴式显示设备最近的所述备选头戴式显示设备,并将所述任一共享头戴式显示设备替换为所述备选头戴式显示设备。
在另一种可能的实现方式中,3D视频信息处理模块,具体用于:
按照第一位置信息和各个第二位置信息的位置关系将第一3D视频信息和各个第二3D视频信息按序排列;
获取每个3D视频信息中靠近两侧边缘位置的处理区域,所述处理区域的宽度占所述3D视频信息的第一预设比例;
确定所述处理区域中两相邻的头戴式显示设备的视频信息中重合的部分,删除任一所述重合的部分,并将相邻的3D视频信息拼接生成3D全景视频信息。
第三方面,本申请提供一种头戴式显示设备,包括:
至少一个处理器;
存储器;
至少一个应用程序,其中所述至少一个应用程序被存储在所述存储器中并被配置为由所述至少一个处理器执行,所述至少一个应用程序配置用于:执行根据第一方面中任一项所述的一种基于数据共享的场馆3D全景视频生成方法。
通过采用上述技术方案,处理器执行存储器中应用程序,响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域,使观众全方位地观看赛事或演出。
第四方面,本申请提供一种计算机可读存储介质,存储有能够被处理器加载并执行如第一方面中任一种基于数据共享的场馆3D全景视频生成方法的计算机程序。
通过采用上述技术方案,处理器执行可读存储介质中应用程序,响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域,使观众全方位地观看赛事或演出。
综上所述,本申请包括以下一种有益技术效果:
1.头戴式显示设备响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域,使观众全方位地观看赛事或演出。
附图说明
图1是本申请实施例中基于数据共享的场馆3D全景视频生成方法的流程示意图。
图2是本申请实施例中确定共享头戴式显示设备的结构示意图。
图3是本申请实施例中基于数据共享的场馆3D全景视频生成装置的结构示意图。
图4是本申请实施例中头戴式显示设备的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供一种基于数据共享的场馆3D全景视频生成方法,该方法由头戴式显示设备执行,参照图1,方法的主要流程描述如下(步骤S101~步骤S104):
步骤S101:响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及场馆内其它头戴式显示设备的第二位置信息。
具体地,用户的第一视频切换动作包括低头、快速眨眼、摇头和滑动手势其中任一种,头戴式显示设备响应第一视频切换动作,将当前的普通视角切换至3D全景视频视角。
在用户佩戴头戴式显示设备时,头戴式显示设备可以通过GPS模块获取当前头戴式显示设备的位置信息,或者,头戴式显示设备可以通过用户的语音输入操作或触屏输入操作获取场馆信息,进而通过互联网确定位置信息对应的场馆信息。其中,场馆信息包括场馆的名称和座位排布。场馆包括体育馆、音乐厅、演播厅或剧院等任一种,当头戴式显示设备获取场馆信息后,可以根据场馆信息获取自身的第一位置信息。
头戴式显示设备通过互联网或者蓝牙获取与其它头戴式显示设备共享信息,进而可以获取其它头戴式显示设备的第二位置信息。
步骤S102:基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备。
具体地,头戴式显示设备将各个头戴式显示设备的第二位置信息与第一位置信息对比,从中选择适合拼接视频信息的共享头戴式显示设备。
进一步地,若头戴式显示设备需要拼接生成较为完整的3D全景视频,需要各个共享头戴式显示设备的视频信息在场馆的同一高度,即各个共享头戴式显示设备与当前头戴式显示设备在场馆的同一排。
头戴式显示设备可以筛选出与当前头戴式显示设备同一排的至少一个其它头戴式显示设备,头戴式显示设备可以直接将至少一个其它头戴式显示设备确定为共享头戴式显示设备。
步骤S103:获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息。
具体地,头戴式显示设备包括3D摄像头,通过3D摄像头可以拍摄得到3D视频信息,因此当前头戴式显示设备可以获取自身拍摄的第一3D视频信息,并且与共享头戴式显示设备通讯,获取每个共享头戴式显示设备拍摄的第二3D视频信息。
步骤S104:基于第一位置信息和第二位置信息的位置关系,将第一3D视频信息以及第二3D视频信息依次拼接,生成3D全景视频信息。
具体地,头戴式显示设备将第一3D视频信息和至少一个第二3D视频信息按照位置顺序进行拼接处理,当两相邻的视频信息有重合时,头戴式显示设备删除其中一重合部分的视频信息,进而拼接得到完整的3D全景视频信息。
步骤S105:控制显示3D全景视频信息。
具体地,头戴式显示设备生成3D全景视频信息后,将3D全景视频信息显示在头戴式显示设备显示区,使用户可以全方位且立体地观看现场的比赛或演唱会等场景。
其中,3D全景视频信息包括左眼全景视频信息和右眼全景视频信息,左眼全景视频信息显示在左眼显示区,右眼全景视频信息显示在右眼显示区,进而使用户可以通过头戴式显示设备观看到3D全景视频信息。
本申请实施例提供一种基于数据共享的场馆3D全景视频生成方法,头戴式显示设备响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,头戴式显示设备获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域。
在另一种可能的实现方式中,步骤S101在获取自身位于场馆内的第一位置信息以及场馆内其它头戴式显示设备的第二位置信息时,包括(步骤S1011~步骤S1016)(图中未示出):
步骤S1011:获取场馆信息。
具体地,头戴式显示设备通过GPS模块获取当前位置,进而通过互联网确定当前位置所在的场馆,因此获取场馆信息。
步骤S1012:基于场馆信息确定对应的场馆模型。
具体地,头戴式显示设备获取场馆信息后,根据场馆信息包括的座位排布、舞台位置以及座位与舞台之间的相互关系建立场馆模型。
步骤S1013:基于场馆模型确定坐标系和参照对象。
具体地,头戴式显示设备建立场馆模型后,可以根据场馆模型的座位排布特性建立坐标系。若场馆为剧场,则以座位区一角为原点建立坐标系,因此每个座位对应一个坐标点。若场馆为体育场,则以场馆的中心为原点建立坐标系,因此每个座位对应一个坐标点。
参照对象为场馆内的某一参照物,一般地,参照对象可以为舞台。
步骤S1014:确定场馆模型中各个位置上的头戴式显示设备对应的模拟参照图像信息,模拟参照图像信息包括参照对象。
具体地,头戴式显示设备可以在场馆模型中模拟各个位置上的头戴式显示设备对应的模拟参照图像信息。例如,场馆为剧院,参照对象为剧院舞台,座位席中第8排第18号正对舞台正中央,则头戴式显示设备在在第8排第18号座位上拍摄的参照图像信息为正对舞台的图像。
而头戴式显示设备可以根据场馆模型模拟位于座位席第8排第18号的头戴式显示设备对应的模拟参照图像信息,进而确定得到多个模拟参照图像信息,并保存待用。
步骤S1015:各个头戴式显示设备基于自身的视频信息确定包括参照对象的参照图像信息,并基于参照图像信息与模拟参照图像信息对比确定自身在坐标系中的位置信息。
具体地,每个头戴式显示设备均可以根据自身视频信息中获取包括参照对象的参照图像信息,若每个头戴式显示设备所处的位置不同,则参照图像信息中参照对象的位置和大小均不同。
头戴式显示设备将当前的参照图像信息与各个模拟参照图像信息对比,确定对比相似度达到预设相似值的模拟参照图像信息,进而头戴式显示设备根据模拟图像信息确定对应头戴式显示设备的位置信息。
其中,预设相似值可以根据实际情况具体设置,本申请实施例可以将预设相似值设置为95%,减小对比确定共享头戴式设备的误差。
步骤S1016:获取自身位于场馆内的第一位置信息,与同一场馆内的其它头戴式显示设备通讯并获取其它头戴式显示设备的第二位置信息。
具体地,头戴式显示设备可以通过上述方法获取自身位于场馆内的第一位置信息,并与同一场馆内的其它头戴式显示设备通讯,进而获知其它头戴式显示设备的第二位置信息,便于头戴式显示设备根据第一位置和第二位置信息确定共享头戴式显示设备。
在另一种可能的实现方式中,步骤S102在基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备时,具体包括(步骤S1021~步骤S1024)(图中未示出):
步骤S1021:基于场馆模型确定各个看台区域,相邻的两个看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值,包括:
从场馆模型中的第一个座位开始,执行第二循环步骤,确定各个看台区域,直至遍历所有的座位;
第二循环步骤:依次确定当前座位上的头戴式显示设备的模拟参照图像信息与相邻座位上的头戴式显示设备的模拟参照图像信息的重合率,直至重合率小于或等于第一预设值时,确定当前座位与最后对比的座位之间分为两个看台区域;确定最后对比的座位的下一个座位为当前座位。
其中,第一预设值可以根据实际情况具体设置,本申请实施例为了减小视频拼接的计算量,第一预设值可以为5%。
例如,头戴式显示设备从剧场模型中一角的第一个座位a开始,依次判断与相邻座位b、c、d……上的头戴式显示设备的模拟参照图像信息的重合率,若位于座位a的头戴式显示设备的模拟参照图像与位于座位h的头戴式显示设备的模拟参照图像的重合率为4%,则确定座位a~座位h之间为两个看台区域,a~d以及e~h分别为两个看台区域,若座位总数为奇数,难以平均划分,则使两个看台区域的座位数相差最小即可。
步骤S1022:基于当前看台区域确定至少一个同排的看台区域。
具体地,由于在同一水平高度拍摄的视频更容易拼接,因此头戴式显示设备确定当前所处的看台区域,进而可以确定位于同一排的看台区域。
步骤S1023:以当前看台区域为起点,分别沿左右两个方向执行第一循环步骤S1024,确定至少一个共享头戴式显示设备,直至遍历所有同排的看台区域。
第一循环步骤S1024,包括(步骤Sa~步骤Sc):
步骤Sa:确定相邻的看台区域。
例如,头戴式显示设备确定多个同排看台区域分别为1、2、3、4、5、6,若当前头戴式显示设备在看台区域3,因此,头戴式显示设备分别沿3至6的方向以及3至1的方向确定下一个同排的看台区域,即下一个确定的相邻同排的看台区域为4以及2。
步骤Sb:确定上次确定的共享式头戴式显示设备为当前头戴式显示设备。
步骤Sc:根据相邻的看台区域内各个头戴式显示设备与当前头戴式显示设备的距离确定共享头戴式显示设备,相邻的看台区域内的共享头戴式显示设备与当前头戴式显示设备的距离最远。
由于两相邻的看台区域内相距最远的两个头戴式显示设备的模拟参照图像重合率均达到第一预设值,因此若下一个确定的共享头戴式显示设备距离当前头戴式显示设备的距离最远,则当前头戴式显示设备与下一个确定的共享头戴式显示设备的视频信息均有重合。
例如,参照图2,若当前头戴式显示设备a位于看台区域3,在看台区域4内有头戴式显示设备b、c和d,其中,d距离a最远,则确定看台区域4内的头戴式显示设备d为共享头戴式显示设备。
步骤Sd:确定相邻的看台区域为当前看台区域。
头戴式显示设备执行第一循环步骤,进而为每个看台区域确定一个对应的共享头戴式显示设备。
在另一种可能的实施例中,若当前看台区域内的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值,第二预设值大于第一预设值,头戴式显示设备在拼接时计算量则增大,因此对第一循环步骤进一步优化,在确定相邻的看台区域为当前看台区域之前,还包括(步骤S11~步骤S13)(图中未示出):
步骤S11:依次确定下一个相邻的看台区域内的各个头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率。
步骤S12:基于各个重合率分别与第一预设值比较,确定共享头戴式显示设备,下一个相邻的看台区域内的共享头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率满足第一条件;第一条件:重合率与第一预设值最接近且大于第一预设值。
步骤S13:删除当前看台区域内的共享头戴式显示设备。
例如,第一预设值为5%,第二预设值为20%,当前头戴式显示设备下一个相邻的看台区域内有5个头戴式显示设备,并且各个头戴式显示设备与上一个共享头戴式显示设备的视频信息的重合率分别为18%、15%、10%、6%以及3%。因此,头戴式显示设备可以确定重合率为6%对应的头戴式显示设备为共享头戴式显示设备,并删除当前看台区域内的共享头戴式显示设备。
在另一种可能的实现方式中,当确定共享头戴式显示设备后,在观看比赛或演出的过程中,共享头戴式显示设备的用户可能会关机或通讯信号差,进而影响视频信息的拼接。因此,若未接收到任一共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,步骤S103在基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备时,还包括(步骤S21~步骤S24)(图中未示出):
步骤S21:确定与任一共享头戴式显示设备所在看台区域相邻的前排看台区域或后排看台区域。
具体地,当头戴式显示设备将当前场馆的座位分成多个看台区域后,头戴式显示设备可以确定在任一看台区域前排看台区域或后排看台区域,进而通过在前排看台区域或后排看台区域内选择另一头戴式显示设备,来替换为接收到视频信息的共享头戴式显示设备。
步骤S22:获取前排看台区域或后排看台区域内的备选头戴式显示设备模拟参照图像信息。
具体地,头戴式显示设备首先确定失联的头戴式显示设备所在的显示区域,进而在场馆模型中确定前排看台区域或后排看台区域,头戴式显示设备与前排看台区域或后排看台区域内的备选头戴式显示设备通讯,进而基于场馆模型获得对应位置上的各个备选头戴式显示设备的模拟参照图像信息。
步骤S23:分别确定各个备选头戴式显示设备与任一共享头戴式显示设备的距离。
具体地,头戴式显示设备可以在场馆模型中分别确定各个备选头戴式显示设备的第二位置信息,进而通过各个备选头戴式显示设备的第二位置信息计算与共享头戴式显示设备的距离。第二位置信息可以为座位所在的坐标。
步骤S24:确定距离任一共享头戴式显示设备最近的备选头戴式显示设备,并将任一共享头戴式显示设备替换为备选头戴式显示设备。
例如,任一共享头戴式显示设备M,在其前排看台区域分别有a、b、c、d等备选头戴式显示设备,在后排看台区域分别有e、f、g等备选头戴式显示设备,头戴式显示设备通过计算得到c与共享头戴式显示设备M的距离最近,因此将共享头戴式显示设备M替换为头戴式显示设备c。
头戴式显示设备即可以根据当前头戴式显示设备的第一3D视频信息、共享头戴式显示设备的第二3D视频信息以及替换共享头戴式显示设备的视频信息拼接生成3D全景视频信息。
在另一种可能的实现方式中,步骤S104在基于第一位置信息和第二位置信息的位置关系,将第一3D视频信息以及第二3D视频信息依次拼接,生成3D全景视频信息时,具体包括(步骤S1041~步骤S1043)(图中未示出):
步骤S1041:按照第一位置信息和各个第二位置信息的位置关系将第一3D视频信息和各个第二3D视频信息按序排列。
步骤S1042:获取每个3D视频信息中靠近两侧边缘位置的处理区域,处理区域的宽度占3D视频信息的第一预设比例。
具体地,为了减小计算量,头戴式显示设备截取得到3D视频信息两侧边缘的处理区域,第一预设比例大于第一预设值。例如,当第一预设值为10%,第一预设比例为12%。
步骤S1043:确定处理区域中两相邻的头戴式显示设备的视频信息中重合的部分,删除任一重合的部分,并将相邻的3D视频信息拼接生成3D全景视频信息。
具体地,头戴式显示设备对处理区域中的3D视频信息进行分析,分别确定每个处理区域中重合的部分,例如,头戴式显示设备确定得到两个处理区域A和B,其中重合的部分为H,头戴式显示设备可以将A中与H重合的部分删除,或将B中与H重合的部分删除,进而将剩余的3D视频信息拼接处理,其中视频拼接处理技术为现有技术,本申请实施例不再作具体赘述。
为了更好执行上述方法,本申请实施例提供一种基于数据共享的场馆3D全景视频生成装置,参照图3,基于数据共享的场馆3D全景视频生成装置200包括:
获取模块201,用于响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及场馆内其它头戴式显示设备的第二位置信息;
确定模块202,用于基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备;
3D视频信息获取模块203,用于获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;
3D视频信息处理模块204,用于基于第一位置信息和第二位置信息的位置关系,将第一3D视频信息以及第二3D视频信息依次拼接,生成3D全景视频信息;
控制显示模块205,用于控制显示3D全景视频信息。
在另一种可能的实现方式中,获取模块201在获取自身位于场馆内的第一位置信息以及场馆内其它头戴式显示设备的第二位置信息时,具体用于:
获取场馆信息;
基于场馆信息确定对应的场馆模型;
基于场馆模型确定坐标系和参照对象;
确定场馆模型中各个位置上的头戴式显示设备对应的模拟参照图像信息,模拟参照图像信息包括参照对象;
各个头戴式显示设备基于自身的视频信息确定包括参照对象的参照图像信息,并基于参照图像信息与模拟参照图像信息对比确定自身在坐标系中的位置信息;
获取自身位于场馆内的第一位置信息,与同一场馆内的其它头戴式显示设备通讯并获取其它头戴式显示设备的第二位置信息。
在另一种可能的实现方式中,确定模块202在基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备时,具体用于:
基于场馆模型确定各个看台区域,相邻的两个看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值;
基于当前看台区域确定至少一个同排的看台区域;
以当前看台区域为起点,分别沿左右两个方向执行第一循环步骤,确定至少一个共享头戴式显示设备,直至遍历所有同排的看台区域;
第一循环步骤,包括:
确定相邻的看台区域;
确定上次确定的共享式头戴式显示设备为当前头戴式显示设备;
根据相邻的看台区域内各个头戴式显示设备与当前头戴式显示设备的距离确定共享头戴式显示设备,相邻的看台区域内的共享头戴式显示设备与当前头戴式显示设备的距离最远;
确定相邻的看台区域为当前看台区域。
在另一种可能的实现方式中,确定模块202在基于场馆模型确定各个看台区域,相邻的两个看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值时,具体用于:
从场馆模型中的第一个座位开始,执行第二循环步骤,确定各个看台区域,直至遍历所有的座位;
第二循环步骤:依次确定当前座位上的头戴式显示设备的模拟参照图像信息与相邻座位上的头戴式显示设备的模拟参照图像信息的重合率,直至重合率小于或等于第一预设值时,确定当前座位与最后对比的座位之间分为两个看台区域;
确定最后对比的座位的下一个座位为当前座位。
在另一种可能的实现方式中,当前看台区域内的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值,第二预设值大于第一预设值,确定模块202在确定相邻的看台区域为当前看台区域之前,还具体用于:
依次确定下一个相邻的看台区域内的各个头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率;
基于各个重合率分别与第一预设值比较,确定共享头戴式显示设备,下一个相邻的看台区域内的共享头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率满足第一条件;
删除当前看台区域内的共享头戴式显示设备;
第一条件:重合率与第一预设值最接近且大于第一预设值。
在另一种可能的实现方式中,未接收到任一共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,确定模块202在基于第一位置信息和第二位置信息确定至少一个共享头戴式显示设备时,具体用于:
确定与任一共享头戴式显示设备所在看台区域相邻的前排看台区域或后排看台区域;
获取前排看台区域或后排看台区域内的备选头戴式显示设备模拟参照图像信息;
分别确定各个备选头戴式显示设备与任一共享头戴式显示设备的距离;
确定距离任一共享头戴式显示设备最近的备选头戴式显示设备,并将任一共享头戴式显示设备替换为备选头戴式显示设备。
在另一种可能的实现方式中,3D视频信息处理模块204,具体用于:
按照第一位置信息和各个第二位置信息的位置关系将第一3D视频信息和各个第二3D视频信息按序排列;
获取每个3D视频信息中靠近两侧边缘位置的处理区域,处理区域的宽度占3D视频信息的第一预设比例;
确定处理区域中两相邻的头戴式显示设备的视频信息中重合的部分,删除任一重合的部分,并将相邻的3D视频信息拼接生成3D全景视频信息。
前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的基于数据共享的场馆3D全景视频生成装置,通过前述对基于数据共享的场馆3D全景视频生成方法的详细描述,本领域技术人员可以清楚的知道本实施例中的基于数据共享的场馆3D全景视频生成装置的实施方法,所以为了说明书的简洁,在此不再详述。
为了更好地实施以上方法,本申请实施例提供一种头戴式显示设备,参照图4,头戴式显示设备300包括:处理器301、存储器303和显示器305。其中,处理器301分别和存储器303以及显示器305相连,如通过通信总线302相连。可选地,头戴式显示设备300还可以包括收发器304,需要说明的是,实际应用中收发器304不限于一个。该头戴式显示设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。
存储器303可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类别的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类别的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
图3示出的头戴式显示设备300仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的一种基于数据共享的场馆3D全景视频生成方法,头戴式显示设备响应用户的第一视频切换动作,获取自身的第一位置信息,以及场馆内其它头戴式显示设备的第二位置信息,并根据第一位置信息和第二位置信息确定至少一个共享头戴式显示设备,头戴式显示设备获取自身3D摄像头拍摄的第一3D视频信息,进而与共享头戴式显示设备通讯,获取共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,进而将第一3D视频信息和第二3D视频信息按照第一位置信息以及第二位置关系拼接生成3D全景视频信息,并将3D全景视频信息显示在当前头戴式显示设备的显示区域。
本实施例中,计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的,计算机可读存储介质可以是便携式计算机盘、硬盘、U盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、讲台随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
本实施例中的计算机程序包含用于执行前述所有的方法的程序代码,程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备,或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。
另外,需要理解的是,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (10)

1.一种基于数据共享的场馆3D全景视频生成方法,其特征在于,应用于头戴式显示设备,所述方法包括:
响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息;
基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备;
获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;
基于所述第一位置信息和所述第二位置信息的位置关系,将第一3D视频信息以及所述第二3D视频信息依次拼接,生成3D全景视频信息;
控制显示所述3D全景视频信息。
2.根据权利要求1所述的方法,其特征在于,所述获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息,包括:
获取场馆信息;
基于所述场馆信息确定对应的场馆模型;
基于所述场馆模型确定坐标系和参照对象;
确定所述场馆模型中各个位置上的头戴式显示设备对应的模拟参照图像信息,所述模拟参照图像信息包括参照对象;
各个头戴式显示设备基于自身的视频信息确定包括参照对象的参照图像信息,并基于所述参照图像信息与所述模拟参照图像信息对比确定自身在所述坐标系中的位置信息;
获取自身位于场馆内的第一位置信息,与同一场馆内的其它头戴式显示设备通讯并获取其它头戴式显示设备的第二位置信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备,包括:
基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值;
基于当前看台区域确定至少一个同排的看台区域;
以当前看台区域为起点,分别沿左右两个方向执行第一循环步骤,确定至少一个共享头戴式显示设备,直至遍历所有同排的所述看台区域;
所述第一循环步骤,包括:
确定相邻的看台区域;
确定上次确定的共享式头戴式显示设备为当前头戴式显示设备;
根据所述相邻的看台区域内各个头戴式显示设备与当前头戴式显示设备的距离确定共享头戴式显示设备,所述相邻的看台区域内的所述共享头戴式显示设备与当前头戴式显示设备的距离最远;
确定所述相邻的看台区域为当前看台区域。
4.根据权利要求3所述的方法,其特征在于,所述基于所述场馆模型确定各个看台区域,相邻的两个所述看台区域内头戴式显示设备的模拟参照图像信息的重合率大于第一预设值,包括:
从所述场馆模型中的第一个座位开始,执行第二循环步骤,确定各个看台区域,直至遍历所有的座位;
所述第二循环步骤:依次确定当前座位上的头戴式显示设备的模拟参照图像信息与相邻座位上的头戴式显示设备的模拟参照图像信息的重合率,直至所述重合率小于或等于第一预设值时,确定当前座位与最后对比的座位之间分为两个看台区域;
确定最后对比的座位的下一个座位为当前座位。
5.根据权利要求3所述的方法,其特征在于,若当前看台区域内的共享头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率大于第二预设值,所述第二预设值大于所述第一预设值,在所述确定所述相邻的看台区域为当前看台区域之前,还包括:
依次确定下一个相邻的看台区域内的各个头戴式显示设备的模拟参照图像信息与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率;
基于各个所述重合率分别与第一预设值比较,确定共享头戴式显示设备,所述下一个相邻的看台区域内的共享头戴式显示设备与上一次确定的共享头戴式显示设备的模拟参照图像信息的重合率满足第一条件;
删除当前看台区域内的共享头戴式显示设备;
所述第一条件:所述重合率与第一预设值最接近且大于第一预设值。
6.根据权利要求3所述的方法,其特征在于,若未接收到任一共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息,所述基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备,还包括:
确定与所述任一共享头戴式显示设备所在看台区域相邻的前排看台区域或后排看台区域;
获取所述前排看台区域或后排看台区域内的备选头戴式显示设备模拟参照图像信息;
分别确定各个所述备选头戴式显示设备与所述任一共享头戴式显示设备的距离;
确定距离所述任一共享头戴式显示设备最近的所述备选头戴式显示设备,并将所述任一共享头戴式显示设备替换为所述备选头戴式显示设备。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一位置信息和所述第二位置信息的位置关系,将第一3D视频信息以及所述第二3D视频信息依次拼接,生成3D全景视频信息,包括:
按照第一位置信息和各个第二位置信息的位置关系将第一3D视频信息和各个第二3D视频信息按序排列;
获取每个3D视频信息中靠近两侧边缘位置的处理区域,所述处理区域的宽度占所述3D视频信息的第一预设比例;
确定所述处理区域中两相邻的头戴式显示设备的视频信息中重合的部分,删除任一所述重合的部分,并将相邻的3D视频信息拼接生成3D全景视频信息。
8.一种基于数据共享的场馆3D全景视频生成装置,其特征在于,包括:
获取模块,用于响应于用户的第一视频切换动作,获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息;
确定模块,用于基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备;
3D视频信息获取模块,用于获取自身3D摄像头拍摄的第一3D视频信息,并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息;
视频信息处理模块,用于将第一3D视频信息以及各个所述第二3D视频信息按照第一位置信息和各个第二位置信息的位置关系依次拼接生成3D全景视频信息;
控制显示模块,用于控制显示所述3D全景视频信息。
9.一种头戴式显示设备,其特征在于,包括:
至少一个处理器;
存储器;
至少一个应用程序,其中所述至少一个应用程序被存储在所述存储器中并被配置为由所述至少一个处理器执行,所述至少一个应用程序配置用于:执行根据权利要求1至7任一项所述的一种基于数据共享的场馆3D全景视频生成方法。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种基于数据共享的场馆3D全景视频生成方法的计算机程序。
CN202210130880.9A 2022-02-12 2022-02-12 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质 Active CN114500971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210130880.9A CN114500971B (zh) 2022-02-12 2022-02-12 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210130880.9A CN114500971B (zh) 2022-02-12 2022-02-12 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质

Publications (2)

Publication Number Publication Date
CN114500971A true CN114500971A (zh) 2022-05-13
CN114500971B CN114500971B (zh) 2023-07-21

Family

ID=81479907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210130880.9A Active CN114500971B (zh) 2022-02-12 2022-02-12 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质

Country Status (1)

Country Link
CN (1) CN114500971B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279073A1 (en) * 2014-03-26 2015-10-01 Sony Corporation Image processing device, image processing method, and storage medium
US20160086306A1 (en) * 2014-09-19 2016-03-24 Sony Computer Entertainment Inc. Image generating device, image generating method, and program
CN106464811A (zh) * 2015-03-10 2017-02-22 深圳市大疆创新科技有限公司 用于自适应全景图像生成的系统及方法
CN106530407A (zh) * 2016-12-14 2017-03-22 深圳市金大象文化发展有限公司 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN106842801A (zh) * 2016-08-31 2017-06-13 李文松 一种vr摄影镜头设计方法
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接系统、方法及全景视频显示装置
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染
US20170365102A1 (en) * 2012-02-23 2017-12-21 Charles D. Huston System And Method For Creating And Sharing A 3D Virtual Model Of An Event
CN107623812A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种实现实景展示的方法、相关装置及系统
US20180063426A1 (en) * 2016-08-31 2018-03-01 Nokia Technologies Oy Method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
WO2019048733A1 (en) * 2017-09-05 2019-03-14 Nokia Technologies Oy TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
US20190139296A1 (en) * 2017-11-07 2019-05-09 Dolby Laboratories Licensing Corporation Parameterizing 3d scenes for volumetric viewing
WO2019127402A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 球形全景图的合成方法、无人机系统、无人机、终端及其控制方法
KR102048354B1 (ko) * 2019-07-10 2020-01-23 한화시스템(주) 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법
US20200202491A1 (en) * 2018-12-21 2020-06-25 Htc Corporation Method, system and recording medium for building environment map
CN112422653A (zh) * 2020-11-06 2021-02-26 山东产研信息与人工智能融合研究院有限公司 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN112732095A (zh) * 2021-03-31 2021-04-30 深圳盈天下视觉科技有限公司 一种显示方法、装置、头戴式显示设备和存储介质
CN113781664A (zh) * 2021-11-09 2021-12-10 四川省交通勘察设计研究院有限公司 基于三维模型的vr全景图构造显示方法、系统及终端

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170365102A1 (en) * 2012-02-23 2017-12-21 Charles D. Huston System And Method For Creating And Sharing A 3D Virtual Model Of An Event
US20150279073A1 (en) * 2014-03-26 2015-10-01 Sony Corporation Image processing device, image processing method, and storage medium
US20160086306A1 (en) * 2014-09-19 2016-03-24 Sony Computer Entertainment Inc. Image generating device, image generating method, and program
CN106464811A (zh) * 2015-03-10 2017-02-22 深圳市大疆创新科技有限公司 用于自适应全景图像生成的系统及方法
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染
CN107623812A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种实现实景展示的方法、相关装置及系统
CN106842801A (zh) * 2016-08-31 2017-06-13 李文松 一种vr摄影镜头设计方法
US20180063426A1 (en) * 2016-08-31 2018-03-01 Nokia Technologies Oy Method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
CN106530407A (zh) * 2016-12-14 2017-03-22 深圳市金大象文化发展有限公司 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接系统、方法及全景视频显示装置
WO2019048733A1 (en) * 2017-09-05 2019-03-14 Nokia Technologies Oy TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
US20190139296A1 (en) * 2017-11-07 2019-05-09 Dolby Laboratories Licensing Corporation Parameterizing 3d scenes for volumetric viewing
WO2019127402A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 球形全景图的合成方法、无人机系统、无人机、终端及其控制方法
US20200202491A1 (en) * 2018-12-21 2020-06-25 Htc Corporation Method, system and recording medium for building environment map
KR102048354B1 (ko) * 2019-07-10 2020-01-23 한화시스템(주) 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법
CN112422653A (zh) * 2020-11-06 2021-02-26 山东产研信息与人工智能融合研究院有限公司 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN112732095A (zh) * 2021-03-31 2021-04-30 深圳盈天下视觉科技有限公司 一种显示方法、装置、头戴式显示设备和存储介质
CN113781664A (zh) * 2021-11-09 2021-12-10 四川省交通勘察设计研究院有限公司 基于三维模型的vr全景图构造显示方法、系统及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李海亭等: ""交互式全景视频流地图设计"", 《测绘科学》, vol. 43, no. 01 *
罗立宏等: ""球形全景图像的自动拼接"", 《计算机应用与软件》, no. 06 *

Also Published As

Publication number Publication date
CN114500971B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US10819967B2 (en) Methods and systems for creating a volumetric representation of a real-world event
US10204444B2 (en) Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
CN109889914A (zh) 视频画面推送方法、装置、计算机设备及存储介质
US8885023B2 (en) System and method for virtual camera control using motion control systems for augmented three dimensional reality
JP7130653B2 (ja) 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
KR20180099534A (ko) 화상처리장치, 화상처리방법 및 기억매체
KR20170127505A (ko) 환경 측정들을 하고 및/또는 3d 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
CN114745598B (zh) 视频数据展示方法、装置、电子设备及存储介质
US8885022B2 (en) Virtual camera control using motion control systems for augmented reality
JPWO2018199052A1 (ja) 画像表示方法及び画像表示装置
CN104504447A (zh) 一种分配虚拟座位图像的方法及装置
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US20170150212A1 (en) Method and electronic device for adjusting video
CN111406406A (zh) 虚拟现实场景中的动态范围扩展的设备和方法
KR20200076596A (ko) 화상처리장치, 화상처리 시스템, 화상처리방법 및 기억 매체
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN114500971A (zh) 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
CN116761009A (zh) 元宇宙全景直播场景下的视频播放方法、装置及直播系统
US20220353484A1 (en) Information processing apparatus, information processing method, and program
CN110853487A (zh) 一种用于城市设计的数字化沙盘系统
EP4125044A2 (en) Image processing apparatus, image processing method, and program
JP2023057124A (ja) 画像処理装置及び方法、プログラム
KR101943554B1 (ko) 스포츠 경기 정보 제공 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant