CN108259787B - 一种全景视频切换装置和方法 - Google Patents

一种全景视频切换装置和方法 Download PDF

Info

Publication number
CN108259787B
CN108259787B CN201810296466.9A CN201810296466A CN108259787B CN 108259787 B CN108259787 B CN 108259787B CN 201810296466 A CN201810296466 A CN 201810296466A CN 108259787 B CN108259787 B CN 108259787B
Authority
CN
China
Prior art keywords
panoramic
picture
information
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810296466.9A
Other languages
English (en)
Other versions
CN108259787A (zh
Inventor
朱磊
李建英
韩琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Qingdao Yispace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yispace Technology Co ltd filed Critical Qingdao Yispace Technology Co ltd
Priority to CN201810296466.9A priority Critical patent/CN108259787B/zh
Publication of CN108259787A publication Critical patent/CN108259787A/zh
Application granted granted Critical
Publication of CN108259787B publication Critical patent/CN108259787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本发明一种全景视频切换装置和方法属于视频处理的技术领域；装置包括图像采集单元、存储单元、处理单元、传输单元和用户设备；图像采集单元分别连接存储单元和处理单元，存储单元连接处理单元，处理单元连接传输单元，传输单元连接用户设备；方法包括图像采集单元采集全景图像序列，将多组全景图像序列和对应的多组原始全景图片存储至存储单元；用户设备发送切换指令至传输单元，传输单元将切换指令传输至处理单元；处理单元判断切换类型，通过切换指令内信息从存储单元中获取与信息相匹配的图片和/或视频；处理单元将图片和/或视频发送至用户设备；本发明使切换前后的全景图像在位置方向上无差对应，切换更快速，使用户获得不同视觉效果感受。

Description

一种全景视频切换装置和方法
技术领域
本发明一种全景视频切换装置和方法属于视频处理的技术领域。
背景技术
全景视频是一种新型的技术，这种技术其实很早就已经诞生，不过在最近几年才开始真正成熟起来。可以这么理解，那就是全景视频拍摄就是将一定范围内的某个时间段，记录周围所发生的一切，并且展现出来。主要意义在于范围性内进行记录，全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。当用户在景区内现场观看全景直播时，有时会因为直播现场季节或气候或时间点的不合适而不能看到美轮美奂的景色，用户可通过视频/图片切换，将观看画面切换至现场同一场景但季节或气候或时间点更加合适的视频/图片。但是传统的视频切换方法并不适用于全景视频的切换。
发明内容
针对上述问题，本发明的目的在于提供本发明一种全景视频切换装置和方法。
本发明的目的是这样实现的：
一种全景视频切换装置，包括图像采集单元、存储单元、处理单元、传输单元和用户设备；所述图像采集单元分别连接存储单元和处理单元，所述存储单元连接处理单元，所述处理单元连接传输单元，所述传输单元连接用户设备；所述图像采集单元包括固定全景摄像机和/或非固定全景摄像机，所述存储单元包括第一存储单元和第二存储单元；
图像采集单元：用于采集相同时长的多个不同季节、不同天气和不同时间段的全景图像序列，并将全景图像序列和所对应的原始全景图片传输至处理单元；
第一存储单元：用于存储多组全景图像序列；
第二存储单元：用于存储多组全景图像序列所对应的多组原始全景片；
处理单元：用于处理传输单元的切换指令；
传输单元：用于接收一个或多个用户设备的一个或多个切换指令，并将所述指令传输给处理单元；
所述用户设备是智能手机、平板电脑、或者头戴VR的任意一种。
所述一种全景视频切换装置，所述非固定全景摄像机上设有位置校正模块和方向校正模块，非固定全景摄像机设置在移动载体上按照规定路线行进，所述移动载体是移动机械手臂、缆车、观光车、火车、无人机、飞机或者船舶。
一种在全景视频切换装置上实现的全景视频切换方法，包括以下步骤：
步骤a、固定全景摄像机或非固定全景摄像机采集全景图像序列，将多组全景图像序列存储至第一存储单元，将多组全景图像序列对应的多组原始全景图片存储至第二存储单元，并将全景图像序列和对应的原始全景图片发送至处理单元；
步骤b、用户设备发送一个或多个切换指令至处理单元，所述切换指令中包含待切换类型、位置方向信息、参考信息和/或用户姿态角信息；
步骤c、处理单元判断切换类型，通过位置方向信息、参考信息和/或用户姿态角信息从存储单元中获取与所述位置方向信息、参考信息和/或用户姿态角信息相匹配的图片和/或视频；
步骤d、处理单元将图片或视频发送至用户设备。
所述一种全景视频切换方法，步骤a中非固定全景摄像机采集全景图像序列和原始全景图片时需要实时校正位置和方向，当非固定全景摄像机在采集过程中偏离预设坐标阈值时，设定对非固定全景摄像机进行自动位置校正，保证在固定航线内不同时间采集的每一帧全景图像位置的对应；通过在图像采集过程中的方向校正，使每一帧全景图像中各像素位置对应的方向从相对方向变为绝对方向，保证在固定航线内不同时间采集的每一帧全景图像方向的对应。
所述一种全景视频切换方法，步骤a中多组全景图像序列中的每一组与多组原始全景图片中的每一组具有以下时间对应关系：全景图像序列以n帧为一个帧序列，将全景图像序列按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的n帧图像；其对应的原始全景图片可以用Dr表示，Dr1，Dr2，……Drn表示第r个帧序列中的n帧图像所对应的原始全景图片。
所述一种全景视频切换方法，步骤a中第二存储单元的多组原始全景图片中的每一张全景图片均经过以下N层分层处理：分层关系以水平方向度数变化为基准即N＝360，在水平方向360度、垂直方向180度，以一度为一个单位，计算水平方向角度变化一度所对应的X轴坐标变化，垂直方向角度变化1至180度所对应的Y轴坐标变化，并将这种对应关系保存；以两度为一个单位，计算水平方向变化两度所对应的X轴坐标变化，垂直方向角度变化1—180度所对应的Y轴坐标变化，并将这种对应关系保存......以360度为一个单位，计算水平方向角度变化360度所对应的坐标变化，垂直方向角度变化1—180度所对应的Y轴坐标变化，并将这种对应关系保存，即预先将用户姿态角包含的水平角和俯仰角的变化与图像坐标变化建立联系，从而方便快速查找。
所述一种全景视频切换方法，步骤b中所述待切换类型是视频切换至视频、视频切换至图片、图片切换至视频或者图片切换图片；参考信息是指某一组全景图像序列/原始全景图片在被采集时的季节信息、天气信息和/或时间段信息；位置方向信息是指某帧全景图像/原始全景图片在被采集时所使用的图像采集设备的位置和方向；用户姿态角信息是指用户发送切换指令时的用户设备的姿态信息，包含水平角和俯仰角。
所述一种全景视频切换方法，步骤c中根据切换指令获取图片或视频的方法如下：
如果判定待切换类型是视频切换至视频，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图像帧的参考信息，根据待切换图像帧的参考信息从存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，从所述组全景图像序列中根据当前图像帧的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，最后将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备(5)；
如果判定待切换类型是视频切换至图片，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图片的参考信息，根据待切换图片的参考信息从存储的多组原始全景图片中获取与所述参考信息相匹配的那组原始全景图片，根据当前图像帧的位置方向信息在所述组原始全景图片中获取与所述位置方向信息相匹配的那一张原始全景图片；根据用户姿态角信息，通过计算所述时刻的水平角和俯仰角相对于全景视频播放的初始夹角的变化量，设定水平角变化m度，俯仰角变化n度，通过查找所述张原始全景图片中的第m层分层对应关系确定图像坐标变化；设置p0为全景视频播放的初始显示窗口左下角坐标，经过切换之后，通过计算和查找，显示窗口左下角坐标应为p1，显示窗口尺寸为W*H，则显示窗口的四个顶点分别可以由此确定；根据所述显示窗口的四个顶点坐标在所述张原始全景图片上截图并发送给用户设备；
如果判定待切换类型是图片切换至视频，所述图片是原始全景图片，因为所述原始全景图片是中存储的多组全景图像序列所对应的多组原始全景图片中的一张，又因为每一张原始全景图片均具有位置方向信息，通过从所述切换指令中提取的待切换视频的参考信息在存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，根据所述原始全景图片所携带的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备；
如果判定待切换类型是图片切换至图片，所述图片是原始全景图片，因为原始全景图片是存储的多组全景图像序列所对应的多组原始全景图片中的一张，且每一张原始全景图片均具有位置方向信息和参考信息，通过从所述切换指令中提取的待切换图片的参考信息和当前图片的位置方向信息在存储的多组原始全景图片中获取与之相匹配的那一张原始全景图片发送给用户设备。
所述一种全景视频切换方法，根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，所述截取方法为将所述帧全景图像重映射到一个球面上，即将所述帧全景图像贴图到对应的全景映射球面上；根据用户姿态角确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；将所述已裁剪球面图形映射成矩形图片；所述矩形图片的尺寸可以根据经验值设定或者根据用户设备发来的切换指令中包含的屏幕尺寸参数来设定。
有益效果：
本发明提供了一种全景视频切换装置和方法，本装置通过在图像采集过程中对图像采集单元的位置的实时校正以及所采集的全景图像的方向的实时校正，使切换前后的全景图像在位置方向上无差或者些微偏差对应；本装置通过设置全景视频切换至全景视频、全景视频切换至非全景图片、全景图片切换至全景视频、全景图片切换至全景图片的不同切换模式，使用户更自主、简便的获得不同视觉效果的全景观景感受。本方法的预先存储用户姿态角变化与图像坐标变化的对应关系，使全景视频切换至非全景图片更方便快速。
附图说明
图1是一种全景视频切换装置结构图。
图中：1图像采集单元、11固定全景摄像机、12非固定全景摄像机、121有位置校正模块、122方向校正模块、2存储单元、21第一存储单元、22第二存储单元、3处理单元、4传输单元、5用户设备。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
一种全景视频切换装置，包括图像采集单元1、存储单元2、处理单元3、传输单元4和用户设备5；所述图像采集单元1分别连接存储单元2和处理单元3，所述存储单元2连接处理单元3，所述处理单元3连接传输单元4，所述传输单元4连接用户设备5；所述图像采集单元1包括固定全景摄像机11和/或非固定全景摄像机12，所述存储单元2包括第一存储单元21和第二存储单元22；
图像采集单元1：用于采集相同时长的多个不同季节、不同天气和不同时间段的全景图像序列，并将全景图像序列和所对应的原始全景图片传输至处理单元3；
第一存储单元21：用于存储多组全景图像序列；
第二存储单元22：用于存储多组全景图像序列所对应的多组原始全景片；
处理单元3：用于处理传输单元4的切换指令；
传输单元4：用于接收一个或多个用户设备5的一个或多个切换指令，并将所述指令传输给处理单元3；
所述用户设备5是智能手机、平板电脑、或者头戴VR的任意一种。
所述一种全景视频切换装置，所述非固定全景摄像机12上设有位置校正模块121和方向校正模块122，非固定全景摄像机12设置在移动载体上按照规定路线行进，所述移动载体是移动机械手臂、缆车、观光车、火车、无人机、飞机或者船舶。
一种在全景视频切换装置上实现的全景视频切换方法，包括以下步骤：
步骤a、固定全景摄像机11或非固定全景摄像机12采集全景图像序列，将多组全景图像序列存储至第一存储单元21，将多组全景图像序列对应的多组原始全景图片存储至第二存储单元22，并将全景图像序列和对应的原始全景图片发送至处理单元3；
步骤b、用户设备5发送一个或多个切换指令至处理单元3，所述切换指令中包含待切换类型、位置方向信息、参考信息和/或用户姿态角信息；
步骤c、处理单元3判断切换类型，通过位置方向信息、参考信息和/或用户姿态角信息从存储单元2中获取与所述位置方向信息、参考信息和/或用户姿态角信息相匹配的图片和/或视频；
步骤d、处理单元3将图片或视频发送至用户设备5。
所述一种全景视频切换方法，步骤a中非固定全景摄像机12采集全景图像序列和原始全景图片时需要实时校正位置和方向，当非固定全景摄像机12在采集过程中偏离预设坐标阈值时，设定对非固定全景摄像机12进行自动位置校正，保证在固定航线内不同时间采集的每一帧全景图像位置的对应；通过在图像采集过程中的方向校正，使每一帧全景图像中各像素位置对应的方向从相对方向变为绝对方向，保证在固定航线内不同时间采集的每一帧全景图像方向的对应。
相对方向是指相对于可移动载体行驶或飞行的方向，绝对方向是指相对于环境绝对坐标系而言的方向，因为非固定全景摄像机12所采集的全景图像的相对方向随着承载其的可移动载体的方向变化而变化，因此通过方向校正使每次采集的全景图像序列均为同一绝对方向。
方向校正是通过一组预定方向序列校正现有全景图像序列，所述组预定方向序列对应一组预定全景图像序列，且所述预定方向序列中的每个方向分别表示其在预定全景图像序列中对应的那个全景图像的方向。其中，所述组预定全景图像序列是在非固定全景摄像机12已标定状态下获得的，且同时获得的还有对应的预定方向序列。
例如，假设相应非固定全景摄像机12设置于某个可移动载体上，所述非固定全景摄像机12的整体朝向与所述可移动载体的正前方一致，这样，假设可移动载体朝正南方向行驶或飞行时，并假设此时所述非固定全景摄像机12采集了一帧全景图像，那么所述帧全景图像对应的方向信息则是正南方向，依此类推。
在一定时长内非固定架设的非固定全景摄像机12所采集的预定全景图像序列可以用{D1，D2，D3，……，Dm}表示，m表示所述预定全景图像序列中所包含的预存全景图像数量，其为正整数；且所述预定全景图像序列对应的方向序列可以用{d1，d2，d3，……，dm}表示，则预存全景图像D1与方向信息d1对应，预存全景图像D2与方向信息d2对应，依此类推。
这样，每组全景图像序列在采集过程中均通过上述预定方向序列{d1，d2，d3，……，dm}进行实时方向校正，使得每个全景图像中各像素位置对应的方向从相对方向校正为绝对方向。
所述一种全景视频切换方法，步骤a中多组全景图像序列中的每一组与多组原始全景图片中的每一组具有以下时间对应关系：全景图像序列以n帧为一个帧序列，将全景图像序列按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的n帧图像；其对应的原始全景图片可以用Dr表示，Dr1，Dr2，……Drn表示第r个帧序列中的n帧图像所对应的原始全景图片。
所述一种全景视频切换方法，步骤a中第二存储单元22的多组原始全景图片中的每一张全景图片均经过以下N层分层处理：分层关系以水平方向度数变化为基准即N＝360，在水平方向360度、垂直方向180度，以一度为一个单位，计算水平方向角度变化一度所对应的X轴坐标变化，垂直方向角度变化1至180度所对应的Y轴坐标变化，并将这种对应关系保存；以两度为一个单位，计算水平方向变化两度所对应的X轴坐标变化，垂直方向角度变化1—180度所对应的Y轴坐标变化，并将这种对应关系保存......以360度为一个单位，计算水平方向角度变化360度所对应的坐标变化，垂直方向角度变化1—180度所对应的Y轴坐标变化，并将这种对应关系保存，即预先将用户姿态角包含的水平角和俯仰角的变化与图像坐标变化建立联系，从而方便快速查找。
所述一种全景视频切换方法，步骤b中所述待切换类型是视频切换至视频、视频切换至图片、图片切换至视频或者图片切换图片；参考信息是指某一组全景图像序列/原始全景图片在被采集时的季节信息、天气信息和/或时间段信息；位置方向信息是指某帧全景图像/原始全景图片在被采集时所使用的图像采集设备的位置和方向；用户姿态角信息是指用户发送切换指令时的用户设备的姿态信息，包含水平角和俯仰角。
所述一种全景视频切换方法，步骤c中根据切换指令获取图片或视频的方法如下：
如果判定待切换类型是视频切换至视频，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图像帧的参考信息，根据待切换图像帧的参考信息从存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，从所述组全景图像序列中根据当前图像帧的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，最后将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备5；
如果判定待切换类型是视频切换至图片，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图片的参考信息，根据待切换图片的参考信息从存储的多组原始全景图片中获取与所述参考信息相匹配的那组原始全景图片，根据当前图像帧的位置方向信息在所述组原始全景图片中获取与所述位置方向信息相匹配的那一张原始全景图片；根据用户姿态角信息，通过计算所述时刻的水平角和俯仰角相对于全景视频播放的初始夹角的变化量，设定水平角变化m度，俯仰角变化n度，通过查找所述张原始全景图片中的第m层分层对应关系确定图像坐标变化；设置p0为全景视频播放的初始显示窗口左下角坐标，经过切换之后，通过计算和查找，显示窗口左下角坐标应为p1，显示窗口尺寸为W*H，则显示窗口的四个顶点分别可以由此确定；根据所述显示窗口的四个顶点坐标在所述张原始全景图片上截图并发送给用户设备5；
如果判定待切换类型是图片切换至视频，所述图片是原始全景图片，因为所述原始全景图片是中存储的多组全景图像序列所对应的多组原始全景图片中的一张，又因为每一张原始全景图片均具有位置方向信息，通过从所述切换指令中提取的待切换视频的参考信息在存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，根据所述原始全景图片所携带的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备5；
如果判定待切换类型是图片切换至图片，所述图片是原始全景图片，因为原始全景图片是存储的多组全景图像序列所对应的多组原始全景图片中的一张，且每一张原始全景图片均具有位置方向信息和参考信息，通过从所述切换指令中提取的待切换图片的参考信息和当前图片的位置方向信息在存储的多组原始全景图片中获取与之相匹配的那一张原始全景图片发送给用户设备5。
所述一种全景视频切换方法，根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，所述截取方法为将所述帧全景图像重映射到一个球面上，即将所述帧全景图像贴图到对应的全景映射球面上；根据用户姿态角确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；将所述已裁剪球面图形映射成矩形图片；所述矩形图片的尺寸可以根据经验值设定或者根据用户设备5发来的切换指令中包含的屏幕尺寸参数来设定。

Claims (7)

1.一种全景视频切换装置，其特征在于，包括图像采集单元(1)、存储单元(2)、处理单元(3)、传输单元(4)和用户设备(5)；所述图像采集单元(1)分别连接存储单元(2)和处理单元(3)，所述存储单元(2)连接处理单元(3)，所述处理单元(3)连接传输单元(4)，所述传输单元(4)连接用户设备(5)；所述存储单元(2)包括第一存储单元(21)和第二存储单元(22)；
所述图像采集单元(1)包括固定全景摄像机(11)和/或非固定全景摄像机(12)，用于采集相同时长的多个不同季节、不同天气和不同时间段的全景图像序列，并将全景图像序列和所对应的原始全景图片传输至处理单元(3)，其中，所述非固定全景摄像机(12)上设有位置校正模块(121)和方向校正模块(122)，当非固定全景摄像机(12)在采集过程中偏离预设坐标阈值时，设定对非固定全景摄像机(12)进行自动位置校正，保证在固定航线内不同时间采集的每一帧全景图像位置的对应；通过在图像采集过程中的方向校正，使每一帧全景图像中各像素位置对应的方向从相对方向变为绝对方向，保证在固定航线内不同时间采集的每一帧全景图像方向的对应；
第一存储单元(21)：用于存储多组全景图像序列；
第二存储单元(22)：用于存储多组全景图像序列所对应的多组原始全景图片，其存储的每一张全景图片均经过以下N层分层处理：分层关系以水平方向度数变化为基准即N＝360，在水平方向360度、垂直方向180度，以一度为一个单位，计算水平方向角度变化一度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存；以两度为一个单位，计算水平方向变化两度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存......以360度为一个单位，计算水平方向角度变化360度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存；
处理单元(3)：用于处理传输单元(4)的切换指令；
传输单元(4)：用于接收一个或多个用户设备(5)的一个或多个切换指令，并将所述指令传输给处理单元(3)；
所述用户设备(5)是智能手机、平板电脑、或者头戴VR的任意一种。
2.根据权利要求1所述一种全景视频切换装置，其特征在于，非固定全景摄像机(12)设置在移动载体上按照规定路线行进，所述移动载体是移动机械手臂、缆车、观光车、火车、无人机、飞机或者船舶。
3.一种在权利要求1全景视频切换装置上实现的全景视频切换方法，其特征在于，包括以下步骤：
步骤a、固定全景摄像机(11)或非固定全景摄像机(12)采集全景图像序列，非固定全景摄像机(12)采集全景图像序列和原始全景图片时需要实时校正位置和方向，当非固定全景摄像机(12)在采集过程中偏离预设坐标阈值时，设定对非固定全景摄像机(12)进行自动位置校正，保证在固定航线内不同时间采集的每一帧全景图像位置的对应；通过在图像采集过程中的方向校正，使每一帧全景图像中各像素位置对应的方向从相对方向变为绝对方向，保证在固定航线内不同时间采集的每一帧全景图像方向的对应；
将多组全景图像序列存储至第一存储单元(21)，将多组全景图像序列对应的多组原始全景图片存储至第二存储单元(22)，并将全景图像序列和对应的原始全景图片发送至处理单元(3)，其中，第二存储单元(22)的多组原始全景图片中的每一张全景图片均经过以下N层分层处理：分层关系以水平方向度数变化为基准即N＝360，在水平方向360度、垂直方向180度，以一度为一个单位，计算水平方向角度变化一度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存；以两度为一个单位，计算水平方向变化两度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存......以360度为一个单位，计算水平方向角度变化360度所对应的X轴坐标变化，垂直方向角度变化1-180度所对应的Y轴坐标变化，并将这种对应关系保存，即预先将用户姿态角包含的水平角和俯仰角的变化与图像坐标变化建立联系，从而方便快速查找；
步骤b、用户设备(5)发送一个或多个切换指令至处理单元(3)，所述切换指令中包含待切换类型、位置方向信息、参考信息和/或用户姿态角信息；
步骤c、处理单元(3)判断切换类型，通过位置方向信息、参考信息和/或用户姿态角信息从存储单元(2)中获取与所述位置方向信息、参考信息和/或用户姿态角信息相匹配的图片和/或视频；
步骤d、处理单元(3)将图片或视频发送至用户设备(5)。
4.根据权利要求3所述一种全景视频切换方法，其特征在于，步骤a中多组全景图像序列中的每一组与多组原始全景图片中的每一组具有以下时间对应关系：全景图像序列以n帧为一个帧序列，将全景图像序列按照播放的时间顺序划分为若干个帧序列，用Ir表示第r个帧序列，Ir1，Ir2，……Irn表示第r个帧序列中的n帧图像；其对应的原始全景图片可以用Dr表示，Dr1，Dr2，……Drn表示第r个帧序列中的n帧图像所对应的原始全景图片。
5.根据权利要求3所述一种全景视频切换方法，其特征在于，步骤b中所述待切换类型是视频切换至视频、视频切换至图片、图片切换至视频或者图片切换图片；参考信息是指某一组全景图像序列/原始全景图片在被采集时的季节信息、天气信息和/或时间段信息；位置方向信息是指某帧全景图像/原始全景图片在被采集时所使用的图像采集设备的位置和方向；用户姿态角信息是指用户发送切换指令时的用户设备的姿态信息，包含水平角和俯仰角。
6.根据权利要求3所述一种全景视频切换方法，其特征在于，步骤c中根据切换指令获取图片或视频的方法如下：
如果判定待切换类型是视频切换至视频，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图像帧的参考信息，根据待切换图像帧的参考信息从存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，从所述组全景图像序列中根据当前图像帧的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，最后将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备(5)；
如果判定待切换类型是视频切换至图片，通过从所述切换指令中提取当前图像帧的位置方向信息、待切换图片的参考信息，根据待切换图片的参考信息从存储的多组原始全景图片中获取与所述参考信息相匹配的那组原始全景图片，根据当前图像帧的位置方向信息在所述组原始全景图片中获取与所述位置方向信息相匹配的那一张原始全景图片；根据用户姿态角信息，通过计算所述姿态角相对于全景视频播放的初始夹角的变化量，设定水平角变化m度，俯仰角变化n度，通过查找所述张原始全景图片中的第m层分层对应关系确定图像坐标变化；设置p0为全景视频播放的初始显示窗口左下角坐标，经过切换之后，通过计算和查找，显示窗口左下角坐标应为p1，显示窗口尺寸为W*H，则显示窗口的四个顶点分别可以由此确定；根据所述显示窗口的四个顶点坐标在所述张原始全景图片上截图并发送给用户设备(5)；
如果判定待切换类型是图片切换至视频，所述图片是原始全景图片，因为所述原始全景图片是存储的多组全景图像序列所对应的多组原始全景图片中的一张，又因为每一张原始全景图片均具有位置方向信息，通过从所述切换指令中提取的待切换视频的参考信息在存储的多组全景图像序列中获取与所述参考信息相匹配的那组全景图像序列，根据所述原始全景图片所携带的位置方向信息获取与所述位置方向信息相匹配的那一帧及之后的多帧全景图像；根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片，将所截取的所有截图按照时间顺序形成图像帧序列发送给用户设备(5)；
如果判定待切换类型是图片切换至图片，所述图片是原始全景图片，因为原始全景图片是存储的多组全景图像序列所对应的多组原始全景图片中的一张，且每一张原始全景图片均具有位置方向信息和参考信息，通过从所述切换指令中提取的待切换图片的参考信息和当前图片的位置方向信息在存储的多组原始全景图片中获取与之相匹配的那一张原始全景图片发送给用户设备(5)。
7.根据权利要求6所述一种全景视频切换方法，其特征在于，根据用户姿态角信息在所述帧及之后的多帧全景图像上截取对应用户姿态角的图片：将所述帧全景图像重映射到一个球面上，即将所述帧全景图像贴图到对应的全景映射球面上；根据用户姿态角确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；将所述待裁剪球面图形映射成矩形图片；所述矩形图片的尺寸可以根据经验值设定或者根据用户设备(5)发来的切换指令中包含的屏幕尺寸参数来设定。
CN201810296466.9A 2018-03-30 2018-03-30 一种全景视频切换装置和方法 Active CN108259787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810296466.9A CN108259787B (zh) 2018-03-30 2018-03-30 一种全景视频切换装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810296466.9A CN108259787B (zh) 2018-03-30 2018-03-30 一种全景视频切换装置和方法

Publications (2)

Publication Number Publication Date
CN108259787A CN108259787A (zh) 2018-07-06
CN108259787B true CN108259787B (zh) 2020-06-16

Family

ID=62748070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810296466.9A Active CN108259787B (zh) 2018-03-30 2018-03-30 一种全景视频切换装置和方法

Country Status (1)

Country Link
CN (1) CN108259787B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064391A (zh) * 2018-08-02 2018-12-21 哈尔滨市舍科技有限公司 一种全景图像处理方法和全景图像处理装置
CN110058398A (zh) * 2019-04-25 2019-07-26 深圳市声光行科技发展有限公司 一种vr望远镜
CN110968859B (zh) * 2019-08-31 2022-11-18 东南大学 一种基于全景图像的虚拟现实安全认证方法
CN113382266A (zh) * 2020-03-09 2021-09-10 四叶草娱乐有限公司 实境仿真全景系统及其使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090460A (zh) * 2006-06-13 2007-12-19 上海杰图软件技术有限公司 一种在多幅全景图之间切换的方法
CN106657923A (zh) * 2017-01-10 2017-05-10 哈尔滨市舍科技有限公司 基于位置的场景切换式共享观景系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090460A (zh) * 2006-06-13 2007-12-19 上海杰图软件技术有限公司 一种在多幅全景图之间切换的方法
CN106657923A (zh) * 2017-01-10 2017-05-10 哈尔滨市舍科技有限公司 基于位置的场景切换式共享观景系统

Also Published As

Publication number Publication date
CN108259787A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108259787B (zh) 一种全景视频切换装置和方法
CN108476288B (zh) 拍摄控制方法及装置
CN109348119B (zh) 一种全景监控系统
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
CN102510474B (zh) 一种360度全景监控系统
CN105700547B (zh) 一种基于导航飞艇的空中立体视频街景系统及实现方法
CN108495048B (zh) 基于云台控制的双摄像头图像采集设备
CN106657923B (zh) 基于位置的场景切换式共享观景系统
CN110799921A (zh) 拍摄方法、装置和无人机
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
WO2019041276A1 (zh) 一种图像处理方法、无人机及系统
CN105678693A (zh) 全景视频浏览播放方法
CN113838098B (zh) 一种针对远距离高速运动目标的智能跟踪拍摄系统
CN108650494B (zh) 基于语音控制的可即时获取高清照片的直播系统
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN106780629A (zh) 一种三维全景数据采集、建模方法
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN106657792B (zh) 共享式观景装置
CN108696724B (zh) 可即时获取高清照片的直播系统
AU2019271924B2 (en) System and method for adjusting an image for a vehicle mounted camera
JP2019135605A (ja) 撮影映像表示装置及び撮影映像表示方法
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
CN202035079U (zh) 一种无人机电视航摄成像系统
WO2017160381A1 (en) System for georeferenced, geo-oriented real time video streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266100 Block C 200-43, Chuangke Street, Qingdao, 306 Ningxia Road, Laoshan District, Qingdao City, Shandong Province

Applicant after: QINGDAO YISPACE TECHNOLOGY Co.,Ltd.

Address before: 150000 Heilongjiang Province, Harbin City Economic Development Zone haping Road District Dalian road and Xingkai road junction

Applicant before: HARBIN YISHE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240729

Address after: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee after: HARBIN INSTITUTE OF TECHNOLOGY

Country or region after: China

Address before: Room 200-43, block C, Qingdao maker street, 306 Ningxia road, Laoshan District, Qingdao City, Shandong Province 266100

Patentee before: QINGDAO YISPACE TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right