CN110545438B - 全景播放交互装置和全景播放交互方法 - Google Patents

全景播放交互装置和全景播放交互方法 Download PDF

Info

Publication number
CN110545438B
CN110545438B CN201910836781.0A CN201910836781A CN110545438B CN 110545438 B CN110545438 B CN 110545438B CN 201910836781 A CN201910836781 A CN 201910836781A CN 110545438 B CN110545438 B CN 110545438B
Authority
CN
China
Prior art keywords
distance
visual angle
angle
sliding
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910836781.0A
Other languages
English (en)
Other versions
CN110545438A (zh
Inventor
朱磊
杨晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yispace Technology Co ltd
Original Assignee
Qingdao Yispace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yispace Technology Co ltd filed Critical Qingdao Yispace Technology Co ltd
Priority to CN201910836781.0A priority Critical patent/CN110545438B/zh
Publication of CN110545438A publication Critical patent/CN110545438A/zh
Application granted granted Critical
Publication of CN110545438B publication Critical patent/CN110545438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种全景播放交互装置和方法，其中装置包括：获取模块，用于获取全景视频文件；第一交互模块，用于通过改变视场角和/或视点与球心的距离这两个视角参数，来调整视角，以及接收用户的拍摄指令，包括：滑动控件，接收用户的滑动指令；获取单元，获取滑动控件中滑块的位置；确定单元，确定视场角和/或视点与球心的距离；调整单元，根据视场角和/或视点与球心的距离调整视角；拍摄单元，用于接收拍摄指令和移动指令，拍摄按钮的移动对应着滑动控件的同步移动；显示模块，用于实时显示与当前播放视角相匹配的视频内容。根据本发明的技术方案，用户在全景视频播放中可以通过与播放装置的交互，获得更好的观看和操作体验。

Description

全景播放交互装置和全景播放交互方法
技术领域
本发明涉及全景视频播放领域，尤其涉及一种交互式全景视频交互装置及方法。
背景技术
对于拍摄的全景视频，现有技术只能通过播放软件观看全景视频。目前全景播放装置在交互方法上主要采用两种方式：依赖移动设备自带的陀螺仪进行交互，和/或通过用户的滑动手势进行控制。
但是对有些用户来说，可能希望有更多的交互方式，不仅可以按照自己的需求调整观看视角，还可以获取自己想要的角度的图片或视频。而现有技术并没有提供这些交互方式，使用户观看全景视频时的体验感较差。
发明内容
鉴于以上问题，做出本发明。
根据本发明一方面，提供一种全景播放交互装置，包括：获取模块，用于获取全景视频文件；第一交互模块，用于通过改变视场角和/或视点与球心的距离这两个视角参数调整视角，以及接收用户的拍摄指令，包括：滑动控件，用于接收用户的滑动指令，包括滑动条和滑块；获取单元，用于获取滑动控件中滑块的位置；确定单元，用于根据滑块的位置确定视场角和/或视点与球心的距离；调整单元，用于根据上述确定的视场角和/或视点与球心的距离，调用算法来调整视角；拍摄单元，用于接收用户通过点击拍摄按钮产生的拍摄指令，以及移动拍摄按钮产生的移动指令，所述拍摄按钮的移动对应着所述滑动控件的同步移动；显示模块，用于实时显示与当前播放视角相匹配的视频内容。
进一步地，第一交互模块还包括效果调整模块，用于根据不同效果调用不同算法调整视角。
进一步地，确定单元将所述滑动控件中的滑动条均分为100等份刻度，0～30对应视场角的变化区间，视场角从30°逐渐增大至90°；30～70对应视点与球心距离的变化区间，视点逐渐从球心向后拉远；70～100对应的区间为二者均变化：视场角从90°逐渐增大至150°，且视点逐渐向后至球表面。
进一步地，拍摄单元的移动对应着所述滑动控件的同步移动的函数关系可以表示为：Y＝±F(X)，其中，X为拍摄按钮的移动距离，Y为滑动控件的移动距离，方向相同或相反；或表示为：V＝F1(X)，Y＝F2(V)，其中，X为拍摄按钮的移动距离，V为滑动控件的移动速度，为常量或变量，Y为滑动控件的移动距离。
进一步地，全景播放交互装置还包括第二交互模块，该第二交互模块包括：模拟摇杆控件，用于接收用户的拖动操作；计算单元，用于计算用户对模拟摇杆控件的拖动距离和方向；调整部件，用于根据用户的拖动距离和方向，确定旋转角度和速度，进而调整水平视角和/或垂直视角。
进一步地，调整部件根据用户的拖动距离和方向，确定旋转速度V＝(Vx,Vy)的函数关系可以表示为：水平旋转速度Vx＝F3(disX)，垂直旋转速度Vy＝F4(disY)；其中，F3、F4均为随自变量增大而增大的函数，Vx、Vy可以是常量，也可以是变量。
进一步地，全景播放交互装置还包括：传送模块，用于将视角参数以及点击拍摄按钮时的时间戳参数传给后台服务器；后台服务器，通过时间戳参数获取对应的全景视频帧图像，根据以上所述视角参数在全景视频帧图像上获取对应视角的部分图像。
根据本发明另一方面，提供一种采用以上全景视频交互装置进行的全景视频交互方法，包括：获取全景视频文件；获取滑动控件中滑动条或滑块的位置，其中包含通过移动拍摄按钮获取滑动条或滑块位置，确定视场角和/或视点与球心的距离这两个视角参数，调用算法调整视角；其中所述拍摄按钮的移动对应着所述滑动控件的同步移动的函数关系可以表示为：Y＝±F(X)，其中，X为拍摄按钮的移动距离，Y为滑动控件的移动距离，方向相同或相反；或表示为：V＝F1(X)，Y＝F2(V)，其中，X为拍摄按钮的移动距离，V为滑动控件的移动速度，为常量或变量，Y为滑动控件的移动距离；接收用户通过点击拍摄按钮产生的拍摄指令，所述拍摄指令与所述滑动指令通过拍摄单元同步地给出；将视角参数以及点击拍摄按钮时的时间戳参数传给后台服务器；后台服务器通过时间戳参数获取对应的全景视频帧图像，根据以上所述视角参数在全景视频帧图像上获取对应视角的部分图像；实时显示与当前播放视角相匹配的视频内容。
进一步地，全景播放交互方法还包括采用第二交互模块调整视角，包括：采用模拟摇杆控件接收用户的拖动操作；计算用户对摇杆控件的拖动距离和方向；根据用户的拖动距离和方向，确定旋转角度和速度，进而调用算法调整视角，其中，旋转速度V＝(Vx,Vy)的函数关系可以表示为：
水平旋转速度Vx＝F3(disX)，
垂直旋转速度Vy＝F4(disY)；
其中，F3、F4均为随自变量增大而增大的函数，Vx、Vy是常量或变量。
根据本发明的技术方案，用户在全景视频播放中可以通过与播放装置的交互，获得更好的观看和操作体验。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
其中：
图1示出了根据本发明实施方式的全景视频交互装置的示意性图示。
图2示出了根据本发明实施方式的全景视频交互装置的另一示意性图示。
图3示出了根据本发明实施方式的全景视频播放方法的示意性流程图。
图4示出了根据本发明实施方式的全景视频播放方法其中一个步骤的详细流程图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本发明内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
根据本发明实施方式，提供一种全景视频交互装置。图1示出了该全景视频交互装置的示意性图示。如图1所示，该全景视频交互装置包括获取模块110，第一交互模块120和显示模块130。其中，第一交互模块120包括滑动控件1210、获取单元1220、确定单元1230、调整单元1240和拍摄单元1250。
下面对该装置内的各部件进行详细描述。
获取模块110用于获取全景视频文件。第一交互模块120用于通过改变视场角和/视点与球心的距离这两个视角参数来调整视角。
如图1所示，第一交互模块120包括滑动控件1210，具体地，该滑动控件设置在用户交互界面中。该滑动控件对应着视场角和视点与球心的距离两个视角参数的改变。滑动控件的表现形式例如是标有刻度的滑动条，或是半圆型的仪表盘，刻度的单位例如可以是自然数或者是焦长单位。以上表现形式仅是示例，本领域技术人员可以根据本发明原理设计出其他滑动控件形式，本发明在此不应受限。用户通过移动滑动控件上的滑块产生滑动指令，获取单元1220获取滑动控件中滑块的位置，由确定单元1230根据滑块的位置确定视场角和/或视点与球心的距离(视点距离球模型中心的距离值越大画面离镜头越“远”，值越小画面离镜头越“近”)。
在此举例说明确定单元1230的确定示例，以便于理解本发明的技术方案。例如，将滑动控件中滑动条均分为100等份刻度，定义0～30对应视场角的变化区间，视场角从30°逐渐增大至90°；30～70对应视点与球心距离的变化区间，视点逐渐从球心向后拉远；70～100对应的区间为二者均变化：视场角从90°逐渐增大至150°，且视点逐渐向后至球表面。其中，视场角和视点与球心距离的变化可以呈等差数列变化，
调整单元1240根据上述确定的视场角和/或视点与球心距离调用算法调整视角。
用户在观看全景视频时，可通过移动滑块获得不同的视场角和/或不同的视点与球心的距离，以获得不同的观看效果。例如，用户移动滑块至刻度30处，则此时观看视场角为90°；用户移动滑块至刻度70处，此时观看视场角为90°、视点与球心距离为0.8R(R为球模型半径)。
拍摄单元1250可以是拍摄按钮，其拍摄方式可以但不限于：短按拍摄按钮发出拍照指令，长按拍摄按钮发出录制视频指令。
根据本发明实施方式，拍摄按钮可在一定范围内上下移动，该拍摄按钮的移动对应着滑动控件中的滑块也同步滑动(反过来则不然：滑动控件可以单独工作，即用户在观看而不是录制视频时，可以单独移动滑块相应地改变观看视角)，其移动的距离和方向对应着滑动控件中的滑块移动的距离和方向。
举例来说，拍摄按钮的移动距离可表示为变量X，滑块移动距离可表示为Y，则滑块移动距离与拍摄按钮移动距离之间的函数关系可以表示为：Y＝±F(X)，拍摄按钮的移动方向和滑块移动方向可以相同或相反，获得Y之后确定视场角和/或视点与球心距离，然后调用算法调整视角。
例如，长按并向上移动拍摄按钮，则滑块对应向上(下)半圆移动；长按并向下移动拍摄按钮，则滑块对应向下(上)半圆移动。
更为优选的是，拍摄按钮的移动距离不是直接对应滑动控件中的滑块移动距离，而是对应滑块移动速度，拍摄按钮的移动距离可表示为变量X，滑块移动速度可表示为V，则滑块移动速度V与拍摄按钮移动距离X之间的函数关系可以表示为：V＝F1(X)，这里F为随自变量增大而增大的函数，其中V可以是常量，也可以是变量，
例如，V可以是常数或分段常数，则对应着滑块匀速滑动或者随着拍摄按钮移动距离的增加以不同速度分段匀速滑动。V也可以是变量，则F为一元n次方程(V匀速/非匀速变化)，对应着滑块非匀速滑动。或为以上两种的结合：滑块随着拍摄按钮移动距离的增加分段匀速间或非匀速滑动。
然后，滑块移动距离Y与滑块移动速度V之间的函数关系表示为：Y＝F2(V)；Y的值和上述V的设置相对应。
进一步地，如图2所示，第一交互模块还可以包括有效果调整模块140，效果具体可以包括鱼眼、透视、小行星、水晶球等。上述将滑动控件中滑动条均分为100等份的例子中，效果默认为小行星效果，若为不同效果，则滑动条设计具体不同，例如为水晶球效果，则视点与球心距离参数的变化范围可至球外表面无穷远处。
显示模块130然后实时显示与当前播放视角相匹配的视频内容。
优选地，如图2所示，上述全景视频交互装置还可以包括第二交互模块150，其通过改变水平视角和/或垂直视角这两个视角参数来调整视角。第二交互模块可以包括模拟摇杆控件1510，用于接收用户指令；计算单元1520，用于计算用户对摇杆控件的拖动距离和方向；调整部件1530，用于根据用户的拖动距离和方向，确定旋转角度和速度，进而调整水平视角和/或垂直视角。
具体地，摇杆控件可以是在用户交互界面中设计的一组模拟摇杆，用户通过拖动模拟摇杆产生视角调整指令，模拟摇杆可向上下左右任意方向拖动，其对应着水平视角和垂直视角的持续改变。其中，水平视角的变化范围例如为720°，垂直视角的变化范围例如为180°。
计算单元获取用户对模拟摇杆控件的拖动位移，包括距离和方向。调整部件根据上述获得的位移调用算法使得渲染模型按拖动方向进行旋转，以使得视角调整，旋转的角度和速度与拖动的位移相对应。
模拟摇杆拖动的位移包括模拟摇杆控件坐标系X轴和Y轴方向上的拖动前坐标值Px1和Py1以及拖动后坐标值Px2和Py2(拖动前坐标值也可以设置为0)：disX＝(Px2–Px1)×k1，disY＝(Py2–Py1)×k1，k1为幅度常量；拖动距离
Figure BDA0002192426370000061
有最大值；旋转速度用V＝(Vx,Vy)表示，Vx表示水平旋转速度、Vy表示垂直旋转速度，旋转速度与拖动位移之间的函数关系可以表示为：Vx＝F3(disX)，Vy＝F4(disY)，这里F3、F4均为随自变量增大而增大的函数，其中Vx、Vy可以是常量，也可以是变量。例如，Vx、Vy可以是常数或分段常数，对应着模拟摇杆匀速移动或者随着拖动距离的增加以不同速度分段匀速移动；Vx、Vy也可以是变量，则F3、F4为一元n次方程(Vx、Vy匀速/非匀速变化)，对应着模拟摇杆非匀速移动；或为以上两种的结合：模拟摇杆随着拖动距离的增加分段匀速间或非匀速移动。
本发明中第二交互模块可以通过不间断拖动模拟摇杆的形式使视角匀速/非匀速地连续改变，使全景视频播放视角更流畅地改变，使得第二交互模块的交互方式比现有技术中的其它两种交互方式(移动设备自带的陀螺仪，通过用户的滑动手势)改变视角更灵活便捷。需要说明的是，现有技术中的交互方式比如通过移动设备自带的陀螺仪和/或通过用户的滑动手势进行交互可以在本装置内共存。
因为全景视频是以观察者为中心，绕固定点旋转一周所观察到的360度视野场景，全景视频在播放时的播放视角即为用户通过与播放装置的互动来决定显示全景视频当前帧图像中的哪部分图像，该部分图像相当于用户作为观察者以一定视角观看全景视频时所看到的部分图像。那么，点击拍摄按钮后获得的图片即为该部分图像。
此时，如图2所示的全景视频交互装置内的传送模块160将第一交互模块120获得的视场角参数、视点与球心的距离参数，和第二交互模块150获得的水平视角参数、垂直视角参数，以及时间戳参数传给后台服务器170处理。后台服务器170通过时间戳参数获取对应的全景视频帧图像，根据以上所述视角参数在全景视频帧图像上获取对应视角的部分图像，并将该部分图像传回至播放装置，以此用户可得到高清照片。同理，用户也可得到高清视频。
用户可以在全景视频观看过程中，通过第一交互模块和/或第二交互模块进行视角调整后拍照，获取自己想要的视角图像。需要说明的是，用户在通过左(右)手按下拍摄按钮录制视频时，可以同时通过右(左)手拖动第二交互模块，这种交互模式由于拍摄按钮和滑动条的同步性，不仅在拍摄的同时改变了视场角、视点与球心距离，也同时改变了水平视角和垂直视角，从而可以在录制视频过程中“随心所欲”改变录制视角，使录制的视频每一帧或每几帧的视角均不相同，自定义录制出不同视角效果的视频，可操作性更强。
本发明中的全景视频交互装置提供更多的交互方式，提供全景观看视角和拍摄视角的多种变换方式，这些交互方式和变换方式增加了用户观看/录制全景视频的趣味性、操作性和自主性。
根据本发明另一实施方式，还提供一种采用以上全景视频交互装置进行的全景视频播放方法。图3示出了该方法的示意性流程图。如图3所示，该方法包括：
S31，获取全景视频文件。
S32，获取滑动控件中滑动条或滑块的位置，其中包含通过移动拍摄按钮获取滑动条或滑块位置，确定视场角和/或视点与球心的距离这两个视角参数，调用算法调整视角。该步骤具体包括：根据拍摄按钮的移动方向和/或距离，得出滑动控件的滑动指令；根据滑动指令确定视场角和/或视点与球心的距离；根据上述确定的视场角和/或视点与球心的距离，来调整视角。
具体地，该滑动控件设置在用户交互界面中。该滑动控件对应着视场角和视点与球心的距离两个视角参数的改变。滑动控件的表现形式例如是标有刻度的滑动条，或是半圆型的仪表盘，刻度的单位例如可以是自然数或者是焦长单位。例如，将滑动控件中滑动条均分为100等份刻度，定义0～30对应视场角的变化区间，视场角从30°逐渐增大至90°；30～70对应视点与球心距离的变化区间，视点逐渐从球心向后拉远；70～100对应的区间为二者均变化：视场角从90°逐渐增大至150°，且视点逐渐向后至球表面。其中，视场角和视点与球心距离的变化可以呈等差数列变化。
用户在观看全景视频时，可通过移动滑块获得不同的视场角和/或不同的视点与球心的距离，以获得不同的观看效果。例如，用户移动滑块至刻度30处，则此时观看视场角为90°；用户移动滑块至刻度70处，此时观看视场角为90°、视点与球心距离为0.8R(R为球模型半径)。
拍摄按钮可在一定范围内上下移动，该拍摄按钮的移动对应着滑动控件中的滑块也同步滑动(反过来则不然：滑动控件可以单独工作，即用户在观看而不是录制视频时，可以单独移动滑块相应地改变观看视角)，其移动的距离和方向对应着滑动控件中的滑块移动的距离和方向。
举例来说，拍摄按钮的移动距离可表示为变量X，滑块移动距离可表示为Y，则滑块移动距离与拍摄按钮移动距离之间的函数关系可以表示为：Y＝±F(X)，拍摄按钮的移动方向和滑块移动方向可以相同或相反，获得Y之后确定视场角和/或视点与球心距离，然后调用算法调整视角。
例如，长按并向上移动拍摄按钮，则滑块对应向上(下)半圆移动；长按并向下移动拍摄按钮，则滑块对应向下(上)半圆移动。
更为优选的是，拍摄按钮的移动距离不是直接对应滑动控件中的滑块移动距离，而是对应滑块移动速度，拍摄按钮的移动距离可表示为变量X，滑块移动速度可表示为V，则滑块移动速度V与拍摄按钮移动距离X之间的函数关系可以表示为：V＝F1(X)，这里F为随自变量增大而增大的函数，其中V可以是常量，也可以是变量，
例如，V可以是常数或分段常数，则对应着滑块匀速滑动或者随着拍摄按钮移动距离的增加以不同速度分段匀速滑动。V也可以是变量，则F为一元n次方程(V匀速/非匀速变化)，对应着滑块非匀速滑动。或为以上两种的结合：滑块随着拍摄按钮移动距离的增加分段匀速间或非匀速滑动。
然后，滑块移动距离Y与滑块移动速度V之间的函数关系表示为：Y＝F2(V)；Y的值和上述V的设置相对应。
S33，接收用户通过点击拍摄按钮产生的拍摄指令，所述拍摄指令与所述滑动指令通过拍摄单元同步地给出。拍摄方式可以但不限于：短按拍摄按钮发出拍照指令，长按拍摄按钮发出录制视频指令。
以上描述了用户按下拍摄按钮且移动时改变视角参数的过程。应注意，在用户按下拍摄按钮时，用户手指也可以不移动，此时按第一交互模块120当前的视角参数录制。
S34，将视角参数以及点击拍摄按钮时的时间戳参数传给后台服务器。
S35，后台服务器通过时间戳参数获取对应的全景视频帧图像，根据以上所述视角参数在全景视频帧图像上获取对应视角的部分图像。
S36，实时显示与当前播放视角相匹配的视频内容。
优选地，该方法在步骤S33之前还包括步骤S321：采用第二交互模块调整视角，包括：S3210，采用模拟摇杆控件接收用户的拖动操作；S3220，计算用户对摇杆控件的拖动距离和方向；S3230，根据用户的拖动距离和方向，确定旋转角度和速度，进而调用算法调整视角。步骤S321可在步骤S32之前、之后或代替步骤S32执行，也就是说第二交互模块可单独执行操作或在第一交互模块之前/之后执行操作。步骤S321和步骤S32可以交替执行。步骤S321和步骤S32也可同时执行，即在录制时按下拍摄按钮且移动从而调整视角参数时，可同时通过第二交互模块调整视角参数。
摇杆控件可以是在用户交互界面中设计的一组模拟摇杆，用户通过拖动模拟摇杆产生视角调整指令，模拟摇杆可向上下左右任意方向拖动，其对应着水平视角和垂直视角的持续改变。其中，水平视角的变化范围例如为720°，垂直视角的变化范围例如为180°。
计算单元获取用户对模拟摇杆控件的拖动位移，包括距离和方向。调整单元根据上述获得的位移调用算法使得渲染模型按拖动方向进行旋转，以使得视角调整，旋转的角度和速度与拖动的位移相对应。
例如，模拟摇杆拖动的位移可包括模拟摇杆控件坐标系X轴和Y轴方向上的拖动前坐标值Px1和Py1以及拖动后坐标值Px2和Py2(拖动前坐标值也可以设置为0)：disX＝(Px2–Px1)×k1，disY＝(Py2–Py1)×k1，k1为幅度常量；拖动距离
Figure BDA0002192426370000101
有最大值；旋转速度用V＝(Vx,Vy)表示，Vx表示水平旋转速度、Vy表示垂直旋转速度，旋转速度与拖动位移之间的函数关系可以表示为：Vx＝F3(disX)，Vy＝F4(disY)，这里F3、F4均为随自变量增大而增大的函数，其中Vx、Vy可以是常量，也可以是变量。例如，Vx、Vy可以是常数或分段常数，对应着模拟摇杆匀速移动或者随着拖动距离的增加以不同速度分段匀速移动；Vx、Vy也可以是变量，则F3、F4为一元n次方程(Vx、Vy匀速/非匀速变化)，对应着模拟摇杆非匀速移动；或为以上两种的结合：模拟摇杆随着拖动距离的增加分段匀速间或非匀速移动。
本发明实施例所述的方法可以由前述全景图像拍摄装置执行，因此本实施例未详述部分，可参见以上装置实施例，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (5)

1.一种全景播放交互装置，其特征在于，包括：
获取模块，用于获取全景视频文件；
第一交互模块，用于通过改变视场角和/或视点与球心的距离这两个视角参数调整视角，以及接收用户的拍摄指令，包括：
滑动控件，用于接收用户的滑动指令，包括滑动条和滑块；
获取单元，用于获取滑动控件中滑块的位置；
确定单元，用于根据滑块的位置确定视场角和/或视点与球心的距离；
调整单元，用于根据上述确定的视场角和/或视点与球心的距离，调用算法来调整视角；
拍摄单元，用于接收用户通过点击拍摄按钮产生的拍摄指令，以及移动拍摄按钮产生的移动指令，所述拍摄按钮的移动对应着所述滑动控件的同步移动，函数关系表示为：
Y＝±F(X)，
其中，X为拍摄按钮的移动距离，Y为滑动控件的移动距离，方向相同或相反；F为随自变量增大而增大的函数；
或表示为：
V＝F1(X)，Y＝F2(V)，
其中，X为拍摄按钮的移动距离，V为滑动控件的移动速度，为常量或变量，Y为滑动控件的移动距离；F为随自变量增大而增大的函数；
显示模块，用于实时显示与当前播放视角相匹配的视频内容；
第二交互模块，包括：
模拟摇杆控件，用于接收用户的拖动操作；
计算单元，用于计算用户对模拟摇杆控件的拖动距离和方向；
调整部件，用于根据用户的拖动距离和方向，确定旋转角度和速度，进而调整水平视角和/或垂直视角；
传送模块，用于将第一交互模块获得的视场角参数、视点与球心的距离参数，和第二交互模块获得的水平视角参数、垂直视角参数，以及点击拍摄按钮时的时间戳参数传给后台服务器；
后台服务器，通过时间戳参数获取对应的全景视频帧图像，根据以上视角参数在全景视频帧图像上获取对应视角的部分图像。
2.根据权利要求1所述的全景播放交互装置，其中所述第一交互模块还包括效果调整模块，用于根据不同效果调用不同算法调整视角。
3.根据权利要求1所述的全景播放交互装置，其中所述确定单元，
将所述滑动控件中的滑动条均分为100等份刻度，0～30对应视场角的变化区间，视场角从30°逐渐增大至90°；30～70对应视点与球心距离的变化区间，视点逐渐从球心向后拉远；70～100对应的区间为二者均变化：视场角从90°逐渐增大至150°，且视点逐渐向后至球表面。
4.根据权利要求1所述的全景播放交互装置，所述调整部件根据用户的拖动距离和方向，确定旋转速度V＝(Vx,Vy)的函数关系表示为：
水平旋转速度Vx＝F3(disX)，
垂直旋转速度Vy＝F4(disY)；
其中，F3、F4均为随自变量增大而增大的函数，Vx、Vy是常量或变量。
5.一种采用以上任一项权利要求所述的全景播放交互装置进行的全景视频交互方法，其特征在于，包括：
获取全景视频文件；
获取滑动控件中滑动条或滑块的位置，其中包含通过移动拍摄按钮获取滑动条或滑块位置，确定视场角和/或视点与球心的距离这两个视角参数，调用算法调整视角；
其中所述拍摄按钮的移动对应着所述滑动控件的同步移动的函数关系表示为：
Y＝±F(X)，
其中，X为拍摄按钮的移动距离，Y为滑动控件的移动距离，方向相同或相反；F为随自变量增大而增大的函数；或表示为：
V＝F1(X)，Y＝F2(V)，其中，X为拍摄按钮的移动距离，V为滑动控件的移动速度，为常量或变量，Y为滑动控件的移动距离；F为随自变量增大而增大的函数；
接收用户通过点击拍摄按钮产生的拍摄指令，所述拍摄指令与所述滑动指令通过拍摄单元同步地给出；
将获得的视场角参数、视点与球心的距离参数，和水平视角参数、垂直视角参数，以及点击拍摄按钮时的时间戳参数传给后台服务器；
后台服务器通过时间戳参数获取对应的全景视频帧图像，根据以上视角参数在全景视频帧图像上获取对应视角的部分图像；
实时显示与当前播放视角相匹配的视频内容；
还包括采用第二交互模块调整视角，包括：
采用模拟摇杆控件接收用户的拖动操作；
计算用户对摇杆控件的拖动距离和方向；
根据用户的拖动距离和方向，确定旋转角度和速度，进而调用算法调整视角，其中，旋转速度V＝(Vx,Vy)的函数关系表示为：
水平旋转速度Vx＝F3(disX)，
垂直旋转速度Vy＝F4(disY)；
其中，F3、F4均为随自变量增大而增大的函数，Vx、Vy是常量或变量。
CN201910836781.0A 2019-09-05 2019-09-05 全景播放交互装置和全景播放交互方法 Active CN110545438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836781.0A CN110545438B (zh) 2019-09-05 2019-09-05 全景播放交互装置和全景播放交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836781.0A CN110545438B (zh) 2019-09-05 2019-09-05 全景播放交互装置和全景播放交互方法

Publications (2)

Publication Number Publication Date
CN110545438A CN110545438A (zh) 2019-12-06
CN110545438B true CN110545438B (zh) 2021-09-03

Family

ID=68712662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836781.0A Active CN110545438B (zh) 2019-09-05 2019-09-05 全景播放交互装置和全景播放交互方法

Country Status (1)

Country Link
CN (1) CN110545438B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312115A (zh) * 2020-07-08 2021-02-02 青岛一舍科技有限公司 一种基于全景视频交互的视觉转换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731630A (zh) * 2012-10-16 2014-04-16 华为技术有限公司 一种视频监控方法、设备和系统
CN105208368A (zh) * 2015-09-23 2015-12-30 北京奇虎科技有限公司 显示全景数据的方法及装置
JP2016189576A (ja) * 2015-03-30 2016-11-04 アイシン精機株式会社 画像表示制御装置
CN107749945A (zh) * 2017-09-27 2018-03-02 深圳岚锋创视网络科技有限公司 一种调整全景影像观看视角的方法、装置及便携式终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731630A (zh) * 2012-10-16 2014-04-16 华为技术有限公司 一种视频监控方法、设备和系统
JP2016189576A (ja) * 2015-03-30 2016-11-04 アイシン精機株式会社 画像表示制御装置
CN105208368A (zh) * 2015-09-23 2015-12-30 北京奇虎科技有限公司 显示全景数据的方法及装置
CN107749945A (zh) * 2017-09-27 2018-03-02 深圳岚锋创视网络科技有限公司 一种调整全景影像观看视角的方法、装置及便携式终端

Also Published As

Publication number Publication date
CN110545438A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
US10521951B2 (en) 3D digital painting
US10652522B2 (en) Varying display content based on viewpoint
CN107637060B (zh) 相机装备和立体图像捕获
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
JP3450833B2 (ja) 画像処理装置及びその方法並びにプログラムコード、記憶媒体
CN110446116B (zh) 全景视频播放装置和方法
Baur et al. Virtual projection: exploring optical projection as a metaphor for multi-device interaction
EP3379525A1 (en) Image processing device and image generation method
WO2015122108A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN104954671B (zh) 全景摄像的方法及装置
CN109246463B (zh) 用于显示弹幕的方法和装置
US9734622B2 (en) 3D digital painting
US20110085017A1 (en) Video Conference
US9440484B2 (en) 3D digital painting
KR101703924B1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
CN105872353A (zh) 一种在移动设备上实现播放全景视频的系统和方法
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
CN201114560Y (zh) 用于生成立体视频的采集系统
CN110545438B (zh) 全景播放交互装置和全景播放交互方法
JPWO2018123074A1 (ja) 撮影装置
Fadzli et al. A robust real-time 3D reconstruction method for mixed reality telepresence
Chu et al. Design of a motion-based gestural menu-selection interface for a self-portrait camera
KR20010096556A (ko) 입체영상 입출력 방법 및 장치
Regalbuto Remote Visual Observation of Real Places through Virtual Reality Headsets
CN105630170B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant