CN106454387A - 全景视频弹幕显示方法及装置 - Google Patents
全景视频弹幕显示方法及装置 Download PDFInfo
- Publication number
- CN106454387A CN106454387A CN201610965426.XA CN201610965426A CN106454387A CN 106454387 A CN106454387 A CN 106454387A CN 201610965426 A CN201610965426 A CN 201610965426A CN 106454387 A CN106454387 A CN 106454387A
- Authority
- CN
- China
- Prior art keywords
- viewing area
- scene
- barrage
- target barrage
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开是关于全景视频弹幕显示方法及装置，所述方法包括：确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置，因此提升了用户体验。
Description
技术领域
本公开涉及显示领域，尤其涉及全景视频弹幕显示方法及装置。
背景技术
用户在观看环绕视频或虚拟环绕场景等全景视频时，可以通过改变头的朝向来改变当前显示内容，比如头往天上看的话，画面也会跟着向上移动，显示头顶的天或者天花板，所看到的画面就像环绕在用户的周围。在这种场景下，如果要显示行进的弹幕，那么当用户改变头的朝向时正在行进的弹幕和即将显示的弹幕也需要进行相应的改变，以与所呈现的视频内容更好的结合起来。相关技术的弹幕主要用在2D平面显示区域上，从右向左平移滑动来进行显示，当用户改变头的朝向时，虽然显示画面会改变，但弹幕位置完全不变。因此，如何确定在全景视频显示时的弹幕行进的相应位置是一个需要解决的问题。
发明内容
为克服相关技术中存在的问题，本公开实施例提供全景视频弹幕显示方法及装置。
根据本公开实施例的第一方面，提供一种全景视频弹幕显示方法，包括：
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
可选地，所述确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，包括：
获取所述目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
可选地，所述获取第一场景显示区域切换到第二场景显示区域的区域位移矢量，包括：
选取所述第一场景显示区域中的位置基准点；
获取所述位置基准点对应的全景视频中的第一位置坐标；
切换到第二场景显示区域后，获取所述位置基准点对应的全景视频中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，确定所述区域位移矢量。
可选地，根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置，包括：
当所述区域位移矢量的方向与所述目标弹幕行进方向相同时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的显示区域边界为所述目标弹幕行进的结束位置。
可选地，根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置，包括：
当所述区域位移矢量的方向与所述目标弹幕行进方向相反时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的反方向的显示区域边界为所述目标弹幕行进的开始位置。
可选地，所述方法还包括：
确定即将显示的目标弹幕在所述第一场景显示区域中的初始位置；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，根据所述位置对应关系与所述区域位移矢量，确定所述即将显示的目标弹幕在所述第二场景显示区域中的初始位置。
根据本公开实施例的第二方面，提供一种全景视频弹幕显示装置，包括：
第一确定模块，被配置为确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
获取模块，被配置为当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
调整模块，被配置为根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
可选地，所述第一确定模块包括：
第一确定子模块，被配置为获取所述目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
可选地，所述获取模块包括：
选取子模块，被配置为选取所述第一场景显示区域中的位置基准点；
第一获取子模块，被配置为获取所述位置基准点对应的全景视频中的第一位置坐标；
第二获取子模块，被配置为切换到第二场景显示区域后，获取所述位置基准点对应的全景视频中的第二位置坐标；
第二确定子模块，被配置为根据所述第一位置坐标和第二位置坐标，确定所述区域位移矢量。
可选地，所述调整模块包括：
第一判断子模块，被配置为当所述区域位移矢量的方向与所述目标弹幕行进方向相同时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
第一位置调整子模块，被配置为当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的显示区域边界为所述目标弹幕行进的结束位置。
可选地，所述调整模块包括：
第二判断子模块，被配置为当所述区域位移矢量的方向与所述目标弹幕行进方向相反时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
第二位置调整子模块，被配置为当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的反方向的显示区域边界为所述目标弹幕行进的开始位置。
可选地，所述装置还包括：
第二确定模块，被配置为确定即将显示的目标弹幕在所述第一场景显示区域中的初始位置；
第三确定模块，被配置为当显示区域从所述第一场景显示区域切换到第二场景显示区域时，根据所述位置对应关系与所述区域位移矢量，确定所述即将显示的目标弹幕在所述第二场景显示区域中的初始位置。
根据本公开实施例的第三方面，提供一种全景视频弹幕显示装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供了全景视频弹幕显示方法及装置，通过确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则当前行进显示的目标弹幕与位置改变后的显示区域的相对位置关系会变化，而且当前行进显示的目标弹幕与全景视频的场景之间的位置对应关系仍然保持，因此提升了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种全景视频弹幕显示方法的流程图；
图2是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的流程图；
图3是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的一部分流程图的示意图；
图4是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的一部分流程图的示意图；
图5是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的一部分流程图的示意图；
图6是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的流程图；
图7是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图；
图8是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图；
图9是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图；
图10是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图；
图11是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图；
图12是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的框图；
图13是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的框图；
图14是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的一部分的框图；
图15是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的一部分的框图；
图16是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的一部分的框图；
图17是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的框图；
图18是根据本公开另一示例性实施例示出的一种全景视频弹幕显示装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供了一种全景视频弹幕显示技术，通过确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则当前行进显示的目标弹幕与位置改变后的显示区域的相对位置关系会变化，而且当前行进显示的目标弹幕与全景视频的场景之间的位置对应关系仍然保持，因此提升了用户体验。
图1是根据本公开一示例性实施例示出的一种全景视频弹幕显示方法的流程图，该方法包括以下步骤S110、S120、S130：
在步骤S110中，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系。
在一个实施例中，弹幕的行进方向为从右向左、从左向右、从上到下和从下到上之一。即，弹幕从屏幕的一侧向另一侧行进。弹幕行进方向从显示区域的一侧向相对侧行进，符合用户的观看弹幕的习惯，提升了用户的体验。
在一个实施例中，全景视频是虚拟现实(Virtual Reality，VR)的全景视频。虚拟现实的场景的范围通常超越了用户使用的显示装置，例如，VR头盔、VR眼镜，的显示区域的，因此，用户可以通过转头来改变显示区域的位置，观看新的场景。即，当前行进显示的弹幕在VR全景视频的显示区域中的实时位置与VR全景视频的场景之间有位置对应关系使得前行进显示的弹幕相对于VR全景视频的场景保持位置一致，而与显示区域保持位置一致。因此，弹幕并不会随着显示区域的位置变化而同步变化，保持了当前行进显示的弹幕的稳定，这样就提升了用户的观看体验。
在步骤S120中，当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量。
本领域技术人员可以理解，位移矢量是有方向和的大小的物理量，可以用于描述第一场景显示区域变化到第二场景显示区域的具体位置。
在步骤S130中，根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置。
例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从右侧移向左侧。在此情况下，如果位置改变前的显示区域的左侧有已经消失了一半的弹幕，而在位置改变后的显示区域中，消失了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示消失了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
又例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从左侧移向右侧。在此情况下，如果位置改变前的显示区域的右侧有才出现了一半的弹幕，而在位置改变后的显示区域中，出现了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示出现了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
根据本公开实施例的全景视频弹幕显示方法，通过确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则当前行进显示的目标弹幕与位置改变后的显示区域的相对位置关系会变化，而且当前行进显示的目标弹幕与全景视频的场景之间的位置对应关系仍然保持，因此提升了用户体验。
以下参照图2描述根据本公开另一实施例的全景视频弹幕显示方法的流程图。图2中的根据本公开实施例的全景视频弹幕显示方法包括的步骤S120和S130与图1中的步骤S120和S130相同，其区别在于图2中的步骤S110还包括步骤S210。
在步骤S210中，获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
目标弹幕的起始位置可以在第一场景显示区域的某个边缘，也可以在第一场景显示区域的任意位置。根据需要，目标弹幕的前进时间以及前进速度可以随时被获取。
根据本公开实施例的全景视频弹幕显示方法，通过获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，使得在第一场景显示区域切换到第二场景显示区域时，能够基于确定的目标弹幕在全景视频的第一场景显示区域中的实时位置来进一步的建立第一场景显示区域中的实时位置与全景视频的场景之间的位置对应关系，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图3描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S120的流程图。图3中的步骤S120包括步骤S310、S320、S330和S340。
在步骤S310中，选取第一场景显示区域中的位置基准点。
位置基准点可以被看作是显示区域中的某个固定的点，当显示区域切换时，在切换后的显示区域中位置基准点的位置与切换前的显示区域中位置基准点的位置相同。例如，位置基准点可以为矩形显示区域中的任一点，优选地，矩形显示区域的四个顶点中的任一个可以被作为位置基准点。因此，位置基准点可以用于确定在全景视频中第一场景显示区域切换到第二场景显示区域时的具体位置变化。
在步骤S320中，获取位置基准点对应的全景视频中的第一位置坐标。
在步骤S330中，切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标。
由于位置基准点在切换前后的显示区域中位置固定，因此，其在全景视频中的位置坐标就会由于切换而变化。
在步骤S340中，根据第一位置坐标和第二位置坐标，确定区域位移矢量。
根据本公开实施例的全景视频弹幕显示方法，通过选取第一场景显示区域中的位置基准点；获取位置基准点对应的全景视频中的第一位置坐标；切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标；根据第一位置坐标和第二位置坐标，确定区域位移矢量，使得能够通过显示区域中的位置基准点确定显示区域的区域位移矢量，进而能够确定显示区域切换后的显示区域在全景视频中的具体位置变化，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图4描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S130的流程图。图4中的步骤S130包括步骤S410和S420。
在步骤S410中，当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
在步骤S420中，当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
例如，当区域位移矢量的方向与目标弹幕行进方向都是向左时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中左侧的显示区域边界为目标弹幕行进的结束位置。
根据本公开实施例的全景视频弹幕显示方法，通过当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置，使得当区域位移矢量的方向与目标弹幕行进方向相同，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的结束位置调整为第二场景显示区域中目标弹幕行进方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图5描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S130的流程图。图5中的步骤S130包括步骤S510和S520。
在步骤S510中，当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
在步骤S520中，当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
例如，当目标弹幕行进方向向左并且区域位移矢量的方向向右时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中右侧的显示区域边界为目标弹幕行进的开始位置。
根据本公开实施例的全景视频弹幕显示方法，通过当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置，使得当区域位移矢量的方向与目标弹幕行进方向相反，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的开始位置调整为第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图6描述根据本公开另一实施例的全景视频弹幕显示方法的流程图。图6中的根据本公开实施例的全景视频弹幕显示方法包括步骤S610和S620。虽然图6未示出，但是图6所示的全景视频弹幕显示方法还可以包括图1所示的步骤S110、S120和S130。
在步骤S610中，确定即将显示的目标弹幕在第一场景显示区域中的初始位置。
即将显示目标弹幕的起始位置可以在第一场景显示区域的某个边缘出现，也可以在第一场景显示区域的任意位置出现。
在步骤S620中，当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置。
根据本公开实施例的全景视频弹幕显示方法，通过确定即将显示的目标弹幕在第一场景显示区域中的初始位置；当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，确定即将显示的目标弹幕在切换后的显示区域中的初始位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则即将显示的目标弹幕与位置改变前的显示区域和位置改变后的显示区域的相对位置关系可以保持不变，因此提升了用户体验。
以下参照图7和图8来描述根据本公开的一个实施例的全景视频弹幕显示技术的应用场景。
图7是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图。图8是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图。
如图7所示，确定当前行进显示的目标弹幕AAAAAA在全景视频700的第一场景显示区域701中的实时位置，其中，目标弹幕AAAAAA在第一场景显示区域701中的实时位置与全景视频700的场景之间具有位置对应关系。
如图8所示，当图7中的第一场景显示区域701在全景视频700中发生位置变化，即，切换到第二场景显示区域801时，获取第一场景显示区域701切换到第二场景显示区域801的区域位移矢量。根据位置对应关系与区域位移矢量，调整目标弹幕AAAAAA在第二场景显示区域801中的实时位置。如图8所示，当区域位移矢量的方向与目标弹幕行进方向相同(例如，均为向左)时，根据位置对应关系与区域位移矢量，判断目标弹幕AAAAAA的内容显示区域是否与第二场景显示区域801具有重叠部分。当目标弹幕AAAAAA的内容显示区域与第二场景显示区域801具有重叠部分时，以第二场景显示区域801中目标弹幕AAAAAA行进方向的显示区域边界为目标弹幕AAAAAA行进的结束位置。
另外，图8中的发生位置变化后的显示区域801中还有刚出现的弹幕BBBBBB。以下描述弹幕BBBBBB作为即将出现的弹幕时发生显示区域的切换的情况。根据本公开实施例的方法，确定即将显示的目标弹幕BBBBBB在第一场景显示区域701中的初始位置。当显示区域从第一场景显示区域701切换到第二场景显示区域801时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕BBBBBB在第二场景显示区域801中的初始位置。
在一个示例中，当用户观看VR全景视频时，根据用户当前观看环绕VR场景时的显示区域，确定即将显示的弹幕的初始位置，以及当前正在屏幕中行进的弹幕的实时位置和结束位置。当用户改变头的朝向使屏幕显示一个新的VR显示区域时，即将显示的弹幕以新的显示区域最右侧作为起点位置开始平移显示，正在平移的弹幕若仍被当前VR显示区域覆盖时，则以新的显示区域的最左侧作为平移结束位置。例如，在图7中的第一场景显示区域701中目标弹幕AAAAAA会平移到第一场景显示区域701的左侧，若用户朝左旋转头的方向使VR屏幕产生了图8的第二场景显示区域801，那么弹幕AAAAAA会以第二场景显示区域801的左侧为平移结束位置，而另一条新产生的弹幕BBBBBB则以第二场景显示区域801的右侧为初始位置。
在另一示例中，若目标弹幕正在从当前最右侧开始出现时用户朝右改变视野范围，即，第二场景显示区域在第一场景显示区域的右侧，则可以将之前未显示的弹幕内容显示出来，若弹幕正在从当前最左侧开始部分消失时用户朝左改变视野范围，即，第二场景显示区域在第一场景显示区域的左侧，由于此时弹幕的结束位置已改变，可以将之前已消失的弹幕内容显示出来。
以下参照图9、图10和图11来描述根据本公开的一个实施例的全景视频弹幕显示技术的应用场景。图9是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图。图10是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图。图11是根据本公开另一示例性实施例示出的一种全景视频弹幕显示方法的应用场景的示意图。
在图9中，第一场景显示区域900中目标弹幕ABCDEFGAB位于初始位置501，椭圆902为全景视频的显示场景中的某个显示内容。若将第一场景显示区域900的位置向右移动一段距离，即，第二场景显示区域位于第一场景显示区域的右侧，则在相关技术中，如图10所示，椭圆902的位置会在第二场景显示区域1000中比在第一场景显示区域900更靠左，而目标弹幕ABCDEFGAB仍然位于初始位置901。在根据本公开实施例的全景视频弹幕显示方法中，如图11所示，目标弹幕ABCDEFGAB的位置会跟着椭圆902的位置一起改变，即，变化到新的位置1101，保持与全景视频场景中的内容，即，椭圆502具有位置对应关系。
与相关技术中直接把弹幕从整个全景视频的场景的最右端作为起点、最左端作为终点相比，根据本公开实施例的全景视频弹幕显示方法可以更好的适配在不同显示区域显示不同的弹幕，因为这种情况下不属于当前显示区域的弹幕不应出现在屏幕中，而属于当前显示区域的弹幕不应出现在其他位置，因此需要对弹幕在不同显示区域下的初始位置和结束位置进行设定，且对于360度的VR场景不存在最右端和最左端。
图12是根据本公开一示例性实施例示出的一种全景视频弹幕显示装置的框图。该装置包括第一确定模块1210、获取模块1220和调整模块1230。
第一确定模块1210被配置为确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系。
在一个实施例中，弹幕的行进方向为从右向左、从左向右、从上到下和从下到上之一。即，弹幕从屏幕的一侧向另一侧行进。弹幕行进方向从显示区域的一侧向相对侧行进，符合用户的观看弹幕的习惯，提升了用户的体验。
在一个实施例中，全景视频是虚拟现实(Virtual Reality，VR)的全景视频。虚拟现实的场景的范围通常超越了用户使用的显示装置，例如，VR头盔、VR眼镜，的显示区域的，因此，用户可以通过转头来改变显示区域的位置，观看新的场景。即，当前行进显示的弹幕在VR全景视频的显示区域中的实时位置与VR全景视频的场景之间有位置对应关系使得前行进显示的弹幕相对于VR全景视频的场景保持位置一致，而与显示区域保持位置一致。因此，弹幕并不会随着显示区域的位置变化而同步变化，保持了当前行进显示的弹幕的稳定，这样就提升了用户的观看体验。
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系。
在一个实施例中，弹幕的行进方向为从右向左、从左向右、从上到下和从下到上之一。即，弹幕从屏幕的一侧向另一侧行进。弹幕行进方向从显示区域的一侧向相对侧行进，符合用户的观看弹幕的习惯，提升了用户的体验。
在一个实施例中，全景视频是虚拟现实(Virtual Reality，VR)的全景视频。虚拟现实的场景的范围通常超越了用户使用的显示装置，例如，VR头盔、VR眼镜，的显示区域的，因此，用户可以通过转头来改变显示区域的位置，观看新的场景。即，当前行进显示的弹幕在VR全景视频的显示区域中的实时位置与VR全景视频的场景之间有位置对应关系使得前行进显示的弹幕相对于VR全景视频的场景保持位置一致，而与显示区域保持位置一致。因此，弹幕并不会随着显示区域的位置变化而同步变化，保持了当前行进显示的弹幕的稳定，这样就提升了用户的观看体验。
在步骤S120中，当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量。
本领域技术人员可以理解，位移矢量是有方向和的大小的物理量，可以用于描述第一场景显示区域变化到第二场景显示区域的具体位置。
在步骤S130中，根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置。
例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从右侧移向左侧。在此情况下，如果位置改变前的显示区域的左侧有已经消失了一半的弹幕，而在位置改变后的显示区域中，消失了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示消失了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
又例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从左侧移向右侧。在此情况下，如果位置改变前的显示区域的右侧有才出现了一半的弹幕，而在位置改变后的显示区域中，出现了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示出现了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
根据本公开实施例的全景视频弹幕显示方法，通过确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则当前行进显示的目标弹幕与位置改变后的显示区域的相对位置关系会变化，而且当前行进显示的目标弹幕与全景视频的场景之间的位置对应关系仍然保持，因此提升了用户体验。
以下参照图2描述根据本公开另一实施例的全景视频弹幕显示方法的流程图。图2中的根据本公开实施例的全景视频弹幕显示方法包括的步骤S120和S130与图1中的步骤S120和S130相同，其区别在于图2中的步骤S110还包括步骤S210。
在步骤S210中，获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
目标弹幕的起始位置可以在第一场景显示区域的某个边缘，也可以在第一场景显示区域的任意位置。根据需要，目标弹幕的前进时间以及前进速度可以随时被获取。
根据本公开实施例的全景视频弹幕显示方法，通过获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，使得在第一场景显示区域切换到第二场景显示区域时，能够基于确定的目标弹幕在全景视频的第一场景显示区域中的实时位置来进一步的建立第一场景显示区域中的实时位置与全景视频的场景之间的位置对应关系，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图3描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S120的流程图。图3中的步骤S120包括步骤S310、S320、S330和S340。
在步骤S310中，选取第一场景显示区域中的位置基准点。
位置基准点可以被看作是显示区域中的某个固定的点，当显示区域切换时，在切换后的显示区域中位置基准点的位置与切换前的显示区域中位置基准点的位置相同。例如，位置基准点可以为矩形显示区域中的任一点，优选地，矩形显示区域的四个顶点中的任一个可以被作为位置基准点。因此，位置基准点可以用于确定在全景视频中第一场景显示区域切换到第二场景显示区域时的具体位置变化。
在步骤S320中，获取位置基准点对应的全景视频中的第一位置坐标。
在步骤S330中，切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标。
由于位置基准点在切换前后的显示区域中位置固定，因此，其在全景视频中的位置坐标就会由于切换而变化。
在步骤S340中，根据第一位置坐标和第二位置坐标，确定区域位移矢量。
根据本公开实施例的全景视频弹幕显示方法，通过选取第一场景显示区域中的位置基准点；获取位置基准点对应的全景视频中的第一位置坐标；切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标；根据第一位置坐标和第二位置坐标，确定区域位移矢量，使得能够通过显示区域中的位置基准点确定显示区域的区域位移矢量，进而能够确定显示区域切换后的显示区域在全景视频中的具体位置变化，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图4描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S130的流程图。图4中的步骤S130包括步骤S410和S420。
在步骤S410中，当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
在步骤S420中，当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
例如，当区域位移矢量的方向与目标弹幕行进方向都是向左时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中左侧的显示区域边界为目标弹幕行进的结束位置。
根据本公开实施例的全景视频弹幕显示方法，通过当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置，使得当区域位移矢量的方向与目标弹幕行进方向相同，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的结束位置调整为第二场景显示区域中目标弹幕行进方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图5描述根据本公开图1所示的全景视频弹幕显示方法中的步骤S130的流程图。图5中的步骤S130包括步骤S510和S520。
在步骤S510中，当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
在步骤S520中，当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
例如，当目标弹幕行进方向向左并且区域位移矢量的方向向右时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中右侧的显示区域边界为目标弹幕行进的开始位置。
根据本公开实施例的全景视频弹幕显示方法，通过当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置，使得当区域位移矢量的方向与目标弹幕行进方向相反，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的开始位置调整为第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图6描述根据本公开另一实施例的全景视频弹幕显示方法的流程图。图6中的根据本公开实施例的全景视频弹幕显示方法包括步骤S610和S620。虽然图6未示出，但是图6所示的全景视频弹幕显示方法还可以包括图1所示的步骤S110、S120和S130。
在步骤S610中，确定即将显示的目标弹幕在第一场景显示区域中的初始位置。
即将显示目标弹幕的起始位置可以在第一场景显示区域的某个边缘出现，也可以在第一场景显示区域的任意位置出现。
在步骤S620中，当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置。
根据本公开实施例的全景视频弹幕显示方法，通过确定即将显示的目标弹幕在第一场景显示区域中的初始位置；当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，确定即将显示的目标弹幕在切换后的显示区域中的初始位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则即将显示的目标弹幕与位置改变前的显示区域和位置改变后的显示区域的相对位置关系可以保持不变，因此提升了用户体验。
获取模块1220被配置为当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量。
本领域技术人员可以理解，位移矢量是有方向和的大小的物理量，可以用于描述第一场景显示区域变化到第二场景显示区域的具体位置。
调整模块1230被配置为根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置。
例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从右侧移向左侧。在此情况下，如果位置改变前的显示区域的左侧有已经消失了一半的弹幕，而在位置改变后的显示区域中，消失了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示消失了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
又例如，当前行进的弹幕是从显示区域的右侧向左侧行进，并且显示区域的位置在全景视频中从左侧移向右侧。在此情况下，如果位置改变前的显示区域的右侧有才出现了一半的弹幕，而在位置改变后的显示区域中，出现了一半的弹幕应该位于显示区域中部，此时，在位置改变后的显示区域的中部将会显示出现了一半的弹幕的全部内容，并且该弹幕的结束位置位于位置改变后的显示区域最左侧。
根据本公开实施例的全景视频弹幕显示装置，通过第一确定模块，被配置为确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，目标弹幕在第一场景显示区域中的实时位置与全景视频的场景之间具有位置对应关系；获取模块，被配置为当显示区域从第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；调整模块，被配置为根据位置对应关系与区域位移矢量，调整目标弹幕在第二场景显示区域中的实时位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，调整目标弹幕在切换后的显示区域中的实时位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则当前行进显示的目标弹幕与位置改变后的显示区域的相对位置关系会变化，而且当前行进显示的目标弹幕与全景视频的场景之间的位置对应关系仍然保持，因此提升了用户体验。
以下参照图13描述根据本公开另一实施例的全景视频弹幕显示装置的框图。图13中的根据本公开实施例的全景视频弹幕显示装置包括的获取模块1220和调制模块1230与图12中的获取模块1220和调制模块1230相同，其区别在于图13中的第一确定模块1210还包括第一确定子模块1310。
第一确定子模块1310被配置为获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
目标弹幕的起始位置可以在第一场景显示区域的某个边缘，也可以在第一场景显示区域的任意位置。根据需要，目标弹幕的前进时间以及前进速度可以随时被获取。
根据本公开实施例的全景视频弹幕显示装置，通过第一确定子模块，被配置为获取目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，使得在第一场景显示区域切换到第二场景显示区域时，能够基于确定的目标弹幕在全景视频的第一场景显示区域中的实时位置来进一步的建立第一场景显示区域中的实时位置与全景视频的场景之间的位置对应关系，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图14描述根据本公开图12所示的全景视频弹幕显示装置中的获取模块1220的框图。图14中的获取模块1220包括选取子模块1410、第一获取子模块1420、第二获取子模块1430和第二确定子模块1440。
选取子模块1410被配置为选取第一场景显示区域中的位置基准点。
位置基准点可以被看作是显示区域中的某个固定的点，当显示区域切换时，在切换后的显示区域中位置基准点的位置与切换前的显示区域中位置基准点的位置相同。例如，矩形显示区域的某个顶点可以作为位置基准点。因此，位置基准点可以用于确定在全景视频中第一场景显示区域切换到第二场景显示区域时的具体位置变化。
第一获取子模块1420被配置为获取位置基准点对应的全景视频中的第一位置坐标。
第二获取子模块1430被配置为切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标。
由于位置基准点在切换前后的显示区域中位置固定，因此，其在全景视频中的位置坐标就会由于切换而变化。
第二确定子模块1440被配置为根据第一位置坐标和第二位置坐标，确定区域位移矢量。
根据本公开实施例的全景视频弹幕显示装置，通过选取子模块，被配置为选取第一场景显示区域中的位置基准点；第一获取子模块，被配置获取位置基准点对应的全景视频中的第一位置坐标；第二获取子模块，被配置为切换到第二场景显示区域后，获取位置基准点对应的全景视频中的第二位置坐标；第二确定子模块，被配置为根据第一位置坐标和第二位置坐标，确定区域位移矢量，使得能够通过显示区域中的位置基准点确定显示区域的区域位移矢量，进而能够确定显示区域切换后的显示区域在全景视频中的具体位置变化，进而能够基于位置对应关系以及区域位移矢量调整目标弹幕在第二场景显示区域中的实时位置，从而保证了用户的观看体验。
以下参照图15描述根据本公开图12所示的全景视频弹幕显示装置中的调整模块1230的框图。图15中的调整模块1230包括第一判断子模块1510和第一位置调整子模块1520。
第一判断子模块1510被配置为当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
第一位置调整子模块1520被配置为当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置。
例如，当区域位移矢量的方向与目标弹幕行进方向都是向左时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中左侧的显示区域边界为目标弹幕行进的结束位置。
根据本公开实施例的全景视频弹幕显示装置，通过第一判断子模块，被配置为当区域位移矢量的方向与目标弹幕行进方向相同时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；第一位置调整子模块，被配置为当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的显示区域边界为目标弹幕行进的结束位置，使得当区域位移矢量的方向与目标弹幕行进方向相同，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的结束位置调整为第二场景显示区域中目标弹幕行进方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图16描述根据本公开图12所示的全景视频弹幕显示装置中的调整模块1230的框图。图16中的调整模块1230包括第二判断子模块1610和第二位置调整子模块1620。
第二判断子模块1610被配置为当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
区域位移矢量可以表示第二场景显示区域相对于第一场景显示区域的移动方向和距离，因此，可以用于判断与全景视频的场景之间具有位置对应关系的目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分。
第二位置调整子模块1620被配置为当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
在显示区域切换后，如果目标弹幕的内容显示区域与切换后的显示区域有重叠部分，即，目标弹幕至少部分存在于切换后的显示区域，则以切换后的显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置。
例如，当目标弹幕行进方向向左并且区域位移矢量的方向向右时，根据位置对应关系与区域位移矢量，判断出目标弹幕的内容显示区域与第二场景显示区域具有重叠部分。此时，以第二场景显示区域中右侧的显示区域边界为目标弹幕行进的开始位置。
根据本公开实施例的全景视频弹幕显示装置，通过第二判断子模块，被配置为当区域位移矢量的方向与目标弹幕行进方向相反时，根据位置对应关系与区域位移矢量，判断目标弹幕的内容显示区域是否与第二场景显示区域具有重叠部分；第二位置调整子模块，被配置为当目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，以第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界为目标弹幕行进的开始位置，使得当区域位移矢量的方向与目标弹幕行进方向相反，并且目标弹幕的内容显示区域与第二场景显示区域具有重叠部分时，将目标弹幕行进的开始位置调整为第二场景显示区域中目标弹幕行进方向的反方向的显示区域边界，即，使目标弹幕的行进行程与第二场景显示区域相符合，从而保证了用户的观看体验。
以下参照图17描述根据本公开另一实施例的全景视频弹幕显示装置的框图。图17中的根据本公开实施例的全景视频弹幕显示装置包括第二确定模块1710和第三确定模块1720。虽然图17未示出，但是图17所示的全景视频弹幕显示装置还可以包括图12所示的第一确定模块1210、获取模块1220和调整模块1230。
第二确定模块1710被配置为确定即将显示的目标弹幕在第一场景显示区域中的初始位置。
即将显示目标弹幕的起始位置可以在第一场景显示区域的某个边缘出现，也可以在第一场景显示区域的任意位置出现。
第三确定模块1720被配置为当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置。
根据本公开实施例的全景视频弹幕显示装置，通过第二确定模块，被配置为确定即将显示的目标弹幕在第一场景显示区域中的初始位置；第三确定模块，被配置为当显示区域从第一场景显示区域切换到第二场景显示区域时，根据位置对应关系与区域位移矢量，确定即将显示的目标弹幕在第二场景显示区域中的初始位置，使得在全景视频的显示区域发生位置变化时，根据目标弹幕与场景的位置对应关系以及切换后的显示区域的区域位移矢量，确定即将显示的目标弹幕在切换后的显示区域中的初始位置。因此，在本公开的全景视频弹幕显示技术中，如果显示区域会发生位置改变，则即将显示的目标弹幕与位置改变前的显示区域和位置改变后的显示区域的相对位置关系可以保持不变，因此提升了用户体验。
本公开实施例提供了一种全景视频弹幕显示装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
图18是根据本公开一示例性实施例示出的另一种全景视频弹幕显示装置的框图。例如，全景视频弹幕显示装置1800可以被提供为一服务器。参照图18，全景视频弹幕显示装置1800包括处理组件1822，其进一步包括一个或多个处理器，以及由存储器1832所代表的存储器资源，用于存储可由处理组件1822执行的指令，例如应用程序。存储器1832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1822被配置为执行指令，以执行上述方法。
全景视频弹幕显示装置1800还可以包括一个电源组件1826被配置为执行模块1800的电源管理，一个有线或无线网络接口1850被配置为将装置1800连接到网络，和一个输入输出(I/O)接口1858。装置1800可以操作基于存储在存储器1832的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种全景视频弹幕显示方法，其特征在于，包括：
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
2.根据权利要求1所述的方法，其特征在于，所述确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，包括：
获取所述目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
3.根据权利要求1所述的方法，其特征在于，所述获取第一场景显示区域切换到第二场景显示区域的区域位移矢量，包括：
选取所述第一场景显示区域中的位置基准点；
获取所述位置基准点对应的全景视频中的第一位置坐标；
切换到第二场景显示区域后，获取所述位置基准点对应的全景视频中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，确定所述区域位移矢量。
4.根据权利要求1或3所述的方法，其特征在于，根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置，包括：
当所述区域位移矢量的方向与所述目标弹幕行进方向相同时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的显示区域边界为所述目标弹幕行进的结束位置。
5.根据权利要求1或3所述的方法，其特征在于，根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置，包括：
当所述区域位移矢量的方向与所述目标弹幕行进方向相反时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的反方向的显示区域边界为所述目标弹幕行进的开始位置。
6.根据权利要求1所述的方法，其特征在于，还包括：
确定即将显示的目标弹幕在所述第一场景显示区域中的初始位置；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，根据所述位置对应关系与所述区域位移矢量，确定所述即将显示的目标弹幕在所述第二场景显示区域中的初始位置。
7.一种全景视频弹幕显示装置，其特征在于，包括：
第一确定模块，被配置为确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
获取模块，被配置为当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
调整模块，被配置为根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：
第一确定子模块，被配置为获取所述目标弹幕的起始位置、前进时间以及前进速度，确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置。
9.根据权利要求7所述的装置，其特征在于，所述获取模块包括：
选取子模块，被配置为选取所述第一场景显示区域中的位置基准点；
第一获取子模块，被配置为获取所述位置基准点对应的全景视频中的第一位置坐标；
第二获取子模块，被配置为切换到第二场景显示区域后，获取所述位置基准点对应的全景视频中的第二位置坐标；
第二确定子模块，被配置为根据所述第一位置坐标和第二位置坐标，确定所述区域位移矢量。
10.根据权利要求7或9所述的装置，其特征在于，所述调整模块包括：
第一判断子模块，被配置为当所述区域位移矢量的方向与所述目标弹幕行进方向相同时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
第一位置调整子模块，被配置为当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的显示区域边界为所述目标弹幕行进的结束位置。
11.根据权利要求7或9所述的装置，其特征在于，所述调整模块包括：
第二判断子模块，被配置为当所述区域位移矢量的方向与所述目标弹幕行进方向相反时，根据所述位置对应关系与所述区域位移矢量，判断所述目标弹幕的内容显示区域是否与所述第二场景显示区域具有重叠部分；
第二位置调整子模块，被配置为当所述目标弹幕的内容显示区域与所述第二场景显示区域具有重叠部分时，以所述第二场景显示区域中所述目标弹幕行进方向的反方向的显示区域边界为所述目标弹幕行进的开始位置。
12.根据权利要求7所述的装置，其特征在于，还包括：
第二确定模块，被配置为确定即将显示的目标弹幕在所述第一场景显示区域中的初始位置；
第三确定模块，被配置为当显示区域从所述第一场景显示区域切换到第二场景显示区域时，根据所述位置对应关系与所述区域位移矢量，确定所述即将显示的目标弹幕在所述第二场景显示区域中的初始位置。
13.一种全景视频弹幕显示装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
确定当前行进显示的目标弹幕在全景视频的第一场景显示区域中的实时位置，其中，所述目标弹幕在所述第一场景显示区域中的实时位置与所述全景视频的场景之间具有位置对应关系；
当显示区域从所述第一场景显示区域切换到第二场景显示区域时，获取第一场景显示区域切换到第二场景显示区域的区域位移矢量；
根据所述位置对应关系与所述区域位移矢量，调整所述目标弹幕在所述第二场景显示区域中的实时位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610965426.XA CN106454387B (zh) | 2016-10-31 | 2016-10-31 | 全景视频弹幕显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610965426.XA CN106454387B (zh) | 2016-10-31 | 2016-10-31 | 全景视频弹幕显示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106454387A true CN106454387A (zh) | 2017-02-22 |
| CN106454387B CN106454387B (zh) | 2020-02-07 |
Family
ID=58180379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610965426.XA Active CN106454387B (zh) | 2016-10-31 | 2016-10-31 | 全景视频弹幕显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106454387B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878786A (zh) * | 2017-03-07 | 2017-06-20 | 北京小米移动软件有限公司 | Vr视频中弹幕的显示方法和装置 |
| CN108337548A (zh) * | 2018-01-24 | 2018-07-27 | 优酷网络技术（北京）有限公司 | 基于全景视频的弹幕表情的展示控制方法及装置 |
| CN110113651A (zh) * | 2019-04-12 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种弹幕回复方法、装置及电子设备 |
| CN113542846A (zh) * | 2020-04-21 | 2021-10-22 | 上海哔哩哔哩科技有限公司 | Ar弹幕显示方法及装置 |
| WO2023103843A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 自由视角视频的弹幕的显示方法、装置及系统 |
| WO2023231666A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京字跳网络技术有限公司 | 信息交互方法、装置、电子设备和存储介质 |
| EP4210337A4 (en) * | 2020-09-22 | 2024-02-21 | Huawei Tech Co Ltd | METHOD FOR READING COMMENTS ON SCREEN, ASSOCIATED DEVICE AND STORAGE MEDIUM |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105828164A (zh) * | 2016-04-28 | 2016-08-03 | 武汉斗鱼网络科技有限公司 | 一种避免弹幕重叠显示的方法及系统 |
| CN105916001A (zh) * | 2016-05-12 | 2016-08-31 | 乐视控股（北京）有限公司 | 弹幕显示方法和装置 |
| CN105959814A (zh) * | 2016-06-01 | 2016-09-21 | 上海幻电信息科技有限公司 | 基于场景识别的视频弹幕显示方法及其显示装置 |
-
2016
- 2016-10-31 CN CN201610965426.XA patent/CN106454387B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105828164A (zh) * | 2016-04-28 | 2016-08-03 | 武汉斗鱼网络科技有限公司 | 一种避免弹幕重叠显示的方法及系统 |
| CN105916001A (zh) * | 2016-05-12 | 2016-08-31 | 乐视控股（北京）有限公司 | 弹幕显示方法和装置 |
| CN105959814A (zh) * | 2016-06-01 | 2016-09-21 | 上海幻电信息科技有限公司 | 基于场景识别的视频弹幕显示方法及其显示装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878786A (zh) * | 2017-03-07 | 2017-06-20 | 北京小米移动软件有限公司 | Vr视频中弹幕的显示方法和装置 |
| EP3373590A1 (en) * | 2017-03-07 | 2018-09-12 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus for displaying a bullet curtain in a vr video |
| US10116985B2 (en) | 2017-03-07 | 2018-10-30 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus for displaying a bullet curtain in a VR video |
| CN106878786B (zh) * | 2017-03-07 | 2020-03-03 | 北京小米移动软件有限公司 | Vr视频中弹幕的显示方法和装置 |
| CN108337548A (zh) * | 2018-01-24 | 2018-07-27 | 优酷网络技术（北京）有限公司 | 基于全景视频的弹幕表情的展示控制方法及装置 |
| CN110113651A (zh) * | 2019-04-12 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种弹幕回复方法、装置及电子设备 |
| CN113542846A (zh) * | 2020-04-21 | 2021-10-22 | 上海哔哩哔哩科技有限公司 | Ar弹幕显示方法及装置 |
| CN113542846B (zh) * | 2020-04-21 | 2022-12-23 | 上海哔哩哔哩科技有限公司 | Ar弹幕显示方法及装置 |
| EP4210337A4 (en) * | 2020-09-22 | 2024-02-21 | Huawei Tech Co Ltd | METHOD FOR READING COMMENTS ON SCREEN, ASSOCIATED DEVICE AND STORAGE MEDIUM |
| WO2023103843A1 (zh) * | 2021-12-10 | 2023-06-15 | 华为技术有限公司 | 自由视角视频的弹幕的显示方法、装置及系统 |
| WO2023231666A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京字跳网络技术有限公司 | 信息交互方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106454387B (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454387A (zh) | 全景视频弹幕显示方法及装置 | |
| JP3948489B2 (ja) | 輝度フィルターの作成方法、および仮想空間生成システム | |
| CN103177440A (zh) | 生成图像深度图的系统和方法 | |
| CN102447925B (zh) | 一种虚拟视点图像合成方法及装置 | |
| CN105931188A (zh) | 一种基于均值去重的图像拼接方法 | |
| CN104796594A (zh) | 一种预览界面特殊效果即时呈现方法及终端设备 | |
| CN104954769A (zh) | 一种浸入式超高清视频处理系统及方法 | |
| KR102551239B1 (ko) | 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템 | |
| JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
| CN105681686A (zh) | 一种图像处理方法和系统 | |
| US20120170832A1 (en) | Depth map generation module for foreground object and method thereof | |
| JP2015008461A (ja) | ビデオにおいて仮想オブジェクトを挿入する方法及び装置並びにコンピュータ可読媒体 | |
| US11501680B2 (en) | Intra-field sub code timing in field sequential displays | |
| JP2022515798A (ja) | 照明レンダリング方法、装置、電子装置及びコンピュータプログラム | |
| CN105450946A (zh) | 一种图像处理方法、装置及计算装置 | |
| CN106251348A (zh) | 一种面向深度相机的自适应多线索融合背景减除方法 | |
| CN105488760A (zh) | 基于流场的虚拟图像拼接方法 | |
| CN106937103B (zh) | 一种图像处理方法及装置 | |
| CN115423812A (zh) | 一种全景监控平面化展示方法 | |
| CN106200972A (zh) | 一种调整虚拟现实场景参数的方法及装置 | |
| CN105915872A (zh) | 图像的输出方法及投影装置 | |
| CN106200973A (zh) | 一种基于外部图像播放虚拟现实文件的方法及装置 | |
| CN109242761A (zh) | 一种图片显示方法及装置 | |
| CN109144448A (zh) | 一种拼接大屏幕的图像显示方法及其装置 | |
| CN105224570B (zh) | 一种兴趣点的显示方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |