CN108600858A - 一种同步显示ar信息的视频播放方法 - Google Patents

一种同步显示ar信息的视频播放方法 Download PDF

Info

Publication number
CN108600858A
CN108600858A CN201810483025.XA CN201810483025A CN108600858A CN 108600858 A CN108600858 A CN 108600858A CN 201810483025 A CN201810483025 A CN 201810483025A CN 108600858 A CN108600858 A CN 108600858A
Authority
CN
China
Prior art keywords
information
video
frame
file
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810483025.XA
Other languages
English (en)
Other versions
CN108600858B (zh
Inventor
李介彬
黄仝宇
汪刚
宋兵
宋一兵
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201810483025.XA priority Critical patent/CN108600858B/zh
Publication of CN108600858A publication Critical patent/CN108600858A/zh
Priority to US16/613,413 priority patent/US20210248380A1/en
Priority to EP19749171.5A priority patent/EP3595323A4/en
Priority to PCT/CN2019/078727 priority patent/WO2019218770A1/zh
Application granted granted Critical
Publication of CN108600858B publication Critical patent/CN108600858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Abstract

本发明涉及一种同步显示AR信息的视频播放方法，包括以下步骤：通过AR摄像机拍摄含有AR信息的视频码流；从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；将AR信息提取出来后的视频码流存储为视频文件；将字幕文件和视频文件合并为通用视频文件；在第三方播放器中将通用视频文件解析播放。本发明可以使得AR摄像机所拍摄的含有AR信息的视频可以在第三方播放器中解析，并在视频播放过程中可以同步显示AR信息。

Description

一种同步显示AR信息的视频播放方法
技术领域
本发明涉及增强现实视频的播放技术，具体涉及一种同步显示AR信息的视频播放方法。
背景技术
增强现实技术(Augmented Reality，简称AR)是指一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术。AR摄像机所拍摄的视频码流中会加上AR信息，AR信息是指在在目标物对应位置上的标签，标签上记录了目标物的自身属性，如名称、地理位置、介绍、特性等。在播放视频码流的过程中需要解析出AR信息，使AR信息可以与视频播放同步显示，但是现有的通用第三方播放器只能解析音频文件、视频文件、字幕文件，不能解析AR信息，因此需要寻找将AR摄像机所拍摄的视频在通用第三方播放器中播放的方法。
发明内容
本发明为了克服上述现有技术所述的至少一种缺陷(不足)，提供一种同步显示AR信息的视频播放方法，使得AR摄像机所拍摄的含有AR信息的视频可以在第三方播放器中解析，并在视频播放过程中可以同步显示AR信息。
为实现本发明的目的，采用以下技术方案予以实现：
一种同步显示AR信息的视频播放方法，包括以下步骤：
S1.通过AR摄像机拍摄含有AR信息的视频码流；
S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；
S3.将AR信息提取出来后的视频码流存储为视频文件；
S4.将字幕文件和视频文件合并为通用视频文件；
S5.在第三方播放器中将通用视频文件解析播放。
AR摄像机在拍摄视频时会将AR信息存储在视频码流中，在第三方播放器中对视频码流解析播放之前，因为现有常用的第三方播放器不能解析视频码流中的AR信息，所以需要对视频码流中的AR信息进行提取分离，具体的提取过程是逐帧读取视频码流，从每一帧视频码流中提取AR信息，AR信息提取后剩下的是现有常用的第三方播放器可以解析播放的视频码流。在从视频码流中逐帧提取AR信息的过程中生成字幕信息，并且将字幕信息存储为字幕文件，将AR信息提取后剩下的视频码流存储为视频文件，将字幕文件与视频文件合并为通用视频文件，此时即可以在第三方播放器中解析播放该通用视频文件，实现在视频播放的过程中同步显示AR信息的播放效果。
进一步地，所述字幕信息包括各个AR信息的显示时间、显示坐标、显示内容。
在实现视频播放的过程中同步显示AR信息时，需要知道AR信息具体在视频播放的哪个时间点或时间段出现，也需要知道AR信息具体在画面中的哪个位置出现，还需要知道AR信息具体显示的内容，因此在从视频码流中逐帧提取AR信息的过程中所生成的字幕信息需要包括各个AR信息的显示时间、显示坐标和显示内容。
进一步地，生成字幕信息中某AR信息的显示时间具体为：若该AR信息在第V1帧视频出现，在第V2帧视频消失，第V1帧视频的时间为t1，第V2帧视频的时间为t2，第1帧视频的时间为t0，则该AR信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。
在逐帧读取视频码流的过程中，从第V1帧视频开始可以提取到某AR信息，直到第V2帧视频为止，该AR信息的出现时间为从第V1帧视频的时间t1到第V2帧视频的时间t2，第1帧视频的时间为t0，因此该AR信息的显示开始时间t＝t1–t0，结束时间t为t2-t0。
进一步地，生成字幕信息中某AR信息的显示坐标具体为：根据拍摄每一帧视频时AR摄像机的参数和每一帧视频中所出现的该AR信息对应的目标物三维坐标(p，t)，计算出该AR信息的显示坐标(Δx，Δy)；
p、t分别是该AR信息在三维球面极坐标系下的水平角度和垂直角度，Δx、Δy分别是该AR信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。
当AR摄像机转动或者变倍时，在视频播放时目标物在画面上的位置会改变，而AR信息的显示位置需要跟随目标物在画面上的移动而改变，这时需要重新计算AR信息的显示坐标，因此在逐帧提取视频码流的过程中，逐帧获取AR摄像机的参数和所出现的AR信息对应的目标物三维坐标(p，t)，根据参数和(p，t)计算每一帧视频中AR信息的显示坐标(Δx，Δy)。
进一步地，所述参数包括AR摄像机的镜头水平角度P、镜头垂直夹角T、水平视场角V，采用公式和公式△p＝p-P计算出AR信息的显示坐标(Δx，Δy)，其中tan、sin、cos分别表示正切函数、正弦函数、余弦函数，在通用视频文件解析播放时画面的分辨率是W×H，R是球面半径且
采用上述公式，可以在逐帧读取视频码流的过程中根据AR摄像机在拍摄每一帧视频时的镜头水平角度P、镜头垂直夹角T、水平视场角V快速地计算出每一帧视频中目标物在画面上的位置，也即可以快速地计算出每一帧视频中AR信息在画面上的显示坐标(Δx，Δy)。这里需要说明的是AR信息的目标物三维坐标(p，t)是在世界坐标下的。
另外，公式还可以化为如下公式：
进一步地，生成字幕信息中某AR信息的显示内容具体为该AR信息的文本内容。AR信息的文本内容记录了目标物的自身属性，如名称、地理位置、介绍、特性等。
进一步地，所述步骤S2具体为：根据AR信息的显示内容不同和/或AR信息对应的目标物不同，按照设定的规则分成不同类型的AR信息，从视频码流中逐帧提取不同类型的AR信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；所述步骤S4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。
不同用户在观看同一个视频时，所关注的目标物是不同的，所希望看到AR信息的显示内容也是不同的。例如，在一段播放附近街景的视频中，学生会更加关注附近街景中出现的文具店、玩具店、零食店等，并且会更加希望看到关于这些店铺售卖商品的介绍等，而餐厅老板会更加关注附近街景中出现的餐饮店，并且会更加希望看到关于这些餐饮店的主营菜品等。因此，在逐帧读取视频码流的过程中，需要根据显示内容的不同和/或目标物的不同将AR信息分成不同的类型，并且分别储存在不同的字幕文件中，灵活地、更有针对性地根据不同用户的需求进行字幕文件的筛选，再将筛选出来的字幕文件与视频文件合并成通用视频文件。
进一步地，所述步骤S5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。
在通用视频文件解析播放时，如果有过多的字幕文件与视频文件一起解析出来，画面中则会出现过多的AR信息，导致用户在观看视频时感到眼花缭乱，甚至会出现AR信息占满画面而使用户无法观看视频的情况。因此，需要根据用户的请求，灵活地、更有针对性地对字幕文件进行筛选，再将筛选出来的字幕文件与视频文件解析播放。
与现有技术相比，本发明技术方案的有益效果是：
(1)通过逐帧提取AR摄像机所拍摄的视频码流中的AR信息，将提取出来的AR信息存储为字幕文件，提取AR信息后的视频码流存储为视频文件，并将字幕文件与视频文件合并为可供第三方播放器解析播放的通用视频文件，可以使得AR摄像机所拍摄的含有AR信息的视频在通用的第三方播放器中播放，并且在视频播放过程中同步显示AR信息；
(2)根据AR信息的显示内容不同和AR信息对应目标物的不同，将AR信息进行分类，不同类型的AR信息存储为不同的字幕文件，可以使得在视频播放时，可以灵活地、有针对性地选择若干种类型的AR信息同步显示。
附图说明
图1是本发明实施例的方法流程图。
图2是本发明实施例在通用视频文件播放过程中的画面示意图。
图3是本发明实施例在筛选字幕文件的示意图。
图4是本发明实施例在筛选字幕文件后的画面示意图。
图5是本发明实施例在筛选字幕文件后的另一个画面示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，一种同步显示AR信息的视频播放方法，包括以下步骤：
S1.通过AR摄像机拍摄含有AR信息的视频码流；
S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；
S3.将AR信息提取出来后的视频码流存储为视频文件；
S4.将字幕文件和视频文件合并为通用视频文件；
S5.在第三方播放器中将通用视频文件解析播放。
AR摄像机在拍摄视频时会将AR信息存储在视频码流中，在第三方播放器中对视频码流解析播放之前，因为现有常用的第三方播放器不能解析视频码流中的AR信息，所以需要对视频码流中的AR信息进行提取分离，具体的提取过程是逐帧读取视频码流，从每一帧视频码流中提取AR信息，AR信息提取后剩下的是现有常用的第三方播放器可以解析播放的视频码流。在从视频码流中逐帧提取AR信息的过程中生成字幕信息，并且将字幕信息存储为字幕文件，将AR信息提取后剩下的视频码流存储为视频文件，将字幕文件与视频文件合并为通用视频文件，此时即可以在第三方播放器中解析播放该通用视频文件，实现在视频播放的过程中同步显示AR信息的播放效果。
在本实施例中，字幕信息包括各个AR信息的显示时间、显示坐标、显示内容。
在实现视频播放的过程中同步显示AR信息时，需要知道AR信息具体在视频播放的哪个时间点或时间段出现，也需要知道AR信息具体在画面中的哪个位置出现，还需要知道AR信息具体显示的内容，因此在从视频码流中逐帧提取AR信息的过程中所生成的字幕信息需要包括各个AR信息的显示时间、显示坐标和显示内容。
在本实施例中，生成字幕信息中某AR信息的显示时间具体为：若该AR信息在第V1帧视频出现，在第V2帧视频消失，第V1帧视频的时间为t1，第V2帧视频的时间为t2，第1帧视频的时间为t0，则该AR信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。
在逐帧读取视频码流的过程中，从第V1帧视频开始可以提取到某AR信息，直到第V2帧视频为止，也即该AR信息的出现时间为从第V1帧视频的时间t1到第V2帧视频的时间t2，第1帧视频的时间为t0，因此该AR信息的显示开始时间t＝t1–t0，结束时间t为t2-t0。
在本实施例中，生成字幕信息中某AR信息的显示坐标具体为：根据拍摄每一帧视频时AR摄像机的参数和每一帧视频中所出现的该AR信息对应的目标物三维坐标(p，t)，计算出该AR信息的显示坐标(Δx，Δy)；
p、t分别是该AR信息在三维球面极坐标系下的水平角度和垂直角度，Δx、Δy分别是该AR信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。
当AR摄像机转动或者变倍时，在视频播放时目标物在画面上的位置会改变，而AR信息的显示位置需要跟随目标物在画面上的移动而改变，这时需要重新计算AR信息的显示坐标，因此在逐帧提取视频码流的过程中，逐帧获取AR摄像机的参数和所出现的AR信息对应的目标物三维坐标(p，t)，根据参数和(p，t)计算每一帧视频中AR信息的显示坐标(Δx，Δy)。
在本实施例中，参数包括AR摄像机的镜头水平角度P、镜头垂直夹角T、水平视场角V，采用公式和公式△p＝p-P计算出AR信息的显示坐标(Δx，Δy)，在通用视频文件解析播放时画面的分辨率是W×H，R是球面半径且
采用上述公式，可以在逐帧读取视频码流的过程中根据AR摄像机在拍摄每一帧视频时的镜头水平角度P、镜头垂直夹角T、水平视场角V快速地计算出每一帧视频中目标物在画面上的位置，也即可以快速地计算出每一帧视频中AR信息在画面上的显示坐标(Δx，Δy)。这里需要说明的是AR信息的目标物三维坐标(p，t)是在世界坐标下的。
这里需要说明的是AR信息的目标物三维坐标(p，t)是在世界坐标下的。
另外，公式还可以化为如下公式：
在本实施例中，生成字幕信息中某AR信息的显示内容具体为该AR信息的文本内容。AR信息的文本内容记录了目标物的自身属性，如名称、地理位置、介绍、特性等。
如图2所示，某通用视频文件在第三方视频播放器中解析出字幕文件和音视频文件，字幕文件和视频文件同步播放，从而实现在视频播放过程中同步显示AR信息，视频文件在播放时在画面上显示了AR摄像机所拍摄的建筑群，字幕文件播放时在对应建筑上显示了建筑的名称，分别为第二少年宫、西塔、花城广场、体育中心、中信大厦、图书馆、东塔、凯华国际中心、环球都会广场。
在本实施例中，步骤S2具体为：根据AR信息的显示内容不同和/或AR信息对应的目标物不同，按照设定的规则分成不同类型的AR信息，从视频码流中逐帧提取不同类型的AR信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；步骤S4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。
不同用户在观看同一个视频时，所关注的目标物是不同的，所希望看到AR信息的显示内容也是不同的。例如，在一段播放附近街景的视频中，学生会更加关注附近街景中出现的文具店、玩具店、零食店等，并且会更加希望看到关于这些店铺售卖商品的介绍等，而餐厅老板会更加关注附近街景中出现的餐饮店，并且会更加希望看到关于这些餐饮店的主营菜品等。因此，在逐帧读取视频码流的过程中，需要根据显示内容的不同和/或目标物的不同将AR信息分成不同的类型，并且分别储存在不同的字幕文件中，灵活地、更有针对性地根据不同用户的需求进行字幕文件的筛选，再将筛选出来的字幕文件与视频文件合并成通用视频文件。
在本实施例中，步骤S5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。
在通用视频文件解析播放时，如果有过多的字幕文件与视频文件一起解析出来，画面中则会出现过多的AR信息，导致用户在观看视频时感到眼花缭乱，甚至会出现AR信息占满画面而使用户无法观看视频的情况。因此，需要根据用户的请求，灵活地、更有针对性地对字幕文件进行筛选，再将筛选出来的字幕文件与视频文件解析播放。
在本实施例的具体实施过程中，在逐帧读取视频码流时可以根据建筑的功能，将图2中所显示的AR信息进行分类，所生成的字幕信息分别存储为不同的字幕文件。例如：将第二少年宫、花城广场、体育中心、图书馆归为文体类，并存储为第一字幕文件，将西塔、中信大厦、东塔、凯华国际中心、环球都会广场归为商业类，存储为第二字幕文件。
如图3所示，用户可以提出请求对所需要解析播放的字幕文件进行筛选，选择第一字幕文件(对应的选项为“*Text-文体”)或者第二字幕文件(对应的选项为“*Text-商业”)或者全部字幕文件(对应的选项为“*Text-all”)与视频文件一起解析播放。
当选择全部字幕文件与视频文件一起解析播放时，画面应如图2所示，所有的AR信息均显示，也即显示了所有建筑的名称。
当选择第一字幕文件与视频文件一起解析播放时，画面应如图4所示，仅仅显示了属于文体类的AR信息：第二少年宫、花城广场、体育中心、图书馆。
当选择第二字幕文件与视频文件一起解析播放时，画面应如图5所示，仅仅显示了属于商业类的AR信息：西塔、中信大厦、东塔、凯华国际中心、环球都会广场。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种同步显示AR信息的视频播放方法，其特征在于，包括以下步骤：
S1.通过AR摄像机拍摄含有AR信息的视频码流；
S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；
S3.将AR信息提取出来后的视频码流存储为视频文件；
S4.将字幕文件和视频文件合并为通用视频文件；
S5.在第三方播放器中将通用视频文件解析播放。
2.根据权利要求1所述的同步显示AR信息的视频播放方法，其特征在于，所述字幕信息包括各个AR信息的显示时间、显示坐标、显示内容。
3.根据权利要求2所述的同步显示AR信息的视频播放方法，其特征在于，生成字幕信息中某AR信息的显示时间具体为：若该AR信息在第V1帧视频出现，在第V2帧视频消失，第V1帧视频的时间为t1，第V2帧视频的时间为t2，第1帧视频的时间为t0，则该AR信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。
4.根据权利要求2所述的同步显示AR信息的视频播放方法，其特征在于，生成字幕信息中某AR信息的显示坐标具体为：根据拍摄每一帧视频时AR摄像机的参数和每一帧视频中所出现的该AR信息对应的目标物三维坐标(p，t)，计算出该AR信息的显示坐标(Δx，Δy)；
p、t分别是该AR信息在三维球面极坐标系下的水平角度和垂直角度，Δx、Δy分别是该AR信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。
5.根据权利要求4所述的同步显示AR信息的视频播放方法，其特征在于，所述参数包括AR摄像机的镜头水平角度P、镜头垂直夹角T、水平视场角V，采用公式和公式△p＝p-P计算出AR信息的显示坐标(Δx，Δy)，其中tan、sin、cos分别表示正切函数、正弦函数、余弦函数，在通用视频文件解析播放时画面的分辨率是W×H，R是球面半径且
6.根据权利要求2所述的同步显示AR信息的视频播放方法，其特征在于，生成字幕信息中某AR信息的显示内容具体为该AR信息的文本内容。
7.根据权利要求2-6任一项所述的同步显示AR信息的视频播放方法，其特征在于，所述步骤S2具体为：根据AR信息的显示内容不同和/或AR信息对应的目标物不同，按照设定的规则分成不同类型的AR信息，从视频码流中逐帧提取不同类型的AR信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；所述步骤S4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。
8.根据权利要求7所述的同步显示AR信息的视频播放方法，其特征在于，所述步骤S5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。
CN201810483025.XA 2018-05-18 2018-05-18 一种同步显示ar信息的视频播放方法 Active CN108600858B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810483025.XA CN108600858B (zh) 2018-05-18 2018-05-18 一种同步显示ar信息的视频播放方法
US16/613,413 US20210248380A1 (en) 2018-05-18 2019-03-19 Video playing method for synchronously displaying ar information
EP19749171.5A EP3595323A4 (en) 2018-05-18 2019-03-19 VIDEO PLAYBACK METHOD FOR SYNCHRONOUS DISPLAY OF AR INFORMATION
PCT/CN2019/078727 WO2019218770A1 (zh) 2018-05-18 2019-03-19 一种同步显示ar信息的视频播放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810483025.XA CN108600858B (zh) 2018-05-18 2018-05-18 一种同步显示ar信息的视频播放方法

Publications (2)

Publication Number Publication Date
CN108600858A true CN108600858A (zh) 2018-09-28
CN108600858B CN108600858B (zh) 2020-08-04

Family

ID=63631902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810483025.XA Active CN108600858B (zh) 2018-05-18 2018-05-18 一种同步显示ar信息的视频播放方法

Country Status (4)

Country Link
US (1) US20210248380A1 (zh)
EP (1) EP3595323A4 (zh)
CN (1) CN108600858B (zh)
WO (1) WO2019218770A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109151A (zh) * 2019-04-11 2019-08-09 西安天伟电子系统工程有限公司 空降物资搜寻识别方法、系统、装置、设备和存储介质
WO2019218770A1 (zh) * 2018-05-18 2019-11-21 高新兴科技集团股份有限公司 一种同步显示ar信息的视频播放方法
CN112509147A (zh) * 2020-11-27 2021-03-16 武汉全乐科技有限公司 一种立体增强现实显示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709342B (zh) * 2020-06-09 2023-05-16 北京字节跳动网络技术有限公司 字幕分割方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164163A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统
CN102413350A (zh) * 2011-11-30 2012-04-11 四川长虹电器股份有限公司 蓝光3d视频处理方法
JP2013207454A (ja) * 2012-03-28 2013-10-07 Pioneer Electronic Corp 受信装置、送信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体
US20140245145A1 (en) * 2013-02-26 2014-08-28 Alticast Corporation Method and apparatus for playing contents
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN106162204A (zh) * 2016-07-06 2016-11-23 传线网络科技（上海）有限公司 全景视频生成、播放方法、装置及系统
CN106375830A (zh) * 2016-09-21 2017-02-01 杭州当虹科技有限公司 虚拟现实视频上叠加跟随视角的图文和视频内容的方法
CN106851398A (zh) * 2017-03-10 2017-06-13 北京小鸟看看科技有限公司 全景视频文件的存储方法、播放方法、存储装置和播放器
CN107484039A (zh) * 2017-08-22 2017-12-15 四川长虹电器股份有限公司 一种流媒体点播seek画面快速显示的方法
CN107872731A (zh) * 2017-11-22 2018-04-03 三星电子（中国）研发中心 全景视频播放方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600858B (zh) * 2018-05-18 2020-08-04 高新兴科技集团股份有限公司 一种同步显示ar信息的视频播放方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164163A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统
CN102413350A (zh) * 2011-11-30 2012-04-11 四川长虹电器股份有限公司 蓝光3d视频处理方法
JP2013207454A (ja) * 2012-03-28 2013-10-07 Pioneer Electronic Corp 受信装置、送信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体
US20140245145A1 (en) * 2013-02-26 2014-08-28 Alticast Corporation Method and apparatus for playing contents
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN106162204A (zh) * 2016-07-06 2016-11-23 传线网络科技（上海）有限公司 全景视频生成、播放方法、装置及系统
CN106375830A (zh) * 2016-09-21 2017-02-01 杭州当虹科技有限公司 虚拟现实视频上叠加跟随视角的图文和视频内容的方法
CN106851398A (zh) * 2017-03-10 2017-06-13 北京小鸟看看科技有限公司 全景视频文件的存储方法、播放方法、存储装置和播放器
CN107484039A (zh) * 2017-08-22 2017-12-15 四川长虹电器股份有限公司 一种流媒体点播seek画面快速显示的方法
CN107872731A (zh) * 2017-11-22 2018-04-03 三星电子（中国）研发中心 全景视频播放方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019218770A1 (zh) * 2018-05-18 2019-11-21 高新兴科技集团股份有限公司 一种同步显示ar信息的视频播放方法
CN110109151A (zh) * 2019-04-11 2019-08-09 西安天伟电子系统工程有限公司 空降物资搜寻识别方法、系统、装置、设备和存储介质
CN110109151B (zh) * 2019-04-11 2021-09-03 西安天伟电子系统工程有限公司 空降物资搜寻识别方法、系统、装置、设备和存储介质
CN112509147A (zh) * 2020-11-27 2021-03-16 武汉全乐科技有限公司 一种立体增强现实显示方法

Also Published As

Publication number Publication date
WO2019218770A1 (zh) 2019-11-21
EP3595323A1 (en) 2020-01-15
EP3595323A4 (en) 2020-05-13
CN108600858B (zh) 2020-08-04
US20210248380A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN108600858A (zh) 一种同步显示ar信息的视频播放方法
CN102752641B (zh) 使用元数据来处理多个视频流的方法和设备
CN103959802B (zh) 影像提供方法、发送装置以及接收装置
CN107407866A (zh) 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
Kretschmer et al. Meeting the spirit of history
US20030043270A1 (en) Extracting a depth map from known camera and model tracking data
CN110100435A (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
CN106331732A (zh) 生成、展现全景内容的方法及装置
JP2001503895A (ja) ビデオ情報を効果的に表示、保存、およびアクセスするための方法および装置
JPH07502385A (ja) 選択および挿入された標章を有するテレビ表示
CN108604438B (zh) 显示控制方法以及用于使计算机实施该显示控制方法的程序
US8947534B2 (en) System and method for providing depth imaging
CN106162146A (zh) 自动识别并播放全景视频的方法及系统
CN108605119B (zh) 2d到3d视频帧转换
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20150105069A (ko) 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
JP2006140559A (ja) 画像再生装置及び画像再生方法
JP2023115088A (ja) 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
CN103390157B (zh) 书页跟踪的系统及方法
KR20160087284A (ko) 영상 처리 장치, 영상 처리 장치가 수행하는 영상 저장 방법 및 영상 검색 방법
CN106803994B (zh) 识别四棱锥全景视频的方法及系统
Yu et al. 3D reconstruction and enrichment of broadcast soccer video
CN108184101A (zh) 处理视频的设备和方法
WO2001035641A9 (en) Method and apparatus for real time insertion of images into video
KR102178383B1 (ko) 드론 동영상에 lod 기반 증강현실 부가정보를 합성하여 재생하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant