CN107770595B - 一种在虚拟场景中嵌入真实场景的方法 - Google Patents

一种在虚拟场景中嵌入真实场景的方法 Download PDF

Info

Publication number
CN107770595B
CN107770595B CN201710845932.XA CN201710845932A CN107770595B CN 107770595 B CN107770595 B CN 107770595B CN 201710845932 A CN201710845932 A CN 201710845932A CN 107770595 B CN107770595 B CN 107770595B
Authority
CN
China
Prior art keywords
time
frame
video
current
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710845932.XA
Other languages
English (en)
Other versions
CN107770595A (zh
Inventor
刘凤芹
俞蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Kelan Information Technology Co Ltd
Original Assignee
Zhejiang Kelan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Kelan Information Technology Co Ltd filed Critical Zhejiang Kelan Information Technology Co Ltd
Priority to CN201710845932.XA priority Critical patent/CN107770595B/zh
Publication of CN107770595A publication Critical patent/CN107770595A/zh
Application granted granted Critical
Publication of CN107770595B publication Critical patent/CN107770595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明提出一种在虚拟场景中嵌入真实场景的方法，包括：在虚拟场景中获取需要嵌入真实场景视频的平面或者曲面；获取当前系统的时间作为基准时间；在开始绘制当前帧虚拟场景的同时获取当前系统时间，并和所述基准时间做比较，得到当前虚拟帧的时间信息；解析真实场景视频中视频帧画面和时间戳信息，如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息；对比真实场景视频的时间信息和虚拟场景的时间信息，决定所需要绘制的视频帧，并绘制；重复步骤3至步骤5，直到真实场景视频播放完毕。通过本发明能精确控制虚拟场景中真实场景视频的播放速度，使视频播放速度保持本身的自然速度。

Description

一种在虚拟场景中嵌入真实场景的方法
技术领域
本发明属于计算机图像处理技术领域，特别是涉及一种在虚拟场景中嵌入真实场景的方法。
背景技术
目前，对于在虚拟场景中嵌入真实场景的方法，由于真实场景视频的帧率和虚拟场景的绘制帧率不同，所以导致虚拟场景画面和真实场景视频画面不同步(视频快放或者慢放)，用户体验效果差。对于这一问题一直没有稳定有效的解决方案。
中国专利申请CN105578145A公开了“一种三维虚拟场景与视频监控实时智能融合的方法”，该方案利用了一系列的算法把监控视频画面拼接，并还原到真实场景之中，但是对于监控视频和虚拟场景帧率不匹配的问题，并没有提到解决方案。
中国专利申请CN102036054A公开了“一种基于三维虚拟场景的智能视频监控系统”，该方案利用运动物体的定位和检测识别来提升对运动物体在三维场景中嵌入的体验，但是也没有提到如何解决虚拟场景和真实场景帧率不同步的问题。
综上所述如何克服现有技术在虚拟场景和真实场景帧率不同步时导致真实场景视频变成快放或者慢放，已成为当今亟待解决的重点难题。
发明内容
由于是在虚拟场景中嵌入真实场景，所以整个系统绘制的帧率就是虚拟场景的帧率，当虚拟场景的绘制帧率大于真实场景视频的帧率时，系统每秒钟绘制的视频帧数则会超过视频本身应该有的帧数，那么视频播放的速度就会变快；同样的，当虚拟场景的绘制帧率小于真实场景视频的帧率时，系统每秒钟绘制的视频帧数就会少于视频本身应该有的帧数，那么视频播放的速度就会变慢。
为了解决上述帧率不同步导致的视频快放和慢放的问题，本发明提出一种在虚拟场景中嵌入真实场景的方法，包括如下具体步骤：
步骤1，在虚拟场景中获取需要嵌入真实场景视频的平面或者曲面；
步骤2，选取显示虚拟场景的系统的某一系统时间作为基准时间；
步骤3，在开始绘制当前帧虚拟场景的同时获取所述系统当前时间，并和所述基准时间做比较，得到当前虚拟帧的时间信息，记为当前虚拟帧的时间；
步骤4，解析真实场景视频中视频帧画面和时间戳信息，所述时间戳信息表示视频帧的时间，如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息，记为当前视频帧的时间；
步骤5，对比真实场景视频的时间信息和虚拟场景的时间信息，决定所需要绘制的视频帧，并绘制；
步骤6，重复步骤3至步骤5，直到真实场景视频播放完毕基准时间
本发明能够高效的利用视频中的时间戳信息或者利用运动物体运动速度模型估算的时间信息来精确的控制虚拟场景中真实场景视频的播放速度，使视频播放速度保持本身的自然速度。
附图说明
图1为与本发明实施例一致的一种在虚拟场景中嵌入真实场景方法的流程图；
图2为虚拟场景示意图；
图3为真实场景视频示意图。
具体实施方式
本发明提出的一种在虚拟场景中嵌入真实场景方法，基本步骤包括：步骤1，在虚拟场景中获取需要嵌入真实场景视频的平面或者曲面；步骤2，获取当前系统的时间作为基准时间；步骤3，在开始绘制当前帧虚拟场景的同时获取当前系统时间，并和所述基准时间做比较，得到当前虚拟帧的时间信息，记为当前虚拟帧的时间；步骤4，解析真实场景视频中视频帧画面和时间戳信息，如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息，记为当前视频帧的时间；步骤5，对比真实场景视频的时间信息和虚拟场景的时间信息，决定所需要绘制的视频帧，并绘制；步骤6，重复步骤3至步骤5，直到真实场景视频播放完毕。
下面结合图1、图2、图3，对本发明提出的一种在虚拟场景中嵌入真实场景的方法的具体应用实施例做进一步的说明如下：
本发明提出的一种在虚拟场景中嵌入真实场景的流程如图1所示。
第一步，在虚拟场景中获取需要嵌入真实场景视频的平面或者曲面。在图2中，201和202为虚拟场景中需要嵌入真实场景视频的平面或者曲面。
第二步，获取当前系统的时间作为基准时间。系统启动后，获取一次系统时间作为基准时间，此时间为绝对真实的时间，即当前真实世界的绝对时间。
第三步，在开始绘制当前帧虚拟场景的同时获取当前系统时间，并和所述基准时间做比较，得到当前虚拟帧的时间信息，记为当前虚拟帧的时间。每当绘制一帧虚拟场景时，获取一次系统时间，用此时间减去所述基准时间，即得到当前帧的时间信息，记为当前虚拟帧的时间，此时间信息所表示的为当前虚拟帧在系统启动后到被绘制之间所经过的时间。
第四步，解析真实场景视频中视频帧画面和时间戳信息，如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息，记为当前视频帧的时间。如图1中103、104和105所示，首先解析需要播放的真实场景视频，如果视频中有完整的时间戳信息，则提取时间戳信息；如果视频中不存在完善的时间戳信息，例如高速连拍的画面所组成的视频，此时就需要首先提取出每帧画面中的人，自行车或者汽车等运动物体，如图3中301、302和303所示。根据每帧中运动物体的位移像素shift，物体到摄像机的距离d、相机的焦距f和物体的平均运动速度v(普通人类行走速度约为5KM/H，骑自行车的速度约为18KM/H等估计值)来估算两帧画面之间的时间差t，公式如下：
第五步，对比真实场景视频的时间信息和虚拟场景的时间信息，决定所需要绘制的视频帧，并绘制。对比当前虚拟帧的时间和当前视频帧的时间，若当前虚拟帧的时间大于当前视频帧的时间，则表示当前视频帧来迟了，现在需要播放是后面时间更接近于当前虚拟帧的视频帧，此时需要丢弃当前视频帧，然后重复第四步，解析得到下一帧视频帧，再次对比；若当前虚拟帧的时间小于当前视频帧的时间，则表示当前视频帧来早了，还没有到达需要绘制当前视频帧的时间，此时绘制上一帧的视频帧，当前视频帧等待，用于后续绘制。若当前虚拟帧的时间等于当前视频帧的时间，则表示当前时间为当前视频帧的正确绘制时间，此时绘制当前视频帧。首先把当前视频帧的YUV图像信息转换为可绘制的RGB图像信息，接着把RGB图像信息在系统中制作纹理信息，最后把纹理信息贴附在所述平面或者曲面之上，例如图2中的201和202。
第六步，重复步骤3至步骤5，直到真实场景视频播放完毕。
需要说明的是，本领域的技术人员完全能够理解，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，优选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行。
本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种在虚拟场景中嵌入真实场景的方法，其特征在于，包括如下步骤：
步骤1，在虚拟场景中获取需要嵌入真实场景视频的平面或者曲面；
步骤2，选取显示虚拟场景的系统的某一系统时间作为基准时间；
步骤3，在开始绘制当前帧虚拟场景的同时获取所述系统当前时间，并和所述基准时间做比较，得到当前虚拟帧的时间信息，记为当前虚拟帧的时间；
步骤4，解析真实场景视频中视频帧画面和时间戳信息，所述时间戳信息表示视频帧的时间，如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息，记为当前视频帧的时间；
步骤5，对比当前虚拟帧的时间和当前视频帧的时间，若当前虚拟帧的时间大于当前视频帧的时间，则表示当前视频来迟了，现在需要播放是后面时间更接近于当前虚拟帧的视频帧，此时需要丢弃当前视频帧，然后重复步骤4，解析得到下一帧视频帧，再次对比；若当前虚拟帧的时间小于当前视频帧的时间，则表示当前视频来早了，还没有到达需要绘制当前视频帧的时间，此时绘制上一帧的视频帧，当前视频帧等待，用于后续绘制；若当前虚拟帧的时间等于当前视频帧的时间，则表示当前时间为当前视频帧的正确绘制时间，此时绘制当前视频帧；
步骤6，重复步骤3至步骤5，直到真实场景视频播放完毕。
2.如权利要求1所述在虚拟场景中嵌入真实场景的方法，其中步骤4中所述如果没有时间戳信息，则提取视频中运动物体，估计视频帧之间的时间信息，记为当前视频帧的时间包括：
根据每帧中运动物体的位移像素shift，物体到摄像机的距离d、相机的焦距f和物体的平均运动速度v来估算两帧画面之间的时间差t，公式如下：
3.如权利要求1所述在虚拟场景中嵌入真实场景的方法，其中所述绘制当前视频帧包括：
把当前视频帧的YUV图像信息转换为可绘制的RGB图像信息；
把所述可绘制的RGB图像信息在系统中制作纹理信息；
把所述纹理信息贴附在所述平面或者曲面之上。
CN201710845932.XA 2017-09-19 2017-09-19 一种在虚拟场景中嵌入真实场景的方法 Active CN107770595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710845932.XA CN107770595B (zh) 2017-09-19 2017-09-19 一种在虚拟场景中嵌入真实场景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710845932.XA CN107770595B (zh) 2017-09-19 2017-09-19 一种在虚拟场景中嵌入真实场景的方法

Publications (2)

Publication Number Publication Date
CN107770595A CN107770595A (zh) 2018-03-06
CN107770595B true CN107770595B (zh) 2019-11-22

Family

ID=61265506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710845932.XA Active CN107770595B (zh) 2017-09-19 2017-09-19 一种在虚拟场景中嵌入真实场景的方法

Country Status (1)

Country Link
CN (1) CN107770595B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422804B (zh) * 2019-08-20 2022-06-14 华为技术有限公司 视频特效生成方法及终端
CN112306604B (zh) * 2020-08-21 2022-09-23 海信视像科技股份有限公司 一种传输文件的进度显示方法及显示设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047844A (zh) * 2006-03-30 2007-10-03 华为技术有限公司 一种控制流媒体播放的方法及装置
KR101453531B1 (ko) * 2013-12-06 2014-10-24 우덕명 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室系统及其实现方法
WO2017076237A1 (zh) * 2015-11-05 2017-05-11 丰唐物联技术（深圳）有限公司 在虚拟场景中播放真实场景的方法及装置
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN107115627A (zh) * 2017-05-11 2017-09-01 浙江理工大学 单车实时驱动调整播放虚拟现实视频的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047844A (zh) * 2006-03-30 2007-10-03 华为技术有限公司 一种控制流媒体播放的方法及装置
KR101453531B1 (ko) * 2013-12-06 2014-10-24 우덕명 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법
WO2017076237A1 (zh) * 2015-11-05 2017-05-11 丰唐物联技术（深圳）有限公司 在虚拟场景中播放真实场景的方法及装置
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室系统及其实现方法
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN107115627A (zh) * 2017-05-11 2017-09-01 浙江理工大学 单车实时驱动调整播放虚拟现实视频的系统和方法

Also Published As

Publication number Publication date
CN107770595A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
US9384588B2 (en) Video playing method and system based on augmented reality technology and mobile terminal
CN107437076A (zh) 基于视频分析的景别划分的方法及系统
CN104717457B (zh) 一种视频浓缩方法及装置
CN109102530B (zh) 运动轨迹绘制方法、装置、设备和存储介质
CN107392883B (zh) 影视戏剧冲突程度计算的方法及系统
US10863210B2 (en) Client-server communication for live filtering in a camera view
CN107770595B (zh) 一种在虚拟场景中嵌入真实场景的方法
CN113163260B (zh) 一种视频帧输出控制方法、装置及电子设备
CN108986166A (zh) 一种基于半监督学习的单目视觉里程预测方法及里程计
CN111161325B (zh) 基于卡尔曼滤波与lstm的三维多目标跟踪方法
CN105631422A (zh) 一种视频识别方法以及视频识别系统
CN109697393B (zh) 人物跟踪方法、装置、电子装置及计算机可读介质
CN107392098A (zh) 一种基于人体骨架信息的动作完成度识别方法
CN102254345A (zh) 基于云计算的自然特征注册方法
CN110765880A (zh) 一种轻量级视频行人重识别方法
CN103699886B (zh) 一种视频实时比对方法
CN103108210B (zh) 基于空域复杂度的无参考视频质量评价方法
JP4881178B2 (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
CN107909602A (zh) 一种基于深度学习的运动边界估计方法
CN103237233A (zh) 一种电视广告的快速检测方法及系统
CN112257638A (zh) 一种图像比对方法、系统、设备及计算机可读存储介质
CN105516735B (zh) 代表帧获取方法和装置
CN116403285A (zh) 动作识别方法、装置、电子设备以及存储介质
CN117278776A (zh) 多通道视频内容实时比对方法和装置、设备及存储介质
CN102547066B (zh) 一种基于景象配准技术的视频稳像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant