CN113992877A - 一种基于虚拟视频拍摄方法及系统 - Google Patents
一种基于虚拟视频拍摄方法及系统 Download PDFInfo
- Publication number
- CN113992877A CN113992877A CN202111085467.7A CN202111085467A CN113992877A CN 113992877 A CN113992877 A CN 113992877A CN 202111085467 A CN202111085467 A CN 202111085467A CN 113992877 A CN113992877 A CN 113992877A
- Authority
- CN
- China
- Prior art keywords
- shooting
- scene
- audio
- video
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 22
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 20
- 239000002131 composite material Substances 0.000 claims abstract description 7
- 238000007499 fusion processing Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 6
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及虚拟现实技术领域，具体是一种基于虚拟视频拍摄方法及系统。包括具体步骤如下：使用摄像头对所需的现场进行360度场景进行拍摄；接着对拍摄对象进行拍摄，拍摄过程中获取拍摄对象的运动状态信息音频录制；对所拍摄的场景及拍摄对象进行图像合成处理；然后对处理后的拍摄场景及拍摄对象，进行音频融合处理；独一视频进一步的处理，插入图片或者视频，与拍摄的场景及拍摄对象进行合成显示。包括视频录像设备、音频录入设备、人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、文件处理模块、系统界面捕抓模块。本发明提供一种能丰富拍摄内容，呈现效果好的一种基于虚拟视频拍摄方法及系统。
Description
技术领域
本发明涉及虚拟现实技术领域，具体是一种基于虚拟视频拍摄方法及系统。
背景技术
传统的拍摄内容较为单一，内容比较枯燥，呈现的效果并不理想，使得观赏者观赏度不高，因此需要提出一种基于虚拟视频拍摄方法及系统，利用计算机科学的软件技术作为设计平台，利用音频、文字、图像等艺术形式，结合不同的技术手段，实现动静结合的图像艺术。在数字媒体技术中可以自由创作出或真实或写意的虚拟场景，为无限的想象力插上有力的翅膀，也为视频创作提供了广阔的发展空间。
发明内容
本发明提供一种能丰富拍摄内容，呈现效果好的一种基于虚拟视频拍摄方法及系统。
本发明所采用的技术方案为：一种基于虚拟视频拍摄方法，其特征在于：包括具体步骤如下：
S1：使用摄像头对所需的现场进行360度场景进行拍摄；
S2：接着对拍摄对象进行拍摄，拍摄过程中获取拍摄对象的运动状态信息音频录制；
S3：对所拍摄的场景及拍摄对象进行图像合成处理；
S4：然后对处理后的拍摄场景及拍摄对象，进行音频融合处理；
S5：S4步骤融合后，独一视频进一步的处理，插入图片或者视频，与拍摄的场景及拍摄对象进行合成显示。
所述图像合成处理包括以下步骤：
S1：提取步骤，从拍摄的场景中提取位于合成拍摄对象区域中的背景图像部分，对其依次行色彩补偿处理和图像平滑处理；
S2：第一图像旋转处理步骤，将拍摄的场景部分，按与指示的旋转方向相反的相反方向，旋转指示的旋转角；
S3：合成处理步骤，将旋转后的拍摄的场景部分、与包含被旋转后的背景图像部分中的像素替换的替换颜色像素的原始的前景图像合成，从而生成合成图像；
S4：第二图像旋转处理步骤，将合成图像按所述指示的旋转方向旋转所述指示的旋转角；
S5：写回步骤，将所述第二图像旋转处理步骤中旋转的合成图像写回到整个拍摄的场景上。
所述音频融合处理包括以下步骤：
S1：当接收到音频处理指令时，获取待处理的第一音频；
S2：从第一音频中提取第一音频的第一音色特征，第一音色特征至少包括第一音频的梅尔频谱；
S3：基于第一音频的第一音色特征，从多个备选音频中确定与第一音频之间相似度满足筛选条件的目标音频；
S4：基于目标音频的目标音色特征，将第一音频转换为第二音频，第二音频融合目标音频的目标音色特征和所述第一音色特征。
所述摄像头配置运动状态捕捉模块以记录摄像头的角速度、加速度及位移信息；所述摄像头的角速度、加速度及位移信息与所述拍摄目标的图像在预设规则上同步记录。
一种基于虚拟视频拍摄系统，其特征在于：包括视频录像设备、音频录入设备、人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、文件处理模块、系统界面捕抓模块。
所述视频录像设备用于对人物和场景进行拍摄取像，场景拍摄视场角范围为360度；所述音频录入设备用于对人物进行收音；所述人物采集处理模块用于对视频摄像设备拍摄的视频进行人物抠像；所述场景处理模块用于生成虚拟场景文件；所述图像合成模块用于将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；所述视频录制控制模块用于将人物在虚拟场景内的活动和变化进行视频录制；所述文件处理模块用于在虚拟背景中插入图片或视频；所述系统界面捕抓模块用于对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中与背景进行合成显示。
本发明的有益效果：
本发明利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现观赏者做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决枯燥与乏味，增强直观体验感受，加深记忆；由于是计算机的虚拟技术，场景规模可以任意大，只要有需求就可以随时添加，成本低廉。
具体实施方式
下面对本发明作进一步说明。
一种基于虚拟视频拍摄方法，其特征在于：包括具体步骤如下：
S1：使用摄像头对所需的现场进行360度场景进行拍摄；
S2：接着对拍摄对象进行拍摄，拍摄过程中获取拍摄对象的运动状态信息音频录制；
S3：对所拍摄的场景及拍摄对象进行图像合成处理；
S4：然后对处理后的拍摄场景及拍摄对象，进行音频融合处理；
S5：S4步骤融合后，独一视频进一步的处理，插入图片或者视频，与拍摄的场景及拍摄对象进行合成显示。
所述图像合成处理包括以下步骤：
S1：提取步骤，从拍摄的场景中提取位于合成拍摄对象区域中的背景图像部分，对其依次行色彩补偿处理和图像平滑处理；
S2：第一图像旋转处理步骤，将拍摄的场景部分，按与指示的旋转方向相反的相反方向，旋转指示的旋转角；
S3：合成处理步骤，将旋转后的拍摄的场景部分、与包含被旋转后的背景图像部分中的像素替换的替换颜色像素的原始的前景图像合成，从而生成合成图像；
S4：第二图像旋转处理步骤，将合成图像按所述指示的旋转方向旋转所述指示的旋转角；
S5：写回步骤，将所述第二图像旋转处理步骤中旋转的合成图像写回到整个拍摄的场景上。
所述音频融合处理包括以下步骤：
S1：当接收到音频处理指令时，获取待处理的第一音频；
S2：从第一音频中提取第一音频的第一音色特征，第一音色特征至少包括第一音频的梅尔频谱；
S3：基于第一音频的第一音色特征，从多个备选音频中确定与第一音频之间相似度满足筛选条件的目标音频；
S4：基于目标音频的目标音色特征，将第一音频转换为第二音频，第二音频融合目标音频的目标音色特征和所述第一音色特征。
所述摄像头配置运动状态捕捉模块以记录摄像头的角速度、加速度及位移信息；所述摄像头的角速度、加速度及位移信息与所述拍摄目标的图像在预设规则上同步记录。
一种基于虚拟视频拍摄系统，其特征在于：包括视频录像设备、音频录入设备、人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、文件处理模块、系统界面捕抓模块。
所述视频录像设备用于对人物和场景进行拍摄取像，场景拍摄视场角范围为360度；所述音频录入设备用于对人物进行收音；所述人物采集处理模块用于对视频摄像设备拍摄的视频进行人物抠像；所述场景处理模块用于生成虚拟场景文件；所述图像合成模块用于将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；所述视频录制控制模块用于将人物在虚拟场景内的活动和变化进行视频录制；所述文件处理模块用于在虚拟背景中插入图片或视频；所述系统界面捕抓模块用于对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中与背景进行合成显示。
本发明利用虚拟合成技术，可将人物虚拟到任意空间内，并在虚拟的空间内进行活动，利用此技术可实现观赏者做到身临其境的直观感受，将现实生活中的场景，和未知世界进行虚拟模拟，解决枯燥与乏味，增强直观体验感受，加深记忆；由于是计算机的虚拟技术，场景规模可以任意大，只要有需求就可以随时添加，成本低廉。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (6)
1.一种基于虚拟视频拍摄方法，其特征在于：包括具体步骤如下：
S1：使用摄像头对所需的现场进行360度场景进行拍摄；
S2：接着对拍摄对象进行拍摄，拍摄过程中获取拍摄对象的运动状态信息音频录制；
S3：对所拍摄的场景及拍摄对象进行图像合成处理；
S4：然后对处理后的拍摄场景及拍摄对象，进行音频融合处理；
S5：S4步骤融合后，独一视频进一步的处理，插入图片或者视频，与拍摄的场景及拍摄对象进行合成显示。
2.根据权利要求1所述的一种基于虚拟视频拍摄方法，其特征在于：所述图像合成处理包括以下步骤：
S1：提取步骤，从拍摄的场景中提取位于合成拍摄对象区域中的背景图像部分，对其依次行色彩补偿处理和图像平滑处理；
S2：第一图像旋转处理步骤，将拍摄的场景部分，按与指示的旋转方向相反的相反方向，旋转指示的旋转角；
S3：合成处理步骤，将旋转后的拍摄的场景部分、与包含被旋转后的背景图像部分中的像素替换的替换颜色像素的原始的前景图像合成，从而生成合成图像；
S4：第二图像旋转处理步骤，将合成图像按所述指示的旋转方向旋转所述指示的旋转角；
S5：写回步骤，将所述第二图像旋转处理步骤中旋转的合成图像写回到整个拍摄的场景上。
3.根据权利要求1所述的一种基于虚拟视频拍摄方法，其特征在于：所述音频融合处理包括以下步骤：
S1：当接收到音频处理指令时，获取待处理的第一音频；
S2：从第一音频中提取第一音频的第一音色特征，第一音色特征至少包括第一音频的梅尔频谱；
S3：基于第一音频的第一音色特征，从多个备选音频中确定与第一音频之间相似度满足筛选条件的目标音频；
S4：基于目标音频的目标音色特征，将第一音频转换为第二音频，第二音频融合目标音频的目标音色特征和所述第一音色特征。
4.根据权利要求1所述的一种基于虚拟视频拍摄方法，其特征在于：所述摄像头配置运动状态捕捉模块以记录摄像头的角速度、加速度及位移信息；所述摄像头的角速度、加速度及位移信息与所述拍摄目标的图像在预设规则上同步记录。
5.一种基于虚拟视频拍摄系统，其特征在于：包括视频录像设备、音频录入设备、人物采集处理模块、场景处理模块、图像合成模块、视频录制控制模块、文件处理模块、系统界面捕抓模块。
6.根据权利要求5所述的一种基于虚拟视频拍摄系统，其特征在于：所述视频录像设备用于对人物和场景进行拍摄取像，场景拍摄视场角范围为360度；所述音频录入设备用于对人物进行收音；所述人物采集处理模块用于对视频摄像设备拍摄的视频进行人物抠像；所述场景处理模块用于生成虚拟场景文件；所述图像合成模块用于将抠像前景与虚拟场景文件虚拟合成，实现视频摄像设备拍摄的人物在虚拟场景内的活动和变化；所述视频录制控制模块用于将人物在虚拟场景内的活动和变化进行视频录制；所述文件处理模块用于在虚拟背景中插入图片或视频；所述系统界面捕抓模块用于对软件的显示输出信号进行获取，视频信号对应输入到虚拟场景的显示框中与背景进行合成显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111085467.7A CN113992877A (zh) | 2021-09-16 | 2021-09-16 | 一种基于虚拟视频拍摄方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111085467.7A CN113992877A (zh) | 2021-09-16 | 2021-09-16 | 一种基于虚拟视频拍摄方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113992877A true CN113992877A (zh) | 2022-01-28 |
Family
ID=79735895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111085467.7A Pending CN113992877A (zh) | 2021-09-16 | 2021-09-16 | 一种基于虚拟视频拍摄方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113992877A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035638A (ja) * | 2009-07-31 | 2011-02-17 | Toppan Printing Co Ltd | 仮想現実空間映像制作システム |
| CN102542546A (zh) * | 2010-10-07 | 2012-07-04 | 佳能株式会社 | 图像合成处理装置及图像合成处理方法 |
| CN105306862A (zh) * | 2015-11-17 | 2016-02-03 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 |
| CN106657769A (zh) * | 2016-11-02 | 2017-05-10 | 刘宏晋 | 一种虚拟现实视频拍摄方法及系统 |
| CN110956971A (zh) * | 2019-12-03 | 2020-04-03 | 广州酷狗计算机科技有限公司 | 音频处理方法、装置、终端及存储介质 |
-
2021
- 2021-09-16 CN CN202111085467.7A patent/CN113992877A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035638A (ja) * | 2009-07-31 | 2011-02-17 | Toppan Printing Co Ltd | 仮想現実空間映像制作システム |
| CN102542546A (zh) * | 2010-10-07 | 2012-07-04 | 佳能株式会社 | 图像合成处理装置及图像合成处理方法 |
| CN105306862A (zh) * | 2015-11-17 | 2016-02-03 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法 |
| CN106657769A (zh) * | 2016-11-02 | 2017-05-10 | 刘宏晋 | 一种虚拟现实视频拍摄方法及系统 |
| CN110956971A (zh) * | 2019-12-03 | 2020-04-03 | 广州酷狗计算机科技有限公司 | 音频处理方法、装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9143721B2 (en) | Content preparation systems and methods for interactive video systems | |
| US8655152B2 (en) | Method and system of presenting foreign films in a native language | |
| EP1843298A2 (en) | Image blending system and method | |
| JP2006162692A (ja) | 講義コンテンツ自動作成システム | |
| JPH11219446A (ja) | 映像音響再生システム | |
| TW201924317A (zh) | 基於增強實境的視頻處理方法、裝置及電子設備 | |
| CN113660528B (zh) | 一种视频合成方法、装置、电子设备和存储介质 | |
| JP2011040921A (ja) | コンテンツ生成装置，コンテンツ生成方法およびコンテンツ生成プログラム | |
| CN113781660A (zh) | 一种用于直播间在线渲染加工虚拟场景的方法及装置 | |
| Langlotz et al. | AR record&replay: situated compositing of video content in mobile augmented reality | |
| CN117041664A (zh) | 数字人视频生成方法、装置、电子设备及存储介质 | |
| Byrne | The visual effects arsenal: VFX solutions for the independent filmmaker | |
| US10582135B2 (en) | Computer generated imagery compositors | |
| KR101773891B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
| Aguilar et al. | ARStudio: A low-cost virtual studio based on Augmented Reality for video production | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| Kuchelmeister et al. | Affect and place representation in immersive media: The Parragirls Past, Present project | |
| CN113992877A (zh) | 一种基于虚拟视频拍摄方法及系统 | |
| CN113221840B (zh) | 一种人像视频处理方法 | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JPH11149285A (ja) | 映像音響システム | |
| KR102622709B1 (ko) | 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치 | |
| WO2024136041A1 (ko) | 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 | |
| KR102133735B1 (ko) | 파노라마 크로마키 합성 시스템 및 방법 | |
| McCutchen | A Personal History of the Development of Immersive Video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220128 |