CN116896608A - 一种基于移动设备传播的虚拟地震场景演播系统 - Google Patents

一种基于移动设备传播的虚拟地震场景演播系统 Download PDF

Info

Publication number
CN116896608A
CN116896608A CN202311162631.9A CN202311162631A CN116896608A CN 116896608 A CN116896608 A CN 116896608A CN 202311162631 A CN202311162631 A CN 202311162631A CN 116896608 A CN116896608 A CN 116896608A
Authority
CN
China
Prior art keywords
virtual
coordinate system
module
image model
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311162631.9A
Other languages
English (en)
Other versions
CN116896608B (zh
Inventor
权腾龙
陈庆
刘福顺
贾震
张慧峰
魏玮
李志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Earthquake Agency
Original Assignee
Shandong Earthquake Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Earthquake Agency filed Critical Shandong Earthquake Agency
Priority to CN202311162631.9A priority Critical patent/CN116896608B/zh
Publication of CN116896608A publication Critical patent/CN116896608A/zh
Application granted granted Critical
Publication of CN116896608B publication Critical patent/CN116896608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于移动设备传播的虚拟地震场景演播系统，包括地震于演播制作层以及通过网络通信层与地震演播制作层进行无线通信的应用层交互终端，地震演播制作层包括：地震虚拟图像模型导入模块、虚拟空间坐标系创建模块、地震虚拟图像模型处理单元、机位实时跟踪模块和地震虚拟图像模型匹配单元，本发明涉及地震演播技术领域。该基于移动设备传播的虚拟地震场景演播系统，可实现在不同拍摄机位所对应的虚拟视频模型之间进行图像自适应性处理，来实现连续性切换操作，实现了消除重新生成虚拟图像的时间差，来确保人们观看图像的流畅性，达到了通过随着拍摄设备的移动整个虚拟图像模型能够进行自适应位置和图形缩放面积的调节。

Description

一种基于移动设备传播的虚拟地震场景演播系统
技术领域
本发明涉及地震演播技术领域，具体为一种基于移动设备传播的虚拟地震场景演播系统。
背景技术
虚拟地震场景的演播为普及地震知识，模拟地震发生场景以及地震救援方案演示有重要意义，而目前的虚拟演播技术一般是根据演播拍摄现场内场地的尺寸大小以及演播拍摄时摄像机所在拍摄场地内的预设好拍摄距离和角度的一个或多个机位数据，预先建模好待模拟的虚拟场景视频，然后在演播拍摄时，将建模好的虚拟视频合成到拍摄现场的背景绿布上，从而使预先建模的虚拟视频作为背景和现场拍摄的实景整合成一个整体。
参考中国专利公开号为CN113990168A的基于地震救援虚拟演练系统的虚拟地震灾害场景优化方法，根据地震发生原理、烈度与建筑抗震结构原理、突发事件行为学原理以及地震次生灾害理论，建立地震动模型进行仿真，具有多级可控、重复开启、迅速恢复原貌等功能。
参考中国专利公开号为CN101674419B的一种虚拟演播室系统中实时编辑模板的方法，通过在制播分离的虚拟演播室系统中，将图形工作站与编辑系统相互链接起来，让两者实现了交互，这样既能够保证虚拟演播室系统制播分离的安全性，又能够让虚拟演播室系统根据真实摄像机的位置信息实时编辑三维场景模板，使节目的播出安全准确。
综合分析以上参考专利，可得出以下缺陷：
现有的地震演播系统当要切换其他拍摄机位的视角时，需要将提前建模好的该机位所对应的虚拟视频合成过来再进行切换匹配，这种切换匹配方式是不连贯的间断式切换播放，容易穿帮，例如参考专利CN113990168A的基于地震救援虚拟演练系统的虚拟地震灾害场景优化方法和CN101674419B的一种虚拟演播室系统中实时编辑模板的方法，虽然通过在相机与虚拟图像之间建立跟踪系统来实现不同位置的相机拍摄到与之对应的图像视觉图像，但是仅仅依靠跟踪和捕捉相机位置然后再重新合成与该位置相对应的虚拟图像并进行匹配，仍然需要较长的时间，而这个时间差不能消除仍然会出现演播拍摄时图像不连贯或延时的情况发生，不能实现在不同拍摄机位所对应的虚拟视频模型之间进行图像自适应性处理，来实现连续性切换操作，无法避免拍摄不连贯和穿帮的情况发生，不能实现消除重新生成虚拟图像的时间差，来确保人们观看图像的流畅性，从而给人们的观感体验十分不利。
现有的地震演播系统对于一些地震虚拟场景在变换时对光线要求较高，例如模拟从正常环境模拟到被废墟部分掩埋的场景时，光线会从光亮转变为昏暗，因此再对拍摄机位进行切换时，需要对虚拟的图像进行补光处理，反之需要进行亮度调暗处理，不然大大降低了模拟的真实感，影响人们的观感体验。
发明内容
针对现有技术的不足，本发明提供了一种基于移动设备传播的虚拟地震场景演播系统，解决了现有的地震演播系统当要切换其他拍摄机位的视角时，需要将提前建模好的该机位所对应的虚拟视频合成过来再进行切换匹配，这种切换匹配方式是不连贯的间断式切换播放，容易穿帮，不能实现在不同拍摄机位所对应的虚拟视频模型之间进行图像自适应性处理，来实现连续性切换操作，无法避免拍摄不连贯和穿帮的情况发生，不能实现消除重新生成虚拟图像的时间差，来确保人们观看图像的流畅性，同时现有的地震演播系统对于一些地震虚拟场景在变换时对光线要求较高，例如模拟从正常环境模拟到被废墟部分掩埋的场景时，光线会从光亮转变为昏暗，因此再对拍摄机位进行切换时，需要对虚拟的图像进行补光处理，不然大大降低了模拟的真实感，影响人们的观感体验的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种基于移动设备传播的虚拟地震场景演播系统，包括地震于演播制作层以及通过网络通信层与地震演播制作层进行无线通信的应用层交互终端，所述地震演播制作层包括：
系统后台处理模块，用于控制地震演播制作层的地震虚拟图像模型的导入、地震虚拟图像模型的处理、虚拟空间坐标系的创建、地震虚拟图像模型的匹配、拍摄设备的机位实时跟踪以及接受拍摄设备的图像数据；
地震虚拟图像模型导入模块，用于将预先制作好的待演播虚拟图像模型导入至虚拟地震场景演播系统中进行数据格式转换解析处理，来适应虚拟地震场景演播系统处理；
虚拟空间坐标系创建模块，用于根据演播室内空间尺寸和地震虚拟图像模型导入模块导入的待演播虚拟图像模型尺寸进行虚拟空间坐标系的创建；
地震虚拟图像模型处理单元，用于对地震虚拟图像模型导入模块导入的待演播虚拟图像模型依次进行场景特征提取、特征坐标匹配、特征光强匹配和匹配度评估处理得到特征化虚拟图像模型；
图像拍摄模块，用于对演播室内的实景进行实时拍摄；
机位实时跟踪模块，用于将图像拍摄模块的拍摄机位与虚拟空间坐标系创建模块创建的虚拟空间坐标系之间进行虚拟空间坐标匹配，并对图像拍摄模块的拍摄机位进行实时跟踪；
地震虚拟图像模型匹配单元，用于通过模型匹配算法对地震虚拟图像模型处理单元处理后得到特征化虚拟图像模型与机位实时跟踪模块匹配的图像拍摄模块拍摄机位的虚拟空间坐标进行匹配处理，并将图像拍摄模块拍摄的实景通过图像融合处理算法融合至特征化虚拟图像模型中。
优选的，所述虚拟空间坐标系创建模块是以导入演播虚拟图像模型四个视界角的任意一个视界角作为坐标原点O，并将导入的演播虚拟图像模型呈现于X方向轴方向和Z方向轴方向形成面上，而图像拍摄模块以及图像拍摄模块所拍摄的实景则位于由X方向轴、Y方向轴和Z方向轴组成的虚拟空间内。
优选的，所述地震虚拟图像模型处理单元包括：
虚拟场景特征提取模块，用于通过特征数据提取算法对导入的演播虚拟图像模型中的各个图像特征进行提取，得到特征集合，其中/>为从演播虚拟图像模型中提取的第n个特征；
特征坐标匹配模块，用于在虚拟空间坐标系创建模块创建的虚拟空间坐标系中，通过将虚拟图像模型导入虚拟空间坐标系中后，虚拟图像模型特征集合中的各个特征会在虚拟空间坐标系中生成相应的虚拟坐标值，并将各个特征匹配到虚拟坐标系的面积特征值作为基础面积特征参数，记，其中/>为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为特征在虚拟坐标系中的Z方向轴的坐标值，/>为特征/>在虚拟坐标系中的基础面积值；
特征光强匹配模块，用于将需要光强变换的光强特征值通过数据嵌入算法匹配到虚拟坐标系中，并将各特征匹配的光强作为基础光强特征参数，记为，其中/>为特征/>的基础光强特征值；
匹配度评估模块，用于对匹配到虚拟坐标系后的虚拟图像模型进行协调度预览、查错以及匹配参数调试。
优选的，所述机位实时跟踪模块将拍摄设备匹配到虚拟坐标系内的坐标为，其中/>为拍摄设备G在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Z方向轴的坐标值。
优选的，所述模型匹配算法具体包括以下步骤：
S1、获取拍摄设备匹配到虚拟坐标系内的坐标为以及虚拟图像模型的各个特征在虚拟坐标系中基础坐标、基础面积值和基础光强值；
S2、当拍摄设备开始沿着X方向轴向靠近原点O移动距离L时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着X方向轴向靠近原点O移动距离的比例α，并计算出特征移动后的X方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着X方向轴向远离原点O移动距离L时，则：
；
S3、当拍摄设备开始沿着Z方向轴向靠近原点O移动距离K时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着Z方向轴向靠近原点O移动距离的比例β，并计算出特征移动后的Z方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的Z方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着Z方向轴向远离原点O移动距离K时，则：
；
S4、当拍摄设备开始沿着Y方向轴向靠近原点O移动距离D时，计算出虚拟图像模型 的各个特征的放大倍数，并计算出特征移动后的特征面积，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的基础面积值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着Y方向轴向远离原点O移动距离K时，则：
。
优选的，在通过所述模型匹配算法对虚拟图像模型的各个特征在虚拟坐标系中的X方向轴的坐标值、Z方向轴的坐标值以及特征移动后的特征面积进行自适应调整时，通过以下公式计算出特征移动后的光强值，具体公式如下：
；
其中，为虚拟图像模型的各个有光强变换约束的特征在虚拟坐标系中的光强变 化因数，为特征的基础光强特征值，为X方向轴自适应修正时的光强自适应变 换百分比，为方向Z轴自适应修正时的光强自适应变换百分比，为Y轴方向自适应修 正时的光强自适应变换百分比，并且中的加或减是由用户根据实际导 入的虚拟图像模型设计类型进行预先设定。
优选的，所述X方向轴自适应修正时的光强自适应变换百分比与方向Z轴自适应修正时的光强自适应变换百分比/>相等，并且/>和/>均大于Y轴方向自适应修正时的光强自适应变换百分比/>。
优选的，所述机位实时跟踪模块对图像拍摄模块的拍摄机位进行实时跟踪是通过在图像拍摄模块上安装无线定位模块，并将图像拍摄模块上的无线定位模块与系统后台处理模块实现无线连接，即能使系统后台处理模块实时获取图像拍摄模块在虚拟坐标系内的坐标数据。
优选的，所述网络通信层为5G通信网络、4G通信网络或GPRS通信网络中的一种。
优选的，所述地震虚拟图像模型处理单元还包括开发模块，且开发模块用于用户手动操作将虚拟图像模型匹配到虚拟坐标系中，当匹配度评估模块评估的结果不合格，用户能够通过开发模块进行手动匹配和编辑。
本发明提供了一种基于移动设备传播的虚拟地震场景演播系统。与现有技术相比具备以下有益效果：
（1）、该基于移动设备传播的虚拟地震场景演播系统，可实现在不同拍摄机位所对应的虚拟视频模型之间进行图像自适应性处理，来实现连续性切换操作，很好的避免了拍摄不连贯和穿帮的情况发生，实现了消除重新生成虚拟图像的时间差，来确保人们观看图像的流畅性，无需将提前建模好的该机位所对应的虚拟视频合成过来再进行切换匹配，实现更连贯的切换播放，避免时间延迟导致的穿帮，很好的达到了通过随着拍摄设备的移动整个虚拟图像模型能够进行自适应位置和图形缩放面积的调节，从而大大提升了人们的观感体验。
（2）、该基于移动设备传播的虚拟地震场景演播系统，可针对一些地震虚拟场景在变换时对光线要求较高，例如模拟从正常环境模拟到被废墟部分掩埋的场景时，光线会从光亮转变为昏暗的情况进行光强自适应调节补光处理，反之对虚拟的图像进行调暗处理，大大提升了虚拟图像模型的的真实感，避免影响人们的观感体验。
附图说明
图1为本发明系统的结构原理框图；
图2为本发明地震虚拟图像模型处理单元的结构原理框图；
图3为本发明拍摄设备、待拍实景和虚拟图像模型结合于虚拟坐标系中的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明实施例提供两种技术方案：一种基于移动设备传播的虚拟地震场景演播系统，具体包括以下实施例：
一种基于移动设备传播的虚拟地震场景演播系统，包括地震于演播制作层以及通过网络通信层与地震演播制作层进行无线通信的应用层交互终端，地震演播制作层包括：
系统后台处理模块，用于控制地震演播制作层的地震虚拟图像模型的导入、地震虚拟图像模型的处理、虚拟空间坐标系的创建、地震虚拟图像模型的匹配、拍摄设备的机位实时跟踪以及接受拍摄设备的图像数据；
地震虚拟图像模型导入模块，用于将预先制作好的待演播虚拟图像模型导入至虚拟地震场景演播系统中进行数据格式转换解析处理，来适应虚拟地震场景演播系统处理；
虚拟空间坐标系创建模块，用于根据演播室内空间尺寸和地震虚拟图像模型导入模块导入的待演播虚拟图像模型尺寸进行虚拟空间坐标系的创建；
地震虚拟图像模型处理单元，用于对地震虚拟图像模型导入模块导入的待演播虚拟图像模型依次进行场景特征提取、特征坐标匹配、特征光强匹配和匹配度评估处理得到特征化虚拟图像模型；
图像拍摄模块，用于对演播室内的实景进行实时拍摄；
机位实时跟踪模块，用于将图像拍摄模块的拍摄机位与虚拟空间坐标系创建模块创建的虚拟空间坐标系之间进行虚拟空间坐标匹配，并对图像拍摄模块的拍摄机位进行实时跟踪；
地震虚拟图像模型匹配单元，用于通过模型匹配算法对地震虚拟图像模型处理单元处理后得到特征化虚拟图像模型与机位实时跟踪模块匹配的图像拍摄模块拍摄机位的虚拟空间坐标进行匹配处理，并将图像拍摄模块拍摄的实景通过图像融合处理算法融合至特征化虚拟图像模型中。
本发明实施例中，图像融合处理算法是采用现有的空间域算法，常见的空间域算法包括加权平均法和PCA法，其中加权平均法是对多幅图像的对应像素点进行加权处理，本发明实施例是采用加权平均法将拍摄设备所拍摄的实景融合至已经进行特征化处理后的虚拟图像模型中，从而使实景与虚拟图像模型均能同时进行拍摄，从而呈现出地震演播场景与现实场景融合互动的情景。
本发明实施例中，虚拟空间坐标系创建模块是以导入演播虚拟图像模型四个视界角的任意一个视界角作为坐标原点O，并将导入的演播虚拟图像模型呈现于X方向轴方向和Z方向轴方向形成面上，而图像拍摄模块以及图像拍摄模块所拍摄的实景则位于由X方向轴、Y方向轴和Z方向轴组成的虚拟空间内。
本发明实施例中，地震虚拟图像模型处理单元包括：
虚拟场景特征提取模块，用于通过特征数据提取算法对导入的演播虚拟图像模型中的各个图像特征进行提取，得到特征集合，其中/>为从演播虚拟图像模型中提取的第n个特征；
本发明实施例中，特征数据提取算法是采用现有的尺度不变特征变换算法(Scale-invariant features transform)，简称SIFT，SIFT是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果。SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，通过该现有的特征数据提取算法能够将虚拟图像中的主题特征数据进行识别和提取。
特征坐标匹配模块，用于在虚拟空间坐标系创建模块创建的虚拟空间坐标系中，通过将虚拟图像模型导入虚拟空间坐标系中后，虚拟图像模型特征集合中的各个特征会通过现有的数据赋值生成算法，直接在虚拟空间坐标系中生成相应的虚拟坐标值，并将各个特征匹配到虚拟坐标系的面积特征值作为基础面积特征参数，记/>，其中/>为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为特征/>在虚拟坐标系中的Z方向轴的坐标值，/>为特征/>在虚拟坐标系中的基础面积值；
特征光强匹配模块，用于将需要光强变换的光强特征值通过数据嵌入算法匹配到虚拟坐标系中，并将各特征匹配的光强作为基础光强特征参数，记为，其中/>为特征/>的基础光强特征值；
本发明实施例中，数据嵌入算法是采用现有的赋值式嵌入匹配算法，将待嵌入的光强特征值赋值至能被虚拟坐标系识别的拓展项，然后将拓展项匹配到虚拟坐标系中，从而使光强特征值能够在虚拟坐标系中以拓展项的形式匹配到虚拟坐标系中，注意拓展项并非是虚拟坐标系中的坐标值，可以理解为是这个坐标后面所对应的数值标记，即中的/>并非是特征/>的坐标值，而是特征/>后面的一个附属数值标记，该数值标记仅在处理基础面积特征和光强特征时才会调取使用，除此之外仅仅作为标记和特征/>的坐标值/>一起显示而已。
匹配度评估模块，用于对匹配到虚拟坐标系后的虚拟图像模型进行协调度预览、查错以及匹配参数调试，匹配到虚拟坐标系的虚拟图像模型在随着拍摄设备机位的变化的过程中进行空间坐标位置的调整以及光强度调整的过程中，用户能够通过匹配度评估模块直接在操作终端进行预览、模拟和查错处理，对匹配度较低，且匹配错误的特征进行人工操作处理，因此匹配度评估模块实际就是用户通过操作终端打开此模块进入匹配预览界面进行人工的匹配度审核处理。
本发明实施例中，机位实时跟踪模块将拍摄设备匹配到虚拟坐标系内的坐标为，其中/>为拍摄设备G在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Z方向轴的坐标值，通过获取拍摄设备在演播室内的实际位置，然后将拍摄设备的坐标值导入至创建的虚拟坐标系中，导入虚拟坐标系后，拍摄设备会在虚拟坐标系中自动生成一个虚拟空间坐标。
本发明实施例中，模型匹配算法具体包括以下步骤：
S1、获取拍摄设备匹配到虚拟坐标系内的坐标为以及虚拟图像模型的各个特征在虚拟坐标系中基础坐标、基础面积值和基础光强值；
S2、当拍摄设备开始沿着X方向轴向靠近原点O移动距离L时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着X方向轴向靠近原点O移动距离的比例α，并计算出特征移动后的X方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着X方向轴向远离原点O移动距离L时，则：
；
S3、当拍摄设备开始沿着Z方向轴向靠近原点O移动距离K时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着Z方向轴向靠近原点O移动距离的比例β，并计算出特征移动后的Z方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的Z方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着Z方向轴向远离原点O移动距离K时，则：
；
S4、当拍摄设备开始沿着Y方向轴向靠近原点O移动距离D时，计算出虚拟图像模型 的各个特征的放大倍数，并计算出特征移动后的特征面积，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的基础面积值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；基础面积值/>是提取的特征初始匹配到虚拟坐标系中时的初始特征面积值，而随着拍摄设备的移动过程中为了适配拍摄的距离和视角变化，初始面积值会发生变化，从而贴合人们真实的观感变化；
当拍摄设备开始沿着Y方向轴向远离原点O移动距离K时，则：
。
本发明实施例中，在通过所述模型匹配算法对虚拟图像模型的各个特征在虚拟坐标系中的X方向轴的坐标值、Z方向轴的坐标值以及特征移动后的特征面积进行自适应调整时，通过以下公式计算出特征移动后的光强值，具体公式如下：
；
其中，为虚拟图像模型的各个有光强变换约束的特征在虚拟坐标系中的光强变 化因数，为特征的基础光强特征值，为X方向轴自适应修正时的光强自适应变 换百分比，为方向Z轴自适应修正时的光强自适应变换百分比，为Y轴方向自适应修 正时的光强自适应变换百分比，并且中的加或减是由用户根据实际导 入的虚拟图像模型设计类型进行预先设定，当实际导入的虚拟图像模型在演播放映时主要 是由光亮变换成昏暗，则直接预先设定，当实际导入的虚拟图像模型在 演播放映时主要是由昏暗变换成光亮，则直接预先设定。
本发明实施例中，X方向轴自适应修正时的光强自适应变换百分比与方向Z轴自适应修正时的光强自适应变换百分比/>相等，并且/>和/>均大于Y轴方向自适应修正时的光强自适应变换百分比/>。
本发明实施例中，网络通信层为5G通信网络。
本发明实施例中，将图像拍摄模块拍摄的实景融合至特征化虚拟图像模型中是采用现有的计算机增强现实算法，直接通过将拍摄实景与虚拟图像模型融合即可。
本发明实施例的图2为发明地震虚拟图像模型处理单元的结构原理框图，表示了地震虚拟图像模型处理单元分别是由虚拟场景特征提取模块、特征坐标匹配模块、特征光强匹配模块、匹配度评估模块和开发模块组成，并且还表示了各个模块之间的数据传输方向，具体为虚拟场景特征提取模块将数据发送至特征坐标匹配模块，特征坐标匹配模块将数据发送至特征光强匹配模块，特征光强匹配模块将数据发送至匹配度评估模块，而虚拟场景特征提取模块与开发模块进行数据的双向传输；
本发明实施例的图3为本发明拍摄设备、待拍实景和虚拟图像模型结合于虚拟坐标系中的示意图，其表示虚拟图像模型在虚拟坐标系中的X方向轴和Z方向轴组成的平面位置上，并且穷举示意虚拟图像模型中的各个特征匹配在虚拟坐标系中的坐标值，同时还演示了拍摄设备在虚拟空间中的位置以及模拟运动轨迹。
本发明实施例相比于实施例1的区别技术方案在于：机位实时跟踪模块对图像拍摄模块的拍摄机位进行实时跟踪是通过在图像拍摄模块上安装无线定位模块，并将图像拍摄模块上的无线定位模块与系统后台处理模块实现无线连接，即能使系统后台处理模块实时获取图像拍摄模块在虚拟坐标系内的坐标数据。
本发明实施例中，网络通信层为4G通信网络。
本发明实施例中，地震虚拟图像模型处理单元还包括开发模块，且开发模块用于用户手动操作将虚拟图像模型匹配到虚拟坐标系中，当匹配度评估模块评估的结果不合格，用户能够通过开发模块进行手动匹配和编辑，因此开发模块实际就是配合匹配度评估模块的一个人工操作端口，用户可通过开发模块直接进行操作处理。
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于移动设备传播的虚拟地震场景演播系统，包括地震于演播制作层以及通过网络通信层与地震演播制作层进行无线通信的应用层交互终端，其特征在于：所述地震演播制作层包括：
系统后台处理模块，用于控制地震演播制作层的地震虚拟图像模型的导入、地震虚拟图像模型的处理、虚拟空间坐标系的创建、地震虚拟图像模型的匹配、拍摄设备的机位实时跟踪以及接受拍摄设备的图像数据；
地震虚拟图像模型导入模块，用于将预先制作好的待演播虚拟图像模型导入至虚拟地震场景演播系统中进行数据格式转换解析处理，来适应虚拟地震场景演播系统处理；
虚拟空间坐标系创建模块，用于根据演播室内空间尺寸和地震虚拟图像模型导入模块导入的待演播虚拟图像模型尺寸进行虚拟空间坐标系的创建；
地震虚拟图像模型处理单元，用于对地震虚拟图像模型导入模块导入的待演播虚拟图像模型依次进行场景特征提取、特征坐标匹配、特征光强匹配和匹配度评估处理得到特征化虚拟图像模型；
图像拍摄模块，用于对演播室内的实景进行实时拍摄；
机位实时跟踪模块，用于将图像拍摄模块的拍摄机位与虚拟空间坐标系创建模块创建的虚拟空间坐标系之间进行虚拟空间坐标匹配，并对图像拍摄模块的拍摄机位进行实时跟踪；
地震虚拟图像模型匹配单元，用于通过模型匹配算法对地震虚拟图像模型处理单元处理后得到特征化虚拟图像模型与机位实时跟踪模块匹配的图像拍摄模块拍摄机位的虚拟空间坐标进行匹配处理，并将图像拍摄模块拍摄的实景通过图像融合处理算法融合至特征化虚拟图像模型中。
2.根据权利要求1所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述虚拟空间坐标系创建模块是以导入演播虚拟图像模型四个视界角的任意一个视界角作为坐标原点O，并将导入的演播虚拟图像模型呈现于X方向轴方向和Z方向轴方向形成面上，而图像拍摄模块以及图像拍摄模块所拍摄的实景则位于由X方向轴、Y方向轴和Z方向轴组成的虚拟空间内。
3.根据权利要求2所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述地震虚拟图像模型处理单元包括：
虚拟场景特征提取模块，用于通过特征数据提取算法对导入的演播虚拟图像模型中的各个图像特征进行提取，得到特征集合，其中/>为从演播虚拟图像模型中提取的第n个特征；
特征坐标匹配模块，用于在虚拟空间坐标系创建模块创建的虚拟空间坐标系中，通过将虚拟图像模型导入虚拟空间坐标系中后，虚拟图像模型特征集合中的各个特征会在虚拟空间坐标系中生成相应的虚拟坐标值，并将各个特征匹配到虚拟坐标系的面积特征值作为基础面积特征参数，记，其中/>为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为特征在虚拟坐标系中的Z方向轴的坐标值，/>为特征/>在虚拟坐标系中的基础面积值；
特征光强匹配模块，用于将需要光强变换的光强特征值通过数据嵌入算法匹配到虚拟坐标系中，并将各特征匹配的光强作为基础光强特征参数，记为，其中/>为特征/>的基础光强特征值；
匹配度评估模块，用于对匹配到虚拟坐标系后的虚拟图像模型进行协调度预览、查错以及匹配参数调试。
4.根据权利要求3所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述机位实时跟踪模块将拍摄设备匹配到虚拟坐标系内的坐标为，其中/>为拍摄设备G在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Z方向轴的坐标值。
5.根据权利要求4所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述模型匹配算法具体包括以下步骤：
S1、获取拍摄设备匹配到虚拟坐标系内的坐标为以及虚拟图像模型的各个特征在虚拟坐标系中基础坐标、基础面积值和基础光强值/>；
S2、当拍摄设备开始沿着X方向轴向靠近原点O移动距离L时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着X方向轴向靠近原点O移动距离的比例α，并计算出特征移动后的X方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的X方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着X方向轴向远离原点O移动距离L时，则：
；
S3、当拍摄设备开始沿着Z方向轴向靠近原点O移动距离K时，计算出虚拟图像模型的各个特征在虚拟坐标系中的沿着Z方向轴向靠近原点O移动距离的比例β，并计算出特征移动后的Z方向轴的坐标值，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的Z方向轴的坐标值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着Z方向轴向远离原点O移动距离K时，则：
；
S4、当拍摄设备开始沿着Y方向轴向靠近原点O移动距离D时，计算出虚拟图像模型的各 个特征的放大倍数，并计算出特征移动后的特征面积，具体公式如下：
；
其中，为特征/>在虚拟坐标系中的基础面积值，/>为拍摄设备G在虚拟坐标系中的Y方向轴的坐标值；
当拍摄设备开始沿着Y方向轴向远离原点O移动距离K时，则：
。
6.根据权利要求5所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：在通过所述模型匹配算法对虚拟图像模型的各个特征在虚拟坐标系中的X方向轴的坐标值、Z方向轴的坐标值以及特征移动后的特征面积进行自适应调整时，通过以下公式计算出特征移动后的光强值，具体公式如下：
；
其中，为虚拟图像模型的各个有光强变换约束的特征在虚拟坐标系中的光强变化因 数，为特征的基础光强特征值，为X方向轴自适应修正时的光强自适应变换百 分比，为方向Z轴自适应修正时的光强自适应变换百分比，为Y轴方向自适应修正时 的光强自适应变换百分比，并且中的加或减是由用户根据实际导入的 虚拟图像模型设计类型进行预先设定。
7.根据权利要求6所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述X方向轴自适应修正时的光强自适应变换百分比与方向Z轴自适应修正时的光强自适应变换百分比/>相等，并且/>和/>均大于Y轴方向自适应修正时的光强自适应变换百分比/>。
8.根据权利要求1所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述机位实时跟踪模块对图像拍摄模块的拍摄机位进行实时跟踪是通过在图像拍摄模块上安装无线定位模块，并将图像拍摄模块上的无线定位模块与系统后台处理模块实现无线连接，即能使系统后台处理模块实时获取图像拍摄模块在虚拟坐标系内的坐标数据。
9.根据权利要求1所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述网络通信层为5G通信网络、4G通信网络或GPRS通信网络中的一种。
10.根据权利要求3所述的一种基于移动设备传播的虚拟地震场景演播系统，其特征在于：所述地震虚拟图像模型处理单元还包括开发模块，且开发模块用于用户手动操作将虚拟图像模型匹配到虚拟坐标系中，当匹配度评估模块评估的结果不合格，用户能够通过开发模块进行手动匹配和编辑。
CN202311162631.9A 2023-09-11 2023-09-11 一种虚拟地震场景演播系统 Active CN116896608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311162631.9A CN116896608B (zh) 2023-09-11 2023-09-11 一种虚拟地震场景演播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311162631.9A CN116896608B (zh) 2023-09-11 2023-09-11 一种虚拟地震场景演播系统

Publications (2)

Publication Number Publication Date
CN116896608A true CN116896608A (zh) 2023-10-17
CN116896608B CN116896608B (zh) 2023-12-12

Family

ID=88312470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311162631.9A Active CN116896608B (zh) 2023-09-11 2023-09-11 一种虚拟地震场景演播系统

Country Status (1)

Country Link
CN (1) CN116896608B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014488A (ja) * 1999-07-02 2001-01-19 Matsushita Electric Ind Co Ltd 仮想追跡カメラ装置と仮想追跡光源
CN101674419A (zh) * 2008-09-10 2010-03-17 新奥特（北京）视频技术有限公司 一种虚拟演播室系统中实时编辑模板的方法
JP2017073710A (ja) * 2015-10-08 2017-04-13 日本放送協会 要素画像群生成装置及びそのプログラム
KR20180086004A (ko) * 2017-01-20 2018-07-30 (주)에스엔티코리아 증강현실 객체 추적 시스템
CN110060354A (zh) * 2019-04-19 2019-07-26 苏州梦想人软件科技有限公司 真实图像在虚拟空间中的定位和交互方法
US20200015911A1 (en) * 2017-02-21 2020-01-16 Koh Young Technology Inc. Image matching device and image matching method
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
US20200047074A1 (en) * 2017-11-17 2020-02-13 Tencent Technology (Shenzhen) Company Limited Role simulation method and terminal apparatus in vr scene
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN112348933A (zh) * 2020-11-18 2021-02-09 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN113395540A (zh) * 2021-06-09 2021-09-14 广州博冠信息科技有限公司 虚拟演播系统、虚拟演播实现方法、装置及设备、介质
CN113990168A (zh) * 2021-10-26 2022-01-28 新兴际华科技发展有限公司 基于地震救援虚拟演练系统的虚拟地震灾害场景优化方法
CN114663633A (zh) * 2022-03-24 2022-06-24 航天宏图信息技术股份有限公司 一种ar虚拟直播方法及系统
CN114882121A (zh) * 2022-05-19 2022-08-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于混合现实头显的人机交互虚实融合方法及装置
WO2023097805A1 (zh) * 2021-12-01 2023-06-08 歌尔股份有限公司 显示方法、显示设备及计算机可读存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014488A (ja) * 1999-07-02 2001-01-19 Matsushita Electric Ind Co Ltd 仮想追跡カメラ装置と仮想追跡光源
CN101674419A (zh) * 2008-09-10 2010-03-17 新奥特（北京）视频技术有限公司 一种虚拟演播室系统中实时编辑模板的方法
JP2017073710A (ja) * 2015-10-08 2017-04-13 日本放送協会 要素画像群生成装置及びそのプログラム
KR20180086004A (ko) * 2017-01-20 2018-07-30 (주)에스엔티코리아 증강현실 객체 추적 시스템
US20200015911A1 (en) * 2017-02-21 2020-01-16 Koh Young Technology Inc. Image matching device and image matching method
US20200047074A1 (en) * 2017-11-17 2020-02-13 Tencent Technology (Shenzhen) Company Limited Role simulation method and terminal apparatus in vr scene
CN110060354A (zh) * 2019-04-19 2019-07-26 苏州梦想人软件科技有限公司 真实图像在虚拟空间中的定位和交互方法
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN112348933A (zh) * 2020-11-18 2021-02-09 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN113395540A (zh) * 2021-06-09 2021-09-14 广州博冠信息科技有限公司 虚拟演播系统、虚拟演播实现方法、装置及设备、介质
CN113990168A (zh) * 2021-10-26 2022-01-28 新兴际华科技发展有限公司 基于地震救援虚拟演练系统的虚拟地震灾害场景优化方法
WO2023097805A1 (zh) * 2021-12-01 2023-06-08 歌尔股份有限公司 显示方法、显示设备及计算机可读存储介质
CN114663633A (zh) * 2022-03-24 2022-06-24 航天宏图信息技术股份有限公司 一种ar虚拟直播方法及系统
CN114882121A (zh) * 2022-05-19 2022-08-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于混合现实头显的人机交互虚实融合方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAYA DAWOUD: "Tracking System using GPS, vision and 3D virtual Model", 《2008 3RD INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGIES: FROM THEORY TO APPLICATIONS》 *
学峰: "数字地震科普馆的构建与实现——以内蒙古数字地震科普馆为例", 《山西地震》 *
李自力, 朱光喜, 朱耀庭: "虚拟演播室中节目主持人或演员与虚拟场景融合的一种技术方案", 通信学报, no. 10 *

Also Published As

Publication number Publication date
CN116896608B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
EP2629267A2 (en) Real-time compositing of live recording-based and computer graphics-based media streams
Gleicher Animation from observation: Motion capture and motion editing
KR100914847B1 (ko) 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
JP2020087440A (ja) 位置合わせされたｃａｄモデルを使用するａｒ対応ラベル付け
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US11425283B1 (en) Blending real and virtual focus in a virtual display environment
US20100226626A1 (en) Video Bit Stream Extension By Video Information Annotation
JPH08331607A (ja) 三次元表示画像生成方法
CN105191287A (zh) 替换视频流中的对象的方法及计算机程序
CN106648098B (zh) 一种自定义场景的ar投影方法及系统
CN106331521A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN108280873A (zh) 模型空间位置捕捉及热点自动生成处理系统
US11335039B2 (en) Correlation of multiple-source image data
US11048925B1 (en) Active marker device for performance capture
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
CN106845435A (zh) 一种基于实物检测追踪算法的扩增实境技术实现方法
CN116896608B (zh) 一种虚拟地震场景演播系统
CN111064947A (zh) 基于全景的视频融合方法、系统、装置和存储介质
Kim et al. 3-d virtual studio for natural inter-“acting”
Cha et al. Client system for realistic broadcasting: A first prototype
Zimmer et al. Mobile previsualization using augmented reality: a use case from film production
Wang et al. Research on 3D Animation Technology of Human and Scene Based on Virtual Reality
WO2021131991A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
Gao et al. Aesthetics Driven Autonomous Time-Lapse Photography Generation by Virtual and Real Robots
CN116389886A (zh) 一种用于影视虚拟拍摄和制作的可视化系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant