CN111063034B - 一种时域交互方法 - Google Patents

一种时域交互方法 Download PDF

Info

Publication number
CN111063034B
CN111063034B CN201911283162.XA CN201911283162A CN111063034B CN 111063034 B CN111063034 B CN 111063034B CN 201911283162 A CN201911283162 A CN 201911283162A CN 111063034 B CN111063034 B CN 111063034B
Authority
CN
China
Prior art keywords
information
shadow
light
controlling
virtual world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911283162.XA
Other languages
English (en)
Other versions
CN111063034A (zh
Inventor
陈政权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Zhongsheng Matrix Technology Development Co ltd
Original Assignee
Sichuan Zhongsheng Matrix Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Zhongsheng Matrix Technology Development Co ltd filed Critical Sichuan Zhongsheng Matrix Technology Development Co ltd
Priority to CN201911283162.XA priority Critical patent/CN111063034B/zh
Publication of CN111063034A publication Critical patent/CN111063034A/zh
Application granted granted Critical
Publication of CN111063034B publication Critical patent/CN111063034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

一种时域交互方法。本发明属于计算机图像应用领域,尤其是涉及应用于一种时域交互方法。针对虚拟世界难以模拟现实世界的物体因受到光影以及周围环境而出现信息差异的问题,本发明的技术方案是:将有顺序的视觉矩阵信息,在三维坐标数据、时间轴上一一对应,形成时域空间信息。此时域空间信息能够进行自我信息增补,并能任意布置光影以拟真现实世界,并通过调节光影、时间、视角对数据进行全方位观察,可以实现时间、地点的任意选择,从而做到对虚拟环境的各个方面进行漫游观察,做到输入与输出的“端到端”理念。

Description

一种时域交互方法
技术领域
本发明属于计算机图像应用领域,尤其涉及一种时域交互方法。
背景技术
传统的剧场、电影这种是基于“第四面墙”的观察方式。时域的采集以及输出,打破传统模式,可让多时间点的空间(方位视角)在任意时间重现,人可以通过操作倒退、快进甚至静止的时域技术的视觉信息获取的虚拟漫游方式。
目前,虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合,是一门富有挑战性的交叉技术前沿学科和研究领域。不同于虚拟现实技术(VR)的模拟环境、感知、自然技能和传感设备等方面,时域交互的采集和输出重在体现内容的制作和输出,使输出的观察模式模拟现实更超越现实,做到采集和输出皆可全方位观察。对于现有技术,传统电影、剧场演出界定了“观众”和“演员”的限制,观众不仅局限于自己座位视角方位画面,更不能选择实时转播的视角方位画面。
发明内容
针对现实世界里面的物体因为受到光的影响,加上周围环境的不同,呈现出的信息更是虚拟世界难以模拟的,以及现实世界观察事物的时间、空间限制。
本发明的目的在于:使现实的信息在虚拟世界集成,打破现实世界观察方式的壁垒,可以达到时间、地点的任意选择,从而做到对虚拟环境的各个方面进行漫游观察。
本发明采用的技术方案如下:
一种时域交互方法,包括以下步骤:
步骤1:在现实空间中划定一个三维空间,三维空间的一个时间段内,定义为时域空间,记录所述时域空间内的全部信息,包括采集对象的全方位数据以及其运动的全信息;
步骤2:分析光影以及周围环境对所述全部信息的影响,剥离这些影响,得到物体物理信息的本身数据,并无损保存;
步骤3:根据交互的目的,按需求设定重建交互文件所需要的坐标系、时间轴以及重赋光与影信息;
步骤4:根据步骤2保存的数据,在步骤3中设定的坐标系、时间轴和光与影信息下,制作交互文件。
采用了此方案,时域技术方案输出的是相机位序列,是需要根据用户的需求随时调用对应的坐标系视角与视距,即输出的是视觉画面,精度由画面尺寸决定,原始数据并不会进行消减,最高精度原始数据放置在后端服务器中,前端显示器仅仅是调用用户想看到的地方,以相机位序列在虚拟世界中漫游。由于采集数据利用相机矩阵作为主要的采集方式,而输出成果也是采用相机矩阵序列的方式,因此,两者比较数据并没有发生损失,反而进行科学增补。
其中,所述步骤4中的光与影信息包括如下2种情况:
(1)固定虚拟世界的光影;
(2)控制虚拟世界的光影。
采用了此方案,尽可能真实模拟现实环境,又尽可能打破传统观察事物的模式,跳出时间、空间、外部环境影响,应用于人机交互之上,仅仅调节三个数据(比如光影、时间、物体的转动),便可以任意选择方式,对数据进行全方位的观察。
其中,所述(1)包括如下2种情况:
(1.1)固定虚拟世界的光影,固定视角,控制物体的转动,观察到的影像不同;
(2.1)固定虚拟世界的光影,固定物体,控制视角的变化,观察到的影像不同。
其中,所述(2)包括如下4种情况:
(1.2)固定视角,固定物体,控制虚拟世界的光彩,观察到的影像不同;
(2.2)固定视角,控制虚拟世界的光彩,控制物体,观察到的影像不同;
(3.2)固定物体,控制虚拟世界的光彩,控制视角,观察到的影像不同;
(4.2)控制虚拟世界的光彩,控制物体,控制视角,观察到的影像不同。
所述步骤4中,坐标系不仅指空间物理信息,更是各坐标系相互转换,与其他信息相关联。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.由于采集数据利用相机矩阵作为主要的采集方式,而输出成果也是采用相机矩阵序列的方式,因此,两者比较数据并没有发生损失,反而进行科学增补。
2.尽可能真实模拟现实环境,又尽可能打破传统观察事物的模式,跳出时间、空间、外部环境影响,应用于人机交互之上,仅仅调节三个数据(比如光影、时间、物体的转动),便可以任意选择方式,对数据进行全方位的观察。
3.在对数据采集、对事物或环境的全方位信息进行记录后,经过计算形成的数据成果,再对其进行一系列的处理后,不会因为显示终端的不同而对其再次进行压缩处理,不会造成信息的损失。
4.在采集数据与输出成果这两端的信息无限趋同,在整个过程中,信息并没有造成损失,反而会进行科学性的增补,如物体表面的菲涅尔效应。
5.排除干扰信息,在看似杂乱无章的信息中提取重要信息。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本发明的相机位。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1对本发明作详细说明。
一种时域交互方法,包括以下步骤:
步骤1:在现实空间中划定一个三维空间,三维空间的一个时间段内,定义为时域空间,记录所述时域空间内的全部信息,包括采集对象的全方位数据以及其运动的全信息;
步骤2:分析光影以及周围环境对所述全部信息的影响,剥离这些影响,得到物体物理信息的本身数据,并无损保存;
步骤3:根据交互的目的,按需求设定重建交互文件所需要的坐标系、时间轴以及重赋光与影信息;
步骤4:根据步骤2保存的数据,在步骤3中设定的坐标系、时间轴和光与影信息下,制作交互文件。
优选的,所述步骤4中的光与影信息包括如下2种情况:
(1)固定虚拟世界的光影;
(2)控制虚拟世界的光影。
优选的,所述(1)包括如下2种情况:
(1.1)固定虚拟世界的光影,固定视角,控制物体的转动,观察到的影像不同;
(2.1)固定虚拟世界的光影,固定物体,控制视角的变化,观察到的影像不同。
优选的,所述(2)包括如下4种情况:
(1.2)固定视角,固定物体,控制虚拟世界的光彩,观察到的影像不同;
(2.2)固定视角,控制虚拟世界的光彩,控制物体,观察到的影像不同;
(3.2)固定物体,控制虚拟世界的光彩,控制视角,观察到的影像不同;
(4.2)控制虚拟世界的光彩,控制物体,控制视角,观察到的影像不同。
优选的,坐标系不仅指空间物理信息,更是各坐标系相互转换,与其他信息相关联,时间轴本质是一个参数轴,可为多个参数轴,可控制时间或控制物体等控制参数轴;物体的光与影与模型物理信息本身分离,物体表面所被计算出的图像皆反应在接受信息的视线处。
优选的,时域技术方案输出的是相机位序列,是需要根据用户的需求随时调用对应的坐标系视角与视距,即输出的是视觉画面,精度由画面尺寸决定,原始数据并不会进行消减,最高精度原始数据放置在后端服务器中,前端敖钊用户需求调用,以相机位序列在虚拟世界中漫游。由于采集数据利用相机矩阵作为主要的采集方式,而输出成果也是采用相机矩阵序列的方式,因此,两者比较数据并没有发生损失,反而进行科学增补。比如采集时使用180台相机,一个视点的全方位无死角视角的输出序列会根据用户的硬件条件作出相应调整,若是输出3200个视角,这其中有180个可能会与输入的180台相机位坐标重合,其视角所看到的信息,即输入与输出可做一个对比,时域技术方案所强调的无损就是此处信息对比。
优选的,时间轴时产生海量数据的最大原因,一旦涉及到时间轴,储存信息便以指数级增长,数据可以跨越时间轴进行融合,时间轴亦是参数轴,无论参数轴如何定义,相机位序列都是对应的,输出此时此刻的不同相机位的视觉画面,即是此时间点的不同坐标视线的看到同一视线交点的不同画面。并非是当下娱乐或影视中出现的子弹时间,我们所作的输出是此时间点多视角的不同像,也就是说此刻在此单一视角看到的像可以进行参数轴的改变,这个参数轴可以是时间轴,此刻多方位视角都可以发生联动,即视点坐标不同,看到的像便不同,在不同方位时产生联动。
优选的,如紧靠墙体的大型佛像的背后数据,若不挪动,很难采集到准确的立体数据,在修缮一个纯木构的古塔作业中,只要作业空间被全面记录下来,也就无须对被拆下的物体贴标签,其坐标系与时间轴一一组成序列,那么它就是唯一的,拆解的过程,拿在手中在数据采集中,放在地上也在数据采集中,再次装回去一样也在数据采集中,当工匠用手抓住构件的左边拿起,再次用手抓住构件的右边,在时间轴上必然不同,在后期的数据处理中,可以将两个时间点的信息进行融合,剔除光与影,将坐标数据重合,物体表面拟合,将被手遮挡住的信息补全,这样一个构件的信息将被完整的采集,在作业完成后,在虚拟世界便可以进行虚拟的互动拆解。
以上所述实施例仅表达了本申请的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请技术方案构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。

Claims (1)

1.一种时域交互方法,其特征在于,包括以下步骤:
步骤1:在现实空间中划定一个三维空间,三维空间的一个时间段内,定义为时域空间,记录所述时域空间内的全部信息,包括采集对象的全方位数据以及其运动的全信息;
步骤2:分析光影以及周围环境对所述全部信息的影响,剥离这些影响,得到物体物理信息的本身数据,并无损保存;
步骤3:根据交互的目的,按需求设定重建交互文件所需要的坐标系、时间轴以及重赋光与影信息;
步骤4:根据步骤2保存的数据,在步骤3中设定的坐标系、时间轴和光与影信息下,制作交互文件,所述光与影信息包括如下2种情况:
(1)固定虚拟世界的光影,具体包括如下2种情况:
(1.1)固定虚拟世界的光影,固定视角,控制物体的转动,观察到的影像不同;
(2.1)固定虚拟世界的光影,固定物体,控制视角的变化,观察到的影像不同;
(2)控制虚拟世界的光影,具体包括如下4种情况:
(1.2)固定视角,固定物体,控制虚拟世界的光彩,观察到的影像不同;
(2.2)固定视角,控制虚拟世界的光彩,控制物体,观察到的影像不同;
(3.2)固定物体,控制虚拟世界的光彩,控制视角,观察到的影像不同;
(4.2)控制虚拟世界的光彩,控制物体,控制视角,观察到的影像不同。
CN201911283162.XA 2019-12-13 2019-12-13 一种时域交互方法 Active CN111063034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911283162.XA CN111063034B (zh) 2019-12-13 2019-12-13 一种时域交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911283162.XA CN111063034B (zh) 2019-12-13 2019-12-13 一种时域交互方法

Publications (2)

Publication Number Publication Date
CN111063034A CN111063034A (zh) 2020-04-24
CN111063034B true CN111063034B (zh) 2023-08-04

Family

ID=70301535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911283162.XA Active CN111063034B (zh) 2019-12-13 2019-12-13 一种时域交互方法

Country Status (1)

Country Link
CN (1) CN111063034B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611266B1 (en) * 1999-06-07 2003-08-26 Yoram Pollack Method for achieving roaming capabilities and performing interactive CGI implanting, and computer games using same
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法
CN106910246A (zh) * 2017-03-08 2017-06-30 深圳大学 时空结合的散斑三维成像方法及装置
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
CN108919944A (zh) * 2018-06-06 2018-11-30 成都中绳科技有限公司 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109410309A (zh) * 2018-09-30 2019-03-01 深圳市商汤科技有限公司 重光照方法和装置、电子设备和计算机存储介质
CN110310319A (zh) * 2019-06-12 2019-10-08 清华大学 光照分离的单视角人体服装几何细节重建方法及装置
WO2019223158A1 (zh) * 2018-05-23 2019-11-28 平安科技(深圳)有限公司 Vr图像生成方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
CN101467454A (zh) * 2006-04-13 2009-06-24 科汀科技大学 虚拟观测器
JP2012242821A (ja) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc 表示画像生成方法
US11024085B2 (en) * 2016-07-09 2021-06-01 Doubleme, Inc. Electronic system and method for three-dimensional mixed-reality space and experience construction and sharing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611266B1 (en) * 1999-06-07 2003-08-26 Yoram Pollack Method for achieving roaming capabilities and performing interactive CGI implanting, and computer games using same
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法
CN106910246A (zh) * 2017-03-08 2017-06-30 深圳大学 时空结合的散斑三维成像方法及装置
WO2019223158A1 (zh) * 2018-05-23 2019-11-28 平安科技(深圳)有限公司 Vr图像生成方法、装置、计算机设备及存储介质
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
CN108919944A (zh) * 2018-06-06 2018-11-30 成都中绳科技有限公司 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109410309A (zh) * 2018-09-30 2019-03-01 深圳市商汤科技有限公司 重光照方法和装置、电子设备和计算机存储介质
CN110310319A (zh) * 2019-06-12 2019-10-08 清华大学 光照分离的单视角人体服装几何细节重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾华宇."基于单相机序列图像的三维重建技术研究及应用".中国优秀硕士学位论文全文数据库信息科技辑.2019,(第2期),I138-2214. *

Also Published As

Publication number Publication date
CN111063034A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
JP6643357B2 (ja) 全球状取込方法
US10650590B1 (en) Method and system for fully immersive virtual reality
US11197038B2 (en) Systems and methods for synchronizing surface data management operations for virtual reality
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
US10699749B2 (en) Methods and systems for customizing virtual reality data
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统
WO2007048197A1 (en) Systems for providing a 3d image
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
RU2606875C2 (ru) Способ и система отображения масштабных сцен в режиме реального времени
WO2009068942A1 (en) Method and system for processing of images
CN111063034B (zh) 一种时域交互方法
WO2022244131A1 (ja) 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造
Thatte et al. Real-World Virtual Reality With Head-Motion Parallax
Uppuluri Adapting Single-View View Synthesis with Multiplane Images for 3D Video Chat
Ronfard et al. Image and geometry processing for 3-d cinematography: An introduction
CN117425044A (zh) 视频生成方法、第一设备、第二设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant