CN110992474B - 一种时域技术的实现方法 - Google Patents

一种时域技术的实现方法 Download PDF

Info

Publication number
CN110992474B
CN110992474B CN201911282080.3A CN201911282080A CN110992474B CN 110992474 B CN110992474 B CN 110992474B CN 201911282080 A CN201911282080 A CN 201911282080A CN 110992474 B CN110992474 B CN 110992474B
Authority
CN
China
Prior art keywords
data
time domain
acquisition
real
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911282080.3A
Other languages
English (en)
Other versions
CN110992474A (zh
Inventor
陈政权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Zhongsheng Matrix Technology Development Co ltd
Original Assignee
Sichuan Zhongsheng Matrix Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Zhongsheng Matrix Technology Development Co ltd filed Critical Sichuan Zhongsheng Matrix Technology Development Co ltd
Priority to CN201911282080.3A priority Critical patent/CN110992474B/zh
Publication of CN110992474A publication Critical patent/CN110992474A/zh
Application granted granted Critical
Publication of CN110992474B publication Critical patent/CN110992474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/32Image data format

Abstract

一种时域技术的实现方法。本发明涉及对现实世界的数据采集、存储、应用的技术流程领域,尤其涉及一种时域技术的实现方法。针对现有技术对于无法完整如实地把实物复原在虚拟空间的问题,本发明的技术方案是:记录采集对象全方位的矩阵点位数据,对现实世界采集对象的颜色、质感、光影等进行高度保真记录,全方面获取数据;计算机保存记录的数据、按需要处理数据、根据处理后的数据输出不同应用。

Description

一种时域技术的实现方法
技术领域
本发明涉及对现实世界数据进行采集、存储、应用的技术流程领域,尤其涉及一种时域技术的实现方法。
背景技术
时域原本是通信领域里的名词,是描述数学函数、物理信号与时间对应的关系。时域是可见世界中唯一实际存在的域,变量均是参数轴:即W轴是时间轴,U轴与V轴是空间坐标方位。时间与空间领域之间建立起相互产生影响的关系。现实世界中的一切事件均可以用按时间先后顺序发生的一组或一系列时域数据来表达。
目前,三维数据的采集方法主要是人工根据对象的特征运用适宜的软件进行三维建模技术,或者三维扫描技术——生成的数据以面(Surface)或点云(Point cloud)的方式呈现。
现有技术中,因为机器扫描技术的限制以及模型成像方式的原因,在对采集对象进行扫描或者建模之后,通常会通过纹理贴图去“再现”。但这种方式存在着无法回避的技术缺陷,为了传播或显示端流畅,“削面”必然会带来一定的损失,“贴图”更是无法做到图与形的准确对位。这种方式并不能完整如实地把实物复原在虚拟空间,必然会出现误差和失去光影质感。
发明内容
针对现有技术中人工建模和贴图无法做到“图与形”准确对位,以及无法完整如实地把实物复原在虚拟空间的问题。
本发明的目的在于:全方面获取现实数据,并保证数据的颜色、光影质感等高度保真。
本发明采用的技术方案如下:
一种时域技术实现的方法,包括以下步骤:
步骤1:记录:以矩阵点位的方式记录采集对象全方位的信息数据;
步骤2:分析:计算机保存记录的数据,按需要处理数据;
步骤3:应用:将处理后的数据以相机序列方式输出至不同的应用,制作交互文件。
采用了此方案,输入与输出的都是相机位序列,两者比较,数据并没有发生损失,在全方位输入与处理当中,反而会进行科学增补。可随时调用任意坐标系视角与视距,输出视觉画面。其中,最高精度原始数据放置在后端服务器中,画面的精度由调用尺寸决定,原始数据并不会有消减,前端显示器的精度可根据用户的需求调用;也可以以相机位序列在虚拟世界中漫游。
其中,所述步骤1包括:
步骤1.1:根据采集对象的材质、形态以及表观体积,采用适合采集的工作空间、工作环境以及采集设备;
步骤1.2:预计采集和输出的效果,设计采集矩阵;
步骤1.3:利用高清工业级相机(或者其他满足要求的采集设备),对单一点进行多次拍摄(全过程由相机自动调整景深,计算拍摄的张数);
步骤1.4:按矩阵位置,逐一对单一点位按照步骤1.3标准进行采集。
采用了此方案,即需要对原物身处环境中被影响的反应数据进行多方位的记录,采集对象不再是一张单一视角的图片,而是现实世界的数据集合。同时,高精度多次采集保证了现实世界数据的可靠性,为后续各方面的应用打下基础。
其中,所述步骤2包括:
步骤2.1:对采集的原始数据进行无损存储;
步骤2.2:对单一采集点的原始数据进行精确合成,得到合成的数据;
步骤2.3:合成的数据进行有序储存,得到与采集矩阵相对应的数据集;
步骤2.4:对有序的数据利用PhotoScan进行适当算法的计算,得到可在虚拟环境操作虚拟数据;
步骤2.5:分析现实世界中环境对采集对象的影响,在不改变真实数据的前提下,对虚拟环境的数据剥离这些影响,并可按需求赋予虚拟环境模拟现实世界的影响参数。
采用了此方案,基于“端到端”理念的执行流程,严格按照一定的标准从源头开始执行,实现无损传递。对现实世界的原始数据进行了无损传递。当根据人的需要进行编码、解码、重构、组合之后,形成数据和原物保持一致,没有产生损失的全息影像。不仅是保存,更重要的是可以与现实世界产生的影响相互作用。对采集的数据全程操作基本无人为主观干涉。同时,通过多次的采集试验,时域系统对自然事物有一定的识别能力,在材质采集的实验基础上,将任何材质以及纹理数据更准确记载,在得到的有序图像中,整个流程可以对物体在环境影响下做出的反应,分析物体的属性,是遵循一定的逻辑与规则的执行方案。
其中,所述步骤3包括:
步骤3.1:利用处理后的数据,根据需要计算出三维模型、“时域彩虹模型”、“时域纹理线框提取图”等;
步骤3.2:结合相应软件,对步骤3.1的成果制作相应的交互文件;
步骤3.3:在需要的领域,将步骤3.2得到的交互文件与实物对比,进行进一步观察与研究。
采用了此方案,可以输出信息全面的,面数不进行削减三维模型,按照需求随意调用强调形体、色彩质感、纹理信息等三维模型;输出“时域彩虹模型”,避免单一视角产生的数据遗漏,将数据智能化,相关研究领域可按照需求提取任意数据,输出的验收与互动成果一致;输出“时域纹理线框提取图”,单独提取某些局部信息。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.严格执行“端到端”的理念,强调信息全方位记录以及信息无算传递,时域技术方案输出的是相机位序列,最高精度的原始数据放置在后端服务器中,输出的是视觉画面,按照需求进行调用的信息,精度由画面尺寸决定,原始数据并不会进行消减,在传递过程中,数据并没有发生损失,反而会因为多方位的分析,进行科学的增补。
2.采集结果不仅是画面信息,更是现实数据,即需要对原物身处环境中被影响的反应数据进行多方位的记录、编码、存储,根据人的需要进行解码、重构、组合成和原物的特征数据一致没有产生损失的全息影像,不仅是保存在虚拟空间,更重要的是可以与现实世界产生的影响相互作用,运用超高像素工业级相机矩阵,对采集的数据全程操作基本无人为主观干涉,实现无损传递。
3.时域系统对自然事物有一定的识别能力,可以在材质采集的实验基础上,将任何材质以及纹理数据更准确记载,在得到的有序图像中,可以对物体在环境影响下做出的反应,分析物体的属性,是遵循一定的逻辑与规则的执行方案。
4.可以系统输出“时域彩虹模型”,避免单一视角产生的数据遗漏,数据智能化,可按照需求提取数据,输出的验收与互动成果一致,不进行任何削减,三维模型面数不进行削减。
5.对于交互应用,不需要下载任何APP或者任何插件,无论Windows、Android(安卓)或是iOS等环境均可使用。
6.既可以用于生成三维模型,又可以直接用于立体影像交互设计应用的“数据的时域坐标数据库”。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本发明的流程对外图。
图2是本发明的流程对内图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1、图2对本发明作详细说明。
一种时域技术实现的方法,其特征在于,包括以下步骤:
步骤1:记录:以矩阵点位的方式记录采集对象全方位的信息数据;
步骤2:分析:计算机保存记录的数据,按需要处理数据;
步骤3:应用:将处理后的数据以相机序列方式输出至不同的应用,制作交互文件。
优选的,所述步骤1包括:
步骤1.1:根据采集对象的材质、形态以及表观体积,采用适合采集的工作空间、工作环境以及采集设备;
步骤1.2:预计采集和输出的效果,设计采集矩阵;
步骤1.3:利用高清工业级相机,对单一点进行多次拍摄,全过程由相机自动调整景深,计算拍摄的张数,进行焦点堆叠,全景深的效果都是为了此方位的信息全面且准确。其他设备亦是如此;
步骤1.4:按矩阵位置,逐一对单一点位按照步骤1.3标准进行采集。
优选的,所述步骤2包括:
步骤2.1:对采集的原始数据进行无损存储;
步骤2.2:对单一采集点的原始数据进行精确合成,得到合成的数据;
步骤2.3:合成的数据进行有序储存,得到与采集矩阵相对应的数据集;
步骤2.4:对有序的数据利用PhotoScan进行适当算法的计算,得到可在虚拟环境操作虚拟数据;
步骤2.5:分析现实世界中环境对采集对象的影响,在不改变真实数据的前提下,对虚拟环境的数据剥离这些影响,并可按需求赋予虚拟环境模拟现实世界的影响参数。
优选的,所述步骤3包括:
步骤3.1:利用处理后的数据,根据需要计算出三维模型、“时域彩虹模型”、“时域纹理线框提取图”等;
步骤3.2:结合相应软件,对步骤3.1的成果制作相应的交互文件;
步骤3.3:在需要的领域,将步骤3.2得到的交互文件与实物对比,进行进一步观察与研究。
优选的,采集阶段的成果与计算输出的结果非常重要,输出的结果反向追朔,能够还原最初的采集结果,才可以称得上是正确的时域技术,最终计算出的内容,无论时精度、纹理或光影都可以能够达到一个理想的结果以及给定的标准;
(1)前期阶段为了保证信息的完整与准确,对于精度与准确性不能妥协;
(2)用于静止文物是各方位的信息要一一规则排布,形成秩序,而未来应用于携带时间轴场景的关键,是其内容在空间中要与时间轴序列一一对应;
(3)检验是否削面处理模型;
(4)成果除了输出目前可以用于3D打印的多边形模型外,还可以输出自动生成的线稿图,可以预设很多样式无需人为过多干预,确保提取的信息准确,为研究提供更准确的数据。
人眼辨别物体细部分的能力是随着照度及物体与背景的对比度的增加而增加,根据瑞利判据,并由爱里斑的半角宽度公式,人眼的最小分辨角数值为1′,即正常人能分辨明视距离25cm处相隔0.075mm的两条刻线。光学系统中存在着一个分辨极限:当两个物点过于靠近,其像斑重叠在一起,就可能分辨不出是两个物点。现实的世界、任何设备记录的虚拟世界便存在一个逼近度的关系。人眼无法放大,且分辨极限并不代表实物本来的组成精度,但是机器可以在更高精度采集的情况下再放大。所以高精度是采集便是记录信息的基本条件。人对现实世界的感知,一定程度上靠眼睛,相机是目前输入与输出最接近人眼的设备,在时域技术方案中,输入端主要采用数码相机,输出端采用虚拟相机。
人观察事物时也由于双眼各自接收到的图像不同,通过大脑的处理以构建认知的三维世界。所以多方位的信息输入才是对信息的完全记录,时域技术方案输出的是相机位序列,是需要根据用户的需求随时调用对应的坐标系视角与视距,换言之,输出的是视觉画面,精度由画面尺寸决定,原始数据并不会进行削减,最高精度原始数据放置在后端服务器中,前端显示器仅仅是调用用户想看到的地方,以相机位序列在虚拟世界中漫游,由于采集数据利用相机矩阵作为主要的采集方式,而输出成果也是采用相机矩阵序列的方式,因此,两者比较,数据并没有发生“损失”,反而会进行科学增补,为了让“端到端”严格执行,让观察者可以在任意时间点、任意空间坐标位进行观察。
反推物理渲染的现实世界,现实世界在虚拟世界的保存记录与分析以一种更为贴近事实的方式进行工作,PBR的范畴,由三部分组成:基于物理的材质(Material)、基于物理的光照(Lighting)、基于物理适配的摄像机(Camera)。
时域技术另一个核心就是强调对环境的分析,但这一部分目前的研究还需进行大量的实验数据储备,目前的数据与机器的学习样本有限,仅限于部分材质与物体可以做到人工干涉较少,此技术在此次专利中不做详细说明,应是后续专利中详细解释其原理,其原理通过现有技术可以代替,机器学习技术。
以上所述实施例仅表达了本申请的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请技术方案构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。

Claims (2)

1.一种时域技术实现的方法,其特征在于,包括以下步骤:
步骤1:记录:以矩阵点位的方式记录采集对象全方位的信息数据;
步骤2:分析:计算机保存记录的数据,按需要处理数据;
步骤3:应用:将处理后的数据以相机序列方式输出至不同的应用,制作交互文件;
所述步骤1包括:
步骤1.1:根据采集对象的材质、形态以及表观体积,采用适合采集的工作空间、工作环境以及采集设备;
步骤1.2:预计采集和输出的效果,设计采集矩阵;
步骤1.3:利用高清工业级相机,对单一点进行多次拍摄;
步骤1.4:按矩阵位置,逐一对单一点位按照步骤1.3标准进行采集;
所述步骤2包括:
步骤2.1:对采集的原始数据进行无损存储;
步骤2.2:对单一采集点的原始数据进行精确合成,得到合成的数据;
步骤2.3:合成的数据进行有序储存,得到与采集矩阵相对应的数据集;
步骤2.4:对有序的数据利用PhotoScan进行适当算法的计算,得到可在虚拟环境操作的虚拟数据;
步骤2.5:分析现实世界中环境对采集对象的影响,在不改变真实数据的前提下,对虚拟环境的数据剥离这些影响,并可按需求赋予虚拟环境模拟现实世界的影响参数;
所述步骤3包括:
步骤3.1:利用处理后的数据,根据需要计算出三维模型、时域彩虹模型、时域纹理线框提取图;
步骤3.2:结合相应软件,对步骤3.1的成果制作相应的交互文件。
2.根据权利要求1所述的一种时域技术实现的方法,其特征在于,所述步骤3还包括:
步骤3.3:在需要的领域,将步骤3.2得到的交互文件与实物对比,进行进一步观察与研究。
CN201911282080.3A 2019-12-13 2019-12-13 一种时域技术的实现方法 Active CN110992474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282080.3A CN110992474B (zh) 2019-12-13 2019-12-13 一种时域技术的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282080.3A CN110992474B (zh) 2019-12-13 2019-12-13 一种时域技术的实现方法

Publications (2)

Publication Number Publication Date
CN110992474A CN110992474A (zh) 2020-04-10
CN110992474B true CN110992474B (zh) 2023-10-31

Family

ID=70093368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282080.3A Active CN110992474B (zh) 2019-12-13 2019-12-13 一种时域技术的实现方法

Country Status (1)

Country Link
CN (1) CN110992474B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113218324A (zh) * 2021-03-30 2021-08-06 四川中绳矩阵技术发展有限公司 一种可移动文物时域数据采集平台及其采集方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220312A (ja) * 2003-01-15 2004-08-05 Japan Science & Technology Agency 多視点カメラシステム
JP2005346417A (ja) * 2004-06-03 2005-12-15 Sega Corp 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
CN101281658A (zh) * 2008-04-25 2008-10-08 清华大学 变化光照动态场景三维采集系统
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
CN106408598A (zh) * 2016-09-23 2017-02-15 邹建成 一种基于阵列镜头的三维人像重构打印装置
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
CN108919944A (zh) * 2018-06-06 2018-11-30 成都中绳科技有限公司 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109801374A (zh) * 2019-01-14 2019-05-24 盾钰(上海)互联网科技有限公司 一种通过多角度图像集重构三维模型的方法、介质及系统
CN109882711A (zh) * 2019-03-19 2019-06-14 卢连欢 图像采集装置和人像雕刻方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212794A1 (en) * 2004-03-29 2005-09-29 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for removing of shadows and shadings from texture images
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
US7750906B2 (en) * 2006-04-19 2010-07-06 Pixar Systems and methods for light pruning
US10412373B2 (en) * 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220312A (ja) * 2003-01-15 2004-08-05 Japan Science & Technology Agency 多視点カメラシステム
JP2005346417A (ja) * 2004-06-03 2005-12-15 Sega Corp 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
CN101281658A (zh) * 2008-04-25 2008-10-08 清华大学 变化光照动态场景三维采集系统
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
CN106408598A (zh) * 2016-09-23 2017-02-15 邹建成 一种基于阵列镜头的三维人像重构打印装置
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
CN108919944A (zh) * 2018-06-06 2018-11-30 成都中绳科技有限公司 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109801374A (zh) * 2019-01-14 2019-05-24 盾钰(上海)互联网科技有限公司 一种通过多角度图像集重构三维模型的方法、介质及系统
CN109882711A (zh) * 2019-03-19 2019-06-14 卢连欢 图像采集装置和人像雕刻方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘思睿."快速光流估计与时空一致件三维重建".《中国优秀硕士学位论文全文数据库信息科技辑》.2018,(第1期),I138-1176. *

Also Published As

Publication number Publication date
CN110992474A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110998669A (zh) 图像处理装置和方法
US20230186550A1 (en) Optimizing generation of a virtual scene for use in a virtual display environment
US11354774B2 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
US11694313B2 (en) Computer-generated image processing including volumetric scene reconstruction
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
US11165957B2 (en) Reconstruction of obscured views in captured imagery using user-selectable pixel replacement from secondary imagery
US11328437B2 (en) Method for emulating defocus of sharp rendered images
JP2023172882A (ja) 三次元表現方法及び表現装置
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及系统
CN110992474B (zh) 一种时域技术的实现方法
WO2022060230A1 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
CN115908712A (zh) 基于图像的三维重建及模型训练方法、设备及存储介质
US11308586B2 (en) Method for applying a vignette effect to rendered images
WO2023021325A1 (en) Replacing moving objects with background information in a video scene
JP2000306118A (ja) 樹木のテクスチャ生成装置
CN111369612A (zh) 一种三维点云图像生成方法及设备
US11153480B2 (en) Plate reconstruction of obscured views of captured imagery using arbitrary captured inputs
EP4340366A1 (en) Systems and methods for capturing, transporting, and reproducing three-dimensional simulations as interactive volumetric displays
US20220215512A1 (en) Method for Emulating Defocus of Sharp Rendered Images
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
US20230052349A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
WO2023022606A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
WO2023021324A1 (en) Removing moving objects from a video scene captured by a moving camera
CN117315164A (zh) 光波导全息显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant