CN112862901B - 基于多视视频与时空神经辐射场的实验动物视场模拟方法 - Google Patents
基于多视视频与时空神经辐射场的实验动物视场模拟方法 Download PDFInfo
- Publication number
- CN112862901B CN112862901B CN202110193303.XA CN202110193303A CN112862901B CN 112862901 B CN112862901 B CN 112862901B CN 202110193303 A CN202110193303 A CN 202110193303A CN 112862901 B CN112862901 B CN 112862901B
- Authority
- CN
- China
- Prior art keywords
- view
- experimental animal
- network
- experimental
- animal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010171 animal model Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 230000005855 radiation Effects 0.000 title claims abstract description 24
- 238000004088 simulation Methods 0.000 title claims abstract description 17
- 210000005036 nerve Anatomy 0.000 title claims abstract 6
- 230000001537 neural effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 241001465754 Metazoa Species 0.000 claims abstract description 14
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 230000002194 synthesizing effect Effects 0.000 claims abstract 2
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000004033 plastic Substances 0.000 claims description 4
- 229920003023 plastic Polymers 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 239000002023 wood Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 239000011521 glass Substances 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 2
- 239000000428 dust Substances 0.000 claims 1
- 238000002474 experimental method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本申请提出一种基于多视视频与时空神经辐射场的实验动物视场模拟方法，包括：搭建实验环境，放入至少一只实验动物；搭建同步的多相机系统，并对多相机系统进行标定，采集同步的多视角视频数据；训练基于神经辐射场的时空新视角合成网络F1；利用姿态检测网络F2检测实验动物的头部姿态和眼睛位置；确定每只实验动物的视角方向，利用时空新视角合成网络F1渲染动物视角下的场景图像，获得实验动物的视场模拟图像。本申请可以有效解决现有技术不能实现非侵入式的实验动物真实视场模拟的问题。
Description
技术领域
本申请涉及计算机图形学与计算机视觉技术领域，尤其涉及一种基于多视视频与时空神经辐射场的实验动物视场模拟方法。
背景技术
视觉是哺乳动物感知世界的最重要的途径，而视觉脑信号相关的研究探索大脑如何获取并处理视觉信息是脑科学与神经科学的重要问题。以小鼠这一广受欢迎的动物模型为例，头戴式微型显微镜的出现为神经元活动观测提供了强有力工具，但模拟小鼠视觉输入仍然缺乏有效技术。
相关技术中，通常是采用人工设计场景的CAD(计算机辅助设计)模型，并使用传统的计算机图形学方法渲染视场图片。但是，这样的方法无法真实地构建场景的几何与光照，且无法处理场景中的动态信息，比如实验动物对场景物体的挪动、实验动物与其他实验动物的互动等。而在实验动物头部安装摄像头进行视场模拟的方法带有侵入性，容易干扰实验动物的正常行为。因此，非侵入式的真实视场模拟方法是视觉脑信号研究的关键技术之一。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的一个目的在于提出一种基于多视视频与时空神经辐射场的实验动物视场模拟方法，可以有效解决现有技术不能实现非侵入式的实验动物真实视场模拟的问题。
为达上述目的，本申请一方面实施例提出了一种基于多视视频与时空神经辐射场的实验动物视场模拟方法，包括：
搭建实验环境，放入至少一只实验动物；
搭建同步的多相机系统，并对所述多相机系统进行标定，采集同步的多视角视频数据；
训练基于神经辐射场的时空新视角合成网络F1；
利用姿态检测网络F2检测所述实验动物的头部姿态和眼睛位置；
确定每只所述实验动物的视角方向，利用所述时空新视角合成网络F1渲染动物视角下的场景图像，获得所述实验动物的视场模拟图像。
根据本申请实施例的技术方案，通过搭建实验环境，放入至少一只实验动物，并搭建同步的多相机系统，并对多相机系统进行标定，采集同步的多视角视频数据；训练基于神经辐射场的时空新视角合成网络F1；利用姿态检测网络F2检测实验动物的头部姿态和眼睛位置；确定每只实验动物的视角方向，利用时空新视角合成网络F1渲染动物视角下的场景图像，获得实验动物的视场模拟图像。由此，本申请能够实现非侵入式的实验动物真实视场模拟，并且支持动态场景的新视点插值，这为多动物交互场景带来新视点生成的可能性。同时，由于同时优化了邻近时刻的场景流，在假定场景时域线性变化的前提下，可以通过场景流完成时域插值，为与高帧率的脑电信号同步提供了解决方案。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于多视视频与时空神经辐射场的实验动物视场模拟方法的流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于多视视频与时空神经辐射场的实验动物视场模拟方法。
图1为本申请实施例所提供的一种基于多视视频与时空神经辐射场的实验动物视场模拟方法的流程示意图。如图1所示，该基于多视视频与时空神经辐射场的实验动物视场模拟方法可以包括如下步骤。
在步骤101中，搭建实验环境，放入至少一只实验动物。
在本申请实施例中，实验环境并非固定不变，实验环境的配置根据实验动物的不同可以有所变化。以实验动物为实验小鼠为例，一般搭建1m×1m×0.5m的以内的玻璃、塑料或木质的半封闭实验箱，箱中可放置木屑、塑料玩具等内容以丰富环境内容，提供自由移动的环境。实验动物可以是野生型动物或者经过基因编辑动物，以研究病例现象；或者头戴微型显微镜，以进行同步的神经观测。实验动物的数量为1～4只，根据不同的研究内容而定。需要说明的是，本申请的方法仅针对视觉模拟，不受到实验方案的局限。
在步骤102中，搭建同步的多相机系统，并对多相机系统进行标定，采集同步的多视角视频数据。
在本申请实施例中，多相机系统的数量可为4个以上，并且对多相机系统事先进行内参与外参标定。相机经过触发线同步，或者事后进行手动同步。采集到的视频应保证较为均匀的光照。
在步骤103中，训练基于神经辐射场的时空新视角合成网络F1。
在本申请实施例中，步骤103可包括两个部分：1)构建基于神经辐射场的时空新视角合成网络F1；2)训练所述时空新视角合成网络F1。
其中，所述构建基于神经辐射场的时空新视角合成网络F1可包括如下步骤：
静态的神经辐射场可以记为函数(c,σ)＝FΘ(x,d)，其中FΘ为全连接网络，x为三维空间坐标，d为二维的视角方向，c为x位置处输出的三通道颜色，σ为x位置处的体密度(其中，体密度可为0-1,0表示此处为非占用空间，1表示此处为物体表面)。该静态神经辐射场进行新视角渲染时，给定观察的视角相机射线r，该射线投影到图像上得到的颜色为其中T(t)表示沿着视角相机射线的累计透明度，计算公式为/>t为沿着射线距离射线起点的距离。与此同时，构建前向后向场景流/>其内容为从第i时刻到第i+1或者i-1时刻指向位置x的偏移。构建遮挡权重Mi＝(mi→i+1,mi→i-1)为从i时刻到i+1或者i-1时刻被遮挡部分的插值权重。整个网络定义为/>
在本实施例中，所述训练包括三部分损失函数。首先，在每个训练视角上定义第i时刻的多视损失函数，对时刻i和视角v，其损失函数为 其中/>为i时刻采集到的真实视角图片对应于射线ri的颜色值；完整的多视损失函数为/>其次是时域像素一致性损失函数。对于时刻i的临近时刻/>对于视角v，在渲染图片时应用/>将j时刻的隐式三维场景变形到i时刻，得到的渲染图像记为/>其定义为/>其中/>
同时，定义遮挡权重时域像素一致性损失函数定义为/> 其中，α＝0.1。/>最后，定义循环一致性损失函数因此，对第i时刻，整体的训练损失函数为L(i)＝Lview(i)+Lpho(i)+Lcyc(i)。
可选地，在本申请实施例中，在训练时，还可加入正则项来保证训练的空间平滑性，比如使用L1范数约束场景流的值接近0。
在步骤104中，利用姿态检测网络F2检测实验动物的头部姿态和眼睛位置。
在本申请实施例中，姿态检测网络F2可为动物姿态检测网络，例如Mask-RCNN网络。
在本申请一些实施例中，在每个视角下利用姿态检测网络F2检测实验动物的二维姿态，并通过多视角关联算法关联同一个实验动物的多视角检测结果，并利用多视几何三维重建方法对同一个实验动物的多视角检测结果进行三维重建，得到实验动物的头部姿态和眼睛位置，例如，可得到每个动物耳朵、眼睛与鼻子的三维空间位置。
在步骤105中，确定每只实验动物的视角方向，利用时空新视角合成网络F1渲染动物视角下的场景图像，获得实验动物的视场模拟图像。
在本申请实施例中，在得到实验动物的头部姿态和眼睛位置之后，可以每只实验动物的眼睛位置为光心，眼睛表面法向为相机中心出射方向，通过已知的动物视场角经验数据模拟画幅宽高与相机焦距，得到虚拟相机投影模型。对于虚拟相机投影模型平面中的每个像素，计算出从光心(如眼睛)出发的射线，在时空新视角合成网络F1中索引像素位置对应的颜色与场景体密度信息，最终得到实验动物的视场模拟图像。由此，这种模拟方式能够实现非侵入式的实验动物真实视场模拟，并且支持动态场景的新视点插值，这为多动物交互场景带来新视点生成的可能性。同时，由于同时优化了邻近时刻的场景流，在假定场景时域线性变化的前提下，可以通过场景流完成时域插值，为与高帧率的脑电信号同步提供了解决方案。
根据本申请实施例的技术方案，可通过搭建实验环境，放入至少一只实验动物，并搭建同步的多相机系统，并对多相机系统进行标定，采集同步的多视角视频数据；训练基于神经辐射场的时空新视角合成网络F1；利用姿态检测网络F2检测实验动物的头部姿态和眼睛位置；确定每只实验动物的视角方向，利用时空新视角合成网络F1渲染动物视角下的场景图像，获得实验动物的视场模拟图像。由此，本申请能够实现非侵入式的实验动物真实视场模拟，并且支持动态场景的新视点插值，这为多动物交互场景带来新视点生成的可能性。同时，由于同时优化了邻近时刻的场景流，在假定场景时域线性变化的前提下，可以通过场景流完成时域插值，为与高帧率的脑电信号同步提供了解决方案。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于多视视频与时空神经辐射场的实验动物视场模拟方法，其特征在于，包括：
搭建实验环境，放入至少一只实验动物；
搭建同步的多相机系统，并对所述多相机系统进行标定，采集同步的多视角视频数据；
训练基于神经辐射场的时空新视角合成网络F1；
利用姿态检测网络F2检测所述实验动物的头部姿态和眼睛位置，包括：在每个视角下利用姿态检测网络F2检测所述实验动物的二维姿态，并通过多视角关联算法关联同一个实验动物的多视角检测结果；利用多视几何三维重建方法对同一个实验动物的多视角检测结果进行三维重建，得到所述实验动物的头部姿态和眼睛位置；
确定每只所述实验动物的视角方向，利用所述时空新视角合成网络F1渲染动物视角下的场景图像，获得所述实验动物的视场模拟图像，包括：
以每只所述实验动物的眼睛位置为光心，眼睛表面法向为相机中心出射方向，通过已知的动物视场角经验数据模拟画幅宽高与相机焦距，得到虚拟相机投影模型；对于虚拟相机投影模型平面中的每个像素，计算出从所述光心出发的射线，在所述时空新视角合成网络F1中索引所述像素位置对应的颜色与场景体密度信息，最终得到所述实验动物的视场模拟图像；
所述训练基于神经辐射场的时空新视角合成网络F1，包括：
1)构建基于神经辐射场的时空新视角合成网络F1；其中，静态的神经辐射场记为函数(c,σ)＝FΘ(x,d)，其中FΘ为全连接网络，x为三维空间坐标，d为二维的视角方向，c为x位置处输出的三通道颜色，σ为x位置处的体密度；静态神经辐射场进行新视角渲染时，给定观察的视角相机射线r，所述射线投影到图像上得到的颜色为 其中T(t)表示沿着视角相机射线的累计透明度，与此同时，构建前向后向场景流/>其内容为从第i时刻到第i+1或者i-1时刻指向位置x的偏移，并构建遮挡权重Mi＝(mi→i+1,mi→i-1)为从i时刻到i+1或者i-1时刻被遮挡部分的插值权重，整个时空新视角合成网络定义为/>
2)训练所述时空新视角合成网络F1；其中所述训练包括三部分损失函数，首先，在每个训练视角上定义第i时刻的多视损失函数，对于时刻i和视角v，其损失函数为其中/>为i时刻采集到的真实视角图片对应于射线ri的颜色值，完整的多视损失函数为/>其次为时域像素一致性损失函数，对于时刻i的临近时刻/>对于视角v，在渲染图片时应用/>将j时刻的隐式三维场景变形到i时刻，得到的渲染图像记为/>其定义为/>其中/> 同时，定义遮挡权重/>时域像素一致性损失函数定义为/> 其中，α＝0.1，/>最后，定义循环一致性损失函数/> 对第i时刻，整体的训练损失函数为L(i)＝Lview(i)+Lpho(i)+Lcyc(i)；
在训练时，加入正则项确保训练的空间平滑性，使用L1范数约束场景流的值接近0。
2.根据权利要求1所述的方法，其特征在于，所述实验环境的配置根据所述实验动物的不同进行变化。
3.根据权利要求2所述的方法，其特征在于，当所述实验动物为实验小鼠时，所述实验环境的配置如下：
搭建1m×1m×0.5m的以内的玻璃、塑料或木质的半封闭实验箱；其中，所述实验箱中放置木屑和/或塑料玩具内容以丰富环境内容，提供自由移动的环境。
4.根据权利要求1所述的方法，其特征在于，所述实验动物的数量为1～4只。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述姿态检测网络F2为Mask-RCNN网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110193303.XA CN112862901B (zh) | 2021-02-20 | 2021-02-20 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110193303.XA CN112862901B (zh) | 2021-02-20 | 2021-02-20 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862901A CN112862901A (zh) | 2021-05-28 |
| CN112862901B true CN112862901B (zh) | 2024-03-26 |
Family
ID=75989695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110193303.XA Active CN112862901B (zh) | 2021-02-20 | 2021-02-20 | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862901B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538659B (zh) * | 2021-07-05 | 2024-08-09 | 广州虎牙科技有限公司 | 一种图像生成方法、装置、存储介质及设备 |
| US20240290059A1 (en) * | 2021-07-26 | 2024-08-29 | Shanghaitech University | Editable free-viewpoint video using a layered neural representation |
| CN113592991B (zh) * | 2021-08-03 | 2023-09-05 | 北京奇艺世纪科技有限公司 | 一种基于神经辐射场的图像渲染方法、装置及电子设备 |
| CN113706714B (zh) * | 2021-09-03 | 2024-01-05 | 中科计算技术创新研究院 | 基于深度图像和神经辐射场的新视角合成方法 |
| CN113971719B (zh) * | 2021-10-26 | 2024-04-12 | 上海脉衍人工智能科技有限公司 | 一种神经辐射场采样与重建的系统、方法及设备 |
| CN114004941B (zh) * | 2022-01-04 | 2022-08-16 | 苏州浪潮智能科技有限公司 | 一种基于神经辐射场的室内场景三维重建系统及方法 |
| CN115578827B (zh) * | 2022-12-07 | 2023-03-14 | 杭州宇链科技有限公司 | 基于ai视频的危化品领用容器跟踪方法及系统 |
| CN116449962B (zh) * | 2023-06-14 | 2023-09-29 | 北京水木东方医用机器人技术创新中心有限公司 | 内部场景ar可视化方法、装置以及设备 |
| CN117115331B (zh) * | 2023-10-25 | 2024-02-09 | 苏州元脑智能科技有限公司 | 一种虚拟形象的合成方法、合成装置、设备及介质 |
| CN117495797B (zh) * | 2023-10-30 | 2024-06-14 | 武汉大学 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053469A (zh) * | 2017-12-26 | 2018-05-18 | 清华大学 | 多视角相机下的复杂动态场景人体三维重建方法及装置 |
| CN109903393A (zh) * | 2019-02-22 | 2019-06-18 | 清华大学 | 基于深度学习的新视角场景合成方法和装置 |
| US10769848B1 (en) * | 2019-05-24 | 2020-09-08 | Adobe, Inc. | 3D object reconstruction using photometric mesh representation |
| CN112037324A (zh) * | 2020-11-04 | 2020-12-04 | 上海撬动网络科技有限公司 | 箱体图像三维重建方法、计算设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288857B2 (en) * | 2019-04-04 | 2022-03-29 | Google Llc | Neural rerendering from 3D models |
-
2021
- 2021-02-20 CN CN202110193303.XA patent/CN112862901B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053469A (zh) * | 2017-12-26 | 2018-05-18 | 清华大学 | 多视角相机下的复杂动态场景人体三维重建方法及装置 |
| CN109903393A (zh) * | 2019-02-22 | 2019-06-18 | 清华大学 | 基于深度学习的新视角场景合成方法和装置 |
| US10769848B1 (en) * | 2019-05-24 | 2020-09-08 | Adobe, Inc. | 3D object reconstruction using photometric mesh representation |
| CN112037324A (zh) * | 2020-11-04 | 2020-12-04 | 上海撬动网络科技有限公司 | 箱体图像三维重建方法、计算设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Ben Mildenhall等.NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis.《ECCV 2020》.2020, * |
| NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis;Ben Mildenhall等;《ECCV 2020》;20201103;正文第1-5部分，图1,图2 * |
| Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes;Zhengqi Li等;《http://arxiv.org/abs/2011.13084v1》;20201126;正文第3部分 * |
| Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes;Zhengqi Li等;《https://arxiv.org/abs/2011.13084v1》;正文第3部分 * |
| 应用神经网络隐式视觉模型进行立体视觉的三维重建;袁野等;《计算机辅助设计与图形学学报》;20030320(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862901A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862901B (zh) | 基于多视视频与时空神经辐射场的实验动物视场模拟方法 | |
| US10812693B2 (en) | Systems and methods for motion capture | |
| CN102448562B (zh) | 用于跟踪模型的系统和方法 | |
| US8218825B2 (en) | Capturing and processing facial motion data | |
| US11393149B2 (en) | Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model | |
| CN107656611A (zh) | 体感游戏实现方法及装置、终端设备 | |
| US20210272346A1 (en) | Method for Simulating Fluids Interacting with Submerged Porous Materials | |
| US11158103B1 (en) | Systems and methods for data bundles in computer animation | |
| KR101276429B1 (ko) | 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체 | |
| Hyneman et al. | Human face project | |
| US20230336679A1 (en) | Motion capture using synchronized and aligned devices | |
| US11875504B2 (en) | Systems and methods for building a muscle-to-skin transformation in computer animation | |
| Martini et al. | MacAction: Realistic 3D macaque body animation based on multi-camera markerless motion capture | |
| US20220076409A1 (en) | Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation | |
| KR20220103088A (ko) | 애니메이션 생성 및 다른 목적들을 위해 시뮬레이션되는 표면들을 컴퓨팅하는 방법 | |
| Joo | Sensing, measuring, and modeling social signals in nonverbal communication | |
| US11587278B1 (en) | Systems and methods for computer animation of an artificial character using facial poses from a live actor | |
| US20230154094A1 (en) | Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor | |
| Rocca et al. | Humaface: Human to machine facial animation | |
| US11715247B1 (en) | Generating a facial rig for use in animating a computer-generated character based on facial scans and muscle models of multiple live actors | |
| Marnik et al. | Using computer graphics, vision and gesture recognition tools for building interactive systems supporting therapy of children | |
| Smolska et al. | Reconstruction of the Face Shape using the Motion Capture System in the Blender Environment. | |
| Duckworth et al. | 3DRecon, a utility for 3D reconstruction from video | |
| WO2023022606A1 (en) | Systems and methods for computer animation of an artificial character using facial poses from a live actor | |
| CA3192467A1 (en) | Systems and methods for building a muscle-to-skin transformation in computer animation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240528 Address after: 100084 No. 1 Tsinghua Yuan, Beijing, Haidian District Patentee after: TSINGHUA University Country or region after: China Patentee after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University Address before: 100084 Tsinghua Yuan, Beijing, Haidian District Patentee before: TSINGHUA University Country or region before: China Patentee before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING) |