CN115525181A - 3d内容的制作方法、装置、电子设备及存储介质 - Google Patents
3d内容的制作方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115525181A CN115525181A CN202211495865.0A CN202211495865A CN115525181A CN 115525181 A CN115525181 A CN 115525181A CN 202211495865 A CN202211495865 A CN 202211495865A CN 115525181 A CN115525181 A CN 115525181A
- Authority
- CN
- China
- Prior art keywords
- target
- scene
- time sequence
- data
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004519 manufacturing process Methods 0.000 title abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 141
- 239000000463 material Substances 0.000 claims abstract description 123
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000019687 Lamb Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了3D内容的制作方法、装置、电子设备及存储介质，该方法包括：从预设数据库中检索多个3D场景数据，响应于用户从多个3D场景数据中选择的目标3D场景数据，显示目标3D场景数据对应的目标3D场景，从预设3D资源数据库中确定多个3D资源素材，在预设3D场景编辑窗口的对应位置生成目标3D素材模型的时序轴，基于多个目标交互事件生成目标3D素材模型的目标时序轴，控制目标3D素材模型在目标3D场景中按照交互顺序执行多个目标控制指令，对目标3D素材模型的执行过程进行监控，生成3D内容数据。从而只需按执行的先后顺序将3D素材拖拽到对应的时序轴上，实现执行逻辑的可视化，从而提升了3D内容的创作效率。
Description
技术领域
本发明涉及3D显示技术领域，具体为一种3D内容的制作方法、装置、电子设备及存储介质。
背景技术
随着桌面互联网、移动互联网阶段的发展和演进，互联网技术正在朝着元宇宙互联网时代迈进，元宇宙互联网时代较前两个阶段相比，主要有以下特点：网络传输从低速宽带的2G/3G/4G网络逐渐向5G/6G网络升级；终端设备从电脑、手机转为视觉、听觉、味觉、触觉和嗅觉五位一体的XR（Extended Reality，拓展现实技术）设备进行升级；信息形态从图文、视频向三维内容转变。基于海量的三维内容制作需求，如何提高内容制作的效率成为亟待解决的技术问题。
发明内容
针对现有技术中三维内容制作效率较低的技术问题，本发明提供了一种3D内容的制作方法、装置、电子设备及存储介质。
为实现以上目的，本发明通过以下技术方案予以实现：
本发明实施例第一方面，提供一种3D内容的制作方法，所述方法包括：
响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；
响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令；
响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；
根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
可选地，所述将所述多个目标交互事件按顺序依次放置于所述时序轴上，包括：
对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
可选地，所述根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标，包括：
将所述位置坐标映射到所述时序轴上，以生成所述目标交互事件对应的时序坐标；
获取所述目标交互事件对应的目标预设时间段；
根据所述目标预设时间段和所述时序坐标，确定所述目标交互事件在所述时序轴上的所述起始时序坐标。
可选地，所述方法还包括：
响应于所述用户对所述目标时序轴的缩小或放大，对所述目标时序轴的显示比例进行调整；
若接收到所述用户输入的缩小指令，则按照帧数显示比例显示所述目标时序轴；
若接收到所述用户输入的放大指令，则按照时间显示比例显示所述目标时序轴。
可选地，所述将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，包括：
根据所述第一队列和所述第二队列，生成包括特征识别结果序列和平滑特征识别结果序列的平滑序列训练集，利用所述平滑序列训练集对所述预设循环神经网络进行训练，以生成序列平滑模型；
将所述特征识别结果序列输入至所述序列平滑模型中，以生成第二特征识别结果序列，根据所述序列平滑模型的卷积层对所述第二特征识别结果序列进行特征向量提取，生成所述目标3D场景对应的所述目标特征向量。
可选地，所述对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据，包括：
响应于所述目标3D素材模型的执行，对所述执行过程进行监控，生成初始媒体数据；
确定所述初始媒体数据的内容类型，其中，所述内容类型根据所述初始媒体数据中所播放内容的场景信息来确定；
根据所述内容类型来确定与所述初始媒体数据对应的3D场景模型；
根据所述初始媒体数据中对应的特征图像数据和所述3D场景模型，生成与所述3D内容数据。
本发明实施例第二方面，提供一种3D内容的制作装置，所述装置包括：
检索模块，用于响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；
确定模块，用于响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令；
第一生成模块，用于响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；
第二生成模块，用于根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
可选地，所述第一生成模块，还可以用于：
对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
本发明实施例第三方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任意一项所述3D内容的制作方法的步骤。
本发明实施例第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
有益效果
本发明提供了3D内容的制作方法、装置及电子设备。与现有技术相比具备以下有益效果：
通过上述方案，响应于用户输入的目标检索词，从预设数据库中检索多个3D场景数据，响应于用户从多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示目标3D场景数据对应的目标3D场景；响应于目标3D场景的显示，从预设3D资源数据库中确定多个3D资源素材，并根据多个3D资源素材对应的素材类型，在预设3D场景编辑窗口的对应位置生成资源市场；响应于用户从资源市场中将目标3D素材模型拖拽至目标3D场景中，根据目标3D素材模型的素材资源类型，在预设3D场景编辑窗口的对应位置生成目标3D素材模型的时序轴，响应于用户从多个交互事件中选取多个目标交互事件，并将多个目标交互事件按顺序依次放置于时序轴上，基于多个目标交互事件生成目标3D素材模型的目标时序轴；控制目标3D素材模型在目标3D场景中按照交互顺序执行多个目标控制指令，通过目标3D场景中的场景监控相机，对目标3D素材模型的执行过程进行监控，以生成3D内容数据。从而通过时序轴模式改善了三维内容制作的用户体验和制作难度，内容创作者只需按执行的先后顺序将3D素材拖拽到对应的轴上，实现执行逻辑的可视化，从而提升了内容创作者的创作效率，降低了3D内容的理解成本。
附图说明
图1是根据一示例性实施例示出的一种3D内容的制作方法的流程图。
图2是根据一示例性实施例示出的一种时序轴的生成方法的示例图。
图3是根据一示例性实施例示出的一种交互事件的执行示例图。
图4是根据一示例性实施例示出的一种目标时序轴的生成方法的示例图。
图5是根据一示例性实施例示出的一种目标时序轴的示例图。
图6是根据一示例性实施例示出的一种3D内容的制作装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据一示例性实施例示出的一种3D内容的制作方法的流程图，请参阅图1，所述方法包括以下步骤。
在步骤S11中，响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景。
在步骤S12中，响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令。
可选地，上述步骤S12，包括：
根据所述第一队列和所述第二队列，生成包括特征识别结果序列和平滑特征识别结果序列的平滑序列训练集，利用所述平滑序列训练集对所述预设循环神经网络进行训练，以生成序列平滑模型；
将所述特征识别结果序列输入至所述序列平滑模型中，以生成第二特征识别结果序列，根据所述序列平滑模型的卷积层对所述第二特征识别结果序列进行特征向量提取，生成所述目标3D场景对应的所述目标特征向量。
在步骤S13中，响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴。
示例的，图2是根据一示例性实施例示出的一种时序轴的生成方法的示例图，如图2所示，用户在该操作界面中对显示的3D内容进行制作，通过资源市场中展示的多个资源数据，可以将目标3D素材模型拖拽至目标3D场景中，并在该界面的对应位置生成该目标3D素材模型对应的时序轴，并在该时序轴生成后，显示目标3D素材模型对应的交互事件，该交互事件用于控制该目标3D素材模型在该目标3D场景中完成一系列的控制操作，例如，图3是根据一示例性实施例示出的一种交互事件的执行示例图，如图3所示，该交互事件用于指示目标3D素材模型在目标3D场景中沿着预设轨迹行进2分钟。
可选地，上述步骤S13，包括：
对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
示例的，图4是根据一示例性实施例示出的一种目标时序轴的生成方法的示例图，如图4所示，用户将目标交互事件放置于时序轴的预设范围内后，根据该放置位置对目标交互事件进行判定，在目标交互事件对应起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后，在目标交互事件对应起始时序坐标的对应位置不存在其他目标交互事件，则将所述目标交互事件放置于所述时序轴的对应位置。
可选地，上述步骤根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标，包括：
将所述位置坐标映射到所述时序轴上，以生成所述目标交互事件对应的时序坐标；
获取所述目标交互事件对应的目标预设时间段；
根据所述目标预设时间段和所述时序坐标，确定所述目标交互事件在所述时序轴上的所述起始时序坐标。
在步骤S14中，根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
示例的，图5是根据一示例性实施例示出的一种目标时序轴的示例图，如图5所示，根据上述实施例，执行该目标时序轴后，可以控制该目标3D场景中的人沿着指定路径行走，并在行走至1分20时，发送广播并显示文字气泡，从1分20时目标3D场景中的小羊，沿着指定路线行走。并根据各个目标3D素材模型基于目标时序轴在该目标3D场景中的执行过程，生成3D内容数据。
可选地，所述方法还包括：
响应于所述用户对所述目标时序轴的缩小或放大，对所述目标时序轴的显示比例进行调整；
若接收到所述用户输入的缩小指令，则按照帧数显示比例显示所述目标时序轴；
若接收到所述用户输入的放大指令，则按照时间显示比例显示所述目标时序轴。
可选地，上述步骤S14，包括：
响应于所述目标3D素材模型的执行，对所述执行过程进行监控，生成初始媒体数据；
确定所述初始媒体数据的内容类型，其中，所述内容类型根据所述初始媒体数据中所播放内容的场景信息来确定；
根据所述内容类型来确定与所述初始媒体数据对应的3D场景模型；
根据所述初始媒体数据中对应的特征图像数据和所述3D场景模型，生成与所述3D内容数据。
通过上述方案，响应于用户输入的目标检索词，从预设数据库中检索多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；响应于所述目标3D场景的显示，从预设3D资源数据库中确定多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场；响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。从而通过时序轴模式改善了三维内容制作的用户体验和制作难度，内容创作者只需按执行的先后顺序将3D素材拖拽到对应的轴上，实现执行逻辑的可视化，从而提升了内容创作者的创作效率，降低了3D内容的理解成本。
图6是根据一示例性实施例示出的一种3D内容的制作装置的框图，如图6所示，该装置100包括：检索模块110、确定模块120、第一生成模块130和第二生成模块140。
检索模块110，用于响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；
确定模块120，用于响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令；
第一生成模块130，用于响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；
第二生成模块140，用于根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
可选地，所述第一生成模块130，包括：
确定子模块，用于对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
第一执行子模块，用于若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
第二执行子模块，用于若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
可选地，确定子模块还可以用于：
将所述位置坐标映射到所述时序轴上，以生成所述目标交互事件对应的时序坐标；
获取所述目标交互事件对应的目标预设时间段；
根据所述目标预设时间段和所述时序坐标，确定所述目标交互事件在所述时序轴上的所述起始时序坐标。
可选地，所述装置100还包括执行模块，所述执行模块用于：
响应于所述用户对所述目标时序轴的缩小或放大，对所述目标时序轴的显示比例进行调整；
若接收到所述用户输入的缩小指令，则按照帧数显示比例显示所述目标时序轴；
若接收到所述用户输入的放大指令，则按照时间显示比例显示所述目标时序轴。
可选地，确定模块120，用于：
根据所述第一队列和所述第二队列，生成包括特征识别结果序列和平滑特征识别结果序列的平滑序列训练集，利用所述平滑序列训练集对所述预设循环神经网络进行训练，以生成序列平滑模型；
将所述特征识别结果序列输入至所述序列平滑模型中，以生成第二特征识别结果序列，根据所述序列平滑模型的卷积层对所述第二特征识别结果序列进行特征向量提取，生成所述目标3D场景对应的所述目标特征向量。
可选地，第二生成模块140，用于：
响应于所述目标3D素材模型的执行，对所述执行过程进行监控，生成初始媒体数据；
确定所述初始媒体数据的内容类型，其中，所述内容类型根据所述初始媒体数据中所播放内容的场景信息来确定；
根据所述内容类型来确定与所述初始媒体数据对应的3D场景模型；
根据所述初始媒体数据中对应的特征图像数据和所述3D场景模型，生成与所述3D内容数据。
通过上述装置，响应于用户输入的目标检索词，从预设数据库中检索多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；响应于所述目标3D场景的显示，从预设3D资源数据库中确定多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场；响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。从而通过时序轴模式改善了三维内容制作的用户体验和制作难度，内容创作者只需按执行的先后顺序将3D素材拖拽到对应的轴上，实现执行逻辑的可视化，从而提升了内容创作者的创作效率，降低了3D内容的理解成本。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述3D内容的制作方法的代码部分。
在另一示例性实施例中，还提供一种电子设备，包括计算机程序，该计算机程序包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的3D内容的制作方法的代码部分。
以上述依据本申请的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项申请技术思想的范围内，进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种3D内容的制作方法，其特征在于，所述方法包括：
响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；
响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令；
响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；
根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个目标交互事件按顺序依次放置于所述时序轴上，包括：
对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标，包括：
将所述位置坐标映射到所述时序轴上，以生成所述目标交互事件对应的时序坐标；
获取所述目标交互事件对应的目标预设时间段；
根据所述目标预设时间段和所述时序坐标，确定所述目标交互事件在所述时序轴上的所述起始时序坐标。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述用户对所述目标时序轴的缩小或放大，对所述目标时序轴的显示比例进行调整；
若接收到所述用户输入的缩小指令，则按照帧数显示比例显示所述目标时序轴；
若接收到所述用户输入的放大指令，则按照时间显示比例显示所述目标时序轴。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，包括：
根据所述第一队列和所述第二队列，生成包括特征识别结果序列和平滑特征识别结果序列的平滑序列训练集，利用所述平滑序列训练集对所述预设循环神经网络进行训练，以生成序列平滑模型；
将所述特征识别结果序列输入至所述序列平滑模型中，以生成第二特征识别结果序列，根据所述序列平滑模型的卷积层对所述第二特征识别结果序列进行特征向量提取，生成所述目标3D场景对应的所述目标特征向量。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据，包括：
响应于所述目标3D素材模型的执行，对所述执行过程进行监控，生成初始媒体数据；
确定所述初始媒体数据的内容类型，其中，所述内容类型根据所述初始媒体数据中所播放内容的场景信息来确定；
根据所述内容类型来确定与所述初始媒体数据对应的3D场景模型；
根据所述初始媒体数据中对应的特征图像数据和所述3D场景模型，生成与所述3D内容数据。
7.一种3D内容的制作装置，其特征在于，所述装置包括：
检索模块，用于响应于用户输入的目标检索词，对所述目标检索词进行特征提取，以生成特征数据，并将所述特征数据分发到预设检索服务集群的各个节点，每一所述节点将接收到的所述特征数据与本地存储的3D场景数据对应的标签特征数据进行匹配，并在所述标签特征数据与所述特征数据的相似度满足预设条件的情况下，返回所述3D场景数据，响应于各所述节点返回的多个3D场景数据，在3D场景选择界面中展示所述多个3D场景数据，响应于所述用户从所述多个3D场景数据中选择的目标3D场景数据，在预设3D场景编辑窗口中显示所述目标3D场景数据对应的目标3D场景；
确定模块，用于响应于所述目标3D场景的显示，对所述目标3D场景进行特征提取，生成多个特征识别结果，并根据所述多个特征识别结果在所述目标3D场景中的排列顺序依次列入第一队列中，其中，在将每一个特征识别结果列入所述第一队列时，若所述第一队列中存在与所述特征识别结果相同的特征识别结果，则获取存储在所述第一队列中与所述特征识别结果相同的特征识别结果的数量，并确定所述数量与第一预设数量的比值，若所述比值大于或等于比值阈值，则将当前列入的所述特征识别结果作为第一平滑特征识别结果列入第二队列中，若所述比值小于所述比值阈值，则对当前列入的所述特征识别结果进行平滑修正，以获得第二平滑特征识别结果，将所述第二平滑特征识别结果列入所述第二队列中，将所述第一队列和所述第二队列输入至预设循环神经网络中，生成所述目标3D场景对应的目标特征向量，从预设3D资源数据库中确定与所述目标特征向量匹配的多个3D资源素材，并根据所述多个3D资源素材对应的素材类型，在所述预设3D场景编辑窗口的对应位置生成资源市场，其中，所述3D资源素材包括3D素材模型和多个交互事件，所述交互事件为预设时间段内所述3D素材模型的控制指令；
第一生成模块，用于响应于所述用户从所述资源市场中将目标3D素材模型拖拽至所述目标3D场景中，根据所述目标3D素材模型的素材资源类型，在所述预设3D场景编辑窗口的对应位置生成所述目标3D素材模型的时序轴，响应于所述用户从所述多个交互事件中选取多个目标交互事件，并将所述多个目标交互事件按顺序依次放置于所述时序轴上，基于所述多个目标交互事件生成所述目标3D素材模型的目标时序轴；
第二生成模块，用于根据所述目标时序轴中所述目标交互事件对应的多个目标控制指令，以及所述多个目标控制指令在所述目标时序轴中的交互顺序，控制所述目标3D素材模型在所述目标3D场景中按照所述交互顺序执行所述多个目标控制指令，通过所述目标3D场景中的场景监控相机，对所述目标3D素材模型的执行过程进行监控，以生成3D内容数据。
8.根据权利要求7所述的装置，其特征在于，所述第一生成模块，还可以用于：
对于任意目标交互事件，响应于所述用户将所述目标交互事件放置于所述时序轴的预设范围内，获取所述目标交互事件相对所述时序轴的位置坐标，根据所述位置坐标，确定所述目标交互事件在所述时序轴上的起始时序坐标；
若在所述时序轴上，所述起始时序坐标的对应位置存在其他目标交互事件，则将所述目标交互事件放置于所述其他目标交互事件之后；
若在所述时序轴上，所述起始时序坐标的对应位置不存在其他目标交互事件，则根据所述起始时序坐标将所述目标交互事件吸附于所述时序轴的对应位置。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211495865.0A CN115525181A (zh) | 2022-11-28 | 2022-11-28 | 3d内容的制作方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211495865.0A CN115525181A (zh) | 2022-11-28 | 2022-11-28 | 3d内容的制作方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115525181A true CN115525181A (zh) | 2022-12-27 |
Family
ID=84705422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211495865.0A Pending CN115525181A (zh) | 2022-11-28 | 2022-11-28 | 3d内容的制作方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115525181A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104185008A (zh) * | 2014-07-22 | 2014-12-03 | 上海聚力传媒技术有限公司 | 一种生成3d媒体数据的方法和装置 |
| CN106530371A (zh) * | 2016-10-12 | 2017-03-22 | 网易（杭州）网络有限公司 | 动画编辑、播放方法和装置 |
| WO2018049682A1 (zh) * | 2016-09-19 | 2018-03-22 | 深圳市大富网络技术有限公司 | 一种虚拟3d场景制作方法及相关设备 |
| CN108491543A (zh) * | 2018-03-30 | 2018-09-04 | 广州汇智通信技术有限公司 | 图像检索方法、图像存储方法及图像检索系统 |
| CN109409235A (zh) * | 2018-09-27 | 2019-03-01 | Oppo广东移动通信有限公司 | 图像识别方法和装置、电子设备、计算机可读存储介质 |
| CN113190314A (zh) * | 2021-04-29 | 2021-07-30 | 北京有竹居网络技术有限公司 | 互动内容生成方法、装置、存储介质及电子设备 |
| CN115002441A (zh) * | 2022-08-02 | 2022-09-02 | 深圳市前海手绘科技文化有限公司 | 三维视频制作方法、装置、电子设备和计算机存储介质 |
-
2022
- 2022-11-28 CN CN202211495865.0A patent/CN115525181A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104185008A (zh) * | 2014-07-22 | 2014-12-03 | 上海聚力传媒技术有限公司 | 一种生成3d媒体数据的方法和装置 |
| WO2018049682A1 (zh) * | 2016-09-19 | 2018-03-22 | 深圳市大富网络技术有限公司 | 一种虚拟3d场景制作方法及相关设备 |
| CN106530371A (zh) * | 2016-10-12 | 2017-03-22 | 网易（杭州）网络有限公司 | 动画编辑、播放方法和装置 |
| CN108491543A (zh) * | 2018-03-30 | 2018-09-04 | 广州汇智通信技术有限公司 | 图像检索方法、图像存储方法及图像检索系统 |
| CN109409235A (zh) * | 2018-09-27 | 2019-03-01 | Oppo广东移动通信有限公司 | 图像识别方法和装置、电子设备、计算机可读存储介质 |
| CN113190314A (zh) * | 2021-04-29 | 2021-07-30 | 北京有竹居网络技术有限公司 | 互动内容生成方法、装置、存储介质及电子设备 |
| CN115002441A (zh) * | 2022-08-02 | 2022-09-02 | 深圳市前海手绘科技文化有限公司 | 三维视频制作方法、装置、电子设备和计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260545B (zh) | 生成图像的方法和装置 | |
| US5010500A (en) | Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval | |
| US8174523B2 (en) | Display controlling apparatus and display controlling method | |
| US8108789B2 (en) | Information processing device, user interface method, and information storage medium | |
| CN109725724B (zh) | 有屏设备的手势控制方法和装置 | |
| CN104394422A (zh) | 一种视频分割点获取方法及装置 | |
| US11954536B2 (en) | Data engine | |
| EP2950274A1 (en) | Method and system for generating motion sequence of animation, and computer-readable recording medium | |
| CN112199007A (zh) | 菜单显示方法、装置、电子设备和存储介质 | |
| CN105069037A (zh) | 一种搜索内容展示方法及装置 | |
| CN110673886B (zh) | 用于生成热力图的方法和装置 | |
| CN109976632A (zh) | 文本动画控制方法和装置、存储介质和处理器 | |
| CN110636322B (zh) | 多媒体数据的处理方法、装置、智能终端及存储介质 | |
| US10685470B2 (en) | Generating and providing composition effect tutorials for creating and editing digital content | |
| CN112287799A (zh) | 基于人工智能的视频处理方法、装置及电子设备 | |
| CN115525181A (zh) | 3d内容的制作方法、装置、电子设备及存储介质 | |
| US20230041795A1 (en) | Machine learning artificial intelligence system for producing 360 virtual representation of an object | |
| CN114003160A (zh) | 数据可视化展示方法、装置、计算机设备和存储介质 | |
| CN114245193A (zh) | 显示控制方法、装置和电子设备 | |
| CN113553505A (zh) | 视频推荐方法、装置及计算设备 | |
| CN113655895A (zh) | 应用于输入法的信息推荐方法、装置及电子设备 | |
| CN115048010A (zh) | 视听作品的展示方法、装置、设备及介质 | |
| US20200159396A1 (en) | Techniques for creative review of 3d content in a production environment | |
| CN111782309A (zh) | 显示信息的方法、装置及计算机可读存储介质 | |
| JPH1166351A (ja) | ３次元仮想空間内部におけるオブジェクト動作制御方法および装置とオブジェクト動作制御プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221227 |