CN116492675A - 一种3d模型实时渲染方法、计算机设备与存储介质 - Google Patents

一种3d模型实时渲染方法、计算机设备与存储介质 Download PDF

Info

Publication number
CN116492675A
CN116492675A CN202310394591.4A CN202310394591A CN116492675A CN 116492675 A CN116492675 A CN 116492675A CN 202310394591 A CN202310394591 A CN 202310394591A CN 116492675 A CN116492675 A CN 116492675A
Authority
CN
China
Prior art keywords
model
rendering
information
real
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310394591.4A
Other languages
English (en)
Other versions
CN116492675B (zh
Inventor
全一明
张雪莹
蒋一华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Factor Shenzhen Art Technology Co ltd
Original Assignee
Factor Shenzhen Art Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Factor Shenzhen Art Technology Co ltd filed Critical Factor Shenzhen Art Technology Co ltd
Priority to CN202310394591.4A priority Critical patent/CN116492675B/zh
Publication of CN116492675A publication Critical patent/CN116492675A/zh
Application granted granted Critical
Publication of CN116492675B publication Critical patent/CN116492675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1056—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving pressure sensitive buttons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种3D模型实时渲染方法、计算机设备与存储介质，属于3D模型领域，该3D模型实时渲染方法，包括以下步骤：发出修正信息，3D渲染引擎对3D模型进行渲染；在视频引擎捕捉每一帧渲染的画面，将渲染后的画面合成视频，存储以及播放视频后，识别用户的交互信息，并根据播放历史对3D模型的渲染进行修正，本发明的有益效果是：本发明通过在使用者游戏时检测使用者的手柄按压力度、语音内容、肢体动作、语音音量等交互信息，实时反馈给数字孪生数据模型，通过数据孪生数据模型来反馈调节信息给3D渲染引擎，进而根据使用者的交互信息实时改变生成视频中人物模型动态的动作幅度，使其活灵活现，不再僵硬。

Description

一种3D模型实时渲染方法、计算机设备与存储介质
技术领域
本发明属于3D模型领域，尤其涉及一种3D模型实时渲染方法、计算机设备与存储介质。
背景技术
渲染是指根据场景或模型的描述创建图像的过程。这可能只是几毫秒或几个小时的工作。当程序可以在不到33毫秒的时间内渲染给定的场景(每秒更新图像超过30次)时，它通常被认为是“实时”渲染完成的。实时渲染是一种即时渲染的动画，可以在不到一秒钟的时间内生成。与静态图像渲染工具不同，实时渲染是按每秒帧数(fps)来衡量的，通常范围为24fps到60fps，具体取决于用户要求。凭借这种速度，它不仅允许用户立即渲染图像，还可以实时将其视为逼真的场景。
现有的3D图形渲染技术常用于游戏领域，存在静态模型优良，动态模型僵硬问题，具体体现在生成的3D人物模型动态时，其步幅、手臂移动距离等完全相同，现有的解决效果往往是涉及几种不同的模型以应对不同的环境，例如通过设计不同的步幅频率和步幅距离来对应跑动、散步等应用场景，因此，现有动态模型僵硬，需要改进。
发明内容
本发明的目的在于提供一种3D模型实时渲染方法、计算机设备与存储介质，以旨在解决背景技术中确定的现有技术存在的技术问题。
本发明实施例是这样实现的，一种3D模型实时渲染方法，(应用于数字孪生数据模型)包括以下步骤：
步骤S1：发出修正信息，3D渲染引擎对3D模型进行渲染；
步骤S2：在视频引擎捕捉每一帧渲染的画面，将渲染后的画面合成视频，存储以及播放视频后，识别用户的交互信息，并根据播放历史对3D模型的渲染进行修正；
所示步骤S2具体包括：
步骤S21：检测用户的交互信息，获取合格的交互信息；
步骤S22：判断交互信息标定意思，并根据标定意思进行反馈；
步骤S23：基于播放历史和反馈标定意思对3D模型的渲染进行修正；
所述步骤S22具体包括：
步骤S221：对合格的交互信息进行判断，判断交互信息类型；
步骤S222：检测是否存在相同的交互信息类型，存在，添加至同一数据集内；不存在，新建一个数据集并将该信息录入；
步骤S223：对数据集内的交互信息判断，确定标定意思；
步骤S224：基于不同的数据集，匹配不同的控制方式。
优选的，所述步骤S21具体包括：
步骤S2111：在用户按下游戏手柄按键后，检测手柄按键力度；
步骤S2112：判断手柄按键力度是否达到需求值，达到需求值为合格的交互信息。
优选的，所述步骤S21具体包括：
步骤S2121：检测用户游戏时的语音内容；
步骤S2122：滤除非指示语音内容，获取合格的交互信息。
优选的，所述步骤S21具体包括：
步骤S2131：检测用户游戏时的肢体动作；
步骤S2132：匹配检测到的肢体动作和记录的肢体动作，作为合格的交互信息。
优选的，所述步骤S21具体包括：
步骤S2141：检测用户游戏时的语音音量；
步骤S2142：滤除低于阈值分贝的音量信息，判断语音音量位于具体的分贝区域，获取不同的音量交互信息。
优选的，所述步骤S23具体包括：
步骤S231：检测是否存有历史记录，存在时，匹配历史记录；
步骤S232：在历史记录的基础上，基于标定意思对3D模型的渲染进行修正。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述3D模型实时渲染方法的步骤。
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述3D模型实时渲染方法的步骤。
与现有技术相比，本发明的有益效果是：本发明通过在使用者游戏时检测使用者的手柄按压力度、语音内容、肢体动作、语音音量等交互信息，实时反馈给数字孪生数据模型，通过数据孪生数据模型来反馈调节信息给3D渲染引擎，进而根据使用者的交互信息实时改变生成视频中人物模型动态的动作幅度，使其活灵活现，不再僵硬。
附图说明
图1为本发明实施例提供的一种3D模型实时渲染方法的应用环境图。
图2为本发明实施例提供的一种3D模型实时渲染方法的流程示意图。
图3为本发明实施例提供的实时修改3D模型的流程示意图。
图4为本发明实施例提供的基于游戏手柄的信息交互流程示意图。
图5为本发明实施例提供的基于语音内容的信息交互流程示意图。
图6为本发明实施例提供的基于肢体动作的信息交互流程示意图。
图7为本发明实施例提供的基于语音音量的信息交互流程示意图。
图8为本发明实施例提供的反馈标定意思的流程示意图。
图9为本发明实施例提供的对3D渲染模型修正的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本发明实施例提供的一种3D模型实时渲染方法的应用环境图。如图1所示，在该应用场景中，包括3D渲染引擎M1、视频引擎M2、数字孪生数据模型M3。
数字孪生数据模型M3包括机理描述模型和数据驱动描述模型。机理描述模型基于多领域统一建模语言Modelica、利用面向用户的方式构建，首先利用面向用户的游戏手柄按键力度、语音内容、肢体动作、语音音量等，利用基于组件化的、数学方程化的方法对交互信息进行划分，直至各个不同的数据集，然后利用统一的多领域建模语言Modelica，基于相应系统的约束要求等建立相应采集交互数据和修正信息的表述模型，各个不同采集系统进行不同交互信息的采集，来构成数字孪生多领域的描述模型。数据驱动描述模型由三维可视化引擎在孪生数据信息链的驱动下，配合3D渲染引擎M1在线完成3D模型实时渲染，视频引擎M2捕捉每一帧渲染的画面，将每一帧画面整合成视频，对视频文件进行存储，在需要播放的时候将要播放的视频进行播放。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图2所示，一种3D模型实时渲染方法，(应用于数字孪生数据模型M2)包括以下步骤：
步骤S1，发出修正信息，3D渲染引擎M1对3D模型进行渲染；
步骤S2，在视频引擎M2捕捉每一帧渲染的画面，将渲染后的画面合成视频，存储以及播放视频后，识别用户的交互信息，并根据播放历史对3D模型的渲染进行修正。
具体的，本申请实施例应用于数字孪生数据模型M3，在视频引擎M2播放视频后，数字孪生数据模型M3采集用户的交互信息，并滤除掉不合格的交互信息，对合格的交互信息进行分类处理(不同的数据集)，并根据不同的交互信息判断标定意思，来结合历史播放记录来进行修正，最终通过3D渲染引擎M1来进行3D模型实时修正渲染。
在本发明的一种较优的实施方式，步骤S1，数字孪生数据模型M3发出修正信息，3D渲染引擎M1接收该修正信息，基于该修正信息对3D模型进行渲染。
在本发明的一种较优的实施方式，步骤S2，在视频引擎M2捕捉每一帧渲染的画面，将每一帧画面整合成视频，对视频文件进行存储，在需要播放的时候将要播放的视频进行播放后，数字孪生数据模型M3识别用户的交互信息，交互信息包括但不限于游戏手柄按键力度、用户语音内容、用户肢体动作、用户语音音量，对不同类型的交互信息进行分类，提取分类后的交互信息，并根据播放历史对3D模型的渲染进行修正，渲染后的效果表现具体举例，改变3D模型人物奔跑、行走时步幅、步频、手臂摆动幅度和频率，在一次奔跑、行走时3D模型人物不局限固定的步幅步频，使得游戏人物更加活灵活现。
在一个实施例中，如图3所示，步骤S2具体可以包括以下步骤：
步骤S21，检测用户的交互信息，获取合格的交互信息；
步骤S22，判断交互信息标定意思，并根据标定意思进行反馈；
步骤S23，基于播放历史和反馈标定意思对3D模型的渲染进行修正。
数字孪生数据模型M3检查用户的交互信息，交互信息包括但不限于游戏手柄按键力度、用户语音内容、用户肢体动作、用户语音音量，对不合格的交互信息滤除，例如手柄按键力度较小，未达到阈值，用户语音内容非识别内容，用户肢体动作例如手臂摆动幅度过小，用户音量滤除车辆鸣笛声等；基于获得的合格交互信息，判断这些合格的交互信息的实际标定意义，例如用户语音音量为65分贝，标定意思为加大幅度，音量为40分贝，标定意思为减小幅度，基于实际标定意义，结合播放历史对3D模型渲染进行修正。
在一个实施例中，如图4所示，步骤S21具体可以包括以下步骤：
步骤S2111，在用户按下游戏手柄按键后，检测手柄按键力度；
步骤S2112，判断手柄按键力度是否达到需求值，达到需求值为合格的交互信息。
用户按下游戏手柄按键，根据不同的按压力度获取不同的电压信号值，判断该电压信号值是否在合格的需求区间内，现有的游戏手柄存有RT键，用于控制加速跑，这里可以用于将其额外设定为按压力度采集按钮，对于需求区间，例如，合格的需求区间为0.1V-0.5V，将超出该电压范围的幅值判断为不合格，在该电压范围内的幅值判断为合格。
在另一个实施例中：也可以将低于0.1V的判断为不合格，高于0.5V的统统也按照0.5V统计。
在一个实施例中，如图5所示，步骤S22具体可以包括以下步骤：
步骤S2121，检测用户游戏时的语音内容；
步骤S2122，滤除非指示语音内容，获取合格的交互信息。
提前录入指示语音内容，例如“谨慎”、“严肃”、“开心”、“沮丧”、“无精打采”等多种语音内容，分别对应不同的3D模型人物的移动姿态，在用户游玩游戏时，检测用户的语音内容，在出现已录入的指示语音内容时，记录该语音内容，并将该语音内容与录入语音内容一一比对，直到比对到对应的录入语音内容，数字孪生数据模型M3根据该信息发出修正信息，对3D渲染引擎M1的渲染进行实时修正。
在另一个实施例中：检查用户的语音内容，和提前录入指示语音内容一一比对，未比对成功则未出现调整3D模型人物的语音内容，出现时，数字孪生数据模型M3根据该信息发出修正信息，对3D渲染引擎M1的渲染进行实时修正。
在一个实施例中，如图6所示，步骤S23具体可以包括以下步骤：
步骤S2131，检测用户游戏时的肢体动作；
步骤S2132，匹配检测到的肢体动作和记录的肢体动作，作为合格的交互信息。
提前录入指示肢体动作，例如“扭腰”、“摇头”、“点头”、“伸手”、“握拳”等多种肢体动作，分别对应不同的3D模型人物的移动姿态，用户游玩游戏时，通过摄像头检测用户的肢体动作，在出现已录入的指示肢体动作时，记录该肢体动作，并将该肢体动作与录入肢体动作一一比对，直到比对到对应的录入肢体动作，数字孪生数据模型M3根据该信息发出修正信息，对3D渲染引擎M1的渲染进行实时修正。其实现依赖于体感互动技术，例如采用kinect体感装置，用户不用佩戴任何感应设施，可以通过摄像头捕捉用户的肢体动作来操控显示屏里的人物，实现新的人机互动。
在另一个实施例中：检查用户的肢体动作，和提前录入指示肢体动作一一比对，未比对成功则未出现调整3D模型人物的语音内容，出现时，数字孪生数据模型M3根据该信息发出修正信息，对3D渲染引擎M1的渲染进行实时修正。
在一个实施例中，如图7所示，步骤S21具体可以包括以下步骤：
步骤S2141，检测用户游戏时的语音音量；
步骤S2142，滤除低于阈值分贝的音量信息，判断语音音量位于具体的分贝区域，获取不同的音量交互信息。
最好使用于竞速游戏，例如驾驶车辆，用户的语音会调节游戏内3D模型人物的手臂驾驶方向盘的快慢，在音量较大时，3D模型人物的手臂控制方向盘速度更快，音量较小时，3D模型人物的手臂控制方向盘速度更慢，使得场景更加逼真，以此进一步加强用户的游戏体验。检测用户的语音音量，将低分贝的音量滤除掉，将音量分为不同的分贝区域，例如30-35分贝、35-40分贝、40-45分贝、45-50分贝、50-55分贝、55-60分贝，游玩时未开启语音检测功能时，其标准手臂摆动速度为40-45分贝(常规交谈音量)，游玩时开启语音检测功能时，基于不同的分贝区域，获取不同的音量交互信息，数字孪生数据模型M3和3D渲染引擎M1配合来调节游戏内3D模型人物的手臂驾驶方向盘的快慢。
在一个实施例中，如图8所示，步骤S22具体可以包括以下步骤：
步骤S211，对合格的交互信息进行判断，判断交互信息类型；
步骤S212，检测是否存在相同的交互信息类型，存在，添加至同一数据集内；不存在，新建一个数据集并将该信息录入；
步骤S213，对数据集内的交互信息判断，确定标定意思；
步骤S214，基于不同的数据集，匹配不同的控制方式。
数字孪生数据模型M3对检测的合格交互信息判断交互信息的类型，将相同的交互信息放置同一个数据集，例如，开始时，一个数据集都没有，接收到手柄按键力度信息后未检测到对应的数据集，新建一个手柄按键数据集，并将该手柄按键力度信息存入，接收到语音音量信息后同样未检测到对应数据集，新建一个语音音量数据集，同样将该语音音量信息录入，再次接收到手柄按键力度信息后，检测到对应的手臂按键数据集，该信息存入手柄按键数据集，接收到语音内容信息后新建一个语音内容数据集并存入，接收到肢体动作信息后新建一个肢体动作数据集并存入，后续接收到对应的交互信息存储入对应的数据集，以此将不同的交互信息进行分类，避免信息杂乱；将数据集的交互信息和对应的检测方式对应，确定标定意思，以语音音量举例，该语音音量为53分贝，在50-55分贝区域内，进而加快游戏内3D模型人物的动作。
在一个实施例中，如图9所示，步骤S23具体可以包括以下步骤：
步骤S231,检测是否存有历史记录，存在时，匹配历史记录；
步骤S232，在历史记录的基础上，基于标定意思对3D模型的渲染进行修正。
游戏开始时或者未启动数字孪生数据模型M3相应的控制时，此时游戏内3D模型人物按照常规的行动方式行动(即第一次历史记录)，游戏画面为常规游戏画面，数字孪生数据模型M3启用检测交互数据并处理后，改变游戏内3D模型人物的行动方式，例如实时改变手臂幅度，游戏内3D模型人物更加拟真(第二次历史记录)。使用者游玩游戏时，持续进行交互，使得每次对应的历史记录都不相同，游戏内3D模型人物行动一直处于变化中，3D模型人物动作更加拟真。
在一个实施例中，本申请提供的一种3D模型实时渲染方法，可以实现为一种计算机程序的形式，计算机程序可在计算机设备上运行。计算机设备的存储器中可存储组成该基于云平台的物联网终端通信系统的各个程序，例如，计算机设备可以通过如图1所示3D渲染引擎M1，执行3D模型实时渲染方法的步骤S1。计算机设备可通过数字孪生数据模型M3执行步骤S2。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下所述3D模型实时渲染方法的步骤：
步骤S1，发出修正信息，3D渲染引擎M1对3D模型进行渲染；
步骤S2，在视频引擎M2捕捉每一帧渲染的画面，将渲染后的画面合成视频，存储以及播放视频后，识别用户的交互信息，并根据播放历史对3D模型的渲染进行修正。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种3D模型实时渲染方法，其特征在于，包括以下步骤：
步骤S1：发出修正信息，3D渲染引擎对3D模型进行渲染；
步骤S2：在视频引擎捕捉每一帧渲染的画面，将渲染后的画面合成视频，存储以及播放视频后，识别用户的交互信息，并根据播放历史对3D模型的渲染进行修正；
所示步骤S2具体包括：
步骤S21：检测用户的交互信息，获取合格的交互信息；
步骤S22：判断交互信息标定意思，并根据标定意思进行反馈；
步骤S23：基于播放历史和反馈标定意思对3D模型的渲染进行修正；
所述步骤S22具体包括：
步骤S221：对合格的交互信息进行判断，判断交互信息类型；
步骤S222：检测是否存在相同的交互信息类型，存在，添加至同一数据集内；不存在，新建一个数据集并将该信息录入；
步骤S223：对数据集内的交互信息判断，确定标定意思；
步骤S224：基于不同的数据集，匹配不同的控制方式。
2.根据权利要求1所述的3D模型实时渲染方法，其特征在于，所述步骤S21具体包括：
步骤S2111：在用户按下游戏手柄按键后，检测手柄按键力度；
步骤S2112：判断手柄按键力度是否达到需求值，达到需求值为合格的交互信息。
3.根据权利要求1所述的3D模型实时渲染方法，其特征在于，所述步骤S21具体包括：
步骤S2121：检测用户游戏时的语音内容；
步骤S2122：滤除非指示语音内容，获取合格的交互信息。
4.根据权利要求1所述的3D模型实时渲染方法，其特征在于，所述步骤S21具体包括：
步骤S2131：检测用户游戏时的肢体动作；
步骤S2132：匹配检测到的肢体动作和记录的肢体动作，作为合格的交互信息。
5.根据权利要求1所述的3D模型实时渲染方法，其特征在于，所述步骤S21具体包括：
步骤S2141：检测用户游戏时的语音音量；
步骤S2142：滤除低于阈值分贝的音量信息，判断语音音量位于具体的分贝区域，获取不同的音量交互信息。
6.根据权利要求1任意一项所述的3D模型实时渲染方法，其特征在于，所述步骤S23具体包括：
步骤S231：检测是否存有历史记录，存在时，匹配历史记录；
步骤S232：在历史记录的基础上，基于标定意思对3D模型的渲染进行修正。
7.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1到6任意一项所述3D模型实时渲染方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1到6任意一项所述3D模型实时渲染方法的步骤。
CN202310394591.4A 2023-04-13 2023-04-13 一种3d模型实时渲染方法、计算机设备与存储介质 Active CN116492675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310394591.4A CN116492675B (zh) 2023-04-13 2023-04-13 一种3d模型实时渲染方法、计算机设备与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310394591.4A CN116492675B (zh) 2023-04-13 2023-04-13 一种3d模型实时渲染方法、计算机设备与存储介质

Publications (2)

Publication Number Publication Date
CN116492675A true CN116492675A (zh) 2023-07-28
CN116492675B CN116492675B (zh) 2024-04-16

Family

ID=87325784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310394591.4A Active CN116492675B (zh) 2023-04-13 2023-04-13 一种3d模型实时渲染方法、计算机设备与存储介质

Country Status (1)

Country Link
CN (1) CN116492675B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132942A (zh) * 2020-09-30 2020-12-25 深圳星寻科技有限公司 一种三维场景漫游实时渲染方法
CN112771472A (zh) * 2018-10-15 2021-05-07 美的集团股份有限公司 提供实时产品交互协助的系统和方法
CN113892074A (zh) * 2019-06-07 2022-01-04 脸谱科技有限责任公司 用于人工现实系统的手臂凝视驱动的用户界面元素选通
US20220172431A1 (en) * 2020-11-30 2022-06-02 Sony Interactive Entertainment LLC Simulated face generation for rendering 3-d models of people that do not exist
CN115471599A (zh) * 2022-09-30 2022-12-13 北京智谱华章科技有限公司 低配显卡条件下的数字人渲染方法和系统
CN115550687A (zh) * 2022-09-23 2022-12-30 中国电信股份有限公司 三维模型场景交互方法、系统、设备、装置及存储介质
US20230025585A1 (en) * 2021-07-21 2023-01-26 Sony Interactive Entertainment Inc. Augmented reality artificial intelligence enhance ways user perceive themselves
CN115769174A (zh) * 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771472A (zh) * 2018-10-15 2021-05-07 美的集团股份有限公司 提供实时产品交互协助的系统和方法
CN113892074A (zh) * 2019-06-07 2022-01-04 脸谱科技有限责任公司 用于人工现实系统的手臂凝视驱动的用户界面元素选通
CN115769174A (zh) * 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
CN112132942A (zh) * 2020-09-30 2020-12-25 深圳星寻科技有限公司 一种三维场景漫游实时渲染方法
US20220172431A1 (en) * 2020-11-30 2022-06-02 Sony Interactive Entertainment LLC Simulated face generation for rendering 3-d models of people that do not exist
US20230025585A1 (en) * 2021-07-21 2023-01-26 Sony Interactive Entertainment Inc. Augmented reality artificial intelligence enhance ways user perceive themselves
CN115550687A (zh) * 2022-09-23 2022-12-30 中国电信股份有限公司 三维模型场景交互方法、系统、设备、装置及存储介质
CN115471599A (zh) * 2022-09-30 2022-12-13 北京智谱华章科技有限公司 低配显卡条件下的数字人渲染方法和系统

Also Published As

Publication number Publication date
CN116492675B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN108200446B (zh) 虚拟形象的线上多媒体互动系统及方法
CN107831902B (zh) 一种运动控制方法及其设备、存储介质、终端
US20150199978A1 (en) Methods and apparatuses for use in animating video content to correspond with audio content
US20150160728A1 (en) Electronic device
AU2009330607A2 (en) System and methods for dynamically injecting expression information into an animated facial mesh
KR20210143857A (ko) 멀티미디어 상호 작용 방법, 장치, 기기 및 저장 매체
WO2023015921A1 (zh) 动画数据处理方法、非易失性存储介质及电子装置
CN111862280A (zh) 虚拟角色控制方法、系统、介质及电子设备
KR20170104846A (ko) 가상현실 콘텐츠 분석 방법 및 장치
US20230394735A1 (en) Enhanced animation generation based on video with local phase
CN112822546A (zh) 基于内容感知的倍速播放方法、系统、存储介质和设备
CN112669422A (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
CN116492675B (zh) 一种3d模型实时渲染方法、计算机设备与存储介质
KR20170105905A (ko) 가상현실 콘텐츠 분석 방법 및 장치
KR102541008B1 (ko) 화면해설 컨텐츠를 제작하는 방법 및 장치
US11461948B2 (en) System and method for voice driven lip syncing and head reenactment
CN113556578B (zh) 视频生成方法、装置、终端及存储介质
WO2022179054A1 (zh) 一种播放系统形象的方法
JP7466087B2 (ja) 推定装置、推定方法、及び、推定システム
EP1944700A1 (en) Method and system for real time interactive video
CN114385002A (zh) 智能设备控制方法、装置、服务器和存储介质
CN112752146A (zh) 视频质量评估方法、装置、计算机设备和存储介质
CN112702625A (zh) 视频处理方法、装置、电子设备及存储介质
CN112380989A (zh) 一种头戴显示设备及其数据获取方法、装置和主机
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維（３ｄ）影像擷取來產生遊戲角色之臉部表情之標籤值之方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant