CN115174962A - 预演仿真方法、装置、计算机设备及计算机可读存储介质 - Google Patents
预演仿真方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115174962A CN115174962A CN202210867316.5A CN202210867316A CN115174962A CN 115174962 A CN115174962 A CN 115174962A CN 202210867316 A CN202210867316 A CN 202210867316A CN 115174962 A CN115174962 A CN 115174962A
- Authority
- CN
- China
- Prior art keywords
- video
- preview
- program
- video unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种预演仿真方法、装置、计算机设备及计算机可读存储介质。预演仿真方法包括：获取多个摄像机从不同角度拍摄的同一演出的预演视频；针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；构建多个预演视频的视频帧之间的对应关系；根据所述关联关系和所述对应关系，得到目标对象的预演数据；利用所述预演数据进行仿真。本申请实施例提供的预演仿真方法，通过将预演视频进行自动化的视频单元划分，并建立不同视频单元之间关联关系，从而可以按照指定的内容对象进行仿真和可视化，提高了视频编辑效率。
Description
技术领域
本申请涉及视频仿真技术领域，尤其涉及一种预演仿真方法、装置、计算机设备及计算机可读存储介质。
背景技术
表演预演是对表演形式和内容进行整体创意和排演的过程。表演预演适用于舞蹈表演、歌唱表演、戏剧表演、歌剧表演、舞台剧表演、影视表演以及大型广场表演等多种艺术表演。随着数字媒体技术的发展，大量的表演视频正在被数字化。因此，在表演预演过程中不但需要准备大量的数据，包括但不限于舞台道具、灯光、多媒体、音响中的任意一个的控制数据，同时，还产生大量的数据，包括但不限于演员的动作捕捉数据、声音数据、光场数据等。
在预演过程中，导演和演员需要大量的表演数据作为创意和排练的依据，导演、演员及各个表演元素在表演过程中所产生的表演数据量非常庞大，表演预演的参与者与表演数据之间缺乏明确的管理机制和高效的管理工具，导致表演数据的丢失、重复采集和资源浪费。在表演视频数字化过程中，如何按照指定的内容对象进行仿真和可视化，是需要研究和解决的问题。
可见，如何按照指定的内容对象进行仿真和可视化是亟需解决的技术问题。
发明内容
有鉴于此，本申请实施例的目的是提供一种预演仿真方法、装置、计算机设备及计算机可读存储介质，能够解决现有如何按照指定的内容对象进行仿真和可视化的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种预演仿真方法，包括：
获取多个摄像机从不同角度拍摄的同一演出的预演视频；
针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；
构建多个预演视频的视频帧之间的对应关系；
根据所述关联关系和所述对应关系，得到目标对象的预演数据；
利用所述预演数据进行仿真。
根据本申请公开的一种具体实施方式，所述视频单元包括演员视频单元、观众视频单元、节目视频单元，所述针对每个所述预演视频，将所述预演视频划分为多个视频单元，并构建所述视频单元之间的关联关系，包括：
获取所述预演视频中的每个演员的头像的集合；
针对每个演员头像，对比所述演员头像与所述预演视频，将包括所述演员头像的视频帧作为节目视频单元；
将所述预演视频中位于所述节目视频单元的首帧和尾帧之间，且不包括所述演员头像的视频帧作为观众视频单元；
构建每个演员的头像与对应的节目视频单元、观众视频单元之间的关联关系。
根据本申请公开的一种具体实施方式，所述方法还包括：
判断所述预演视频中所述节目视频单元的首帧与尾帧之间对应的时长是否大于预设时长阈值；
若是，则对所述节目视频单元进行修正。
根据本申请公开的一种具体实施方式，所述对所述节目视频单元进行修正，包括：
若在所述节目视频单元中检测到主持人头像，则利用所述主持人头像对所述节目视频单元进行修正；或，
若在所述节目视频单元中未检测到主持人头像，则统计所述节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述节目视频单元进行修正。
根据本申请公开的一种具体实施方式，所述视频单元还包括主持人视频单元，所述方法还包括：
将相邻的所述节目视频单元之间的视频帧作为主持人视频单元。
根据本申请公开的一种具体实施方式，所述视频单元包括主持人视频单元、多人节目视频单元，所述针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系，包括：
获取所述预演视频中的每个主持人头像的集合；
针对每个主持人头像，对比所述主持人头像与所述预演视频，将包括所述主持人头像的视频帧作为主持人视频单元；
利用所述主持人视频单元将所述预演视频划分为多个节目视频单元；
若所述节目视频单元中的人脸数量大于预设人脸数量阈值，则将所述节目视频单元确定为多人节目视频单元；
构建所述多人节目视频单元与所述主持人视频单元之间的关联关系。
根据本申请公开的一种具体实施方式，所述根据所述关联关系和所述对应关系，得到目标对象的预演数据，包括：
根据所述对应关系，获取目标对象参与的多个视频单元；
通过运动物体检测，对每个视频单元进行图像处理，得到所述视频单元中每个运动对象的视频帧；
利用所述关联关系，得到目标对象的视频帧；
利用所述目标对象的视频帧进行三维重建，得到每个演员在预演视频中的预演数据。
第二方面，本申请实施例提供了一种预演仿真装置，包括：
预演视频获取模块，用于获取多个摄像机从不同角度拍摄的同一演出的预演视频；
关联关系构建模块，用于针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；
对应关系构建模块，用于构建多个预演视频的视频帧之间的对应关系；
预演数据得到模块，用于根据所述关联关系和所述对应关系，得到目标对象的预演数据；
仿真模块，用于利用所述预演数据进行仿真。
第三方面，本申请实施例提供了一种计算机设备，包括处理器和存储器，所述存储器上存储有程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
本申请的上述实施例提供的预演仿真方法、装置、计算机设备及计算机可读存储介质，通过将预演视频进行自动化的视频单元划分，并建立不同视频单元之间关联关系，从而可以按照指定的内容对象进行仿真和可视化，提高了视频编辑效率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的一种预演仿真方法的流程示意图；
图2示出了本申请实施例提供的一种预演仿真装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
为了解决如何按照指定的内容对象进行仿真和可视化的技术问题，本申请提供了一种预演仿真方法。请参阅图1，图1为本申请实施例提供的预演仿真方法的流程示意图，该方法包括以下步骤：
步骤110、获取多个摄像机从不同角度拍摄的同一演出的预演视频。
具体的，在进行表演预演时，通常会设置多个摄像机的机位进行拍摄，进而得到每个摄像机从不同角度拍摄的预演视频。可以理解的是，预演视频中包括多个视频帧。
步骤120、针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系。
具体的，通过对预演视频根据视频内容进行自动化的单元划分，将预演视频划分为不同类型的单元，并按照预设数据形式进行组织和存储，为后期的内容编辑节省了大量工作量。例如，在内容编辑时，可以基于视频单元之间的关联关系，添加文字说明，例如演员名称、节目名称、主持人名称等。不同类型的视频单元反映了演出视频的不同维度和粒度。
在本申请实施例中，提供了两种将所述预演视频划分为多个视频单元的逻辑，下面将分别进行介绍。
一种可选的实施方式中，提供了一种通过人脸识别进行单元划分的方式；所述视频单元包括演员视频单元、观众视频单元、节目视频单元，步骤120，包括：
获取所述预演视频中的每个演员的头像的集合；
针对每个演员头像，对比所述演员头像与所述预演视频，将包括所述演员头像的视频帧作为节目视频单元；
将所述预演视频中位于所述节目视频单元的首帧和尾帧之间，且不包括所述演员头像的视频帧作为观众视频单元；
构建每个演员的头像与对应的节目视频单元、观众视频单元之间的关联关系。
具体的，表演预演通常包括多个节目，每个节目均由至少一个演员完成表演。因此，需要获取每个参与表演的演员的头像，构建演员的头像的集合。
对于每个演员，将演员的头像与预演视频的视频帧进行逐帧对比，对比结果包括两种情况，即情况一视频帧中包括演员的头像，或情况二视频帧中不包括演员的头像。对于包括演员的头像的视频帧，构成节目视频单元。可以理解的是，节目视频单元包括首帧和尾帧，首帧即预演视频中包括演员的头像的第一帧视频帧，尾帧即预演视频中包括演员的头像的最后一帧视频帧。
在预演视频中，首帧和尾帧之间的视频帧构成了一个子视频，将子视频中不包括演员的头像的视频帧作为观众视频单元。
最终，构建每个演员的头像与对应的节目视频单元、观众视频单元之间的关联关系。
需要说明的是，通常情况下，在一场完整的演出中，一个演员只会参与一个节目的表演，但是，也有可能参与多个节目的表演，比如既表演歌舞又表演小品，同时，还有可能出现在节目最后包括众多演员的合影的视频帧中。在这种情况下，如果将包括演员的头像的第一帧视频帧、最后一针视频帧以及中间的视频帧作为一个节目视频单元，就会存在错误的情况，即包含了没有这个演员的节目的视频帧，需要对这种情况进行检测和修正。因此，在此基础上，一种可选的实施方式中，所述方法还包括：
判断所述预演视频中所述节目视频单元的首帧与尾帧之间对应的时长是否大于预设时长阈值；
若是，则对所述节目视频单元进行修正。
具体的，先对所述预演视频中所述节目视频单元的首帧与尾帧之间对应的时长，也即子视频的时长进行判断，如果超过了预设时长阈值，则说明节目视频单元有误。可以理解的是，节目时长阈值可以根据实际需求设定，例如10分钟、30分钟、60分钟，本申请对此不做限定。
在完成检测之后，还需要对节目视频单元进行修正。在本申请实施例中，提供了两种修正方法。因此，一种可选的实施方式中，所述对所述节目视频单元进行修正，包括：
若在所述节目视频单元中检测到主持人头像，则利用所述主持人头像对所述节目视频单元进行修正；或，
若在所述节目视频单元中未检测到主持人头像，则统计所述节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述节目视频单元进行修正。
可以理解的是，如果在节目视频单元中，检测到主持人头像，则可以利用主持人头像对节目视频单元进行修正。例如，检测到多帧连续的包括主持人头像的视频帧，将节目视频单元中多帧连续的包括主持人头像的视频帧前、后的视频帧划分为两个节目视频单元；检测到N个多帧连续的包括主持人头像的视频帧，可以将节目视频单元重新划分为N+1个节目视频单元。
如果在节目视频单元中，没有检测到主持人头像，则考虑到不同节目之间的布景存在差异，导致不同节目的视频帧的颜色特征不同，相同节目的视频帧的颜色特征相似，故可以统计节目视频单元的视频帧的颜色分布特征，再利用所述颜色分布特征对所述节目视频单元进行修正。可以理解的是，颜色特征是一种全局特征，描述了图像或图像区域内所对应景物的表面性质。颜色特征是基于像素点的特征，所有的像素点对该图像或图像区域都有贡献。颜色特征可以通过多种形式进行描述，例如，颜色直方图。颜色直方图可以描述图像中颜色特征的分布，即不同颜色在图像中所占的比例，不受图像旋转和平移变化的影响，特别适用于描述难以自动分割的图像和不需要考虑物体空间位置的图像。颜色直方图常用的颜色空间包括RGB(Red、Green、Blue，红、绿、蓝)颜色空间、HSV(Hue、Saturation、Value，色调、饱和度、明度)颜色空间。
通过对节目视频单元进行检测和修正，避免了将多个节目视频单元划分为一个节目视频单元，保证了节目视频单元划分的准确性。
一种可选的实施方式中，所述视频单元还包括主持人视频单元，所述方法还包括：
将相邻的所述节目视频单元之间的视频帧作为主持人视频单元。
具体的，有的表演预演可能有主持人参与，因此，需要划分主持人视频单元。一般主持人出现在相邻的节目之间，进行下一个节目的介绍，故将相邻的所述节目视频单元之间的视频帧作为主持人视频单元。可以将第一个节目视频单元之前的视频帧作为第一个主持人视频单元。
可以理解的是，对于不存在主持人的预演视频，则不需要确定主持人视频单元。
此外，在相邻的所述节目视频单元之间的视频帧中，也有可能将镜头给到观众，需要将包括观众的视频帧从主持人视频单元中去除。因此，一种可选的实施方式中，所述方法还包括：
获取所述预演视频中的每个主持人的头像的集合；
针对每个主持人的头像，对比所述主持人的头像与所述主持人视频单元，将包括所述主持人的头像的视频帧作为修正后的主持人视频单元；
构建每个主持人头像与对应的主持人视频单元之间的关联关系。
具体的，通过将主持人的头像与主持人视频单元进行逐帧对比，从而去除不包括主持人的视频帧，将实际包括主持人的头像的视频帧作为修正后的主持人视频单元。
进一步地，表演预演中可以包括多个主持人，利用主持人的头像确定主持人视频单元中对应的主持人，并构建关联关系。
通过对主持人视频单元进行检测和修正，避免了主持人视频单元中包括观众的视频帧，还构建了主持人与对应的主持人视频单元的关联关系，保证了主持人视频单元划分的准确性。
需要说明的是，由于不同的表演预演可能包括不同的节目类型，例如相声类、小品类、独唱类、合唱类、个人舞蹈类、多人大型舞蹈类，其中，对于多人类节目，通过人脸识别进行视频单元的划分时，效率比较低，且容易出错。因此，另一种可选的实施方式中，所述视频单元包括主持人视频单元、多人节目视频单元，步骤120包括：
获取所述预演视频中的每个主持人头像的集合；
针对每个主持人头像，对比所述主持人头像与所述预演视频，将包括所述主持人头像的视频帧作为主持人视频单元；
利用所述主持人视频单元将所述预演视频划分为多个节目视频单元；
若所述节目视频单元中的人脸数量大于预设人脸数量阈值，则将所述节目视频单元确定为多人节目视频单元；
构建所述多人节目视频单元与所述主持人视频单元之间的关联关系。
具体的，通过主持人头像来进行预演视频的划分，可以提高划分效率，并降低出错率。
多人节目视频单元，与其他类型的视频单元，在关联关系的建立时类似，可以将多人节目视频单元与对应的主持人视频单元建立关联关系。此外，可以预存参与多人节目演出的多个演员名称，将多人节目视频单元与演员名称建立关联关系。
在此基础上，一种可选的实施方式中，所述方法还包括：
针对所述多人节目视频单元，统计所述多人节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述多人节目视频单元进行修正。
具体的，利用颜色分布特征对多人节目视频单元进行修正的方法与前文中利用颜色分布特征对节目视频单元进行修正的逻辑类似，在此不再赘述。
一种可选的实施方式中，所述方法还包括：
对每个所述视频单元进行镜头检测，生成镜头检测结果，其中，所述镜头检测结果包括长镜头和短镜头。
具体的，对于每个视频单元，还可以通过镜头检测的方法，将视频单元进行镜头类型划分，确定为长镜头或短镜头。长镜头通常指的是用比较长的时间，对一个场景、一场戏进行连续地拍摄，形成一个比较完整的镜头段落。短镜头通常指的是用很短的时间对一个场景、一场戏进行连续地拍摄。
通过镜头精测对视频单元进行镜头检测结果的区分，使得后续可以根据实际需求获取相应的镜头检测结果的视频单元，满足了不同角色、不同镜头的需求。
步骤130、构建多个预演视频的视频帧之间的对应关系。
具体的，在步骤120的基础上，即基于每个摄像机拍摄的一组预演视频进行单元划分的基础上，还对每个摄像机拍摄从不同角度拍摄的预演视频建立对应关系。由于每个摄像机同时拍摄，且单位时间内拍摄的视频帧数量相同，因此，若摄像机拍摄的预演视频均包括n帧视频帧，则将各个摄像机的视频帧分别按照视频帧的序号进行一一对应，即每个序号为1的视频帧相对应，每个序号为2的视频帧相对应，直至每个序号为n的视频帧相对应。
步骤140、根据所述关联关系和所述对应关系，得到目标对象的预演数据。
具体的，基于步骤120中得到的视频单元之间的关联关系，以及步骤130中得到的预演视频的视频帧之间的对应关系，利用预演视频进行三维重建，就可以得到目标对象的预演数据。
一种可选的实施方式中，步骤140包括：
根据所述对应关系，获取目标对象参与的多个视频单元；
通过运动物体检测，对每个视频单元进行图像处理，得到所述视频单元中每个运动对象的视频帧；
利用所述关联关系，得到目标对象的视频帧；
利用所述目标对象的视频帧进行三维重建，得到每个演员在预演视频中的预演数据。
具体的，在本申请实施例中，以摄像机的数量为三个为例展开说明。可以理解的是，摄像机的数量可以根据实际需求设定，本申请实施例对此不作限定。
根据视频单元之间的关联关系，获取三个摄像机分别拍摄的目标对象参与的视频单元。若视频单元包括编号为k至t的视频帧，那么，也即获取三个摄像机分别拍摄的编号为k至t的视频帧。
可以理解的是，目标对象可以为演员或者主持人。如果为演员，则获取节目视频单元；如果是主持人，则获取主持人视频单元。在本申请实施例中，以目标对象为演员、目标对象参与的节目为小品为例展开说明。通常情况下，一个小品节目中包括至少两个演员。在本申请实施例中，以演员的数量为两个，即1号演员和2号演员为例展开说明。
在一个小品节目中，通常只有参与表演的演员会发生位置的变化，即移动。因此，通过运动物体检测，将运动对象区域(可以理解为两个演员所在区域)从视频单元中分离出来，并且对视频单元进行图像处理，也即将运动对象区域之外的其他区域的像素点设置为预设像素值，例如设置为黑色(RGB值为0，0，0)或白色(RGB值为255，255，255)，运动对象区域保持原来的像素值，从而得到两个运动对象的视频帧。
再利用视频单元之间的关联关系，可以将两个运动对象与演员分别关联起来。假设第一个运动对象通过头像匹配检测为1号演员，第二个运动对象通过头像匹配检测为2号演员，即可得到1号演员和2号演员的经过图像处理后的视频帧，也就是演员视频帧。
分别基于各个演员的演员视频帧，获得视频帧各个演员对象的像素点的对应关系，得到预演数据。例如，在某一时刻，对于1号演员的演员区域某一个点A，获取该点在三个预演视频对应的视频帧中的坐标，分别为A1(x1，y1)、A2(x2，y2)、A3(x3，y3)，基于点A在三个视频帧中的坐标点位置、像素值以及三个相机在这一时刻的坐标系的关系，得到点A的三维重建数据，即预演数据。针对每一演员视频帧中的运动对象的区域的各个点逐点获取三维预演数据，以获得各个演员对象在视频表演中的完整的预演数据。
步骤150、利用所述预演数据进行仿真。
具体的，基于步骤140中得到的预演数据可以进行仿真，从而实现按照指定的内容对象进行仿真和可视化。
可以理解的是，参与预演表演的相关角色对于预演视频的关注部分各不相同，每个相关角色可以根据实际需求回看或重现预演视频中的关注内容。
例如，预演表演的导演可能更关注整个预演表演的整体效果，进而可以执行下列操作，包括但不限于：指定需要关注的演员的视频单元；指定某一主持人视频单元；指定某一节目的观众视频单元，从而得知观众对该节目的反馈效果；指定某一节目中某一演员单元，可以通过短镜头观察演员的表情特写，还可以通过长镜头观察预演视频的拍摄效果。
又例如，参与预演表演的演员可能比较关心自己在预演表演中的表现，因此，需要回看自己的表演效果，此时，可以指定某一演员，不仅可以观看自己在预演视频中的表现，还可以获得该演员的仿真数据，并通过三维仿真引擎进行仿真并可视化后，观察表演效果。
在增强现实的应用场景中，需要将预演表演中的节目以重建的形式迁移到任何真实的场地中，让观众有身临其境的真实感。假设需要将某一小品节目人物表演重现在某一真实场地中，此时，可以指定这一小品节目对应的节目视频单元，获得小品中的演员的表演视频的预演数据，通过三维仿真引擎进行仿真，再将仿真结果叠加到真实场地中。
此外，可以预先设置预演表演之外的外围预演元素的预演数据，外围预演元素包括但不限于灯光、音乐、服装、多媒体，在进行仿真时，同时选择任意一个或几个外围预演元素的预演数据，改变预演仿真的外围效果，进一步提升真实感。
本申请实施例中提供的预演仿真方法，通过将预演视频进行自动化的视频单元划分，并建立不同视频单元之间关联关系，从而可以按照指定的内容对象进行仿真和可视化，提高了视频编辑效率。
与上述方法实施例相对应，请参见图2，图2为本申请实施例提供的预演仿真装置的结构示意图，预演仿真装置200包括：
预演视频获取模块210，用于获取多个摄像机从不同角度拍摄的同一演出的预演视频；
关联关系构建模块220，用于针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；
对应关系构建模块230，用于构建多个预演视频的视频帧之间的对应关系。
预演数据得到模块240，用于根据所述关联关系和所述对应关系，得到目标对象的预演数据；
仿真模块250，用于利用所述预演数据进行仿真。
可选的，所述视频单元包括演员视频单元、观众视频单元、节目视频单元，关联关系构建模块220包括：
演员头像获取子模块，用于获取所述预演视频中的每个演员的头像的集合；
节目视频单元确定子模块，用于针对每个演员头像，对比所述演员头像与所述预演视频，将包括所述演员头像的视频帧作为节目视频单元；
观众视频单元确定子模块，用于将所述预演视频中位于所述节目视频单元的首帧和尾帧之间，且不包括所述演员头像的视频帧作为观众视频单元；
第一构建子模块，用于构建每个演员的头像与对应的节目视频单元、观众视频单元之间的关联关系。
可选的，预演仿真装置200还包括：
判断模块，用于判断所述预演视频中所述节目视频单元的首帧与尾帧之间对应的时长是否大于预设时长阈值；
第一修正模块，用于若是，则对所述节目视频单元进行修正。
可选的，第一修正模块包括：
第一修正子模块，用于若在所述节目视频单元中检测到主持人头像，则利用所述主持人头像对所述节目视频单元进行修正；或，
第二修正子模块，用于若在所述节目视频单元中未检测到主持人头像，则统计所述节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述节目视频单元进行修正。
可选的，所述视频单元还包括主持人视频单元，预演仿真装置200还包括：
主持人视频单元确定模块，用于将相邻的所述节目视频单元之间的视频帧作为主持人视频单元。
可选的，预演仿真装置200还包括：
主持人头像获取模块，用于获取所述预演视频中的每个主持人头像的集合；
主持人视频单元修正模块，用于针对每个主持人头像，对比所述主持人头像与所述主持人视频单元，将包括所述主持人头像的视频帧作为修正后的主持人视频单元；
构建模块，用于构建每个主持人头像与对应的主持人视频单元之间的关联关系。
可选的，所述视频单元包括主持人视频单元、多人节目视频单元，关联关系构建模块220包括：
主持人头像获取子模块，用于获取所述预演视频中的每个主持人头像的集合；
主持人视频单元确定子模块，用于针对每个主持人头像，对比所述主持人头像与所述预演视频，将包括所述主持人头像的视频帧作为主持人视频单元；
节目视频单元确定子模块，用于利用所述主持人视频单元将所述预演视频划分为多个节目视频单元；
多人节目视频单元确定子模块，用于若所述节目视频单元中的人脸数量大于预设人脸数量阈值，则将所述节目视频单元确定为多人节目视频单元；
第二构建子模块，用于构建所述多人节目视频单元与所述主持人视频单元之间的关联关系。
可选的，预演仿真装置200还包括：
第二修正模块，用于针对所述多人节目视频单元，统计所述多人节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述多人节目视频单元进行修正。
可选的，预演数据得到模块240包括：
视频单元获取子模块，用于根据所述对应关系，获取目标对象参与的多个视频单元；
处理子模块，用于通过运动物体检测，对每个视频单元进行图像处理，得到所述视频单元中每个运动对象的视频帧；
视频帧得到子模块，用于利用所述关联关系，得到目标对象的视频帧；
三维重建子模块，用于利用所述目标对象的视频帧进行三维重建，得到每个演员在预演视频中的预演数据。
可选的，预演仿真装置200还包括：
镜头检测模块，用于对每个所述视频单元进行镜头检测，生成镜头检测结果，其中，所述镜头检测结果包括长镜头和短镜头。
本申请实施例提供的预演仿真装置能够实现上述方法实施例中预演仿真方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器上存储有程序或指令，该程序或指令被处理器执行时实现上述预演仿真方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述预演仿真方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的计算机设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种预演仿真方法，其特征在于，包括：
获取多个摄像机从不同角度拍摄的同一演出的预演视频；
针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；
构建多个预演视频的视频帧之间的对应关系；
根据所述关联关系和所述对应关系，得到目标对象的预演数据；
利用所述预演数据进行仿真。
2.根据权利要求1所述的预演仿真方法，其特征在于，所述视频单元包括演员视频单元、观众视频单元、节目视频单元，所述针对每个所述预演视频，将所述预演视频划分为多个视频单元，并构建所述视频单元之间的关联关系，包括：
获取所述预演视频中的每个演员的头像的集合；
针对每个演员头像，对比所述演员头像与所述预演视频，将包括所述演员头像的视频帧作为节目视频单元；
将所述预演视频中位于所述节目视频单元的首帧和尾帧之间，且不包括所述演员头像的视频帧作为观众视频单元；
构建每个演员的头像与对应的节目视频单元、观众视频单元之间的关联关系。
3.根据权利要求2所述的预演仿真方法，其特征在于，所述方法还包括：
判断所述预演视频中所述节目视频单元的首帧与尾帧之间对应的时长是否大于预设时长阈值；
若是，则对所述节目视频单元进行修正。
4.根据权利要求3所述的预演仿真方法，其特征在于，所述对所述节目视频单元进行修正，包括：
若在所述节目视频单元中检测到主持人头像，则利用所述主持人头像对所述节目视频单元进行修正；或，
若在所述节目视频单元中未检测到主持人头像，则统计所述节目视频单元的视频帧的颜色分布特征，并利用所述颜色分布特征对所述节目视频单元进行修正。
5.根据权利要求2所述的预演仿真方法，其特征在于，所述视频单元还包括主持人视频单元，所述方法还包括：
将相邻的所述节目视频单元之间的视频帧作为主持人视频单元。
6.根据权利要求1所述的预演仿真方法，其特征在于，所述视频单元包括主持人视频单元、多人节目视频单元，所述针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系，包括：
获取所述预演视频中的每个主持人头像的集合；
针对每个主持人头像，对比所述主持人头像与所述预演视频，将包括所述主持人头像的视频帧作为主持人视频单元；
利用所述主持人视频单元将所述预演视频划分为多个节目视频单元；
若所述节目视频单元中的人脸数量大于预设人脸数量阈值，则将所述节目视频单元确定为多人节目视频单元；
构建所述多人节目视频单元与所述主持人视频单元之间的关联关系。
7.根据权利要求1所述的预演仿真方法，其特征在于，所述根据所述关联关系和所述对应关系，得到目标对象的预演数据，包括：
根据所述对应关系，获取目标对象参与的多个视频单元；
通过运动物体检测，对每个视频单元进行图像处理，得到所述视频单元中每个运动对象的视频帧；
利用所述关联关系，得到目标对象的视频帧；
利用所述目标对象的视频帧进行三维重建，得到每个演员在预演视频中的预演数据。
8.一种预演仿真装置，其特征在于，包括：
预演视频获取模块，用于获取多个摄像机从不同角度拍摄的同一演出的预演视频；
关联关系构建模块，用于针对每个所述预演视频，将所述预演视频划分为多个视频单元，构建所述视频单元之间的关联关系；
对应关系构建模块，用于构建多个预演视频的视频帧之间的对应关系；
预演数据得到模块，用于根据所述关联关系和所述对应关系，得到目标对象的预演数据；
仿真模块，用于利用所述预演数据进行仿真。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器上存储有程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的预演仿真方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的预演仿真方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210867316.5A CN115174962B (zh) | 2022-07-22 | 2022-07-22 | 预演仿真方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210867316.5A CN115174962B (zh) | 2022-07-22 | 2022-07-22 | 预演仿真方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115174962A true CN115174962A (zh) | 2022-10-11 |
| CN115174962B CN115174962B (zh) | 2024-05-24 |
Family
ID=83497411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210867316.5A Active CN115174962B (zh) | 2022-07-22 | 2022-07-22 | 预演仿真方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115174962B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108271069A (zh) * | 2017-12-11 | 2018-07-10 | 北京奇艺世纪科技有限公司 | 一种视频节目的片段过滤方法和装置 |
| CN108345637A (zh) * | 2018-01-02 | 2018-07-31 | 北京理工大学 | 一种基于增强现实的表演预演方法及系统 |
| CN110062132A (zh) * | 2019-04-15 | 2019-07-26 | 北京理工大学 | 剧场表演重建方法及装置 |
| CN111046566A (zh) * | 2019-12-17 | 2020-04-21 | 北京理工大学 | 一种人群表演现场排练系统 |
| CN111787339A (zh) * | 2020-03-09 | 2020-10-16 | 北京理工大学 | 一种直播预演系统 |
| CN111787338A (zh) * | 2020-03-09 | 2020-10-16 | 北京理工大学 | 一种体育赛事直播方案辅助设计方法 |
| CN112287568A (zh) * | 2020-12-28 | 2021-01-29 | 北京理工大学 | 一种表演平行仿真系统 |
| CN112543340A (zh) * | 2020-12-30 | 2021-03-23 | 山东莱宝空调设备有限公司 | 一种基于增强现实的戏剧观看方法和装置 |
| CN113269854A (zh) * | 2021-07-16 | 2021-08-17 | 成都索贝视频云计算有限公司 | 一种智能生成访谈类综艺节目的方法 |
| CN113613065A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
-
2022
- 2022-07-22 CN CN202210867316.5A patent/CN115174962B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108271069A (zh) * | 2017-12-11 | 2018-07-10 | 北京奇艺世纪科技有限公司 | 一种视频节目的片段过滤方法和装置 |
| CN108345637A (zh) * | 2018-01-02 | 2018-07-31 | 北京理工大学 | 一种基于增强现实的表演预演方法及系统 |
| CN110062132A (zh) * | 2019-04-15 | 2019-07-26 | 北京理工大学 | 剧场表演重建方法及装置 |
| CN111046566A (zh) * | 2019-12-17 | 2020-04-21 | 北京理工大学 | 一种人群表演现场排练系统 |
| CN111787339A (zh) * | 2020-03-09 | 2020-10-16 | 北京理工大学 | 一种直播预演系统 |
| CN111787338A (zh) * | 2020-03-09 | 2020-10-16 | 北京理工大学 | 一种体育赛事直播方案辅助设计方法 |
| CN112287568A (zh) * | 2020-12-28 | 2021-01-29 | 北京理工大学 | 一种表演平行仿真系统 |
| CN112543340A (zh) * | 2020-12-30 | 2021-03-23 | 山东莱宝空调设备有限公司 | 一种基于增强现实的戏剧观看方法和装置 |
| CN113269854A (zh) * | 2021-07-16 | 2021-08-17 | 成都索贝视频云计算有限公司 | 一种智能生成访谈类综艺节目的方法 |
| CN113613065A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115174962B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9143721B2 (en) | Content preparation systems and methods for interactive video systems | |
| US20080043041A2 (en) | Image Blending System, Method and Video Generation System | |
| US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
| US8228366B2 (en) | System and method for interactive visual effects compositing | |
| JP2018107793A (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
| US11335039B2 (en) | Correlation of multiple-source image data | |
| CN105069827A (zh) | 一种采用三维模型处理视频转场的方法 | |
| US11048925B1 (en) | Active marker device for performance capture | |
| JP2011155477A (ja) | 映像処理装置、映像処理方法及びプログラム | |
| CN115174962B (zh) | 预演仿真方法、装置、计算机设备及计算机可读存储介质 | |
| US11620765B2 (en) | Automatic detection of a calibration object for modifying image parameters | |
| Ichikari et al. | Mixed reality pre-visualization and camera-work authoring in filmmaking | |
| WO2016203469A1 (en) | A digital media reviewing system and methods thereof | |
| KR101613778B1 (ko) | 라이브 뮤직비디오를 위한 서비스 시스템 및 서비스 방법 | |
| US11605171B1 (en) | Method and apparatus for processing reference inputs for video compositing with replacement | |
| Skinner et al. | Line-Based Localisation for Augmented Reality Sport Spectators | |
| Gao et al. | Aesthetics Driven Autonomous Time-Lapse Photography Generation by Virtual and Real Robots | |
| Tamura et al. | Computer vision technology applied to mr-based pre-visualization in filmmaking | |
| WO2015173828A1 (en) | Methods, circuits, devices, systems and associated computer executable code for composing composite content | |
| Agustina et al. | A short film making with 3D CGI and live action footage usage using compositing technique and key frames method | |
| CN115311446A (zh) | 贴纸效果检测方法、装置、计算机设备和存储介质 | |
| Zyuzin | The impact of digital technology on film industry | |
| Macmillan et al. | I Wanna Dance With Somebody: Generating Authentic Crowds With Volumetric Video | |
| Allen | Digital cinema: Virtual screens | |
| CN115456894A (zh) | 一种视频制作色彩校正方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410000, east side of Building 1, 3001, Phase I, Malanshan Mango Cultural and Creative Plaza, No. 30 Yazipu Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province Applicant after: Hunan Mango Rongchuang Technology Co.,Ltd. Applicant after: Hunan mango Vision Technology Co.,Ltd. Address before: Room 4, Room 96, No. 1, Yazipu Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province 410000 Applicant before: Hunan Mango Wuji Technology Co.,Ltd. Applicant before: Hunan mango Vision Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |