CN111599005B - 一种三维模型植入方法、装置、电子设备及存储介质 - Google Patents
一种三维模型植入方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111599005B CN111599005B CN202010429172.6A CN202010429172A CN111599005B CN 111599005 B CN111599005 B CN 111599005B CN 202010429172 A CN202010429172 A CN 202010429172A CN 111599005 B CN111599005 B CN 111599005B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional model
- projection
- rendering
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002513 implantation Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000009877 rendering Methods 0.000 claims abstract description 89
- 238000010586 diagram Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 18
- 239000007943 implant Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 22
- 230000002829 reductive effect Effects 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 27
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
本申请提供一种三维模型植入方法、装置、电子设备及存储介质，该方法包括：将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像；将第一图像与三维模型的表面进行投影匹配，获得第二投影关系；根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图；根据渲染图对三维模型在第二图像中的区域进行融合，获得植入图像。在上述的实现过程中，根据第一投影关系和第二投影关系对三维模型进行渲染，并根据获得的渲染图对三维模型在第二图像中的区域进行融合，获得植入图像；从而降低了将三维模型植入视频图像帧中的难度，有效地提高了三维模型植入视频图像帧的效率。
Description
技术领域
本申请涉及图像处理和三维模型植入的技术领域，具体而言，涉及一种三维模型植入方法、装置、电子设备及存储介质。
背景技术
三维模型，是指物体的三维多边形表示，通常用电脑或者其它影片设备进行显示；显示的物体可以是现实世界的实体，也可以是虚构的东西，既可以小到原子，也可以大到很大的尺寸，当然，在物理自然界存在的东西都可以用三维模型表示。
在目前的互联网视频的播放场景中，需要在互联网视频中添加多媒体信息，以使互联网视频在播放时将多媒体信息同时播放，具体例如：在互联网视频中植入平面广告，或者是三维模型的立体广告，从而通过植入后的互联网视频对商品进行推广。目前都是由工作人员来判断三维模型是否与视频图像帧中的预设植入实体契合，如果是，那么就将植入后的互联网视频播放。在具体的实践过程中发现，使用人工地方式难以将三维模型植入视频图像帧中。
发明内容
本申请实施例的目的在于提供一种三维模型植入方法、装置、电子设备及存储介质，用于改善难以将三维模型植入视频图像帧中的问题。
本申请实施例提供了一种三维模型植入方法，包括：将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像；将第一图像与三维模型的表面进行投影匹配，获得第二投影关系；根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图；根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像。在上述的实现过程中，通过根据表征目标视频中的第一图像与第二图像的第一投影关系和表征第一图像与三维模型的表面第二投影关系对三维模型进行渲染，获得渲染图；并根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像；从而降低了将三维模型植入视频图像帧中的难度，有效地提高了三维模型植入视频图像帧的效率。
可选地，在本申请实施例中，将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，包括：获得第一图像的四个第一关键点，四个第一关键点中的任意三个不能共线；获得第二图像的四个第二关键点，四个第二关键点中的任意三个不能共线；将四个第一关键点和四个第二关键点进行投影匹配。在上述的实现过程中，通过将第一图像的四个第一关键点和第二图像的四个第二关键点进行投影匹配；从而有效地提高了第一图像和第二图像投影匹配的速度。
可选地，在本申请实施例中，将第一图像与三维模型的表面进行投影匹配，包括：获得三维模型的表面上的四个第三关键点，四个第三关键点中的任意三个不能共线；将四个第三关键点和四个第一关键点进行投影匹配。在上述的实现过程中，通过将获得的三维模型的表面上的四个第三关键点和四个第一关键点进行投影匹配；从而有效地提高了三维模型的表面与第一图像进行投影匹配的速度。
可选地，在本申请实施例中，根据第一投影关系和第二投影关系对三维模型进行渲染，包括：根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系；根据投影变换关系对三维模型进行渲染。在上述的实现过程中，通过根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系；并根据投影变换关系对三维模型进行渲染；从而有效地提高了对三维模型进行渲染的速度。
可选地，在本申请实施例中，根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像，包括：将渲染图和第二图像进行图像配准，获得配准后的渲染图；根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像。在上述的实现过程中，通过将渲染图和第二图像进行图像配准，获得配准后的渲染图；根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像；从而有效地提高了图像配准和图像融合的速度。
可选地，在本申请实施例中，在获得植入三维模型后的植入图像之后，还包括：接收终端设备发送的数据请求；向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示。在上述的实现过程中，通过接收终端设备发送的数据请求；向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示；从而有效地提高了终端设备获得并显示植入图像的速度。
可选地，在本申请实施例中，还包括：将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像；向终端设备发送植入视频，植入视频用于被终端设备播放。在上述的实现过程中，通过将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像；向终端设备发送植入视频，植入视频用于被终端设备播放；从而有效地提高了终端设备获得并播放植入视频的速度。
本申请实施例还提供了一种三维模型植入装置，包括：第一关系获得模块，用于将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像；第二关系获得模块，用于将第一图像与三维模型的表面进行投影匹配，获得第二投影关系；渲染图获得模块，用于根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图；植入图像获得模块，用于根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像。在上述的实现过程中，通过根据表征目标视频中的第一图像与第二图像的第一投影关系和表征第一图像与三维模型的表面第二投影关系对三维模型进行渲染，获得渲染图；并根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像；从而降低了将三维模型植入视频图像帧中的难度，有效地提高了三维模型植入视频图像帧的效率。
可选地，在本申请实施例中，第一关系获得模块，包括：第一关键点获得模块，用于获得第一图像的四个第一关键点，四个第一关键点中的任意三个不能共线；第二关键点获得模块，用于获得第二图像的四个第二关键点，四个第二关键点中的任意三个不能共线；第一投影匹配模块，用于将四个第一关键点和四个第二关键点进行投影匹配。
可选地，在本申请实施例中，第二关系获得模块，包括：第三关键点获得模块，用于获得三维模型的表面上的四个第三关键点，四个第三关键点中的任意三个不能共线；第二投影匹配模块，用于将四个第三关键点和四个第一关键点进行投影匹配。
可选地，在本申请实施例中，渲染图获得模块，包括：变换关系确定模块，用于根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系；三维模型渲染模块，用于根据投影变换关系对三维模型进行渲染。
可选地，在本申请实施例中，植入图像获得模块，包括：渲染图像配准模块，用于将渲染图和第二图像进行图像配准，获得配准后的渲染图；渲染图像融合模块，用于根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像。
可选地，在本申请实施例中，三维模型植入装置还包括：数据请求接收模块，用于接收终端设备发送的数据请求；植入图像发送模块，用于向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示。
可选地，在本申请实施例中，三维模型植入装置还包括：植入视频获得模块，用于将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像；植入视频发送模块，用于向终端设备发送植入视频，植入视频用于被终端设备播放。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的三维模型植入方法的示意图；
图2示出的本申请实施例提供的三维模型植入方法中的第一图像的示例图；
图3示出的本申请实施例提供的三维模型植入方法中的第二图像的示例图；
图4示出的本申请实施例提供的贴图后的桌子模型的示意图；
图5示出的本申请实施例提供的第一图像与第二图像进行投影匹配的示意图；
图6示出的本申请实施例提供的第一图像与三维模型进行投影匹配的示意图；
图7示出的本申请实施例提供的使用3D渲染引擎进行渲染后的渲染图；
图8示出的本申请实施例提供的图像配准和图像融合的示意图；
图9示出的本申请实施例提供的三维模型植入装置的结构示意图；
图10示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的三维模型植入方法之前，先介绍本申请实施例所涉及的一些概念，本申请实施例所涉及的一些概念如下：
AutoCAD(Autodesk Computer Aided Design)，有时简称CAD，是指Autodesk(欧特克)公司开发的自动计算机辅助设计软件，用于二维绘图、详细绘制、设计文档和基本三维设计；AutoCAD具有良好的用户界面，通过交互菜单或命令行方式便可以进行各种操作。
SolidWorks软件，是达索系统(Dassault Systemes)开发的用于销售机械设计软件的软件产品。使用销售机械设计软件获得机器人模型的实施方式例如：使用SolidWorks软件设计机器人模型，并将该机器人模型从SolidWorks软件中导出。
单应性是几何中的一个概念；单应性是一个从实射影平面到射影平面的可逆变换，直线在该变换下仍映射为直线；具有相同意义的词还包括直射变换、射影变换和射影性等。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing，RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
需要说明的是，本申请实施例提供的三维模型植入方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的三维模型植入方法之前，先介绍该三维模型植入方法适用的应用场景，这里的应用场景包括但不限于：使用该三维模型植入方法将三维模型植入图像或者视频，这里的三维模型可以是广告产业或动漫产业中的人物、动物或者物体等模型；或者在图像或者视频中植入三维字幕的立体模型等等。
请参见图1示出的本申请实施例提供的三维模型植入方法的示意图；该三维模型植入方法可以包括：
步骤S110：将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像。
目标视频，是指待植入三维模型的视频，该目标视频包括预设植入实体，这里的预设植入实体是指待植入三维模型的参照物，具体例如：若需要在目标视频中植入一个茶杯的三维模型，那么这里的预设植入实体可以是茶桌或桌子等等参照物；这里的视频(video或videogram)是泛指将一系列的静态影像以电信号方式加以捕捉、纪录、处理、存储、发送与重现的各种信息载体。这里的目标视频的获得方式包括：第一种方式，获取预先存储的目标视频，从文件系统中获取目标视频，或者从数据库中获取目标视频；第二种方式，从其他终端设备接收获得目标视频；第三种方式，使用浏览器等软件获取互联网上的目标视频，或者使用其它应用程序访问互联网获得目标视频。
第一图像，是指目标视频中的其中一个图像帧中的局部图像，在公式中可以使用字母S表示第一图像，具体例如：请参见图2示出的本申请实施例提供的三维模型植入方法中的第一图像的示例图；假设目标视频是针对一个桌子进行拍摄，那么第一图像可以是这个桌子的桌面图像，这里的桌面图像具体例如可以是两个大小不一样的同轴矩形框组成的图像。这里的第一图像的获得方式，可以是在拍摄目标视频时拍摄的，也可以是从目标视频中截图或裁剪获取的。
第二图像，是指目标视频中的其中一个图像帧，在公式中可以使用字母F表示第二图像；可以理解的是，第一图像是第二图像的局部区域图像，具体例如：请参见图3示出的本申请实施例提供的三维模型植入方法中的第二图像的示例图；若上述的第一图像是桌子的桌面图像，那么第二图像可以是这个桌子的图像。这里的第二图像的获得方式，可以是从目标视频中提取一个图像帧获得，也可以是在播放目标视频时截图获得，也可以是在拍摄目标视频时获得的。
可选地，在将第一图像与第二图像进行投影匹配之前，还可以执行的步骤包括：测量第一图像中预设植入实体的具体尺寸，再根据预设植入实体的具体尺寸制作该预设植入实体的模型，然后在该预设植入实体的模型的其中一个面上使用第一图像贴图，获得贴图后的实体模型。
请参见图4示出的本申请实施例提供的贴图后的桌子模型的示意图；上述步骤具体的实施方式例如：假设预设植入实体是桌子，该桌子的桌面尺寸假设为2米×1.2米，那么使用AutoCAD(Autodesk Computer Aided Design)或SolidWorks制作桌面尺寸为2米×1.2米的桌子模型，然后将上述的第一图像为桌面图像贴在该桌子模型的桌面上，获得贴图后的桌子模型。
上述步骤S110中的将目标视频中的第一图像与目标视频中的第二图像进行投影匹配的实施方式可以包括：
步骤S111：获得第一图像的四个第一关键点，四个第一关键点中的任意三个不能共线。
第一关键点，是指表征第一图像的空间关键特征位置的点，可以理解的是，至少四个第一关键点就可以确定投影变换的单应性矩阵，也就是说，在具体的实施过程中，也可以选择五个、六个或十个第一关键点来确定投影变换的矩阵；选择四个第一关键点的方式例如：从第一图像S中选择S1、S2、S3和S4四个点。
步骤S112：获得第二图像的四个第二关键点，四个第二关键点中的任意三个不能共线。
第二关键点，是指表征第二图像的空间关键特征位置的点，可以理解的是，至少四个第二关键点就可以确定投影变换的单应性矩阵，也就是说，在具体的实施过程中，也可以选择五个、六个或九个第二关键点来确定投影变换的矩阵；选择四个第二关键点的方式例如：从第二图像F中选择F1、F2、F3和F4四个点。
上述步骤S111和步骤S112的实施方式比较类似，因此，将两个步骤放在一起说明，两个步骤的说明可以相互参照理解；其中，步骤S111和步骤S112的实施方式例如：在第一图像中随机选择任意三个均不共线的四个第一关键点。
步骤S113：将四个第一关键点和四个第二关键点进行投影匹配。
请参见图5示出的本申请实施例提供的第一图像与第二图像进行投影匹配的示意图；上述步骤S113中的将四个第一关键点和四个第二关键点进行投影匹配的实施方式例如：根据S1、S2、S3、S4四个点和F1、F2、F3和F4四个点进行投影匹配，并确定第一图像和第二图像之间的第一单应性矩阵M1，将单应性矩阵M1确定为第一投影关系。
在上述的实现过程中，通过将第一图像的四个第一关键点和第二图像的四个第二关键点进行投影匹配；从而有效地提高了第一图像和第二图像投影匹配的速度。
步骤S120：将第一图像与三维模型的表面进行投影匹配，获得第二投影关系。
该步骤的实施原理和实施方式与步骤S110的实施原理和实施方式是相似或类似的；上述步骤S120中的将第一图像与三维模型的表面进行投影匹配的实施方式可以包括如下步骤：
步骤S121：获得三维模型的表面上的四个第三关键点，四个第三关键点中的任意三个不能共线。
三维模型的表面，是指待植入的三维模型的其中一个表面，在公式中可以使用字母D表示该三维模型，当然这里的表面可以是平面，在具体的事件过程中，这里表面也可以是曲面。
第三关键点，是指表征三维模型的表面上的空间关键特征位置的点，至少四个第三关键点就可以确定投影变换的单应性矩阵，也就是说，在具体的实施过程中，也可以选择五个、六个或九个第三关键点来确定投影变换的矩阵；选择四个第三关键点的方式例如：从三维模型D中选择D1、D2、D3和D4四个点。
步骤S122：将四个第三关键点和四个第一关键点进行投影匹配。
请参见图6示出的本申请实施例提供的第一图像与三维模型的表面进行投影匹配的示意图；上述步骤S122中的将四个第三关键点和四个第一关键点进行投影匹配的实施方式例如：根据第一图像上的S1、S2、S3、S4四个点和三维模型的表面上的D1、D2、D3和D4四个点进行投影匹配，并确定第一图像和三维模型的表面之间的第二单应性矩阵M2，将单应性矩阵M2确定为第二投影关系。
在上述的实现过程中，通过将获得的三维模型的表面上的四个第三关键点和四个第一关键点进行投影匹配；从而有效地提高了三维模型的表面与第一图像进行投影匹配的速度。
步骤S130：根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图。
上述步骤S130中的根据第一投影关系和第二投影关系对三维模型进行渲染的实施方式可以包括如下步骤：
步骤S131：根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系。
步骤S132：根据投影变换关系对三维模型进行渲染。
请参见图7示出的本申请实施例提供的使用3D渲染引擎进行渲染后的渲染图；上述步骤S131和步骤S132的实施方式例如：将第一单应性矩阵M1乘以第二单应性矩阵M2，获得三维模型与第二图像的投影变换关系，该投影变换关系使用公式可以表示为M＝M1*M2，在具体的实施过程中，可以改变第二单应性矩阵M2，并计算第一单应性矩阵M1的逆矩阵M1-1，再调整3D渲染引擎的摄相机参数，使得M2＝M1-1，那么这里的M则变成了单元矩阵，并使用3D渲染引擎对三维模型与第二图像进行渲染，获得上述的渲染图，此时，渲染后的桌面与原始桌面重叠。
在上述的实现过程中，通过根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系；并根据投影变换关系对三维模型进行渲染；从而有效地提高了对三维模型进行渲染的速度。
步骤S140：根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像。
请参见图8示出的本申请实施例提供的图像配准和图像融合的示意图；上述步骤S140中的根据渲染图对三维模型在第二图像中的区域进行融合的实施方式可以包括如下步骤：
步骤S141：将渲染图和第二图像进行图像配准，获得配准后的渲染图。
图像配准，是指对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点对应起来，从而达到信息融合的目的；图像配准的目的在于，比较或融合针对同一对象在不同条件下获取的图像，这些条件具体例如：图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等。
上述步骤S141中的实施方式例如：植入后的三维模型所占的位置为基本矩阵边框(图中所示的虚线矩形框)，将基本矩阵边框向外再扩大预设个像素(中所示的实线矩形框)，得到扩展矩阵边框；换句话说，这里的基本矩阵边框是基本框出了三维模型的全部所占像素，而扩展矩阵边框是完全框出了三维模型的全部所占像素，扩展矩阵边框的面积比基本矩阵边框的面积大，且扩展矩阵边框完全覆盖了基本矩阵边框。
步骤S142：根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像。
上述步骤S142中的实施方式例如：对于扩展矩阵边框之外的区域，采用原第二图像的像素覆盖，对于扩展矩阵边框之内的区域，采用图像融合的方式进行融合，获得图像融合后的植入图像；具体的图像融合的方式例如：泊松融合(Poisson blend)或者拉普拉斯融合(laplacian blend)等方式。在上述的实现过程中，通过将渲染图和第二图像进行图像配准，获得配准后的渲染图；根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像；从而有效地提高了图像配准和图像融合的速度。
在上述的实现过程中，通过根据表征目标视频中的第一图像与第二图像的第一投影关系和表征第一图像与三维模型的表面第二投影关系对三维模型进行渲染，获得渲染图；并根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像；从而降低了将三维模型植入视频图像帧中的难度，有效地提高了三维模型植入视频图像帧的效率。
可选地，在本申请实施例中，在获得植入三维模型后的图像之后，还可以向其它设备发送植入图像；那么上述的三维模型植入方法可以包括如下步骤：
步骤S210：电子设备将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像。
步骤S220：电子设备将第一图像与三维模型的表面进行投影匹配，获得第二投影关系。
步骤S230：电子设备根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图。
步骤S240：电子设备根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像。
其中，上述步骤S210至步骤S240的实施原理和实施方式与步骤S110至步骤S140的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S110至步骤S140的描述。
步骤S250：电子设备接收终端设备发送的数据请求。
上述步骤S250中的实施方式例如：电子设备通过超文本传输协议(Hyper TextTransfer Protocol，HTTP)或者超文本传输安全协议(HyperText Transfer ProtocolSecure，HTTPS)接收终端设备发送的数据请求。这里的HTTP协议是一个简单的请求响应协议，HTTP协议通常运行在传输控制协议(Transmission Control Protocol，TCP)之上，HTTP协议指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。这里的HTTPS协议又称为HTTP Secure，是一种通过计算机网络进行安全通信的传输协议；HTTPS开发的主要目的，是提供对网站服务器的身份认证，保护交换数据的隐私与完整性。
步骤S260：电子设备向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示。
上述步骤S260中的实施方式例如：电子设备通过HTTP协议或者HTTPS协议向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示。在上述的实现过程中，通过接收终端设备发送的数据请求；向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示；从而有效地提高了终端设备获得并显示植入图像的速度。
可选地，在本申请实施例中，执行上述的三维模型植入方法的电子设备还可以获得植入三维模型的视频，并将该视频发送给其它设备，那么上述的三维模型植入方法还可以包括：
步骤S270：电子设备将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像。
上述步骤S270中的获得植入视频的实施方式例如：电子设备将三维模型植入包括第二图像以及除第二图像之外的至少一个图像，换句话说，电子设备将目标视频中包括预设植入实体的所有帧均植入三维模型，则可以获得植入视频。
步骤S280：电子设备向终端设备发送植入视频，植入视频用于被终端设备播放。
上述步骤S270中的向终端设备发送植入视频的实施方式例如：电子设备通过实时流协议(Real Time Streaming Protocol，RTSP)向终端设备发送植入视频；这里的RTSP协议是一种网络应用协议，专为娱乐和通信系统的使用，以控制流媒体服务器；该协议用于创建和控制终端之间的媒体会话。媒体服务器的客户端发布VCR命令，例如播放，录制和暂停，以便于实时控制从服务器到客户端(视频点播)或从客户端到服务器(语音录音)的媒体流。
在上述的实现过程中，通过将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像；向终端设备发送植入视频，植入视频用于被终端设备播放；从而有效地提高了终端设备获得并播放植入视频的速度。
请参见图9示出的本申请实施例提供的三维模型植入装置的结构示意图；该三维模型植入装置300可以包括：
第一关系获得模块310，用于将目标视频中的第一图像与目标视频中的第二图像进行投影匹配，获得第一投影关系，第一图像是第二图像的局部区域图像。
第二关系获得模块320，用于将第一图像与三维模型的表面进行投影匹配，获得第二投影关系。
渲染图获得模块330，用于根据第一投影关系和第二投影关系对三维模型进行渲染，获得渲染图。
植入图像获得模块340，用于根据渲染图对三维模型在第二图像中的区域进行融合，获得植入三维模型后的植入图像。
可选地，在本申请实施例中，第一关系获得模块，包括：
第一关键点获得模块，用于获得第一图像的四个第一关键点，四个第一关键点中的任意三个不能共线。
第二关键点获得模块，用于获得第二图像的四个第二关键点，四个第二关键点中的任意三个不能共线。
第一投影匹配模块，用于将四个第一关键点和四个第二关键点进行投影匹配。
可选地，在本申请实施例中，第二关系获得模块，包括：
第三关键点获得模块，用于获得三维模型的表面上的四个第三关键点，四个第三关键点中的任意三个不能共线。
第二投影匹配模块，用于将四个第三关键点和四个第一关键点进行投影匹配。
可选地，在本申请实施例中，渲染图获得模块，包括：
变换关系确定模块，用于根据第一投影关系和第二投影关系，确定三维模型与第二图像的投影变换关系。
三维模型渲染模块，用于根据投影变换关系对三维模型进行渲染。
可选地，在本申请实施例中，植入图像获得模块，包括：
渲染图像配准模块，用于将渲染图和第二图像进行图像配准，获得配准后的渲染图。
渲染图像融合模块，用于根据配准后的渲染图对三维模型在第二图像中的区域进行图像融合，获得植入图像。
可选地，在本申请实施例中，三维模型植入装置还包括：
数据请求接收模块，用于接收终端设备发送的数据请求。
植入图像发送模块，用于向终端设备发送数据请求对应的植入图像，植入图像用于被终端设备显示。
可选地，在本申请实施例中，三维模型植入装置还可以包括：
植入视频获得模块，用于将三维模型植入目标视频中除第二图像之外的目标帧，获得植入视频，目标帧包括第二图像以及除第二图像之外的至少一个图像。
植入视频发送模块，用于向终端设备发送植入视频，植入视频用于被终端设备播放。
应理解的是，该装置与上述的三维模型植入方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图10示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。
其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (8)
1.一种三维模型植入方法，其特征在于，包括：
将目标视频中的第一图像与所述目标视频中的第二图像进行投影匹配，获得第一投影关系，所述第一图像是所述第二图像的局部区域图像；
将所述第一图像与三维模型的表面进行投影匹配，获得第二投影关系；
根据所述第一投影关系和所述第二投影关系对所述三维模型进行渲染，获得渲染图；
根据所述渲染图对所述三维模型在所述第二图像中的区域进行融合，获得植入所述三维模型后的植入图像；
其中，所述将目标视频中的第一图像与所述目标视频中的第二图像进行投影匹配，包括：获得所述第一图像的四个第一关键点，所述四个第一关键点中的任意三个不能共线；获得所述第二图像的四个第二关键点，所述四个第二关键点中的任意三个不能共线；将所述四个第一关键点和所述四个第二关键点进行投影匹配；
所述根据所述第一投影关系和所述第二投影关系对所述三维模型进行渲染，包括：根据所述第一投影关系和所述第二投影关系，确定所述三维模型与所述第二图像的投影变换关系；根据所述投影变换关系对所述三维模型进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像与三维模型的表面进行投影匹配，包括：
获得所述三维模型的表面上的四个第三关键点，所述四个第三关键点中的任意三个不能共线；
将所述四个第三关键点和所述四个第一关键点进行投影匹配。
3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染图对所述三维模型在所述第二图像中的区域进行融合，获得植入所述三维模型后的植入图像，包括：
将所述渲染图和所述第二图像进行图像配准，获得配准后的渲染图；
根据所述配准后的渲染图对所述三维模型在所述第二图像中的区域进行图像融合，获得所述植入图像。
4.根据权利要求1所述的方法，其特征在于，在所述获得植入所述三维模型后的植入图像之后，还包括：
接收终端设备发送的数据请求；
向所述终端设备发送所述数据请求对应的所述植入图像，所述植入图像用于被所述终端设备显示。
5.根据权利要求4所述的方法，其特征在于，还包括：
将所述三维模型植入所述目标视频中除所述第二图像之外的目标帧，获得植入视频，所述目标帧包括所述第二图像以及除所述第二图像之外的至少一个图像；
向所述终端设备发送所述植入视频，所述植入视频用于被所述终端设备播放。
6.一种三维模型植入装置，其特征在于，包括：
第一关系获得模块，用于将目标视频中的第一图像与所述目标视频中的第二图像进行投影匹配，获得第一投影关系，所述第一图像是所述第二图像的局部区域图像；
第二关系获得模块，用于将所述第一图像与三维模型的表面进行投影匹配，获得第二投影关系；
渲染图获得模块，用于根据所述第一投影关系和所述第二投影关系对所述三维模型进行渲染，获得渲染图；
植入图像获得模块，用于根据所述渲染图对所述三维模型在所述第二图像中的区域进行融合，获得植入所述三维模型后的植入图像；
其中，所述将目标视频中的第一图像与所述目标视频中的第二图像进行投影匹配，包括：获得所述第一图像的四个第一关键点，所述四个第一关键点中的任意三个不能共线；获得所述第二图像的四个第二关键点，所述四个第二关键点中的任意三个不能共线；将所述四个第一关键点和所述四个第二关键点进行投影匹配；
所述根据所述第一投影关系和所述第二投影关系对所述三维模型进行渲染，包括：根据所述第一投影关系和所述第二投影关系，确定所述三维模型与所述第二图像的投影变换关系；根据所述投影变换关系对所述三维模型进行渲染。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法。
8.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429172.6A CN111599005B (zh) | 2020-05-19 | 2020-05-19 | 一种三维模型植入方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429172.6A CN111599005B (zh) | 2020-05-19 | 2020-05-19 | 一种三维模型植入方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111599005A CN111599005A (zh) | 2020-08-28 |
| CN111599005B true CN111599005B (zh) | 2024-01-05 |
Family
ID=72187476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010429172.6A Active CN111599005B (zh) | 2020-05-19 | 2020-05-19 | 一种三维模型植入方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111599005B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611266B1 (en) * | 1999-06-07 | 2003-08-26 | Yoram Pollack | Method for achieving roaming capabilities and performing interactive CGI implanting, and computer games using same |
| CN101521828A (zh) * | 2009-02-20 | 2009-09-02 | 南京师范大学 | 面向esri三维gis模块的植入式真三维立体渲染方法 |
| CN103024480A (zh) * | 2012-12-28 | 2013-04-03 | 杭州泰一指尚科技有限公司 | 一种在视频中嵌入广告的方法 |
| CN103093491A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 基于多视点视频的三维模型高真实感虚实结合渲染方法 |
| CN103400409A (zh) * | 2013-08-27 | 2013-11-20 | 华中师范大学 | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 |
| WO2014019498A1 (zh) * | 2012-08-01 | 2014-02-06 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
| WO2019034142A1 (zh) * | 2017-08-17 | 2019-02-21 | 腾讯科技（深圳）有限公司 | 三维虚拟形象的显示方法、装置、终端及存储介质 |
| CN109842811A (zh) * | 2019-04-03 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 一种在视频中植入推送信息的方法、装置及电子设备 |
| CN110599605A (zh) * | 2019-09-10 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
-
2020
- 2020-05-19 CN CN202010429172.6A patent/CN111599005B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611266B1 (en) * | 1999-06-07 | 2003-08-26 | Yoram Pollack | Method for achieving roaming capabilities and performing interactive CGI implanting, and computer games using same |
| CN101521828A (zh) * | 2009-02-20 | 2009-09-02 | 南京师范大学 | 面向esri三维gis模块的植入式真三维立体渲染方法 |
| WO2014019498A1 (zh) * | 2012-08-01 | 2014-02-06 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
| CN103024480A (zh) * | 2012-12-28 | 2013-04-03 | 杭州泰一指尚科技有限公司 | 一种在视频中嵌入广告的方法 |
| CN103093491A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 基于多视点视频的三维模型高真实感虚实结合渲染方法 |
| CN103400409A (zh) * | 2013-08-27 | 2013-11-20 | 华中师范大学 | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 |
| WO2019034142A1 (zh) * | 2017-08-17 | 2019-02-21 | 腾讯科技（深圳）有限公司 | 三维虚拟形象的显示方法、装置、终端及存储介质 |
| CN109842811A (zh) * | 2019-04-03 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 一种在视频中植入推送信息的方法、装置及电子设备 |
| CN110599605A (zh) * | 2019-09-10 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Haritha H 等.Vicode: 3d Barcode with Embedded Video Using Histogram Shifting Based Reversible Data Hiding.《International Journal of Science and Research》.2017,第第6卷卷(第第6卷期),全文. * |
| 李自力 等.虚拟演播室中节目主持人或演员与虚拟场景融合的一种技术方案.《通信学报》.2003,第24卷(第10期),第102-107页. * |
| 林立宇 等.云演播厅技术在游戏直播中的应用与研究.《广东通信技术》.2018,第第38卷卷(第第38卷期),第5-7页. * |
| 赵刚 等.PTZ摄像机视频与三维模型的配准技术研究.《计算机工程与设计》.2013,第34卷(第10期),第354-3550页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111599005A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134664B2 (ja) | アノテーション装置 | |
| US20170302714A1 (en) | Methods and systems for conversion, playback and tagging and streaming of spherical images and video | |
| CN109891466A (zh) | 3d模型的增强扫描 | |
| US20140247272A1 (en) | Image processing apparatus, method and computer program product | |
| US9189966B2 (en) | System for learning trail application creation | |
| CN111008985B (zh) | 全景图拼缝检测方法、装置、可读存储介质及电子设备 | |
| CN113741698A (zh) | 一种确定和呈现目标标记信息的方法与设备 | |
| TW201719502A (zh) | 動態影像之物件辨識方法及自動截取目標圖像的互動式影片建立方法 | |
| US10943370B2 (en) | Compression of multi-dimensional object representations | |
| CN112581632B (zh) | 一种房源数据的处理方法和装置 | |
| CN110111241B (zh) | 用于生成动态图像的方法和装置 | |
| CN112446312A (zh) | 三维模型识别方法、装置、电子设备及存储介质 | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| JP7124957B2 (ja) | 画像処理システム、推定装置、処理方法及びプログラム | |
| CN111399655B (zh) | 一种基于vr同步的图像处理方法及装置 | |
| CN111599005B (zh) | 一种三维模型植入方法、装置、电子设备及存储介质 | |
| CN113012031A (zh) | 图像处理方法和图像处理装置 | |
| JP2016218849A (ja) | 平面変換パラメータ推定装置、方法、及びプログラム | |
| CN112416218B (zh) | 虚拟卡片的显示方法、装置、计算机设备及存储介质 | |
| JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
| CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 | |
| CN113168706A (zh) | 视频流的帧中的对象位置确定 | |
| KR102218095B1 (ko) | 인물 및 평면 인식을 이용한 증강 현실 구현 방법 및 위 방법을 위한 명령어들이 저장된 컴퓨터 판독 가능한 저장 매체 | |
| CN109348132B (zh) | 全景拍摄方法及装置 | |
| CN114070950B (zh) | 图像处理方法及相关装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231122 Address after: 410000, Room 502, Building 12, Wangxing Community, Wangchengpo Street, Yuelu District, Changsha City, Hunan Province Applicant after: Hunan Feige Digital Technology Co.,Ltd. Address before: 2 / F, 979 Yunhan Road, Pudong New Area, Shanghai, 200120 Applicant before: Shanghai Wanmian Intelligent Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |