CN115914501A - 图像背景确定方法及装置、计算机可读存储介质 - Google Patents
图像背景确定方法及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN115914501A CN115914501A CN202110932988.5A CN202110932988A CN115914501A CN 115914501 A CN115914501 A CN 115914501A CN 202110932988 A CN202110932988 A CN 202110932988A CN 115914501 A CN115914501 A CN 115914501A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- wide
- angle
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本申请公开了一种图像背景确定方法及装置、计算机可读存储介质,属于图像处理技术领域。图像处理设备根据部署在目标场景中的目标相机对目标场景拍摄得到的第一图像,确定目标相机的拍摄位置,然后根据目标相机的拍摄位置,从广角图片集合中获取目标广角图片。图像处理设备根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,并将可视区域作为目标相机对应的图像背景。该图像背景与目标相机采集的真实图像的视角和可视区域都是一致的。因此,采用该图像背景更换目标相机采集的真实图像中的背景后得到的合成图像中,前景与背景始终都是匹配的,合成图像的成像效果较好。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像背景确定方法及装置、计算机可读存储介质。
背景技术
在现代会议系统中,随着跨地域的协作越来越多以及成本的要求,对视频会议的需求日益增加。出于对用户所处环境隐私的保护,通常需要将视频会议图像中的真实背景替换为虚拟背景。
在一些研究中,通过提取视频会议图像中的人体成像,然后将人体成像融合至预先配置的虚拟背景中,以得到合成图像。
但是,合成图像中可能会出现人体成像与虚拟背景不匹配的问题,导致合成图像的成像效果较差。
发明内容
本申请提供了一种图像背景确定方法及装置、计算机可读存储介质,可以解决目前由于人体成像与虚拟背景不匹配导致的合成图像的成像效果较差的问题。
第一方面,提供了一种图像背景确定方法。该方法包括:图像处理设备根据部署在目标场景中的目标相机对目标场景拍摄得到的第一图像,确定目标相机的拍摄位置。图像处理设备根据目标相机的拍摄位置,从广角图片集合中获取目标广角图片,该广角图片集合包括目标场景中的多个拍摄位置对应的多个广角图片,广角图片配置有视角信息,目标广角图片为广角图片集合中与目标相机的拍摄位置对应的广角图片。图像处理设备根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,并将可视区域作为目标相机对应的图像背景。
其中,目标场景中的每个拍摄位置对应的广角图片都是根据相机在该拍摄位置对目标场景的取景范围预先配置的。不同拍摄位置对应的广角图片可以不同。或者,部分拍摄位置对应的广角图片也可以相同。
本申请中,通过预先配置目标场景中的多个拍摄位置对应的多个广角图片,在目标场景中部署目标相机之后,图像处理设备可以根据目标相机对目标场景拍摄得到的图像确定目标相机的拍摄位置,然后从多个广角图片中获取与目标相机的拍摄位置对应的目标广角图片,并根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,进而得到目标相机视角下的图像背景,该图像背景与目标相机采集的真实图像的视角和可视区域都是一致的。因此,采用该图像背景更换目标相机采集的真实图像中的背景后得到的合成图像中,前景与背景始终都是匹配的,合成图像的成像效果较好。
可选地,目标广角图片的视角信息包括水平视角信息,目标广角图片的水平视角大于目标相机的水平拍摄视角。图像处理设备根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域的实现过程,包括:图像处理设备根据目标相机的拍摄偏转角以及目标广角图片的水平视角信息,确定目标广角图片中的可视区域。
可选地,目标广角图片的视角信息包括高度视角信息,目标广角图片的高度视角大于目标相机的垂直拍摄视角。图像处理设备根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域的实现过程,包括:图像处理设备根据目标相机的拍摄俯仰角以及目标广角图片的高度视角信息,确定目标广角图片中的可视区域。
可选地,图像处理设备根据部署在目标场景中的目标相机对目标场景拍摄得到的第一图像,确定目标相机的拍摄位置的实现方式,包括:图像处理设备向第一模型输入第一图像,以得到第一模型输出的目标相机的拍摄位置。其中,第一模型基于第一训练样本集训练得到,第一训练样本集包括相机在第一场景中的多个拍摄位置对第一场景拍摄得到的多个图像,第一训练样本集中的图像标注有位置标签,第一场景与目标场景的场景类型相同,第一场景中的多个拍摄位置与目标场景中的多个拍摄位置对应。
可选地,图像处理设备确定目标相机的拍摄姿态的一种实现方式,包括:图像处理设备向第二模型输入第一图像,以得到第二模型输出的目标相机的拍摄姿态。其中,第二模型基于第二训练样本集训练得到,第二训练样本集包括相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对第二场景拍摄得到的多个图像,第二训练样本集中的图像标注有姿态标签,第二场景与目标场景的场景类型相同,第二场景中的多个拍摄位置与目标场景中的多个拍摄位置对应。
可选地,图像处理设备确定目标相机的拍摄姿态的另一种实现方式,包括:图像处理设备根据目标相机的相机姿态,确定目标相机的拍摄姿态。这种实现方式下,图像处理设备直接从目标相机的相机姿态中获取目标相机的拍摄姿态,实现复杂度较低。
可选地,图像处理设备还可以基于第一图像,确定桌子在第一图像中的成像位置和成像形状。图像处理设备根据桌子在第一图像中的成像位置和成像形状,在图像背景上叠加桌子图像。图像处理设备显示叠加有桌子图像的图像背景以及桌子调节控件,桌子调节控件用于调节桌子图像的位置和/或大小。响应于对桌子调节控件的第一操控指令,图像处理设备根据第一操控指令调节桌子图像。
或者,目标场景中设置有桌子,目标广角图片包括广角背景图像和桌子图像,桌子图像叠加在广角背景图像上。图像处理设备显示图像背景以及桌子调节控件,桌子调节控件用于调节桌子图像的位置和/或大小。响应于对桌子调节控件的第一操控指令,图像处理设备根据第一操控指令调节桌子图像。
本申请中,图像处理设备显示图像背景以及桌子调节控件,通过UI交互的方式实现桌子图像的可调节,提高了对图像背景的调整灵活性。
可选地,图像处理设备显示图像背景以及背景调节控件,背景调节控件用于调节图像背景。响应于对背景调节控件的第二操控指令,图像处理设备根据第二操控指令调节图像背景。
本申请中,图像处理设备显示图像背景以及背景调节控件,通过UI交互的方式实现对图像背景的整体调节,以使调整后的图像背景能够更好地匹配相机视角。
可选地,图像处理设备获取第二图像中的前景成像,第二图像由目标相机采集得到。图像处理设备对前景成像以及图像背景进行融合,得到第三图像。
第二方面,提供了一种图像处理设备。所述图像处理设备包括多个功能模块,所述多个功能模块相互作用,实现上述第一方面及其各实施方式中的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
第三方面,提供了一种图像处理设备,包括:处理器和存储器;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述计算机程序,实现上述第一方面及其各实施方式中的方法。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令被处理器执行时,实现上述第一方面及其各实施方式中的方法。
第五方面,提供了一种芯片,芯片包括可编程逻辑电路和/或程序指令,当芯片运行时,实现上述第一方面及其各实施方式中的方法。
附图说明
图1是本申请实施例提供的一种图像背景确定方法涉及的应用场景示意图;
图2是本申请实施例提供的一种图像背景确定方法的流程示意图;
图3是本申请实施例提供的一种目标场景的俯视示意图;
图4是本申请实施例提供的一种广角图片的示意图;
图5是本申请实施例提供的另一种广角图片的示意图;
图6是本申请实施例提供的一种相机姿态的表示示意图;
图7是本申请实施例提供的一种图像背景的示意图;
图8是本申请实施例提供的另一种图像背景的示意图;
图9是本申请实施例提供的一种第二图像中的前景成像的生成过程示意图;
图10是本申请实施例提供的一种第三图像的示意图;
图11是本申请实施例提供的一种图像处理设备的显示界面示意图;
图12是本申请实施例提供的另一种图像处理设备的显示界面示意图;
图13是本申请实施例提供的又一种图像处理设备的显示界面示意图;
图14是本申请实施例提供的一种图像处理设备的结构示意图;
图15是本申请实施例提供的另一种图像处理设备的结构示意图;
图16是本申请实施例提供的又一种图像处理设备的结构示意图;
图17是本申请实施例提供的再一种图像处理设备的结构示意图;
图18是本申请实施例提供的还一种图像处理设备的结构示意图;
图19是本申请另一实施例提供的一种图像处理设备的结构示意图;
图20是本申请另一实施例提供的又一种图像处理设备的结构示意图;
图21是本申请实施例提供的一种图像处理设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在现代会议系统中,随着跨地域的协作越来越多以及成本的要求,对视频会议的需求日益增加。出于对用户所处环境隐私的保护,通常需要将视频会议图像中的真实背景替换为虚拟背景。采用相机拍摄同一场景时,如果相机的拍摄位置或拍摄姿态不同,那么相机采集到的图像的视角和可视区域也会不同。目前会议室中通常都设置有多处图像采集位置,在采用相机拍摄会议室中的参会人员时,将相机放置在一处图像采集位置,拍摄到的参会人员可能是正对相机的,而将相机放置在另一处图像采集位置,拍摄到的参会人员可能是侧对相机的。因此,如果不考虑相机的拍摄位置和拍摄姿态,而直接采用预先配置的虚拟背景来更换相机拍摄的视频会议图像中的背景,可能会出现人体成像与虚拟背景不匹配的问题,导致合成图像的成像效果较差。
有鉴于此,本申请实施例提供了一种图像背景确定方法,通过预先配置目标场景中的多个拍摄位置对应的多个广角图片,在目标场景中部署相机之后,图像处理设备可以根据该相机对目标场景拍摄得到的图像确定该相机的拍摄位置,然后从多个广角图片中获取与该相机的拍摄位置对应的目标广角图片,并根据该相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,进而得到该相机视角下的图像背景,该图像背景与该相机采集的真实图像的视角和可视区域都是一致的。因此,采用该图像背景更换该相机采集的真实图像中的背景后得到的合成图像中,前景与背景始终都是匹配的,合成图像的成像效果较好。
下面从应用场景、方法流程、软件装置、硬件装置等多个角度,对本申请提供的技术方案进行详细介绍。
下面对本申请实施例的应用场景举例说明。
图1是本申请实施例提供的一种图像背景确定方法涉及的应用场景示意图。如图1所示,该应用场景包括多个会议终端。每个会议终端都可以与其它所有会议终端进行通信。图1示出的应用场景以包括两个会议终端(会议终端1-2)为例,实际场景还可以包括三个、四个或更多的会议终端,本申请实施例对应用场景包括的会议终端的数量不做限制。
可选地,会议终端集成有相机,或者,会议终端与相机连接。本申请实施例中,将会议终端中集成的相机采集的视频流以及与会议终端连接的相机采集的视频流统称为会议终端采集的视频流。可选地,参见图1,会议终端1用于向会议终端2发送会议终端1采集的视频流1,会议终端2用于向会议终端1发送会议终端2采集的视频流2,以实现会议终端1侧的参会方与会议终端2侧的参会方之间的视频会议。
会议终端用于显示图像或播放视频流。可选地,会议终端为大屏、电子白板、手机、平板电脑或智能可穿戴设备等具有显示功能的电子设备。可选地,会议终端还具有图像处理功能,即会议终端可用作图像处理设备。或者,会议终端与服务器、服务器集群或云计算中心(图中未示出)等具有图像处理功能的设备连接,该具有图像处理功能的设备用作图像处理设备,会议终端用作图像显示设备。
本申请实施例提供的图像背景确定方法不仅应用于视频会议场景,还可应用于例如视频聊天等其它视频通讯场景,还可应用于具有图像背景更换需求的其它场景,本申请实施例对应用场景的类型不做限定。
下面对本申请实施例的方法流程举例说明。
图2是本申请实施例提供的一种图像背景确定方法的流程示意图。如图2所示,该方法包括以下步骤201至步骤207。
步骤201、图像处理设备获取目标场景对应的广角图片集合。
可选地,图像处理设备为具有图像处理能力的会议终端或与会议终端连接的具有图像处理能力的设备。本申请实施例以图像处理设备为会议终端为例进行说明,例如,图像处理设备为如图1所示的应用场景中的会议终端。
广角图片集合包括目标场景中的多个拍摄位置对应的多个广角图片。图像处理设备中可以存储有目标场景中的拍摄位置与广角图片的对应关系。本申请实施例中,广角图片集合中的广角图片是针对目标场景中的拍摄位置预先配置的。广角图片可视为将多个角度的图片拼接在一起的图片。将广角图片投影到一个球面或者立方体上,以球或立方体的中心为相机光心建立相机坐标系,再结合相机外参即可得到相机视角下的广角图片中的可视区域。可选地,广角图片可以是虚拟图片,或者,广角图片可以是由广角相机对与目标场景的场景类型相同的其它场景拍摄得到的真实图片,又或者,广角图片可以由普通相机(非广角相机)在多个角度对与目标场景的场景类型相同的其它场景拍摄得到的多张图片拼接得到。
目标场景中的拍摄位置是预先设置的可以用来部署相机的位置。例如,图3是本申请实施例提供的一种目标场景的俯视示意图。如图3所示,该目标场景中预先设置有6个拍摄位置A-F。其中,拍摄位置A位于目标场景的前方,拍摄位置D位于目标场景的后方,拍摄位置B位于目标场景的右前方,拍摄位置C位于目标场景的右后方,拍摄位置E位于目标场景的左后方,拍摄位置F位于目标场景的左前方。
目标场景中的每个拍摄位置对应的广角图片都是根据相机在该拍摄位置对目标场景的取景范围预先配置的。例如在如图3所示的目标场景中,相机在拍摄位置A对目标场景拍摄时,得到目标场景的前视图;相机在拍摄位置B对目标场景拍摄时,得到目标场景的右前视图。由于目标场景在前视图中的取景范围与在右前视图中的取景范围不同,因此为拍摄位置A配置的广角图片与为拍摄位置B配置的广角图片不同。
目标场景中的每个拍摄位置可以对应有一个或多个广角图片。不同拍摄位置对应的广角图片可以不同。例如,图4是本申请实施例提供的一种广角图片的示意图,该广角图片可以是为如图3所示的目标场景中的拍摄位置A配置的广角图片。如图4所示,虚线框内的区域为广角图片A。其中,“上”表示目标场景的仰视图对应的替换图;“下”表示目标场景的俯视图对应的替换图;“左”表示目标场景的右视图对应的替换图;“右”表示目标场景的左视图对应的替换图;“后”表示目标场景的前视图对应的替换图。又例如,图5是本申请实施例提供的另一种广角图片的示意图,该广角图片可以是为如图3所示的目标场景中的拍摄位置B配置的广角图片。如图5所示,虚线框内的区域为广角图片B。其中,“上”表示目标场景的仰视图对应的替换图;“下”表示目标场景的俯视图对应的替换图;“后”表示目标场景的前视图对应的替换图;“左”表示目标场景的右视图对应的替换图;“前”表示目标场景的后视图对应的替换图。
可选地,部分拍摄位置对应的广角图片可以相同。例如,拍摄位置A和拍摄位置D对应的广角图片可以相同,拍摄位置B、拍摄位置C、拍摄位置E和拍摄位置F对应的广角图片也可以相同。虽然目标场景在前视图中的取景范围与在后视图中的取景范围不同,但是由于目标场景在前视图中的取景大小、场景分布与在后视图中的取景大小、场景分布是大致相同的,因此在配置多个拍摄位置对应的广角图片时,可以将拍摄位置A和拍摄位置D作为一组拍摄位置(统称:前后拍摄位置),并为前后拍摄位置配置对应的一个或多个广角图片。其中,目标场景的后视图可以是相机在拍摄位置D对目标场景拍摄得到的图像。同理,可以将拍摄位置B、拍摄位置C、拍摄位置E和拍摄位置F作为另一组拍摄位置(统称:侧拍摄位置),并为侧拍摄位置配置对应的一个或多个广角图片。这样,可以减少为目标场景配置的广角图片的数量和类型,降低了广角图片集合的配置复杂度。
广角图片配置有视角信息。可选地,广角图片的视角信息包括水平视角信息和/或高度视角信息。水平视角信息包括水平视角的大小。高度视角信息包括高度视角的大小。本申请实施例中,将水平视角大于目标相机的水平拍摄视角,和/或,高度视角大于或等于目标相机的垂直拍摄视角的图片称为广角图片。其中,目标相机可以泛指市面上常见的相机,目标相机可以是独立的设备,或者目标相机也可以是集成在会议终端内的相机部件。
可选地,广角图片的水平视角和高度视角都可以取值为120°。例如参见图4和图5,假设广角图片的中心的水平视角和垂直视角均为0°,则广角图片A和广角图片B的水平视角范围为-60°至60°,广角图片的高度视角范围为-60°至60°。本申请实施例对广角图片的水平视角和高度视角的具体取值不做限定。
步骤202、图像处理设备根据目标相机对目标场景拍摄得到的第一图像,确定目标相机的拍摄位置。
目标相机部署在目标场景中,目标相机的拍摄位置指的是目标相机在目标场景中的位置。可选地,目标相机可以部署在目标场景中预先设置的任一拍摄位置处。
可选地,步骤202的实现过程包括:图像处理设备向第一模型输入第一图像,以得到第一模型输出的目标相机的拍摄位置。其中,第一模型基于第一训练样本集训练得到。该第一训练样本集包括相机在第一场景中的多个拍摄位置对第一场景拍摄得到的多个图像。第一训练样本集中的图像标注有位置标签。第一场景与目标场景的场景类型相同。这里的第一场景泛指与目标场景的场景类型相同的一类场景(可包括一个或多个场景),第一场景也可以包括目标场景。可选地,场景类型包括会议室、影院、办公室等。
第一场景中的多个拍摄位置与目标场景中的多个拍摄位置对应,也就是说,第一场景中的多个拍摄位置在第一场景中的相对位置与目标场景中的多个拍摄位置在目标场景中的相对位置相同。例如,第一场景中的多个拍摄位置位于第一场景的前方、左前方、右前方、后方、左后方和右后方,那么可以在目标场景的前方、左前方、右前方、后方、左后方和右后方分别设置拍摄位置。如果第一训练样本集中的多个图像是相机在第一场景中的N个拍摄位置对第一场景拍摄得到的,那么可以将目标场景中与这N个拍摄位置对应的位置设置为目标场景中的拍摄位置,N为正整数。具体可以在目标相机的产品文档中说明为各种场景类型的场景分别设置的多个拍摄位置,以便用户可以根据场景类型选择对应的拍摄位置来放置目标相机。
第一模型为基于第一训练样本集,通过有监督学习算法训练得到的分类模型。可选地,第一模型为二分类模型或多分类模型。
假设第一场景中的拍摄位置如图3所示,如果将第一场景中的拍摄位置分为两组,一组为前后拍摄位置,另一组为侧拍摄位置,并为每组拍摄位置分别配置对应的广角图片,那么可以对相机在拍摄位置A和拍摄位置D对第一场景拍摄得到的图像标注同一种位置标签,对相机在拍摄位置B、拍摄位置C、拍摄位置E和拍摄位置F对第一场景拍摄得到的图像标注另一种位置标签,从而得到多个样本图像。基于这些样本图像训练得到的第一模型为二分类模型。
仍假设第一场景中的拍摄位置如图3所示,如果为第一场景中的每个拍摄位置分别配置对应的广角图片,那么可以对相机在拍摄位置A、拍摄位置B、拍摄位置C、拍摄位置D、拍摄位置E和拍摄位置F对第一场景拍摄得到的图像分别标注不同的位置标签,从而得到多个样本图像。基于这些样本图像训练得到的第一模型为多分类模型。
步骤203、图像处理设备根据目标相机的拍摄位置,从广角图片集合中获取目标广角图片。
目标广角图片为广角图片集合中与目标相机的拍摄位置对应的广角图片。可选地,图像处理设备基于存储的目标场景中的拍摄位置与广角图片的对应关系,获取目标相机的拍摄位置对应的广角图片。如果图像处理设备获取到目标相机的拍摄位置对应的多个广角图片,那么图像处理设备可以显示目标相机的拍摄位置对应的多个广角图片以供用户选择,并将用户选择的广角图片作为目标广角图片。
例如在如图3所示的目标场景中,图像处理设备确定目标相机的拍摄位置为拍摄位置A,则可以将如图4所示的广角图片A作为目标广角图片。
步骤204、图像处理设备确定目标相机的拍摄姿态。
可选地,目标相机的拍摄姿态包括目标相机的拍摄偏转角和拍摄俯仰角。值得区分的是,本申请实施例中,目标相机的拍摄姿态指的是目标相机在世界坐标系下的姿态。目标相机的拍摄偏转角可以是目标相机的主光轴与预设竖直面的夹角。目标相机的拍摄俯仰角可以是目标相机的主光轴与水平面的夹角。目标相机的相机姿态指的是目标相机在相机坐标系下的姿态。相机姿态包括旋转角(roll)、俯仰角(pitch)和偏转角(yaw)。例如,图6是本申请实施例提供的一种相机姿态的表示示意图。
在一种实现方式中,步骤204的实现过程包括:图像处理设备向第二模型输入第一图像,以得到第二模型输出的目标相机的拍摄姿态。其中,第二模型基于第二训练样本集训练得到。第二训练样本集包括相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对第二场景拍摄得到的多个图像。第二训练样本集中的图像标注有姿态标签,姿态标签具体可以包括拍摄偏转角和/或拍摄俯仰角。第二场景与目标场景的场景类型相同。第二场景中的多个拍摄位置与目标场景中的多个拍摄位置对应。这里的第二场景泛指与目标场景的场景类型相同的一类场景(可包括一个或多个场景),第二场景也可以包括目标场景。第二场景与第一场景可以相同,对第二场景的解释可参考上述步骤202中对第一场景的解释,本申请实施例在此不再赘述。或者,第二训练样本集中的训练数据可以由生成对抗网络(generative adversarial network,GAN)生成。
第二模型为基于第二训练样本集,通过有监督学习算法训练得到的回归模型。
可选地,图像处理设备可以共用一个回归模型(即第二模型)来估计部署在目标场景中的不同拍摄位置上的相机的拍摄姿态。该回归模型可以基于相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对第二场景拍摄得到的多个图像训练得到。
或者,第二模型包括多个子回归模型,多个子回归模型与目标场景中的多个拍摄位置一一对应。对于目标场景中的每个拍摄位置,图像处理设备采用对应的子回归模型来估计部署在该拍摄位置的相机的拍摄姿态。每个子回归模型分别基于相机在对应的拍摄位置上采用多种拍摄姿态对第二场景拍摄得到的多个图像训练得到。
在另一种实现方式中,步骤204的实现过程包括:图像处理设备根据目标相机的相机姿态,确定目标相机的拍摄姿态。
可选地,当目标相机的相机坐标系与世界坐标系平行时,图像处理设备可以将目标相机的偏转角作为目标相机的拍摄偏转角,并将目标相机的俯仰角作为目标相机的拍摄俯仰角。例如,预设目标相机的拍摄偏转角等于目标相机的主光轴与垂直于竖直墙面且朝向目标场景内侧的竖直面的夹角,如果目标相机或目标相机所在会议终端垂直安装在该竖直墙面上,则图像处理设备可以将目标相机的偏转角作为目标相机的拍摄偏转角,并将目标相机的俯仰角作为目标相机的拍摄俯仰角。这种实现方式下,图像处理设备直接从目标相机的相机姿态中获取目标相机的拍摄姿态,实现复杂度较低。
步骤205、图像处理设备根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,并将该可视区域作为目标相机对应的图像背景。
在一种实现方式中,目标广角图片的视角信息包括水平视角信息,目标广角图片的水平视角大于目标相机的水平拍摄视角。则步骤205的实现过程包括:图像处理设备根据目标相机的拍摄偏转角以及目标广角图片的水平视角信息,确定目标广角图片中的可视区域。
例如,目标广角图片的水平视角为120°,水平视角范围为-60°至60°。假设目标相机的水平拍摄视角为90°,目标相机的拍摄偏转角为10°。那么图像处理设备可以将目标广角图片中水平视角范围为-35°至55°的区域作为目标广角图片中的可视区域,该可视区域即目标相机视角下可观察到的区域。
在另一种实现方式中,目标广角图片的视角信息包括高度视角信息,目标广角图片的高度视角大于目标相机的垂直拍摄视角。则步骤205的实现过程包括:图像处理设备根据目标相机的拍摄俯仰角以及目标广角图片的高度视角信息,确定目标广角图片中的可视区域。
例如,目标广角图片的高度视角为120°,高度视角范围为-60°至60°。假设目标相机的垂直拍摄视角为90°,目标相机的拍摄俯仰角为-10°。那么图像处理设备可以将目标广角图片中高度视角范围为-55°至35°的区域作为目标广角图片中的可视区域。
在又一种实现方式中,目标广角图片的视角信息包括水平视角信息和高度视角信息,目标广角图片的水平视角大于目标相机的水平拍摄视角,且目标广角图片的高度视角大于目标相机的垂直拍摄视角。则步骤205的实现过程包括:图像处理设备根据目标相机的拍摄偏转角以及目标广角图片的水平视角信息,确定目标广角图片在水平方向上的可视范围;图像处理设备根据目标相机的拍摄俯仰角以及目标广角图片的高度视角信息,确定目标广角图片在高度方向上的可视范围;图像处理设备根据目标广角图片在水平方向上的可视范围以及在高度方向上的可视范围,确定目标广角图片中的可视区域。
例如,目标广角图片的水平视角为120°,水平视角范围为-60°至60°;高度视角为120°,高度视角范围为-60°至60°。假设目标相机的水平拍摄视角和垂直拍摄视角均为90°,目标相机的拍摄偏转角为10°,目标相机的拍摄俯仰角为-10°。那么图像处理设备可以将目标广角图片中水平视角范围为-35°至55°、且高度视角范围为-55°至35°的区域作为目标广角图片中的可视区域。结合参考步骤203中的例子,目标广角图片为如图4所示的广角图片A,基于该广角图片A可以得到如图7所示的图像背景。
本申请实施例中,通过预先配置目标场景中的多个拍摄位置对应的多个广角图片,在目标场景中部署目标相机之后,图像处理设备可以根据目标相机对目标场景拍摄得到的图像确定目标相机的拍摄位置,然后从多个广角图片中获取与目标相机的拍摄位置对应的目标广角图片,并根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,进而得到目标相机视角下的图像背景,该图像背景与目标相机采集的真实图像的视角和可视区域都是一致的。因此,采用该图像背景更换目标相机采集的真实图像中的背景后得到的合成图像中,前景与背景始终都是匹配的,合成图像的成像效果较好。
可选地,如果目标场景中设置有桌子,而桌子作为背景,图像背景中理应包括桌子图像,这样采用该图像背景更换目标相机采集的真实图像中的背景后,可以保持前景和背景的匹配。
一种实施方式中,预先配置的广角图片不包含桌子图像。图像处理设备可以基于目标相机对目标场景拍摄得到的第一图像,确定桌子在第一图像中的成像位置和成像形状。然后图像处理设备根据桌子在第一图像中的成像位置和成像形状,在图像背景上叠加桌子图像,以得到更新后的图像背景,并将该更新后的图像背景作为目标相机对应的图像背景。
可选地,图像处理设备可以采用语义分割算法得到第一图像中桌子的像素范围,第一图像中桌子的像素范围的外接多边形即桌子的成像形状,第一图像中桌子的像素位置即桌子的成像位置。图像处理设备可以以第一图像中桌子的像素范围的外接多边形作为桌子图像的轮廓创建桌子图像,并根据桌子在第一图像中的成像位置,在基于目标广角图片得到的图像背景的对应位置处叠加该桌子图像。在图像背景上叠加桌子图像,可以是将包含桌子图像的图层叠加在包含图像背景的图层上,即桌子图像和图像背景在不同图层中,这样可以实现对桌子图像的单独调节。
可选地,广角图片可以预先配置有对应的桌子主题信息,包括桌子的颜色和样式等。图像处理设备根据目标广角图片对应的桌子主题信息来创建桌子图像,使得桌子图像与基于该目标广角图片得到的图像背景的主题一致,进而使得最终得到的图像背景的主题统一。
例如,在如图7所示的图像背景上叠加桌子图像,可以得到如图8所示的图像背景。
另一种实施方式中,预先配置的广角图片包括桌子图像。可选地,目标广角图片包括广角背景图像和桌子图像,桌子图像叠加在广角背景图像上。桌子图像叠加在广角背景图像上,可以是将包含桌子图像的图层叠加在包含广角背景图像的图层上,即桌子图像和广角背景图像在不同图层中,这样可以实现对桌子图像的单独调节。当然,本申请实施例也不排除目标广角图片为桌子图像和广角背景图像融合得到的图片的方案。这种实施方式中,基于目标广角图片得到的图像背景即为包括桌子图像的图像背景。
可选地,图像处理设备在得到目标相机对应的图像背景之后,还可以执行以下步骤206和步骤207。
步骤206、图像处理设备获取第二图像中的前景成像,该第二图像由目标相机采集得到。
本申请实施例中,第二图像可以是将目标相机固定部署在目标场景中后由目标相机采集得到的任一图像。例如,第二图像与上述第一图像可以是同一幅图像,或者,第二图像也可以是目标相机采集得到的不同于第一图像的其它图像。
可选地,步骤206的实现方式包括:图像处理设备对第二图像进行人体语义分割,得到第二图像中的人体掩膜。然后图像处理设备根据人体掩膜以及第二图像,得到前景成像。例如,图9是本申请实施例提供的一种第二图像中的前景成像的生成过程示意图。
步骤207、图像处理设备对第二图像中的前景成像以及目标相机对应的图像背景进行融合,得到第三图像。
第三图像为合成图像。可选地,第二图像、第三图像以及图像背景满足公式:I=αF+(1-α)B。其中,I为表征第三图像的像素矩阵,α为人体掩膜,F为表征第二图像的像素矩阵,B为表征图像背景的像素矩阵。例如,将图9示出的前景成像与图8示出的图像背景进行融合,可以得到如图10所示的第三图像。
当图像处理设备为会议终端时,会议终端得到第三图像之后,进一步可以将第三图像发送给远端会议终端,以实现视频会议通信。
综上所述,在本申请实施例提供的图像背景确定方法中,通过预先配置目标场景中的多个拍摄位置对应的多个广角图片,在目标场景中部署目标相机之后,图像处理设备可以根据目标相机对目标场景拍摄得到的图像确定目标相机的拍摄位置,然后从多个广角图片中获取与目标相机的拍摄位置对应的目标广角图片,并根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,进而得到目标相机视角下的图像背景,该图像背景与目标相机采集的真实图像的视角和可视区域都是一致的。因此,采用该图像背景更换目标相机采集的真实图像中的背景后得到的合成图像中,前景与背景始终都是匹配的,合成图像的成像效果较好。
可选地,本申请实施例中,图像处理设备在得到目标相机对应的图像背景之后,还可以通过用户界面(user interface,UI)交互的方式对图像背景进行调整。相应地,上述步骤207中,图像处理设备可以对第二图像中的前景成像以及调整后的图像背景进行融合,得到第三图像。
在一种可能实现方式中,如果目标相机对应的图像背景包括桌子图像,且桌子图像在图像背景的一个独立图层中,那么图像处理设备可以对图像背景进行局部调整,具体实现过程包括以下步骤S11至步骤S12:
在步骤S11中,图像处理设备显示图像背景以及桌子调节控件。
桌子调节控件用于调节桌子图像的位置和/或大小。
可选地,图像处理设备可以获取部署在目标场景中的目标相机采集的图像(例如第一图像)中的前景成像,并将前景成像叠加在目标相机对应的图像背景上,以得到预合成图像。然后图像处理设备显示预合成图像以及桌子调节控件。例如,图11是本申请实施例提供的一种图像处理设备的显示界面示意图。如图11所示,图像处理设备上显示有预合成图像以及针对桌子图像的操作轴,通过移动该操作轴可以移动桌子图像的位置,通过缩放该操作轴可以对桌子图像进行缩放以实现对桌子图像的大小调节。
在步骤S12中,响应于对桌子调节控件的第一操控指令,图像处理设备根据该第一操控指令调节桌子图像。
本申请实施例中,图像处理设备显示图像背景以及桌子调节控件,通过UI交互的方式实现桌子图像的可调节,提高了对图像背景的调整灵活性。另外,图像处理设备可以以预合成图像的形式显示图像背景,使得用户可以参考预合成图像中的前景成像对图像背景中的桌子图像进行调整,以使调整后的图像背景能够更好地匹配目标相机采集的真实图像中的前景。
在另一种可能实现方式中,图像处理设备可以对图像背景进行整体调整,具体实现过程包括以下步骤S21至步骤S22:
在步骤S21中,图像处理设备显示图像背景以及背景调节控件。
背景调节控件用于调节图像背景。可选地,背景调节控件包括亮度调节控件、对比度调节控件、缩放控件或旋转方向调节控件中的一个或多个。其中,亮度调节控件用于调节背景亮度。对比度调节控件用于调节背景对比度。缩放控件用于调节背景的可视范围。旋转方向调节控件包括左右旋转调节控件和/或上下旋转调节控件,左右旋转调节控件用于调节背景的左右视角,上下旋转调节控件用于调节背景的上下视角。
可选地,图像处理设备可以获取部署在目标场景中的目标相机采集的图像(例如第一图像)中的前景成像,并将前景成像叠加在目标相机对应的图像背景上,以得到预合成图像。然后图像处理设备显示预合成图像以及针对预合成图像中图像背景的背景调节控件。例如,图12是本申请实施例提供的另一种图像处理设备的显示界面示意图。如图12所示,图像处理设备上显示有预合成图像以及背景编辑界面,该背景编辑界面包括亮度调节控件、对比度调节控件、缩放控件、左右旋转调节控件以及上下旋转调节控件。
在步骤S22中,响应于对背景调节控件的第二操控指令,图像处理设备根据该第二操控指令调节图像背景。
例如,响应于对上下旋转调节控件的操控指令,图像处理设备根据该操控指令调整目标广角图片中的可视区域的高度视角,从而实现对目标广角图片中的可视区域的上下调节,得到新的可视区域。又例如,响应于对左右旋转调节控件的操控指令,图像处理设备根据该操控指令调整目标广角图片中的可视区域的水平视角,从而实现对目标广角图片中的可视区域的左右调节,得到新的可视区域。进一步地,图像处理设备基于目标广角图片中新的可视区域得到目标相机对应的图像背景。
本申请实施例中,图像处理设备显示图像背景以及背景调节控件,通过UI交互的方式实现对图像背景的整体调节。另外,图像处理设备可以以预合成图像的形式显示图像背景,使得用户可以参考预合成图像中的前景成像对图像背景进行调整,以使调整后的图像背景能够更好地匹配相机视角,进而使调整后的图像背景能够更好地匹配相机采集的真实图像中的前景。
可选地,图像处理设备得到图像背景之后,也可以在同一界面上同时显示图像背景、桌子调节控件和背景调节控件。例如,图13是本申请实施例提供的又一种图像处理设备的显示界面示意图。如图13所示,图像处理设备上显示有预合成图像(即叠加有前景成像的图像背景)、针对桌子图像的操作轴以及背景编辑界面,该背景编辑界面包括亮度调节控件、对比度调节控件、缩放控件、左右旋转调节控件以及上下旋转调节控件。这样,用户能够在同一界面上实现对图像背景的局部调节和整体调节,提高用户体验。
可选地,图像处理设备在对图像背景进行调整之后,可以存储调整后的图像背景,以便图像处理设备后续可以直接使用存储的图像背景,降低用户再次调整图像背景的概率,从而提高用户体验。
可选地,当图像处理设备中存储有一个或多个图像背景时,图像处理设备获取图像背景的实现过程可以包括以下步骤S31至步骤S33。
在步骤S31中,图像处理设备显示第一选项和第二选项。
其中,第一选项用于指示初始化图像背景确定流程,第二选项用于指示使用图像处理设备存储的图像背景。
在步骤S32中,如果图像处理设备接收到对第一选项的选择指令,则图像处理设备执行上述步骤201至步骤205,以得到图像背景。
在步骤S33中,如果图像处理设备接收到对第二选项的选择指令,则图像处理设备获取并显示存储的图像背景,然后根据用户的选择确定最终使用的图像背景。
本申请实施例提供的上述图像背景确定方法的步骤先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内。例如,本申请上述实施例均以图像处理设备具有显示功能为例进行说明,实际场景中,上述方法也可以由图像处理设备和图像显示设备配合完成,例如图像处理设备用于执行图像处理动作,图像显示设备用于执行图像显示动作。
下面对本申请实施例的软件装置举例说明。
图14是本申请实施例提供的一种图像处理设备的结构示意图。如图14所示,图像处理设备1400包括:
第一确定模块1401,用于根据部署在目标场景中的目标相机对目标场景拍摄得到的第一图像,确定目标相机的拍摄位置。
第一获取模块1402,用于根据目标相机的拍摄位置,从广角图片集合中获取目标广角图片,广角图片集合包括目标场景中的多个拍摄位置对应的多个广角图片,广角图片配置有视角信息,目标广角图片为广角图片集合中与目标相机的拍摄位置对应的广角图片。
第二确定模块1403,用于根据目标相机的拍摄姿态以及目标广角图片的视角信息,确定目标广角图片中的可视区域,并将可视区域作为目标相机对应的图像背景。
可选地,目标广角图片的视角信息包括水平视角信息,目标广角图片的水平视角大于目标相机的水平拍摄视角。第二确定模块1403,用于:根据目标相机的拍摄偏转角以及目标广角图片的水平视角信息,确定目标广角图片中的可视区域。
可选地,目标广角图片的视角信息包括高度视角信息,目标广角图片的高度视角大于目标相机的垂直拍摄视角。第二确定模块1403,用于:根据目标相机的拍摄俯仰角以及目标广角图片的高度视角信息,确定目标广角图片中的可视区域。
可选地,第一确定模块1401,用于:向第一模型输入第一图像,以得到第一模型输出的目标相机的拍摄位置。其中,第一模型基于第一训练样本集训练得到,第一训练样本集包括相机在第一场景中的多个拍摄位置对第一场景拍摄得到的多个图像,第一训练样本集中的图像标注有位置标签,第一场景与目标场景的场景类型相同,第一场景中的多个拍摄位置与目标场景中的多个拍摄位置对应。
可选地,如图15所示,图像处理设备1400还包括:第二获取模块1404,用于向第二模型输入第一图像,以得到第二模型输出的目标相机的拍摄姿态。其中,第二模型基于第二训练样本集训练得到,第二训练样本集包括相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对第二场景拍摄得到的多个图像,第二训练样本集中的图像标注有姿态标签,第二场景与目标场景的场景类型相同,第二场景中的多个拍摄位置与目标场景中的多个拍摄位置对应。
可选地,如图16所示,图像处理设备1400还包括:第三确定模块1405,用于根据目标相机的相机姿态,确定目标相机的拍摄姿态。
可选地,如图17所示,目标场景中设置有桌子。图像处理设备1400还包括:第四确定模块1406,用于基于第一图像,确定桌子在第一图像中的成像位置和成像形状。叠加模块1407,用于根据桌子在第一图像中的成像位置和成像形状,在图像背景上叠加桌子图像。显示模块1408,用于显示叠加有桌子图像的图像背景以及桌子调节控件,桌子调节控件用于调节桌子图像的位置和/或大小。第一背景调节模块1409,用于响应于对桌子调节控件的第一操控指令,根据第一操控指令调节桌子图像。
或者,目标场景中设置有桌子,目标广角图片包括广角背景图像和桌子图像,桌子图像叠加在广角背景图像上。如图18所示,图像处理设备1400还包括:显示模块1408,用于显示图像背景以及桌子调节控件,桌子调节控件用于调节桌子图像的位置和/或大小。第一背景调节模块1409,用于响应于对桌子调节控件的第一操控指令,根据第一操控指令调节桌子图像。
可选地,如图19所示,图像处理设备1400还包括:显示模块1408,用于显示图像背景以及背景调节控件,背景调节控件用于调节图像背景。第二背景调节模块1410,用于响应于对背景调节控件的第二操控指令,根据第二操控指令调节图像背景。
可选地,如图20所示,图像处理设备1400还包括:第三获取模块1411,用于获取第二图像中的前景成像,第二图像由目标相机采集得到。图像融合模块1412,用于对前景成像以及图像背景进行融合,得到第三图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
下面对本申请实施例的硬件装置举例说明。
图21是本申请实施例提供的一种图像处理设备的框图。该图像处理设备可以是会议终端或与会议终端连接的具有图像处理功能的设备。会议终端可以是大屏、电子白板、手机、平板电脑或智能可穿戴设备等具有显示功能的电子设备,与会议终端连接的具有图像处理功能的设备可以是一台服务器,或者是由若干台服务器组成的服务器集群,或者是一个云计算中心。如图21所示,该图像处理设备2100包括:处理器2101和存储器2102。
存储器2102,用于存储计算机程序,所述计算机程序包括程序指令;
处理器2101,用于调用所述计算机程序,实现如图2所示的方法。
可选地,该图像处理设备2100还包括通信总线2103和通信接口2104。
其中,处理器2101包括一个或者一个以上处理核心,处理器2101通过运行计算机程序,执行各种功能应用以及数据处理。
存储器2102可用于存储计算机程序。可选地,存储器可存储操作系统和至少一个功能所需的应用程序单元。操作系统可以是实时操作系统(Real Time eXecutive,RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。
通信接口2104可以为多个,通信接口2104用于与其它存储设备或网络设备进行通信。例如在本申请实施例中,会议终端的通信接口可以用于向另一个会议终端发送图像或视频流。网络设备可以是交换机或路由器等。
存储器2102与通信接口2104分别通过通信总线2103与处理器2101连接。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令被处理器执行时,实现如图2所示的图像背景确定方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本申请实施例中,术语“第一”、“第二”和“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的构思和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (22)
1.一种图像背景确定方法,其特征在于,所述方法包括:
图像处理设备根据部署在目标场景中的目标相机对所述目标场景拍摄得到的第一图像,确定所述目标相机的拍摄位置;
所述图像处理设备根据所述目标相机的拍摄位置,从广角图片集合中获取目标广角图片,所述广角图片集合包括所述目标场景中的多个拍摄位置对应的多个广角图片,所述广角图片配置有视角信息,所述目标广角图片为所述广角图片集合中与所述目标相机的拍摄位置对应的广角图片;
所述图像处理设备根据所述目标相机的拍摄姿态以及所述目标广角图片的视角信息,确定所述目标广角图片中的可视区域,并将所述可视区域作为所述目标相机对应的图像背景。
2.根据权利要求1所述的方法,其特征在于,所述目标广角图片的视角信息包括水平视角信息,所述目标广角图片的水平视角大于所述目标相机的水平拍摄视角,所述图像处理设备根据所述目标相机的拍摄姿态以及所述目标广角图片的视角信息,确定所述目标广角图片中的可视区域,包括:
所述图像处理设备根据所述目标相机的拍摄偏转角以及所述目标广角图片的水平视角信息,确定所述目标广角图片中的可视区域。
3.根据权利要求1或2所述的方法,其特征在于,所述目标广角图片的视角信息包括高度视角信息,所述目标广角图片的高度视角大于所述目标相机的垂直拍摄视角,所述图像处理设备根据所述目标相机的拍摄姿态以及所述目标广角图片的视角信息,确定所述目标广角图片中的可视区域,包括:
所述图像处理设备根据所述目标相机的拍摄俯仰角以及所述目标广角图片的高度视角信息,确定所述目标广角图片中的可视区域。
4.根据权利要求1至3任一所述的方法,其特征在于,所述图像处理设备根据部署在目标场景中的目标相机对所述目标场景拍摄得到的第一图像,确定所述目标相机的拍摄位置,包括:
所述图像处理设备向第一模型输入所述第一图像,以得到所述第一模型输出的所述目标相机的拍摄位置;
其中,所述第一模型基于第一训练样本集训练得到,所述第一训练样本集包括相机在第一场景中的多个拍摄位置对所述第一场景拍摄得到的多个图像,所述第一训练样本集中的图像标注有位置标签,所述第一场景与所述目标场景的场景类型相同,所述第一场景中的多个拍摄位置与所述目标场景中的多个拍摄位置对应。
5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
所述图像处理设备向第二模型输入所述第一图像,以得到所述第二模型输出的所述目标相机的拍摄姿态;
其中,所述第二模型基于第二训练样本集训练得到,所述第二训练样本集包括相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对所述第二场景拍摄得到的多个图像,所述第二训练样本集中的图像标注有姿态标签,所述第二场景与所述目标场景的场景类型相同,所述第二场景中的多个拍摄位置与所述目标场景中的多个拍摄位置对应。
6.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
所述图像处理设备根据所述目标相机的相机姿态,确定所述目标相机的拍摄姿态。
7.根据权利要求1至6任一所述的方法,其特征在于,所述目标场景中设置有桌子,所述方法还包括:
所述图像处理设备基于所述第一图像,确定所述桌子在所述第一图像中的成像位置和成像形状;
所述图像处理设备根据所述桌子在所述第一图像中的成像位置和成像形状,在所述图像背景上叠加桌子图像;
所述图像处理设备显示叠加有所述桌子图像的图像背景以及桌子调节控件,所述桌子调节控件用于调节所述桌子图像的位置和/或大小;
响应于对所述桌子调节控件的第一操控指令,所述图像处理设备根据所述第一操控指令调节所述桌子图像。
8.根据权利要求1至6任一所述的方法,其特征在于,所述目标场景中设置有桌子,所述目标广角图片包括广角背景图像和桌子图像,所述桌子图像叠加在所述广角背景图像上,所述方法还包括:
所述图像处理设备显示所述图像背景以及桌子调节控件,所述桌子调节控件用于调节所述桌子图像的位置和/或大小;
响应于对所述桌子调节控件的第一操控指令,所述图像处理设备根据所述第一操控指令调节所述桌子图像。
9.根据权利要求1至8任一所述的方法,其特征在于,所述方法还包括:
所述图像处理设备显示所述图像背景以及背景调节控件,所述背景调节控件用于调节所述图像背景;
响应于对所述背景调节控件的第二操控指令,所述图像处理设备根据所述第二操控指令调节所述图像背景。
10.根据权利要求1至9任一所述的方法,其特征在于,所述方法还包括:
所述图像处理设备获取第二图像中的前景成像,所述第二图像由所述目标相机采集得到;
所述图像处理设备对所述前景成像以及所述图像背景进行融合,得到第三图像。
11.一种图像处理设备,其特征在于,包括:
第一确定模块,用于根据部署在目标场景中的目标相机对所述目标场景拍摄得到的第一图像,确定所述目标相机的拍摄位置;
第一获取模块,用于根据所述目标相机的拍摄位置,从广角图片集合中获取目标广角图片,所述广角图片集合包括所述目标场景中的多个拍摄位置对应的多个广角图片,所述广角图片配置有视角信息,所述目标广角图片为所述广角图片集合中与所述目标相机的拍摄位置对应的广角图片;
第二确定模块,用于根据所述目标相机的拍摄姿态以及所述目标广角图片的视角信息,确定所述目标广角图片中的可视区域,并将所述可视区域作为所述目标相机对应的图像背景。
12.根据权利要求11所述的图像处理设备,其特征在于,所述目标广角图片的视角信息包括水平视角信息,所述目标广角图片的水平视角大于所述目标相机的水平拍摄视角,所述第二确定模块,用于:
根据所述目标相机的拍摄偏转角以及所述目标广角图片的水平视角信息,确定所述目标广角图片中的可视区域。
13.根据权利要求11或12所述的图像处理设备,其特征在于,所述目标广角图片的视角信息包括高度视角信息,所述目标广角图片的高度视角大于所述目标相机的垂直拍摄视角,所述第二确定模块,用于:
根据所述目标相机的拍摄俯仰角以及所述目标广角图片的高度视角信息,确定所述目标广角图片中的可视区域。
14.根据权利要求11至13任一所述的图像处理设备,其特征在于,所述第一确定模块,用于:
向第一模型输入所述第一图像,以得到所述第一模型输出的所述目标相机的拍摄位置;
其中,所述第一模型基于第一训练样本集训练得到,所述第一训练样本集包括相机在第一场景中的多个拍摄位置对所述第一场景拍摄得到的多个图像,所述第一训练样本集中的图像标注有位置标签,所述第一场景与所述目标场景的场景类型相同,所述第一场景中的多个拍摄位置与所述目标场景中的多个拍摄位置对应。
15.根据权利要求11至14任一所述的图像处理设备,其特征在于,所述图像处理设备还包括:
第二获取模块,用于向第二模型输入所述第一图像,以得到所述第二模型输出的所述目标相机的拍摄姿态;
其中,所述第二模型基于第二训练样本集训练得到,所述第二训练样本集包括相机在第二场景中的多个拍摄位置分别采用多种拍摄姿态对所述第二场景拍摄得到的多个图像,所述第二训练样本集中的图像标注有姿态标签,所述第二场景与所述目标场景的场景类型相同,所述第二场景中的多个拍摄位置与所述目标场景中的多个拍摄位置对应。
16.根据权利要求11至14任一所述的图像处理设备,其特征在于,所述图像处理设备还包括:
第三确定模块,用于根据所述目标相机的相机姿态,确定所述目标相机的拍摄姿态。
17.根据权利要求11至16任一所述的图像处理设备,其特征在于,所述目标场景中设置有桌子,所述图像处理设备还包括:
第四确定模块,用于基于所述第一图像,确定所述桌子在所述第一图像中的成像位置和成像形状;
叠加模块,用于根据所述桌子在所述第一图像中的成像位置和成像形状,在所述图像背景上叠加桌子图像;
显示模块,用于显示叠加有所述桌子图像的图像背景以及桌子调节控件,所述桌子调节控件用于调节所述桌子图像的位置和/或大小;
第一背景调节模块,用于响应于对所述桌子调节控件的第一操控指令,根据所述第一操控指令调节所述桌子图像。
18.根据权利要求11至16任一所述的图像处理设备,其特征在于,所述目标场景中设置有桌子,所述目标广角图片包括广角背景图像和桌子图像,所述桌子图像叠加在所述广角背景图像上,所述图像处理设备还包括:
显示模块,用于显示所述图像背景以及桌子调节控件,所述桌子调节控件用于调节所述桌子图像的位置和/或大小;
第一背景调节模块,用于响应于对所述桌子调节控件的第一操控指令,根据所述第一操控指令调节所述桌子图像。
19.根据权利要求11至18任一所述的图像处理设备,其特征在于,所述图像处理设备还包括:
显示模块,用于显示所述图像背景以及背景调节控件,所述背景调节控件用于调节所述图像背景;
第二背景调节模块,用于响应于对所述背景调节控件的第二操控指令,根据所述第二操控指令调节所述图像背景。
20.根据权利要求11至19任一所述的图像处理设备,其特征在于,所述图像处理设备还包括:
第三获取模块,用于获取第二图像中的前景成像,所述第二图像由所述目标相机采集得到;
图像融合模块,用于对所述前景成像以及所述图像背景进行融合,得到第三图像。
21.一种图像处理设备,其特征在于,包括:处理器和存储器;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述计算机程序,实现如权利要求1至10任一所述的图像背景确定方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令被处理器执行时,实现如权利要求1至10任一所述的图像背景确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932988.5A CN115914501A (zh) | 2021-08-13 | 2021-08-13 | 图像背景确定方法及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932988.5A CN115914501A (zh) | 2021-08-13 | 2021-08-13 | 图像背景确定方法及装置、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115914501A true CN115914501A (zh) | 2023-04-04 |
Family
ID=86488443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110932988.5A Pending CN115914501A (zh) | 2021-08-13 | 2021-08-13 | 图像背景确定方法及装置、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115914501A (zh) |
-
2021
- 2021-08-13 CN CN202110932988.5A patent/CN115914501A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869205B1 (en) | Techniques for determining a three-dimensional representation of a surface of an object from a set of images | |
US11089266B2 (en) | Communication processing method, terminal, and storage medium | |
US10430994B1 (en) | Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats | |
JP7146662B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7387202B2 (ja) | 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
US11659150B2 (en) | Augmented virtuality self view | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
Feldmann et al. | Real-time depth estimation for immersive 3D videoconferencing | |
CN109510975B (zh) | 一种视频图像的提取方法、设备及系统 | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
CN115830199B (zh) | 基于xr技术的泛在实训校园构建方法、系统及存储介质 | |
US20230033267A1 (en) | Method, apparatus and system for video processing | |
EP4054186A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023015868A1 (zh) | 图像背景生成方法及装置、计算机可读存储介质 | |
CN115914501A (zh) | 图像背景确定方法及装置、计算机可读存储介质 | |
Ogi et al. | Usage of video avatar technology for immersive communication | |
CN112995491A (zh) | 视频生成方法、装置、电子设备及计算机存储介质 | |
WO2022045779A1 (en) | Restoration of the fov of images for stereoscopic rendering | |
CN115423916A (zh) | 基于xr技术的沉浸式互动直播构建方法、系统及介质 | |
JP7395855B2 (ja) | 360度ビデオへのデジタルストリームの自動検出及び挿入のためのシステム、方法及びプログラム | |
WO2021147749A1 (zh) | 实现3d显示的方法、装置及3d显示系统 | |
WO2019146426A1 (ja) | 画像処理装置、画像処理方法、プログラム、および投影システム | |
WO2023005200A1 (zh) | 图像生成方法、装置及系统、计算机可读存储介质 | |
CN116860112B (zh) | 一种基于xr技术的组合场景体验生成方法、系统及介质 | |
CN116860113B (zh) | 一种xr组合场景体验生成方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |