CN113112610A - 一种信息处理方法、装置和电子设备 - Google Patents

一种信息处理方法、装置和电子设备 Download PDF

Info

Publication number
CN113112610A
CN113112610A CN202110334664.1A CN202110334664A CN113112610A CN 113112610 A CN113112610 A CN 113112610A CN 202110334664 A CN202110334664 A CN 202110334664A CN 113112610 A CN113112610 A CN 113112610A
Authority
CN
China
Prior art keywords
dimensional
shooting scene
image
panoramic image
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110334664.1A
Other languages
English (en)
Other versions
CN113112610B (zh
Inventor
李亮
林柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110334664.1A priority Critical patent/CN113112610B/zh
Publication of CN113112610A publication Critical patent/CN113112610A/zh
Application granted granted Critical
Publication of CN113112610B publication Critical patent/CN113112610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种信息处理方法、装置和电子设备,该方法包括:获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;确定拍摄场景的空间信息;基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像。

Description

一种信息处理方法、装置和电子设备
技术领域
本申请涉及但不限于图像处理领域,尤其涉及一种信息处理方法、装置和电子设备。
背景技术
当前,在拍摄的过程中,大多利用多个图像采集模组从不同角度对拍摄场景进行拍摄,将拍摄到的多张二维图像进行拼接,得到全景图像。全景图像的最大特点是,观赏者可以通过一幅二维图像方便地浏览拍摄场景的全景信息。
然而,目前在拍摄得到全景图像后,后续观看该全景图像时,只能看到二维图像所呈现的信息,无法实现沉浸式的观看体验。
发明内容
本申请期望提供一种信息处理方法、装置和电子设备。
本申请的技术方案是这样实现的:
一种信息处理方法,所述方法包括:
获得拍摄场景下拍摄的全景图像,其中,所述全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;
确定所述拍摄场景的空间信息;
基于所述空间信息将所述全景图像映射到三维空间,生成所述全景图像在所述拍摄场景中的三维全景图像。
一种信息处理装置,所述信息处理装置包括:
获得模组,用于获得拍摄场景下拍摄的全景图像,其中,所述全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;
处理模组,用于确定所述拍摄场景的空间信息;
所述处理模组,用于基于所述空间信息将所述全景图像映射到三维全景空间,生成所述全景图像在所述拍摄场景中的三维全景图像。
一种电子设备,所述电子设备包括:处理器、存储器和通信总线;
所述通信总线用于实现处理器和存储器之间的通信连接;
所述处理器用于执行存储器中存储的程序,以实现如上述的信息处理方法的步骤。
一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述的信息处理方法的步骤。
本申请提供的信息处理方法、装置和电子设备,该方法包括:获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;确定拍摄场景的空间信息;基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像;也就是说,本申请提供的信息处理方法,在拍摄得到全景图像后,根据拍摄场景的空间信息构建出全景图像在拍摄场景中的三维全景图像,如此,在后续观看该全景图像时,观看对象便可以看到拍摄场景下的三维全景图像,实现情景再现,实现沉浸式的观看体验。
附图说明
图1为本申请的实施例提供的实施信息处理方法的网络架构的示意图;
图2为本申请的实施例提供的一种信息处理方法的流程示意图;
图3为本申请的实施例提供的另一种信息处理方法的流程示意图;
图4为本申请的实施例提供的又一种信息处理方法的流程示意图;
图5为本申请的实施例提供的目标设备确定拍摄场景的长度和宽度的场景示意图;
图6为本申请的另一实施例提供的一种信息处理方法的流程示意图;
图7为本申请的实施例提供的目标设备侧用户选择二维全景图像或三维全景图像进行展示的场景示意图;
图8为本申请的实施例提供的一种信息处理装置的结构示意图;
图9为本申请的实施例提供的一种会议设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
参见图1,图1为本申请提供的实施信息处理方法的网络架构的示意图,该网络架构至少包括会议设备100、目标设备200和网络300,会议设备100和目标设备200通过网络300连接。网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。会议设备100为具备计算能力的设备,会议设备100包括但不限于会议机、智能电视、智能摄像机、智能投影机、膝上型便携计算机和台式计算机等;目标设备200可以称为与会议设备100连接的远端设备,目标设备200包括但不限于智能手机、平板电脑、智能电视、智能摄像机、智能投影机、膝上型便携计算机和台式计算机等。
参见图2,图2是本申请实施例提供的信息处理方法的一个实现流程示意图,该信息处理方法可以应用于图1所示的会议设备100和目标设备200中的任一设备;该信息处理方法包括如下步骤:
步骤201、获得拍摄场景下拍摄的全景图像。
其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像。
本申请实施例中,全景图像包括拍摄场景下至少两个图像采集模组拍摄的二维图像,至少两个图像采集模组的拍摄角度不同;这里,至少两个图像采集模组的拍摄角度不同,可以理解为,至少两个图像采集模组的拍摄角度不完全重合,或者至少两个图像采集模组的拍摄角度均不重合。示例性的,至少两个图像采集模组的拍摄角度能尽可能覆盖拍摄场景的各个位置。
在一个可实现的拍摄场景中,以图像采集模组为4个摄像头,拍摄场景为会议室为例,为了便于说明,以会议设为正方体为例,4摄像头组成的摄像头阵列放在会议室的中心位置,第一摄像头的拍摄角度覆盖0-90度范围,第二摄像头的拍摄角度覆盖90-180度范围,第三摄像头的拍摄角度覆盖180-270度范围、第四摄像头的拍摄角度覆盖270-360度范围,那么,摄像头阵列对会议室进行拍摄,获得的全景图像可以覆盖会议室的各个位置。
步骤202、确定拍摄场景的空间信息。
本申请实施例中,空间信息包括但不限于拍摄场景的长度、宽度、高度中的至少一个。在获得至少包括两张从不同的拍摄角度拍摄的二维图像的全景图像后,对全景图像进行处理,得到拍摄场景的空间信息。
步骤203、基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像。
这里,基于空间信息将全景图像作为纹理映射到三维空间,生成在上述拍摄场景中的视点位置,沿着特定的视线方向观看上述三维空间时的三维全景图像。
本申请实施例中,在确定拍摄场景的空间信息后,基于空间信息将全景图像映射到三维空间即结合拍摄场景的空间信息对拍摄的全景图像进行恢复,生成全景图像在拍摄场景中的三维全景图像,从而使得全景图像在展示时呈现三维视觉效果,实现沉浸式的观看体验。
当然,本申请提供的信息处理,还可以应用于会议系统,会议系统包括上述网络架构涉及的对象:会议设备100、目标设备200和网络300。其中,会议设备100执行上述步骤201获得拍摄场景下拍摄的全景图像和步骤202确定拍摄场景的空间信息,会议设备100将全景图像和空间信息通过网络300发送至目标设备200;进一步的,目标设备200执行步骤203基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像;如此,在会议设备100与目标设备200交互的信息处理场景下,目标设备200恢复出全景图像在拍摄场景中的三维全景图像,从而使得全景图像在目标设备200侧展示时呈现三维视觉效果,实现沉浸式的观看体验。
本申请提供的信息处理方法,通过获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;确定拍摄场景的空间信息;基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像;也就是说,本申请提供的信息处理方法,在拍摄得到全景图像后,根据拍摄场景的空间信息构建出全景图像在拍摄场景中的三维全景图像,如此,在后续观看该全景图像时,观看对象便可以看到拍摄场景下的三维全景图像,实现情景再现,实现沉浸式的观看体验。
本申请的实施例提供一种信息处理方法,应用于会议设备100,会议设备100包括至少两个图像采集模组,至少两张二维图像是至少两个图像采集模组拍摄的,参照图3所示,该方法包括以下步骤:
步骤301、获得拍摄场景下拍摄的全景图像。
其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像。
步骤302、标定图像采集模组。
本申请实施例中,图像采集模组经过标定的,对图像采集模组进行标定,可以通过图像采集模组对上述拍摄场景或者其他拍摄场景中的对象进行拍摄,进而至少基于拍摄的包含该对象的图像和拍摄的对象的实际尺寸,实现对图像采集模组的标定,标定后的图像采集模组具有内部参数和外部参数。
步骤303、获取标定后图像采集模组的内部参数和外部参数。
其中,外部参数用于指示图像采集模组的坐标系与世界坐标系的转换关系,内部参数用于指示图像采集模组的坐标系与图像坐标系的转换关系。
这里,对图像采集模组进行标定后,便可以得到图像采集模组的内部参数与外部参数。这里,图像采集模组的坐标系的原点位于成像模组的光心,竖轴即Z轴与成像模组的光轴重合,横轴即X轴和纵轴即Y轴与成像平面平行。世界坐标系包括经纬度坐标系。
步骤304、基于内部参数、外部参数和图像采集模组拍摄的二维图像,确定拍摄场景的长度和拍摄场景的宽度。
这里,会议设备100可以基于内部参数、外部参数和各个图像采集模组拍摄的二维图像即拍摄场景中的多个局部图像,确定拍摄场景的长度和拍摄场景的宽度。
示例性的,仍旧以图像采集模组为上述的4个摄像头,拍摄场景为会议室为例,4个摄像头沿着顺时针方向排列,其中,上述第一摄像头朝向北方,上述第二摄像头朝向西方,上述第三摄像头朝向南方、上述第四摄像头朝向东方。那么,基于内部参数、外部参数、第一摄像头拍摄的二维图像和第三摄像头拍摄的二维图像,确定拍摄场景的长度;基于内部参数、外部参数、第二摄像头拍摄的二维图像和第四摄像头拍摄的二维图像,确定拍摄场景的宽度。
步骤305、基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像。
本申请的实施例提供一种信息处理方法,应用于会议设备100或目标设备200,参照图4所示,该方法包括以下步骤:
步骤401、获得拍摄场景下拍摄的全景图像。
其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像。
步骤402、分别将每一张二维图像输入至经过训练得到的网络模型,得到每一张二维图像对应的拍摄场景的局部空间的长度和局部空间的宽度。
本申请实施例中,网络模型可以理解为神经网络模型,包括但不限于卷积神经网络模型和残差网络模型。网络模型的输入为二维图像,输出为二维图像对应的拍摄场景的局部空间的长度和局部空间的宽度。
步骤403、基于所有二维图像关联的局部空间的长度,和所有二维图像关联的局部空间的宽度,确定拍摄场景的长度和拍摄场景的宽度。
示例性的,仍旧以图像采集模组为上述的4个摄像头,拍摄场景为会议室为例,4个摄像头沿着顺时针方向排列,其中,上述第一摄像头朝向北方,上述第二摄像头朝向西方,上述第三摄像头朝向南方、上述第四摄像头朝向东方。那么,会议设备100或目标设备200将第一摄像头拍摄的二维图像和第三摄像头拍摄的二维图像输入神经网络模型,便可以得到拍摄场景的两个局部空间的长度,进一步的,基于两个局部空间的长度确定拍摄场景的长度;会议设备100或目标设备200将第二摄像头拍摄的二维图像和第四摄像头拍摄的二维图像输入神经网络模型,便可以得到拍摄场景的两个局部空间的宽度,进一步的,基于两个局部空间的宽度确定拍摄场景的宽度。
步骤404、基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像。
在一些实施例中,当信息处理方法应用于目标设备200时,至少两张二维图像是与目标设备200连接的会议设备100的至少两个图像采集模组拍摄的,目标设备200获取到全景图像之后,且在执行步骤402分别将每一张二维图像输入至经过训练得到的网络模型,得到每一张二维图像对应的拍摄场景的局部空间的长度和局部空间的宽度之前,目标设备200还可以执行如下步骤:将全景图像输入图像分割器,得到图像分割器输出的至少两张二维图像。也就是说,目标设备200获得全景图像后,先对全景图像进行拆分;再基于网络模型对多张二维图像进行分析处理,得到拍摄场景的长度和宽度。
示例性的,结合图5所示,目标设备200获得全景图像后,将全景图像输入图像分割器51,图像分割器51将分割得到的至少两张二维图像中的每一张二维图像输入一个深度估计器52,深度估计器52对输入的二维图像对应的局部空间进行长度或宽度的估计,最终,目标设备200对估计的多个局部空间的长度、多个局部空间的宽度分别进行综合计算,得到拍摄场景的长度和宽度。
本申请的实施例提供一种信息处理方法,应用于会议设备100或目标设备200,参照图6所示,该方法包括以下步骤:
步骤601、获得拍摄场景下拍摄的全景图像。
其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像。
步骤602、确定拍摄场景的空间信息。
步骤603、基于空间信息,建立三维约束模型。
本申请实施例中,三维约束模型包括但不限于立方体模型、球体模型、锥体模型;三维约束模型为三维全景图像提供承载体,用于投放三维全景图像。
步骤604、确定每一张二维图像对应的拍摄场景的局部空间在三维约束模型中的映射空间。
步骤605、基于拍摄场景中每一局部空间对应的映射空间,拼接局部空间对应的三维图像,以生成三维全景图像。
在一些实施例中,三维约束模型为立方体模型。三维约束模型为立方体模型,便于快速将二维图像恢复成三维全景图像,即便于快速确定呈现各个二维图像的大致位置。
进一步地,步骤603基于空间信息,建立三维约束模型,可以通过如下步骤实现:
步骤一、基于拍摄场景的长度和拍摄场景的宽度的大小关系,确定拍摄场景的高度。
示例性的,基于拍摄场景的长度和拍摄场景的宽度的大小关系,确定拍摄场景的高度,可以包括如下步骤:当拍摄场景的长度和拍摄场景的宽度的比值为1:1时,则设定拍摄场景的高度与长度或宽度相同。当拍摄场景的长度和拍摄场景的宽度的比值不是1:1时,则设定拍摄场景的高度为目标高度,目标高度与宽度或长度不同,从而快速确定高度,减少计算量。
步骤二、基于拍摄场景的长度、拍摄场景的宽度和拍摄场景的高度,建立立方体模型。
在一些实施例中,当信息处理方法应用于目标设备200时,该信息处理方法还包括如下步骤:
首先、响应于针对全景图像的展示操作,在展示界面中展示提示信息。
其中,提示信息用于选择是否进行三维展示。
本申请实施例中,目标设备200在与会议设备100交互的过程中,在目标设备200的用户要观看会议场景的场景信息时,用户针对目标设备200执行展示操作,目标设备200响应于针对全景图像的展示操作,在展示界面中展示提示信息,以提示用户是否选择进行三维展示。
其次、响应于针对全景图像进行三维展示的选中操作,在展示界面中展示三维全景图像。
本申请实施例中,当目标设备200响应于针对全景图像进行三维展示的选中操作时,在目标设备200的展示界面中展示会议场景中拍摄的三维全景图像,实现沉浸式的会议体验。示例性的,目标设备200的展示界面中,以立方体的三维约束模型为投射面,展示图7所示的三维全景图像71,此时目标设备200侧的用户可以明确知道会议场景中的圆形对象在正方形对象的左下方位置、三角形对象在正方形对象的右下方位置。当然,用户也可以选择不进行三维展示,那么,目标设备200在展示界面中展示会议场景中拍摄的二维全景图像。示例性的,目标设备200的展示界面中,展示的是图7所示的二维全景图像72,此时目标设备200侧的用户可以只能了解到会议场景中包括圆形对象、正方形对象和三角形对象,无法得知三者之间的空间位置关系。
本申请的实施例提供一种信息处理装置,该信息处理装置可以应用于图2、3、4、6对应的实施例提供的一种信息处理方法中,参照图8所示,该信息处理装置8包括:
获得模组801,用于获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像。
处理模组802,用于确定拍摄场景的空间信息;
处理模组802,用于基于空间信息将全景图像映射到三维全景空间,生成全景图像在拍摄场景中的三维全景图像。
在本申请其他实施例中,当信息处理装置为会议设备,会议设备包括至少两个图像采集模组,至少两张二维图像是至少两个图像采集模组拍摄的,处理模组802,还用于标定图像采集模组;
获取标定后图像采集模组的内部参数和外部参数,其中,外部参数用于指示图像采集模组的坐标系与世界坐标系的转换关系,内部参数用于指示图像采集模组的坐标系与图像坐标系的转换关系;
基于内部参数、外部参数和图像采集模组拍摄的二维图像,确定拍摄场景的长度和拍摄场景的宽度。
在本申请其他实施例中,处理模组802,还用于分别将每一张二维图像输入至经过训练得到的网络模型,得到每一张二维图像对应的拍摄场景的局部空间的长度和局部空间的宽度;
基于所有二维图像关联的局部空间的长度,和所有二维图像关联的局部空间的宽度,确定拍摄场景的长度和拍摄场景的宽度。
在本申请其他实施例中,当信息处理装置为目标设备,至少两张二维图像是与目标设备连接的会议设备的至少两个图像采集模组拍摄的,处理模组802,还用于将全景图像输入图像分割器,得到图像分割器输出的至少两张二维图像。
在本申请其他实施例中,处理模组802,还用于基于空间信息,建立三维约束模型;
确定每一张二维图像对应的拍摄场景的局部空间在三维约束模型中的映射空间;
基于拍摄场景中每一局部空间对应的映射空间,拼接局部空间对应的三维图像,以生成三维全景图像。
在本申请其他实施例中,三维约束模型为立方体模型。
在本申请其他实施例中,处理模组802,还用于基于拍摄场景的长度和拍摄场景的宽度的大小关系,确定拍摄场景的高度;
基于拍摄场景的长度、拍摄场景的宽度和拍摄场景的高度,建立立方体模型。
在本申请其他实施例中,处理模组802,还用于响应于针对全景图像的展示操作,在展示界面中展示提示信息,其中,提示信息用于选择是否进行三维展示;
响应于针对全景图像进行三维展示的选中操作,在展示界面中展示三维全景图像。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的信息处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请的实施例提供一种会议设备100,该会议设备100可以应用于图2、3、4、6对应的实施例提供的一种信息处理方法中,参照图9所示,该会议设备100包括:处理器1001、存储器1002和通信总线1003,其中:
通信总线1003用于实现处理器1001和存储器1002之间的通信连接。
处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;
确定拍摄场景的空间信息;
基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像。
在本申请的其他实施例中,会议设备包括至少两个图像采集模组,至少两张二维图像是至少两个图像采集模组拍摄的,处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
标定图像采集模组;
获取标定后图像采集模组的内部参数和外部参数,其中,外部参数用于指示图像采集模组的坐标系与世界坐标系的转换关系,内部参数用于指示图像采集模组的坐标系与图像坐标系的转换关系;
基于内部参数、外部参数和图像采集模组拍摄的二维图像,确定拍摄场景的长度和拍摄场景的宽度。
在本申请的其他实施例中,处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
分别将每一张二维图像输入至经过训练得到的网络模型,得到每一张二维图像对应的拍摄场景的局部空间的长度和局部空间的宽度;
基于所有二维图像关联的局部空间的长度,和所有二维图像关联的局部空间的宽度,确定拍摄场景的长度和拍摄场景的宽度。
在本申请的其他实施例中,处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
基于空间信息,建立三维约束模型;
确定每一张二维图像对应的拍摄场景的局部空间在三维约束模型中的映射空间;
基于拍摄场景中每一局部空间对应的映射空间,拼接局部空间对应的三维图像,以生成三维全景图像。
在本申请的其他实施例中,三维约束模型为立方体模型。
在本申请的其他实施例中,处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
基于拍摄场景的长度和拍摄场景的宽度的大小关系,确定拍摄场景的高度;
基于拍摄场景的长度、拍摄场景的宽度和拍摄场景的高度,建立立方体模型。
在本申请的其他实施例中,处理器1001用于执行存储器1002中存储的信息处理程序,以实现以下步骤:
响应于针对全景图像的展示操作,在展示界面中展示提示信息,其中,提示信息用于选择是否进行三维展示;
响应于针对全景图像进行三维展示的选中操作,在展示界面中展示三维全景图像。
作为示例,处理器可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
本申请提供一种会议设备,通过获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;确定拍摄场景的空间信息;基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像;也就是说,本申请提供的信息处理方法,在拍摄得到全景图像后,根据拍摄场景的空间信息构建出全景图像在拍摄场景中的三维全景图像,如此,在后续观看该全景图像时,观看对象便可以看到拍摄场景下的三维全景图像,实现情景再现,实现沉浸式的观看体验。
本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如图2、3、4、6对应的实施例提供的信息处理方法中的实现过程,此处不再赘述。
本申请实施例提供一种计算机可读存储介质,通过获得拍摄场景下拍摄的全景图像,其中,全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;确定拍摄场景的空间信息;基于空间信息将全景图像映射到三维空间,生成全景图像在拍摄场景中的三维全景图像;也就是说,本申请提供的信息处理方法,在拍摄得到全景图像后,根据拍摄场景的空间信息构建出全景图像在拍摄场景中的三维全景图像,如此,在后续观看该全景图像时,观看对象便可以看到拍摄场景下的三维全景图像,实现情景再现,实现沉浸式的观看体验。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施例”或“一些实施方式”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施例”或“一些实施方式”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
值得注意的是,本申请实施例中的附图只是为了说明各个器件在终端设备上的示意位置,并不代表在终端设备中的真实位置,各器件或各个区域的真实位置可根据实际情况(例如,终端设备的结构)作出相应改变或偏移,并且,图中的终端设备中不同部分的比例并不代表真实的比例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法,所述方法包括:
获得拍摄场景下拍摄的全景图像,其中,所述全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;
确定所述拍摄场景的空间信息;
基于所述空间信息将所述全景图像映射到三维空间,生成所述全景图像在所述拍摄场景中的三维全景图像。
2.根据权利要求1所述的方法,所述方法应用于会议设备,所述会议设备包括至少两个图像采集模组,至少两张二维图像是所述至少两个图像采集模组拍摄的;所述确定所述拍摄场景的空间信息,包括:
标定所述图像采集模组;
获取标定后所述图像采集模组的内部参数和外部参数,其中,所述外部参数用于指示所述图像采集模组的坐标系与世界坐标系的转换关系,所述内部参数用于指示所述图像采集模组的坐标系与图像坐标系的转换关系;
基于所述内部参数、外部参数和所述图像采集模组拍摄的二维图像,确定所述拍摄场景的长度和所述拍摄场景的宽度。
3.根据权利要求1所述的方法,所述确定所述拍摄场景的空间信息,包括:
分别将每一张二维图像输入至经过训练得到的网络模型,得到所述每一张二维图像对应的所述拍摄场景的局部空间的长度和局部空间的宽度;
基于所有二维图像关联的所述局部空间的长度,和所有二维图像关联的所述局部空间的宽度,确定所述拍摄场景的长度和所述拍摄场景的宽度。
4.根据权利要求3所述的方法,所述方法应用于目标设备,至少两张二维图像是与所述目标设备连接的会议设备的至少两个图像采集模组拍摄的;所述确定所述拍摄场景的空间信息之前,所述方法包括:
将所述全景图像输入图像分割器,得到所述图像分割器输出的所述至少两张二维图像。
5.根据权利要求2至4中任一项所述的方法,所述基于所述空间信息将所述全景图像映射到三维全景空间,生成所述全景图像在所述拍摄场景中的三维全景图像,包括:
基于所述空间信息,建立三维约束模型;
确定每一张二维图像对应的所述拍摄场景的局部空间在所述三维约束模型中的映射空间;
基于所述拍摄场景中每一所述局部空间对应的所述映射空间,拼接所述局部空间对应的三维图像,以生成所述三维全景图像。
6.根据权利要求5所述的方法,所述三维约束模型为立方体模型。
7.根据权利要求6所述的方法,所述基于所述空间信息,建立三维约束模型,包括:
基于所述拍摄场景的长度和所述拍摄场景的宽度的大小关系,确定所述拍摄场景的高度;
基于所述拍摄场景的长度、所述拍摄场景的宽度和所述拍摄场景的高度,建立所述立方体模型。
8.根据权利要求1所述的方法,所述方法还包括:
响应于针对所述全景图像的展示操作,在展示界面中展示提示信息,其中,所述提示信息用于选择是否进行三维展示;
响应于针对所述全景图像进行三维展示的选中操作,在所述展示界面中展示所述三维全景图像。
9.一种信息处理装置,所述信息处理装置包括:
获得模组,用于获得拍摄场景下拍摄的全景图像,其中,所述全景图像至少包括两张从不同的拍摄角度拍摄的二维图像;
处理模组,用于确定所述拍摄场景的空间信息;
所述处理模组,用于基于所述空间信息将所述全景图像映射到三维全景空间,生成所述全景图像在所述拍摄场景中的三维全景图像。
10.一种电子设备,所述电子设备包括:处理器、存储器和通信总线;
所述通信总线用于实现处理器和存储器之间的通信连接;
所述处理器用于执行存储器中存储的程序,以实现如权利要求1至8中任一项所述的信息处理方法的步骤。
CN202110334664.1A 2021-03-29 2021-03-29 一种信息处理方法、装置和电子设备 Active CN113112610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334664.1A CN113112610B (zh) 2021-03-29 2021-03-29 一种信息处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334664.1A CN113112610B (zh) 2021-03-29 2021-03-29 一种信息处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113112610A true CN113112610A (zh) 2021-07-13
CN113112610B CN113112610B (zh) 2024-05-28

Family

ID=76712505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334664.1A Active CN113112610B (zh) 2021-03-29 2021-03-29 一种信息处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113112610B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249886A1 (en) * 2010-04-12 2011-10-13 Samsung Electronics Co., Ltd. Image converting device and three-dimensional image display device including the same
CN110415285A (zh) * 2019-08-02 2019-11-05 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN110572630A (zh) * 2018-09-21 2019-12-13 苏州因确匹电子科技有限公司 三维图像拍摄系统、方法、装置、设备以及存储介质
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN111861882A (zh) * 2019-04-12 2020-10-30 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249886A1 (en) * 2010-04-12 2011-10-13 Samsung Electronics Co., Ltd. Image converting device and three-dimensional image display device including the same
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN110572630A (zh) * 2018-09-21 2019-12-13 苏州因确匹电子科技有限公司 三维图像拍摄系统、方法、装置、设备以及存储介质
CN111861882A (zh) * 2019-04-12 2020-10-30 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN110415285A (zh) * 2019-08-02 2019-11-05 厦门美图之家科技有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN113112610B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN108573530B (zh) 增强现实ar交互方法及系统
CN111857329B (zh) 注视点计算方法、装置及设备
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
US10871800B2 (en) Apparatuses and methods for linking mobile computing devices for use in a dual-screen extended configuration
US20170064174A1 (en) Image shooting terminal and image shooting method
US20200296284A1 (en) Image communication system, image capturing device, communication terminal, and mode switching method
WO2018077071A1 (zh) 一种全景图像的生成方法及装置
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
US11006042B2 (en) Imaging device and image processing method
CN110278368A (zh) 图像处理装置、摄影系统、图像处理方法
CN110392202A (zh) 图像处理装置、摄影系统、图像处理方法
CN111432119A (zh) 图像拍摄方法、装置、计算机可读存储介质及电子设备
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN111327823A (zh) 视频生成方法、装置及对应的存储介质
CN111226255A (zh) 图像处理设备,图像捕获系统,图像处理方法和记录介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN112995491B (zh) 视频生成方法、装置、电子设备及计算机存储介质
JP2018033107A (ja) 動画の配信装置及び配信方法
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN113112610B (zh) 一种信息处理方法、装置和电子设备
CN113537194A (zh) 光照估计方法、光照估计装置、存储介质与电子设备
CN112887663A (zh) 图像显示方法、图像通信系统、摄影装置、以及存储介质
US20230326147A1 (en) Helper data for anchors in augmented reality
WO2024055925A1 (zh) 图像传输方法、图像显示方法、装置和计算机设备
CN107147775B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant