CN113240615B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113240615B
CN113240615B CN202110554243.XA CN202110554243A CN113240615B CN 113240615 B CN113240615 B CN 113240615B CN 202110554243 A CN202110554243 A CN 202110554243A CN 113240615 B CN113240615 B CN 113240615B
Authority
CN
China
Prior art keywords
image
initial
images
target
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110554243.XA
Other languages
English (en)
Other versions
CN113240615A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengshi Wanglin Information Technology Co Ltd
Original Assignee
Beijing Chengshi Wanglin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengshi Wanglin Information Technology Co Ltd filed Critical Beijing Chengshi Wanglin Information Technology Co Ltd
Priority to CN202110554243.XA priority Critical patent/CN113240615B/zh
Publication of CN113240615A publication Critical patent/CN113240615A/zh
Priority to PCT/CN2022/087633 priority patent/WO2022242395A1/zh
Application granted granted Critical
Publication of CN113240615B publication Critical patent/CN113240615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。该图像处理方法包括：获取多个初始图像；获取多个初始图像分别对应的位姿信息；基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息；根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及将多个目标图像进行融合而得到拼接图像。该方法可以使得图像拼接不依赖于深度数据，降低了图像拼接的运算量和对图像质量的要求，使得图像拼接的实现更加简单并且时间成本更低，有助于在移动端实现图像拼接。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本公开的实施例涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
当前，图像拼接(image mosaic)得到越来越多的关注，它已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接一般通过对齐一系列图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。图像拼接的应用场景广泛，比如无人机航拍、遥感图像等。
发明内容
本公开至少一个实施例提供一种图像处理方法，包括：获取多个初始图像；获取多个初始图像分别对应的位姿信息；基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息；根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及将多个目标图像进行融合而得到拼接图像。
例如，在本公开一实施例提供的图像处理方法中，基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息，包括：基于多个初始图像分别对应的位姿信息，将每个初始图像转换到世界坐标系中而获得每个初始图像在世界坐标系中的世界坐标信息；根据每个初始图像的世界坐标信息，确定每个初始图像在曲面投影中的曲面坐标信息；以及将每个初始图像的曲面坐标信息转换为投影信息。
例如，在本公开一实施例提供的图像处理方法中，多个初始图像是通过图像采集装置获得的，所述图像采集装置包括第一传感器和第二传感器，多个初始图像分别对应的位姿信息包括图像采集装置分别采集每个初始图像的过程中所采用的位姿，获取多个初始图像分别对应的位姿信息，包括：获取第一位姿数据，第一位姿数据为第一传感器构建的图像采集装置采集每个初始图像所采用的位姿；获取第二位姿数据，第二位姿数据为第二传感器构建的图像采集装置采集每个初始图像所采用的位姿；以及融合第一位姿数据和第二位姿数据，得到多个初始图像分别对应的位姿信息。
例如，在本公开一实施例提供的图像处理方法中，第一传感器包括同步定位与地图绘制传感器，第二传感器包括惯性传感器。
例如，在本公开一实施例提供的图像处理方法中，融合第一位姿数据和第二位姿数据，得到多个初始图像分别对应的位姿信息，包括：利用扩展卡尔曼滤波器融合第一位姿数据和第二位姿数据，以得到多个初始图像分别对应的位姿信息。
例如，在本公开一实施例提供的图像处理方法中，根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像，包括：确定目标像素画布的尺寸；以及基于目标像素画布的尺寸和投影信息，确定每个初始图像中的每个像素点在目标像素画布中的位置，从而将每个初始图像映射到目标像素画布中，以生成多个目标图像。
例如，在本公开一实施例提供的图像处理方法中，投影信息包括初始图像中像素点的经度和维度，每个初始图像中的每个像素点在目标像素画布中的位置通过如下公式计算得到：
Figure BDA0003076543280000021
Figure BDA0003076543280000022
c为每个像素点在目标像素画布中的列，r为每个像素点在目标像素画布中的行，θ为经度，
Figure BDA0003076543280000023
为纬度，IW为目标像素画布的宽度，IH为目标像素画布的高度。
例如，在本公开一实施例提供的图像处理方法中，多个初始图像是通过图像采集装置获得的，确定目标像素画布的尺寸，包括：获取图像采集装置的采集参数，采集参数包括图像采集装置生成的图像的图像尺寸和图像采集装置的视场角；确定多个初始图像的数量，并确定多个初始图像中每两个相邻的初始图像之间的旋转角度；基于视场角和旋转角度，确定每两个相邻的初始图像之间的重叠区域；以及基于数量、重叠区域和图像尺寸，确定目标像素画布的尺寸。
例如，在本公开一实施例提供的图像处理方法中，将多个目标图像进行融合而得到拼接图像，包括：选择多个目标图像中的一个目标图像作为初始背景图像，并将多个目标图像中除初始背景图像之外的目标图像作为待融合图像；分别对每个待融合图像进行掩膜提取而获得每个待融合图像的掩膜图像；以及利用每个待融合图像的掩膜图像，将每个待融合图像融合到初始背景图像中而得到拼接图像。
例如，在本公开一实施例提供的图像处理方法中，利用每个待融合图像的掩膜图像，将每个待融合图像融合到初始背景图像中而得到拼接图像，包括：确定每个待融合图像的融合次序；以及按照融合次序，依次利用每个待融合图像的掩膜图像将每个待融合图像融合到初始背景图像中而得到拼接图像。
例如，在本公开一实施例提供的图像处理方法中，待融合图像的数量为N，N为大于1的整数，按照融合次序，依次利用每个待融合图像的掩膜图像将每个待融合图像融合到初始背景图像中而得到拼接图像，包括：利用第1个待融合图像的掩膜图像，将第1个待融合图像融合到初始背景图像中而得到第1个融合背景图像；以及按照融合次序，利用第k个待融合图像的掩膜图像，将第k个待融合图像融合到第k-1个融合背景图像中而得到第k个融合背景图像，直至第N个待融合图像融合到第N-1个融合背景图像中而得到拼接图像，1<k≤N且k为整数。
例如，在本公开一实施例提供的图像处理方法中，还包括对多个目标图像进行光照均匀化处理，使得多个目标图像的光照强度均匀。
例如，在本公开一实施例提供的图像处理方法中，曲面投影包括球面投影。
例如，在本公开一实施例提供的图像处理方法中，多个初始图像是通过图像采集装置获得的，方法还包括：获取图像采集装置的拍摄位姿；基于拍摄位姿，确定拍摄环境中的至少一个目标拍摄区域；以及基于至少一个目标拍摄区域，显示提示信息，以提示用户在至少一个目标拍摄区域采集多个初始图像。
例如，在本公开一实施例提供的图像处理方法中，基于至少一个拍摄区域，显示提示信息，包括：基于至少一个目标拍摄区域，显示至少一个采集引导区域，至少一个采集引导区域分别与至少一个目标拍摄区域相对应；以及显示提示信息，提示信息指示了图像采集装置当前对准的参考拍摄点；在提示信息落入至少一个采集引导区域中的目标采集引导区域的情况下，图像采集装置当前对准的参考拍摄点为目标采集引导区域对应的目标拍摄区域中的拍摄点。
例如，在本公开一实施例提供的图像处理方法中，还包括：响应于图像采集装置的运动，控制提示信息在采集引导区域中按照与图像采集装置的运动方向相同的方向至少环绕一周，以采集多个初始图像。
例如，在本公开一实施例提供的图像处理方法中，针对按照提示信息采集的多个初始图像中的每个初始图像，每个初始图像与相邻初始图像存在重叠区域，相邻初始图像为在与每个初始图像对应的拍摄点相邻的拍摄点所采集的初始图像。
例如，在本公开一实施例提供的图像处理方法中，还包括：将拼接图像转换成三维图像；以及输出三维图像，以将三维图像作为全景图像展示。
本公开至少一个实施例提供一种图像处理装置，包括：第一获取单元，配置为获取多个初始图像；第二获取单元，配置为获取多个初始图像分别对应的位姿信息；确定单元，配置为基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息；映射单元，配置为根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及融合单元，配置为将多个目标图像进行融合而得到拼接图像。
本公开至少一个实施例提供一种电子设备，包括处理器；存储器，包括一个或多个计算机程序模块；其中，一个或多个计算机程序模块被存储在存储器中并被配置为由处理器执行，一个或多个计算机程序模块包括用于实现本公开任一实施例提供的图像处理方法的指令。
本公开至少一个实施例提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以实现本公开任一实施例提供的图像处理方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1示出了本公开至少一实施例提供的一种图像处理方法的流程图；
图2A示出了本公开至少一实施例提供的图1中步骤S30的方法流程图；
图2B示出了本公开一些实施例提供的一种球面投影的示意图；
图3示出了本公开至少一实施例提供的图1中步骤S40的方法流程图；
图4A示出了本公开至少一实施例提供的图3中步骤S41的方法流程图；
图4B和图4C示出了本公开至少一实施例提供的基于视场角和旋转角度确定重叠区域的示意图；
图4D和图4E分别示出了第一初始图像和第二初始图像映射到目标像素画布中而生成目标图像401和目标图像402的示意图；
图5A示出了本公开至少一个实施例提供的图1中步骤S50的方法流程图；
图5B示出了将目标图像402作为待融合图像并进行掩膜提取而获得的掩膜图像403的示意图；
图5C示出了将目标图像401和目标图像402进行拼接而得到的拼接图像的示意图；
图6示出了本公开至少一实施例提供的按照融合次序进行图像融合的方法流程图；
图7示出了本公开至少一实施例提供的另一种图像处理方法的流程图；
图8A示出了本公开至少一实施例提供的另一种图像处理方法的流程图；
图8B示出了本公开至少一实施例提供的图8A中步骤S80的示意图；
图8C示出了本公开至少一实施例提供的显示提示信息的场景示意图；
图8D示出了本公开至少一实施例提供的生成拼接图像的效果示意图；
图8E示出了本公开至少一实施例提供的生成拼接图像的另一效果示意图；
图9示出了本公开至少一个实施例提供的一种图像处理装置900的示意框图；
图10A为本公开一些实施例提供的一种电子设备的示意框图；
图10B示出了本公开至少一个实施例提供的另一种电子设备的示意框图；以及
图11示出了本公开至少一个实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
目前，很多图像处理软件上嵌入了图像拼接算法，虽然这在一定程度上可以帮助使用者实现多个图像的拼接，但是这些图像拼接算法对图像质量的要求较高，使用者所使用的图像往往达不到质量要求而导致图像处理软件生成的拼接图像的效果较差。并且，由于目前的图像拼接算法大多需要深度数据导致计算过程较为复杂，因此，移动端往往无法实现图像拼接。在相关技术中，通常将多个需要进行拼接的图像的深度数据等图像数据上传到服务器，利用服务器对多个图像进行拼接，费时费力。
本公开至少一个实施例提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。该图像处理方法包括：获取多个初始图像；获取多个初始图像分别对应的位姿信息；基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息；根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及将多个目标图像进行融合而得到拼接图像。该图像处理方法可以使得图像的拼接不依赖于深度数据，降低了图像拼接对图像质量的要求和运算量，使得图像拼接的实现更加简单，成本更低，有助于在移动端实现图像拼接。
图1示出了本公开至少一实施例提供的一种图像处理方法的流程图。
如图1所示，该方法可以包括步骤S10～S50。
步骤S10：获取多个初始图像。
步骤S20：获取多个初始图像分别对应的位姿信息。
步骤S30：基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息。
步骤S40：根据投影信息，将多个初始图像分别映射到目标像素画布中而生成多个目标图像。
步骤S50：将多个目标图像进行融合而得到拼接图像。
该图像处理方法可以利用初始图像对应的位姿信息，将初始图像转换到曲面投影中而获得其在曲面投影中的投影信息，从而根据投影信息将多个初始图像映射到目标像素画布中而生成多个目标图像，进而对多个目标图像进行拼接。因此，该图像处理方法既不需要多个初始图像对应的深度信息，也不需要多个初始图像满足较高的图像质量要求，通过多个初始图像的位姿信息便可以将多个初始图像进行融合，从而降低了图像拼接对图像质量的要求和运算量，使得图像拼接的实现更加简单，不依赖于较高的硬件条件(例如深度相机、全景相机等)，时间成本更低。另外，由于该图像处理方法的运算量较小，因此，该图像处理方法可以直接在移动端实现而不需上传到服务器，也就是说，该图像处理方法的实现不依赖于网络，可以适用于任何室内或室外的拍摄场景。
对于步骤S10，例如可以通过图像采集装置现场采集多个初始图像，或者从本地(例如，移动端)的存储装置中读取多个初始图像。本公开对获取多个初始图像的方式不做限定。
多个初始图像可以是用户想要进行图像拼接的任意图像。多个初始图像之间可以有重叠区域也可以没有重叠区域。重叠区域是指分别在至少两个初始图像中都出现的图像内容。例如，多个初始图像中包括第一初始图像和第二初始图像，第一初始图像包括第一图像内容，而第二初始图像也包括第一图像内容，那么在第一初始图像中第一图像内容对应的像素区域和第二初始图像中第一图像内容对应的像素区域为重叠区域。
例如，多个初始图像可以是用户在一个或者多个拍摄地点朝着多个方向分别进行拍摄而获得的多个图像。拍摄地点，例如可以是房间、景点、街道、商场等任何可以进行拍摄的地点。又例如，多个初始图像可以是用户在本地移动端存储的图像库中选择的多个图像，或者是用户从网络下载的多个图像。
对于步骤S20，在本公开的一些实施例中，多个初始图像可以是通过图像采集装置获得的，多个初始图像分别对应的位姿信息可以是图像采集装置采集多个初始图像的过程中分别采用的位姿。
在本公开的一些实施例中，例如可以获取图像采集装置中传感器构建的图像采集装置采集每个初始图像的过程中所采用的位姿。传感器例如可以是同步定位与地图绘制传感器，同步定位与地图绘制传感器通过同步定位与地图绘制(simultaneous localizationand mapping，SLAM)算法构建图像采集装置采集每个初始图像的过程中所采用的位姿。传感器例如可以是惯性传感器(Inertial Measurement Unit，IMU)，IMU可以通过移动端中的9轴传感器(包括3轴加速度计、3轴陀螺仪、3轴磁力计)构建图像采集装置采集每个初始图像的过程中所采用的位姿。这些传感器可以设置在图像采集装置中。
在本公开的另一些实施例中，获取多个初始图像分别对应的位姿信息，包括：获取第一位姿数据和第二位姿数据，以及融合第一位姿数据和第二位姿数据而得到多个初始图像分别对应的位姿信息。第一位姿数据为第一传感器构建的图像采集装置采集每个初始图像所采用的位姿，第二位姿数据为第二传感器构建的图像采集装置采集所述每个初始图像所采用的位姿。通过将第一位姿数据和第二位姿数据进行数据融合而得到多个初始图像分别对应的位姿信息可以提高位姿信息的准确性和稳定性。
在本公开的一些实施例中，例如，第一传感器可以是上述同步定位与地图绘制传感器，第二传感器可以是上述IMU。
可以理解的是，第一传感器为上述同步定位与地图绘制传感器，第二传感器为上述IMU仅为本公开提供的一种实施例，本领域技术人员可以采用任何可以获取位姿信息的传感器来获得第一位姿数据和第二位姿数据。
在本公开的一些实施例中，融合第一位姿数据和第二位姿数据，得到多个初始图像分别对应的位姿信息，包括：利用扩展卡尔曼滤波器融合第一位姿数据和第二位姿数据，以得到多个初始图像分别对应的位姿信息。利用扩展卡尔曼滤波器对第一位姿数据和第二位姿数据进行扩展卡尔曼滤波(Extended Kalman Filter，EKF)可以使得第一位姿数据和第二位姿数据的融合效率较高。
当然，本领域技术人员也可以采用其他不同于EKF的数据融合方法，例如代数法、图像回归法等，或者直接对不同传感器构建的位姿数据进行紧耦合。本公开对第一位姿数据和第二位姿数据的数据融合方法不做限定。
在本公开的一些实施例中，图像采集装置例如可以是移动端的相机或者是与移动端相匹配的外部设备等。在下文中除非特别说明，以图像采集装置为相机为例来说明本公开的实施例。
图2A示出了本公开至少一实施例提供的图1中步骤S30的方法流程图。
如图2A所示，步骤S30可以包括步骤S31～S33。
步骤S31：基于多个初始图像分别对应的位姿信息，将每个初始图像转换到世界坐标系中而获得每个初始图像在世界坐标系中的世界坐标信息。
在本公开的一些实施例中，例如对于每个初始图像，可以将初始图像中的每个像素点由像素平面坐标系转换到世界坐标系，从而得到该初始图像在世界坐标系中的世界坐标信息。初始图像在世界坐标系中的世界坐标信息即为初始图像中每个像素点在世界坐标系中的世界坐标。将初始图像中每个像素点由像素平面坐标系转换到世界坐标系可以按照相机标定方法进行转换。
例如，在相机标定过程中使用到4个坐标系，分别为世界坐标系、相机坐标系、图像物理坐标系和像素平面坐标系。根据相机标定方法中该4个坐标系之间的转换关系可以得到像素点在像素平面坐标系中的坐标与像素点在世界坐标系中的世界坐标满足如下转换关系：
Figure BDA0003076543280000091
Figure BDA0003076543280000092
Figure BDA0003076543280000101
其中，R为旋转矩阵，t为平移向量，(u,v)为像素点在像素平面坐标系中的像素坐标，ZC为像素点在相机坐标系中的Z轴坐标，dx可以为相机在x方向上的每行像素数与相机的x方向的尺寸的比值，dy可以为相机在y方向上的每行像素数与相机的y方向的尺寸的比值，(u0,v0)可以是图像物理坐标系的原点在图像像素坐标系中的图像坐标，f可以是相机的焦距，(Xw，Yw，Zw)是像素点在世界坐标系中的世界坐标，M1为相机内参，M2为相机外参。
相机外参M2确定了相机在三维空间中的位姿(即，位置和朝向)。
在本公开的一些实施例中，对于初始图像中的每个像素点可以根据上述转换关系将每个像素点在像素平面坐标系中的像素坐标转换为世界坐标系中的世界坐标。例如，对于一个初始图像而言，将该初始图像对应的位姿信息(即，R和t)和初始图像中的每个像素点的像素坐标代入到上述转换关系中，从而利用上述转换关系计算出每个像素点在世界坐标系中的世界坐标。
步骤S32：根据每个初始图像的世界坐标信息，确定每个初始图像在曲面投影中的曲面坐标信息。
在本公开的一些实施例中，曲面投影例如可以包括球面投影、柱面投影等，本公开不限定曲面投影的类型。例如，在对多个初始图像进行拼接而获得全景图的应用场景中，曲面投影可以是球面投影，这样可以保证拼接得到的全景图在一定条件下不会丢失顶部和底部信息，从而可以完美地展示3D效果。顶部和底部例如是相对于图像采集装置而言的，例如顶部可以是指位于图像采集装置远离地面的一侧的区域，底部可以是指位于图像采集装置靠近地面一侧的区域。例如，在对多个初始图像进行拼接而获得房间的全景图的应用场景中，曲面投影可以是球面投影，这样可以保证拼接得到的全景图在一定条件下不会丢失房顶和地板信息。上述“一定条件”例如可以是图像采集装置的视场角较大。
在下文中以球面投影为例来说明步骤S32的方法。
例如，对于每个初始图像，将初始图像中的每个像素点在世界坐标系中的世界坐标转换为在球面投影中的球面坐标。每个初始图像在球面投影中的曲面坐标信息即为每个初始图像中的每个像素点在球面投影中的球面坐标。
图2B示出了本公开一些实施例提供的一种球面投影的示意图。
例如，球面坐标系的原点在球面的中心，并且球面投影为单位球体形成的球面。
如图2B所示，世界坐标系中的像素点(Xw，yw，zw)在球面投影中的球面坐标为(x'，y'，z')。
在图2B所示的球面投影中，将像素点由世界坐标归一化为球面坐标可以按照如下的公式进行计算：
Figure BDA0003076543280000111
步骤S33：将每个初始图像的曲面坐标信息转换为投影信息。
在本公开的一些实施例中，投影信息包括初始图像中像素点的经度和维度。
在本公开的一些实施例中，为了将三维的球面坐标表示为平面坐标，设立了两个变量θ和
Figure BDA0003076543280000115
θ是Z轴和射线在ZX平面的投影线的夹角，顺时针为负，
Figure BDA0003076543280000116
是Y轴和射线的夹角，顺时针为负。
球面坐标和平面坐标之间的转换关系如下式所示：
Figure BDA0003076543280000112
根据上式可以计算出θ和
Figure BDA0003076543280000113
其中，θ为经度，
Figure BDA0003076543280000114
为纬度。
图2A所描述的实施例将位姿信息转换为初始图像在曲面投影中的投影信息可以至少部分地消除多个初始图像之间的平移带来的影响，并且不需要对初始图像进行放大或者压缩等处理，从而可以保证图像的清晰度。
图3示出了本公开至少一实施例提供的图1中步骤S40的方法流程图。
如图3所示，步骤S40可以包括步骤S41和步骤S42。
步骤S41：确定目标像素画布的尺寸。
在本公开的一些实施例中，目标像素画布的尺寸可以是本领域技术人员根据实际需求而设定的。
图4A示出了本公开至少一实施例提供的图3中步骤S41的方法流程图。
图4B和图4C示出了本公开至少一实施例提供的基于视场角和旋转角度确定重叠区域的示意图。
下面结合图4A、图4B和图4C示意性说明本公开实施例提供的一种确定目标像素画布的尺寸的方法。在图4A、图4B和图4C所示的实施例中，多个初始图像是通过图像采集装置获得的。
如图4A所示，步骤S41可以包括步骤S411～步骤S414。
步骤S411：获取图像采集装置的采集参数。
在本公开的一些实施例中，采集参数包括图像采集装置生成的图像的图像尺寸和图像采集装置的视场角。
图像采集装置生成的图像的图像尺寸和视场角是图像采集装置本身确定的。例如，图像采集装置生成的图像尺寸可以是h高×w宽，w和h均为大于0的整数。例如，w为1024，h为512。图像采集装置的视场角fov例如可以为60°。
例如，图像采集装置的采集参数可以通过直接读取固化到图像采集装置中的参数表来获得。或者，图像采集装置的采集参数也可以是本领域技术人员预设设置的。
步骤S412：确定多个初始图像的数量，并确定多个初始图像中每两个相邻的初始图像之间的旋转角度。
每两个相邻的初始图像之间的旋转角度可以通过在步骤S20中的位姿信息来确定，也就是通过旋转矩阵R来确定。
步骤S413：基于视场角和旋转角度，确定每两个相邻的初始图像之间的重叠区域。
以两个相邻的初始图像为第一初始图像和第二初始图像为例来说明步骤S413。例如，如图4B所示，相机的视场角fov为60°，若相机从采集第一初始图像到采集第二初始图像，相机的旋转角度为30°，则相机采集第一初始图像的视场和采集第二初始图像的视场存在重叠部分(如图4B阴影部分)。根据相机的视场角fov为60°和旋转角度可以估计出重叠部分占据相机整个视场的1/2，因此，该两个相邻的初始图像之间的重叠区域占据每个初始图像的1/2。如图4C所示，在该实施例中，第一初始图像和第二初始图像之间的重叠区域为区域A(即，横线组成的填充区域)。也就是说，区域A对应的图像内容既是第一初始图像中的内容也是第二初始图像中的内容，并且在该实施例中，在第一初始图像中，区域A对应的像素区域大约占据第一初始图像中全部像素区域的1/2，以及在第二初始图像中，区域A对应的像素区域大约占据第二初始图像中全部像素区域的1/2。
步骤S414：基于数量、重叠区域和图像尺寸，确定目标像素画布的尺寸。
例如，在步骤S413所描述的实施例中，第一初始图像和第二初始图像的重叠区域为区域A，一个图像的图像尺寸为h高×w宽，则第一初始图像和第二初始图像确定的目标像素画布的尺寸可以是h高×3w/2宽或者是稍微大于h高×3w/2宽。
例如，如果多个初始图像的数量为N，相机的视场角fov为60°，每两个初始图像之间相机的旋转角度为30°，则目标像素画布的尺寸可以为h高×(N-1)w/2宽或者是稍微大于h高×(N-1)w/2宽。
步骤S42：基于目标像素画布的尺寸和投影信息，确定每个初始图像中的每个像素点在目标像素画布中的位置，从而将每个初始图像映射到目标像素画布中，以生成多个目标图像。
在本公开的一些实施例中，投影信息包括初始图像中像素点的经度和纬度，对于每个初始图像，初始图像中的每个像素点在目标像素画布中的位置通过如下公式计算得到：
Figure BDA0003076543280000131
Figure BDA0003076543280000132
其中，c为每个像素点在目标像素画布中的列，r为每个像素点在目标像素画布中的行，θ为经度，
Figure BDA0003076543280000133
为纬度，IW为目标像素画布的宽度，IH为目标像素画布的高度。
图4D和图4E分别示出了第一初始图像和第二初始图像分别映射到目标像素画布中而生成的目标图像401和目标图像402的示意图。
如图4D所示，目标图像401包括目标像素画布411和位于目标像素画布411中的第一初始图像421。
目标像素画布411的尺寸为IH×IW，则根据上述c和r的计算公式可以确定第一初始图像421映射到该目标像素画布中的位置，从而将第一初始图像421映射到该位置从而生成目标图像401。
如图4E所示，目标图像402包括目标像素画布431和位于目标像素画布431中的第二初始图像441。
目标像素画布431和目标像素画布411的尺寸和形状均相同。例如，目标像素画布431和目标像素画布411均是根据上文参考图4A描述的方法而确定的尺寸。根据上述c和r的计算公式可以确定第二初始图像441映射到该目标像素画布中的位置，从而将第二初始图像441映射到该位置从而生成目标图像402。
类似地，多个初始图像中的其他初始图像也可以按照上述方法分别映射到目标像素画布中从而得到多个目标图像。
图5A示出了本公开至少一个实施例提供的图1中步骤S50的方法流程图。
如图5A所示，步骤S50可以包括步骤S51～步骤S53。
步骤S51：选择多个目标图像中的一个目标图像作为初始背景图像，并将多个目标图像中除初始背景图像之外的目标图像作为待融合图像。
例如，在图4D和4E所示的情景中，可以选择由第一初始图像生成的目标图像401作为初始背景图像，而其他初始图像生成的目标图像分别作为待融合图像。
在本公开的一些实施例中，例如可以选择多个初始图像中的任意一个作为初始背景图像。
在本公开的另一些实施例中，例如可以对多个初始图像进行排序，然后将排序后的第一个初始图像或者最后一个初始图像作为初始背景图像。
步骤S52：分别对每个待融合图像进行掩膜提取而获得每个待融合图像的掩膜图像。
在本公开的一些实施例中，例如可以利用边缘提取、二值化等图像处理方法对每个待融合图像进行掩膜提取。例如，利用边缘提取从待融合图像中提取出初始图像的边缘或轮廓，并且对目标图像进行二值化处理而得到掩膜图像。
图5B示出了将目标图像402作为待融合图像并进行掩膜提取而获得的掩膜图像403的示意图。
如图5B所示，掩膜图像403包括第二初始图像的轮廓围成的像素值为1的区域和目标像素画布中除第二初始图像的轮廓围成的区域外的其他区域，其他区域的像素值被二值化为0。
步骤S53：利用每个待融合图像的掩膜图像，将每个待融合图像融合到初始背景图像中而得到拼接图像。
例如，可以利用泊松融合将初始背景图像401、待融合图像402和待融合图像402生成的掩膜图像403融合而生成拼接图像。
图5C示出了将目标图像401和目标图像402进行拼接而得到的拼接图像的示意图。
如图5C所示，初始背景图像401、待融合图像402和掩膜图像403融合得到拼接图像404。
需要说明的是，由于在上述的描述中仅以两个初始图像为例来说明步骤S53得到拼接图像的方法，因此目标像素画布中只示出了两个初始图像拼接得到的拼接图像404，实际上，在图8D中的目标像素画布中除该两个初始图像拼接得到的拼接图像之外的区域还包括其他的初始图像拼接而成的结果。
需要理解的是，图4D、图4E、图5B和图5C仅仅是一种示例的示意性示意图，以帮助本领域技术人员理解本发明，并不意味着图4D、图4E、图5B和图5C是一种实际的应用场景。
在本公开的一些实施例中，在步骤S53中，利用每个待融合图像的掩膜图像，将每个待融合图像融合到初始背景图像中而得到拼接图像，包括：确定每个待融合图像的融合次序，以及按照融合次序，依次利用每个待融合图像的掩膜图像将每个待融合图像融合到初始背景图像中而得到拼接图像。
例如，多个目标图像分别为第一目标图像至第N目标图像，第一目标图像作为初始背景图像，第二目标图像至第N目标图像为待融合图像，待融合图像的融合次序为第二目标图像、第三目标图像、……、第N目标图像。在步骤S53中，可以是依次将第二目标图像、第三目标图像、……、第N目标图像融合到初始背景图像中而得到拼接图像。
图6示出了本公开至少一实施例提供的按照融合次序进行图像融合的方法流程图。
如图6所示，该方法可以包括步骤S531和步骤S532。
步骤S531：利用第1个待融合图像的掩膜图像，将第1个待融合图像融合到初始背景图像中而得到第1个融合背景图像。
例如，第一个待融合图像是第二目标图像，在步骤S531中，利用第二目标图像的掩膜图像，将第二目标图像融合到初始背景图像(例如，第一目标图像)中而得到第1个融合背景图像。
步骤S532：按照融合次序，利用第k个待融合图像的掩膜图像，将第k个待融合图像融合到第k-1个融合背景图像中而得到第k个融合背景图像，直至第N个待融合图像融合到第N-1个融合背景图像中而得到拼接图像。
例如，按照融合次序，利用第2个待融合图像(例如，第三目标图像)的掩膜图像，将第2个待融合图像融合到第1个融合背景图像中而得到第2个融合背景图像。依次类推，直到第N个待融合图像融合到第N-1个融合背景图像中而得到拼接图像。
图6所描述的融合方法为增量式融合，即在前一个目标图像融合的基础上进行下一个目标图像的融合，这样可以加快融合的速度，从而提高图像拼接的效率。
图7示出了本公开至少一实施例提供的另一种图像处理方法的流程图。
如图7所示，该图像处理方法除包括图1中所描述的步骤S10～步骤S50外，还进一步包括步骤S60。步骤S60例如可以在步骤S40之后并且在步骤S50之前执行。
步骤S60：对多个目标图像进行光照均匀化处理，使得多个目标图像的光照强度均匀。
在本公开的一些实施例中，例如利用高动态光照渲染(High-Dynamic Range，HDR)技术对多个目标图像进行光照均匀化处理。当然，本领域技术人员也可以采用其他的图像处理方法对多个目标图像进行光照均匀化处理。
在本公开的一些实施例中，实际拍摄的多个初始图像由于受到相机曝光的影响，导致图像序列的光照不统一，如果不进行光照处理，合成的拼接图像将会有明显的光照分割，即光照不统一的现象，这会影响用户体验。通过对多个目标图像的进行光照均匀化处理，可以使得图像的拼接更加自然，提高用户体验。
图8A示出了本公开至少一实施例提供的另一种图像处理方法的流程图。
如图8A所示，该图像处理方法在图1或者图7所描述的步骤的基础上，还可以进一步包括步骤S70～90。步骤S70～90例如可以在步骤S10之前执行。
步骤S70：获取图像采集装置的拍摄位姿。
在本公开的一些实施例中，图像采集装置的拍摄位姿可以是用户选择的。例如，用户以一个拍摄位姿拿起移动端进行拍摄，此时移动端可以进行拍摄初始化，并且在拍摄初始化后，确定出图像采集装置的拍摄位姿。例如，移动端可以为手机或平板电脑，也可以为其他适用的移动端设备。
步骤S80：基于拍摄位姿，确定拍摄环境中的至少一个目标拍摄区域。
在本公开的一些实施例中，至少一个目标拍摄区域可以是预先设置的。例如至少一个目标拍摄区域是根据要拍摄的环境和图像采集装置的视场角确定的。例如，图像采集装置的视场角为60°，相机采集两个相邻图像的视场角存在30°的重叠，则可以设计12个目标拍摄区域来引导用户拍摄环绕用户所在拍摄位置的一周的全景图。
又例如，在拍摄全景图的场景中，根据移动端的当前位置，确定出一个球形区域，该球形区域的球心为当前位置，并且从球形区域中选定与水平面平行的至少一个圆形轨迹，以根据圆形轨迹确定出目标拍摄区域。圆形轨迹可以是球形区域中相当于赤道的圆，也可以是相当于南北回归线的圆，还可以是其他纬度的圆，各个圆形轨迹与水平面平行。
需要说明的是，在采集过程中，球形区域可以不在移动端的图形用户界面中展示，球型区域的球心为移动端在实体空间的位置点。
图8B示出了本公开至少一实施例提供的一种步骤S80的示意图。
如图8B所示，以移动端所在的当前位置为球心确定出一个球形区域。例如，从球形区域中选定与水平面平行的相当于南北回归线的两个圆形轨迹。两个圆形轨迹分别作为两个目标拍摄区域的基准线，然后每个基准线向外辐射预设的距离分别形成两个目标拍摄区域，即，在球形区域中选择两个区域作为目标拍摄区域。位于相机第一侧(远离地面的一侧)的第一目标拍摄区域用于对用户所处实体空间中相对上方的位置进行初始图像的采集；位于相机第二侧(靠近地面的一侧)的第二目标拍摄区域用于对用户所处实体空间中相对下方的位置进行初始图像的采集，这样可以完整地获取用户所处实体空间的全景信息。该方法可以使得全景信息的采集通过终端即可实现，克服了依赖于固定设备的问题，有效降低了采集成本，简化了采集流程。可以理解的是，目标拍摄区域可以是一个、两个或三个等，本公开对目标拍摄区域的数量不作限制。
步骤S90：基于至少一个目标拍摄区域，显示提示信息，以提示用户分别在多个拍摄点采集多个初始图像。
例如，提示信息例如可以是图标。例如，可以在移动端的界面上展示第一图标和第二图标，第一图标为此时图像采集装置实际对准的当前位置，第二图像为根据目标拍摄区域确定的图像采集装置需要对准的目标位置，第一图标随着图像采集装置的拍摄位姿的改变而改变，直到第一图标和第二图像对齐(也即，重叠或部分重叠)，则确定图像采集装置对准了目标位置，可以进行初始图像的采集。
在本公开的一些实施例中，基于所述至少一个目标拍摄区域，显示提示信息，包括：基于至少一个目标拍摄区域，显示至少一个采集引导区域，至少一个采集引导区域分别与至少一个目标拍摄区域相对应；显示提示信息，提示信息指示了图像采集装置当前对准的参考拍摄点。在提示信息落入至少一个采集引导区域中的目标采集引导区域的情况下，图像采集装置当前对准的参考拍摄点为所述目标采集引导区域对应的目标拍摄区域中的拍摄点。
图8C示出了本公开至少一实施例提供的显示提示信息的场景示意图。
如图8C所示，该场景中包括电子设备800，电子设备800为前述的移动端，电子设备800在进行初始图像的采集。在采集过程中，电子设备800的图形用户交互界面上显示有采集引导区域和采集准星。
例如，采集引导区域可以为引导用户进行全景信息采集的区域。如图8C所示，采集引导区域可以通过多个引导圈、引导环等标识出。随着移动端的移动，移动端可以在采集界面中展示一个采集引导区域，也可以展示多个采集引导区域。
例如，提示信息为采集准星，采集准星可以为位于采集界面中用于对采集引导区域进行瞄准、定位的标识，以指示图像采集装置当前对准的参考拍摄点。
采集准星作为一种瞄准、定位的标识可以是任意形状和大小，只要能起到提示的作用即可。如图8C所示，例如，采集准星可以是由两个半径不同的圆组成的圆环。
在采集准星落入至少一个采集引导区域中的目标采集引导区域的情况下，图像采集装置当前对准的参考拍摄点为所述目标采集引导区域对应的目标拍摄区域中的拍摄点。
采集准星可以在采集界面所呈现的采集对象上移动，用户或者图像采集装置可以通过判断采集准星是否全部落入采集引导区域，或判断采集准星的中心是否落入采集引导区域，确定是否开始采集初始图像。
在本公开的一些实施例中，图像处理方法还包括：响应于图像采集装置的运动，控制提示信息在采集引导区域中按照与图像采集装置的运动方向相同的方向至少环绕一周，以采集多个初始图像。
例如，控制采集准星在采集引导区域中按照与图像采集装置的运动方向相同的方向至少环绕一周，以采集多个初始图像。
在本公开的一些实施例中，当用户控制移动端移动和/或转动，使得采集准星落入采集引导区域中，则随着移动端以固定的方向进行运动，移动端可以控制采集准星在采集引导区域中按照移动端的运动方向相同的方向进行移动，并在移动端中实时进行图像采集，获得多个初始图像，从而通过采集准星与采集引导区域，对用户进行全景信息采集进行引导，可以有效帮助用户对拍摄环境中的拍摄点进行信息采集，全景信息的采集通过移动端即可实现，克服了依赖于固定设备的问题，有效降低了采集成本，简化了采集流程。
在本公开的一些实施例中，针对按照所述提示信息采集的所述多个初始图像中的每个初始图像，所述每个初始图像与相邻初始图像存在重叠区域，所述相邻初始图像为在与所述每个初始图像对应的拍摄点相邻的拍摄点所采集的初始图像。
例如，对于每个初始图像，多个初始图像中都会存在至少一个不同于该初始图像的其他初始图像与该初始图像存在重叠区域。这样可以使得用户根据提示信息拍摄的多个初始图像可以形成闭环，即每相邻的两个初始图像之间存在重叠区域，并且第一个初始图像和最后一个初始图像之间存在重叠区域，从而可以保证拍摄到全景图像。
在本公开的一些实施例中，图像处理方法在前述步骤的基础上还可以进一步包括将拼接图像转换成三维图像，以及输出三维图像，以将三维图像作为全景图像展示。
例如，可以利用三维模型软件将拼接图像转换成三维图像。
在本公开的一些实施例中，由于图像处理方法不用将采集的图像上传服务器而可以在移动端直接执行，因此三维图像也可以实时地显示于移动端，以供用户观看。
在本公开的一些实施例中，上述图像处理方法可以应用于房间、车等场景中，以生成房间的全景图或者车的全景图。
例如，在本公开的一些实施例中，图像处理方法可以包括如下步骤：首先，获取图像序列，图像序列包括多个初始图像，多个初始图像是通过对容纳空间进行图像采集而得到的。然后，获取多个初始图像分别对应的位姿信息；基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息，并且根据投影信息将多个初始图像分别映射到目标像素画布中而生成多个目标图像，之后可以将多个目标图像进行融合而得到容纳空间的全景图。也即，执行上文参考图1所描述的方法。
在本公开的一些实施例中，容纳空间，例如可以是房间、车等。
在本公开的一些实施例中，对容纳空间进行图像采集可以是在容纳空间内，对容纳空间进行图像采集，或者也可以是在容纳空间外部，对容纳空间的进行图像采集。
若在容纳空间内对容纳空间进行图像采集，根据上文描述的方法可以得到容纳空间内部的全景图。例如，通过对房间内部进行图像采集，根据上文描述的方法可以生成房间内部的全景图，从而可以展示房间内部的三维图像。例如，通过对车内进行图像采集，根据上文描述的方法可以生成车内的全景图，从而可以展示车内的三维图像。
若在容纳空间的外部对容纳空间进行图像采集，根据上文描述的方法可以得到容纳空间外形的全景图。例如，通过在车外对车进行图像采集，根据上文描述的方法可以生成车的外形的全景图。
图8D示出了本公开至少一实施例提供的生成拼接图像的效果示意图。
如图8D所示，例如，用户利用移动端在房间内采集了多个初始图像。在图8D中仅以初始图像810～830示意性表示，实际上，移动端在房间内采集的初始图像不止初始图像810～830。
例如，多个初始图像是根据移动端(即，图像采集装置)的运动，控制采集准星在采集引导区域中按照与移动端的运动方向相同的方向至少环绕一周采集到的。
例如，获取移动端的摄像头采集多个初始图像(例如，初始图像810～830)时分别采用的位姿，然后基于多个初始图像分别对应的位姿信息，确定初始图像中每个初始图像的像素点在曲面投影中的经纬度，并且根据像素点在曲面投影中的经纬度，将初始图像分别映射到目标像素画布中而得到多个目标图像。例如，初始图像810～830分别映射到目标像素画布中而分别生成目标图像811～813。接下来，将多个目标图像(例如，目标图像811～813)进行融合而得到拼接图像814，即房间的全景图。
将拼接图像814进行三维转换即可得到房间的三维图，使得用户体验到VR(Virtual Reality，虚拟现实)看房的效果。
图8E示出了本公开至少一实施例提供的生成拼接图像的另一效果示意图。
如图8E所示，例如，用户利用移动端在车内采集了多个初始图像。在图8E中以初始图像901～903示意性表示。实际上，移动端在房间内采集的初始图像不止初始图像910～930。
例如，多个初始图像(例如，初始图像901～903)是根据移动端(即，图像采集装置)的运动，控制采集准星在采集引导区域中按照与移动端的运动方向相同的方向至少环绕一周采集到的。
例如，获取移动端的摄像头采集多个初始图像时分别采用的位姿，然后基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像的像素点在曲面投影中的经纬度。例如，基于初始图像901～903分别对应的位姿信息，确定初始图像901～903的像素点在曲面投影中的各自的经纬度。然后，根据像素点在曲面投影中的经纬度，将多个初始图像分别映射到目标像素画布中而分别生成多个目标图像。例如，将初始图像901～903分别映射到目标像素画布中而得到多个目标图像911～913。接下来，将多个目标图像(例如，目标图像911～913)进行融合而得到拼接图像914，即得到车内的全景图。
将拼接图像914进行三维转换即可得到房间的三维图，使得用户体验到VR(Virtual Reality，虚拟现实)看车的效果。
可以理解的是，图8D和图8E仅为示意性表示，并不代表实际应用场景得到的全景图。图9示出了本公开至少一个实施例提供的一种图像处理装置900的示意框图。
例如，如图9所示，该图像处处理装置900包括第一获取单元910、第二获取单元920、确定单元930、映射单元940和融合单元950。
第一获取单元910配置为获取多个初始图像。获取单元710例如可以执行图1描述的步骤S10。
第二获取单元920配置为获取多个初始图像分别对应的位姿信息。第二获取单元920例如可以执行图1描述的步骤S20。
确定单元930配置为基于多个初始图像分别对应的位姿信息，确定多个初始图像中每个初始图像在曲面投影中的投影信息。确定单元930例如可以执行图1描述的步骤S30。
映射单元940配置为根据所述投影信息，将所述多个初始图像分别映射到目标像素画布中而生成多个目标图像。映射单元940例如可以执行图1描述的步骤S40。
融合单元950配置为将所述多个目标图像进行融合而得到拼接图像。融合单元950例如可以执行图1描述的步骤S50。
例如，第一获取单元910、第二获取单元920、确定单元930、映射单元940和融合单元950可以为硬件、软件、固件以及它们的任意可行的组合。例如，第一获取单元910、第二获取单元920、确定单元930、映射单元940和融合单元950可以为专用或通用的电路、芯片或装置等，也可以为处理器和存储器的结合。关于上述各个单元的具体实现形式，本公开的实施例对此不作限制。
需要说明的是，本公开的实施例中，图像处理装置900的各个单元与前述的图像处理方法的各个步骤对应，关于图像处理装置900的具体功能可以参考关于图像处理方法的相关描述，此处不再赘述。图9所示的图像处理装置900的组件和结构只是示例性的，而非限制性的，根据需要，该图像处理装置900还可以包括其他组件和结构。
本公开的至少一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器包括一个或多个计算机程序模块。一个或多个计算机程序模块被存储在存储器中并被配置为由处理器执行，一个或多个计算机程序模块包括用于实现上述的图像处理方法的指令。该电子设备使得图像的拼接不依赖于深度数据和图像的质量，降低了实现图像拼接对图像质量的要求和所需要的运算量，使得图像拼接的实现更加简单，时间成本更低，有助于在移动端实现图像拼接。
图10A为本公开一些实施例提供的一种电子设备的示意框图。如图10A所示，该电子设备1000包括处理器1010和存储器1020。存储器1020用于存储非暂时性计算机可读指令(例如一个或多个计算机程序模块)。处理器1010用于运行非暂时性计算机可读指令，非暂时性计算机可读指令被处理器1010运行时可以执行上文所述的图像处理方法中的一个或多个步骤。存储器1020和处理器1010可以通过总线系统和/或其它形式的连接机构(未示出)互连。
例如，处理器1010可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器1010可以为通用处理器或专用处理器，可以控制电子设备1000中的其它组件以执行期望的功能。
例如，存储器1020可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器1010可以运行一个或多个计算机程序模块，以实现电子设备1000的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
需要说明的是，本公开的实施例中，电子设备1000的具体功能和技术效果可以参考上文中关于图像处理方法的描述，此处不再赘述。
图10B为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备1100例如适于用来实施本公开实施例提供的图像处理方法。电子设备1100可以是终端设备等。需要注意的是，图10B示出的电子设备1100仅仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。
如图10B所示，电子设备1100可以包括处理装置(例如中央处理器、图形处理器等)1110，其可以根据存储在只读存储器(ROM)1120中的程序或者从存储装置1180加载到随机访问存储器(RAM)1130中的程序而执行各种适当的动作和处理。在RAM 1130中，还存储有电子设备1100操作所需的各种程序和数据。处理装置1110、ROM 1120以及RAM1130通过总线1140彼此相连。输入/输出(I/O)接口1150也连接至总线1140。
通常，以下装置可以连接至I/O接口1150：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1160；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1170；包括例如磁带、硬盘等的存储装置1180；以及通信装置1190。通信装置1190可以允许电子设备1100与其他电子设备进行无线或有线通信以交换数据。虽然图10B示出了具有各种装置的电子设备1100，但应理解的是，并不要求实施或具备所有示出的装置，电子设备1100可以替代地实施或具备更多或更少的装置。
例如，根据本公开的实施例，上述图像处理方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述图像处理方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1190从网络上被下载和安装，或者从存储装置1180安装，或者从ROM 1120安装。在该计算机程序被处理装置1110执行时，可以实现本公开实施例提供的图像处理方法中限定的功能。
本公开的至少一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以实现上述的图像处理方法。利用该计算机可读存储介质，可以使得图像的拼接不依赖于深度数据和图像的质量，降低了实现图像拼接对图像质量的要求和所需要的运算量，使得图像拼接的实现更加简单，时间成本更低，有助于在移动端实现图像拼接。
图11为本公开一些实施例提供的一种存储介质的示意图。如图11所示，存储介质1200用于存储非暂时性计算机可读指令1210。例如，当非暂时性计算机可读指令1210由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
例如，该存储介质1200可以应用于上述电子设备1000中。例如，存储介质1200可以为图10A所示的电子设备1000中的存储器1020。例如，关于存储介质1200的相关说明可以参考图10A所示的电子设备1000中的存储器1020的相应描述，此处不再赘述。
有以下几点需要说明：
(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种图像处理方法，包括：
获取多个初始图像，其中，所述多个初始图像通过图像采集装置获得；
获取所述多个初始图像分别对应的位姿信息；
基于所述多个初始图像分别对应的位姿信息，确定所述多个初始图像中每个初始图像在曲面投影中的投影信息；
根据所述投影信息，将所述多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及
将所述多个目标图像进行融合而得到拼接图像，
其中，根据所述投影信息，将所述多个初始图像分别映射到所述目标像素画布中而生成所述多个目标图像，包括：
确定所述目标像素画布的尺寸；以及
基于所述目标像素画布的尺寸和所述投影信息，确定所述每个初始图像中的每个像素点在所述目标像素画布中的位置，从而将所述每个初始图像映射到所述目标像素画布中，以生成所述多个目标图像，
确定所述目标像素画布的尺寸，包括：
获取所述图像采集装置的采集参数，其中，所述采集参数包括所述图像采集装置生成的图像的图像尺寸和所述图像采集装置的视场角；
确定所述多个初始图像的数量，并确定所述多个初始图像中每两个相邻的初始图像之间的旋转角度；
基于所述视场角和所述旋转角度，确定所述每两个相邻的初始图像之间的重叠区域；以及
基于所述数量、所述重叠区域和所述图像尺寸，确定所述目标像素画布的尺寸。
2.根据权利要求1所述的方法，其中，基于所述多个初始图像分别对应的位姿信息，确定所述多个初始图像中每个初始图像在曲面投影中的投影信息，包括：
基于所述多个初始图像分别对应的位姿信息，将所述每个初始图像转换到世界坐标系中而获得所述每个初始图像在所述世界坐标系中的世界坐标信息；
根据所述每个初始图像的所述世界坐标信息，确定所述每个初始图像在所述曲面投影中的曲面坐标信息；以及
将所述每个初始图像的所述曲面坐标信息转换为所述投影信息。
3.根据权利要求2所述的方法，其中，所述图像采集装置包括第一传感器和第二传感器，所述多个初始图像分别对应的位姿信息包括所述图像采集装置分别采集所述每个初始图像的过程中所采用的位姿，
获取所述多个初始图像分别对应的位姿信息，包括：
获取第一位姿数据，其中，所述第一位姿数据为所述第一传感器构建的所述图像采集装置采集所述每个初始图像所采用的位姿；
获取第二位姿数据，其中，所述第二位姿数据为所述第二传感器构建的所述图像采集装置采集所述每个初始图像所采用的位姿；以及
融合所述第一位姿数据和所述第二位姿数据，得到所述多个初始图像分别对应的位姿信息。
4.根据权利要求3所述的方法，其中，所述第一传感器包括同步定位与地图绘制传感器，所述第二传感器包括惯性传感器。
5.根据权利要求3所述的方法，其中，融合所述第一位姿数据和所述第二位姿数据，得到所述多个初始图像分别对应的位姿信息，包括：
利用扩展卡尔曼滤波器融合所述第一位姿数据和所述第二位姿数据，以得到所述多个初始图像分别对应的位姿信息。
6.根据权利要求1所述的方法，其中，所述投影信息包括所述初始图像中像素点的经度和纬 度，所述每个初始图像中的每个像素点在所述目标像素画布中的位置通过如下公式计算得到：
Figure DEST_PATH_IMAGE002AA
Figure DEST_PATH_IMAGE004AA
其中，所述c为所述每个像素点在所述目标像素画布中的列，所述r为所述每个像素点在所述目标像素画布中的行，所述θ为所述经度，所述φ为所述纬度，所述
Figure 99861DEST_PATH_IMAGE005
为所述目标像素画布的宽度，所述
Figure 879598DEST_PATH_IMAGE006
为所述目标像素画布的高度。
7.根据权利要求1所述的方法，其中，将所述多个目标图像进行融合而得到所述拼接图像，包括：
选择所述多个目标图像中的一个目标图像作为初始背景图像，并将所述多个目标图像中除所述初始背景图像之外的目标图像作为待融合图像；
分别对每个待融合图像进行掩膜提取而获得所述每个待融合图像的掩膜图像；以及
利用所述每个待融合图像的掩膜图像，将所述每个待融合图像融合到所述初始背景图像中而得到所述拼接图像。
8.根据权利要求7所述的方法，其中，利用所述每个待融合图像的掩膜图像，将所述每个待融合图像融合到所述初始背景图像中而得到所述拼接图像，包括：
确定所述每个待融合图像的融合次序；以及
按照所述融合次序，依次利用所述每个待融合图像的掩膜图像将所述每个待融合图像融合到所述初始背景图像中而得到所述拼接图像。
9.根据权利要求8所述的方法，其中，所述待融合图像的数量为N，N为大于1的整数，
按照所述融合次序，依次利用所述每个待融合图像的掩膜图像将所述每个待融合图像融合到所述初始背景图像中而得到所述拼接图像，包括：
利用第1个待融合图像的掩膜图像，将第1个待融合图像融合到所述初始背景图像中而得到第1个融合背景图像；以及
按照所述融合次序，利用第k个待融合图像的掩膜图像，将第k个待融合图像融合到第k-1个融合背景图像中而得到第k个融合背景图像，直至第N个待融合图像融合到第N-1个融合背景图像中而得到所述拼接图像，
其中，1<k≤N且k为整数。
10.根据权利要求1所述的方法，还包括：
对所述多个目标图像进行光照均匀化处理，使得所述多个目标图像的光照强度均匀。
11.根据权利要求1所述的方法，其中，所述曲面投影包括球面投影。
12.根据权利要求1所述的方法，其中，所述多个初始图像是通过图像采集装置获得的，
所述方法还包括：
获取所述图像采集装置的拍摄位姿；
基于所述拍摄位姿，确定拍摄环境中的至少一个目标拍摄区域；以及
基于所述至少一个目标拍摄区域，显示提示信息，以提示用户在所述至少一个目标拍摄区域采集所述多个初始图像。
13.根据权利要求12所述的方法，其中，基于所述至少一个目标拍摄区域，显示提示信息，包括：
基于所述至少一个目标拍摄区域，显示至少一个采集引导区域，其中，所述至少一个采集引导区域分别与所述至少一个目标拍摄区域相对应；以及
显示提示信息，其中，所述提示信息指示了所述图像采集装置当前对准的参考拍摄点；
其中，在所述提示信息落入所述至少一个采集引导区域中的目标采集引导区域的情况下，所述图像采集装置当前对准的参考拍摄点为所述目标采集引导区域对应的目标拍摄区域中的拍摄点。
14.根据权利要求13所述的方法，还包括：
响应于所述图像采集装置的运动，控制所述提示信息在所述采集引导区域中按照与所述图像采集装置的运动方向相同的方向至少环绕一周，以采集所述多个初始图像。
15.根据权利要求12所述的方法，其中，针对按照所述提示信息采集的所述多个初始图像中的每个初始图像，所述每个初始图像与相邻初始图像存在重叠区域，所述相邻初始图像为在与所述每个初始图像对应的拍摄点相邻的拍摄点所采集的初始图像。
16.根据权利要求15所述的方法，还包括：
将所述拼接图像转换成三维图像；以及
输出所述三维图像，以将所述三维图像作为全景图像展示。
17.一种图像处理装置，包括：
第一获取单元，配置为获取多个初始图像，其中，所述多个初始图像通过图像采集装置获得；
第二获取单元，配置为获取所述多个初始图像分别对应的位姿信息；
确定单元，配置为基于所述多个初始图像分别对应的位姿信息，确定所述多个初始图像中每个初始图像在曲面投影中的投影信息；
映射单元，配置为根据所述投影信息，将所述多个初始图像分别映射到目标像素画布中而生成多个目标图像；以及
融合单元，配置为将所述多个目标图像进行融合而得到拼接图像，
其中，所述映射单元配置为：
确定所述目标像素画布的尺寸；以及
基于所述目标像素画布的尺寸和所述投影信息，确定所述每个初始图像中的每个像素点在所述目标像素画布中的位置，从而将所述每个初始图像映射到所述目标像素画布中，以生成所述多个目标图像，
其中，确定所述目标像素画布的尺寸，包括：
获取所述图像采集装置的采集参数，其中，所述采集参数包括所述图像采集装置生成的图像的图像尺寸和所述图像采集装置的视场角；
确定所述多个初始图像的数量，并确定所述多个初始图像中每两个相邻的初始图像之间的旋转角度；
基于所述视场角和所述旋转角度，确定所述每两个相邻的初始图像之间的重叠区域；以及
基于所述数量、所述重叠区域和所述图像尺寸，确定所述目标像素画布的尺寸。
18.一种电子设备，包括：
处理器；
存储器，包括一个或多个计算机程序模块；
其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于实现权利要求1-16任一项所述的图像处理方法的指令。
19.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以实现权利要求1-16任一项所述的图像处理方法。
CN202110554243.XA 2021-05-20 2021-05-20 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN113240615B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110554243.XA CN113240615B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、电子设备和计算机可读存储介质
PCT/CN2022/087633 WO2022242395A1 (zh) 2021-05-20 2022-04-19 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110554243.XA CN113240615B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113240615A CN113240615A (zh) 2021-08-10
CN113240615B true CN113240615B (zh) 2022-06-07

Family

ID=77138054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110554243.XA Active CN113240615B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113240615B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022242395A1 (zh) * 2021-05-20 2022-11-24 北京城市网邻信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN116168076A (zh) * 2021-11-24 2023-05-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN114821497A (zh) * 2022-02-24 2022-07-29 广州文远知行科技有限公司 目标物位置的确定方法、装置、设备及存储介质
CN115719308B (zh) * 2022-11-29 2024-01-26 中国科学院长春光学精密机械与物理研究所 一种枕形双曲边缘影像的完善拼接方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927739A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
WO2019192359A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
WO2020113423A1 (zh) * 2018-12-04 2020-06-11 深圳市大疆创新科技有限公司 目标场景三维重建方法、系统及无人机
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN112085659A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种基于球幕相机的全景拼接融合方法、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610465B (zh) * 2019-08-26 2022-05-17 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN112581369A (zh) * 2020-12-24 2021-03-30 中国银联股份有限公司 图像拼接方法以及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927739A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
WO2019192359A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器
WO2020113423A1 (zh) * 2018-12-04 2020-06-11 深圳市大疆创新科技有限公司 目标场景三维重建方法、系统及无人机
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN112085659A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种基于球幕相机的全景拼接融合方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
全景图像获取和显示技术研究;何鼎乾;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20140215;第2014年卷(第02期);I138-714 页 *
基于曲面拼接的球面全景生成算法;李晓辉等;《北京航空航天大学学报》;20070630;第33卷(第06期);668-671，681页 *
李晓辉等.基于曲面拼接的球面全景生成算法.《北京航空航天大学学报》.2007,第33卷(第06期), *

Also Published As

Publication number Publication date
CN113240615A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2022242395A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113450253B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108702444B (zh) 一种图像处理方法、无人机及系统
CN104913763B (zh) 用于创建空间模型的方法和手持测距装置
JP4508049B2 (ja) ３６０°画像撮影装置
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
KR101871764B1 (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
EP2993894B1 (en) Image capturing method and electronic apparatus
EP3228982A1 (en) Surveying system
CN110799921A (zh) 拍摄方法、装置和无人机
US9071819B2 (en) System and method for providing temporal-spatial registration of images
CN107563959B (zh) 全景图生成方法及装置
JP2012084146A (ja) 拡張現実（ａｒ）を提供するユーザ装置及び方法
CA2568617A1 (en) Digital 3d/360 degree camera system
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2006059202A (ja) 撮像装置及び画像補正方法
Oskiper et al. Augmented reality binoculars
CN104159036A (zh) 一种图像方向信息的显示方法及拍摄设备
CN109448105B (zh) 基于多深度图像传感器的三维人体骨架生成方法及系统
CN115601496A (zh) Ar辅助三维地图尺度恢复的方法和系统
US20090059018A1 (en) Navigation assisted mosaic photography
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN109712249B (zh) 地理要素增强现实方法及装置
TWI696147B (zh) 全景圖形成方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant