CN111311491B - 图像的处理方法、装置、存储介质和电子设备 - Google Patents
图像的处理方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN111311491B CN111311491B CN202010067452.7A CN202010067452A CN111311491B CN 111311491 B CN111311491 B CN 111311491B CN 202010067452 A CN202010067452 A CN 202010067452A CN 111311491 B CN111311491 B CN 111311491B
- Authority
- CN
- China
- Prior art keywords
- image
- transformation matrix
- checkerboard
- dimensional
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 8
- 239000011159 matrix material Substances 0.000 claims abstract description 128
- 230000009466 transformation Effects 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000746 purification Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像的处理方法、装置、存储介质和电子设备，该方法包括：根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，第一图像和第二图像存在重叠区域，根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
Description
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种图像的处理方法、装置、存储介质和电子设备。
背景技术
随着视频监控技术的发展，用户对摄像机所采集到的视频信息的要求也不断提高。单个摄像机由于镜头取景范围的限制，所能拍摄的只是一个角度的画面，该画面只能标示该角度的景物，用户借助这样的画面只能看到局部的场景视频，影响监控效果。目前，为了更好地对目标区域进行监控，通常采用图像拼接技术对多个摄像机采集的多路视频进行拼接，以获取更大视角的目标区域的拼接视频。对多路视频进行拼接，实际上是对每路视频中的同时刻的帧图像进行拼接，但是，现有技术中在对同时刻的帧图像进行拼接的过程中，存在图像拼接效率低，拼接效果差的问题。
发明内容
本公开的目的是提供一种图像的处理方法、装置、存储介质和电子设备，用以解决现有技术中图像拼接效率低，拼接效果差的问题。
为了实现上述目的，根据本公开实施例的第一方面，提供一种图像的处理方法，所述方法包括：
根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，所述第一变换矩阵用于将所述第一图像投影到所述标定图像所在的标定平面中；
根据所述第一图像的特征点和第二图像的特征点，确定第二变换矩阵，所述第二变换矩阵用于将所述第二图像投影到初始二维图像中，所述初始二维图像为所述第一图像投影在所述标定平面上的图像，所述第一图像和所述第二图像存在重叠区域；
根据所述第一图像和所述第一变换矩阵，获取所述第一图像对应的第一三维网格；
根据所述第二图像和所述第二变换矩阵，将所述第二图像映射到所述第一三维网格，以得到第二三维网格；
根据所述第一图像和所述第二图像，对所述第二三维网格进行渲染，以获取拼接图像。
可选地，在所述根据第一图像的特征点和预设的标定图像，确定第一变换矩阵之前，所述方法还包括：
利用预设的特征点识别算法，对所述第一图像和所述第二图像进行处理，以获取所述第一图像的特征点和所述第二图像的特征点。
可选地，所述标定图像包括第一数量个标定点，所述第一数量大于或等于4，所述根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，包括：
根据所述标定点与所述第一图像的特征点的对应关系，确定所述第一变换矩阵。
可选地，所述根据第一图像的特征点和所述第二图像的特征点，确定第二变换矩阵，包括：
根据所述第一图像的特征点和所述第一变换矩阵，确定所述初始二维图像的特征点；
通过预设的匹配算法，从所述初始二维图像的特征点和所述第二图像的特征点中，确定第二数量个匹配特征点对；
通过预设的提纯算法，从第二数量个所述匹配特征点对中，确定第三数量个目标特征点对，所述第三数量小于或等于所述第二数量；
根据第三数量个所述目标特征点对，确定所述第二变换矩阵。
可选地，所述根据所述第一图像和所述第一变换矩阵，获取所述第一图像对应的第一三维网格，包括：
将所述第一图像转换为第一棋盘格图像，所述第一棋盘格图像包括多个棋盘格；
根据所述第一变换矩阵对所述第一棋盘格图像进行变形；
根据变形后的所述第一棋盘格图像中每个棋盘格的角点坐标，获取所述第一三维网格。
可选地，所述根据所述第二图像和所述第二变换矩阵，将所述第二图像映射到所述第一三维网格，以得到第二三维网格，包括：
将所述第二图像转换为第二棋盘格图像，所述第二棋盘格图像包括多个棋盘格；
根据所述第二变换矩阵对所述第二棋盘格图像进行变形；
根据变形后的所述第二棋盘格图像中每个棋盘格的角点坐标，将所述第二棋盘格图像映射到所述第一三维网格，以获取所述第二三维网格。
根据本公开实施例的第二方面，提供一种图像的处理装置，所述装置包括：
确定模块，用于根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，所述第一变换矩阵用于将所述第一图像投影到所述标定图像所在的标定平面中；
所述确定模块，还用于根据所述第一图像的特征点和第二图像的特征点，确定第二变换矩阵，所述第二变换矩阵用于将所述第二图像投影到初始二维图像中，所述初始二维图像为所述第一图像投影在所述标定平面上的图像，所述第一图像和所述第二图像存在重叠区域；
处理模块，用于根据所述第一图像和所述第一变换矩阵，获取所述第一图像对应的第一三维网格；
所述处理模块，还用于根据所述第二图像和所述第二变换矩阵，将所述第二图像映射到所述第一三维网格，以得到第二三维网格；
渲染模块，用于根据所述第一图像和所述第二图像，对所述第二三维网格进行渲染，以获取拼接图像。
可选地，所述装置还包括识别模块，所述识别模块用于在所述根据第一图像的特征点和预设的标定图像，确定第一变换矩阵之前，利用预设的特征点识别算法，对所述第一图像和所述第二图像进行处理，以获取所述第一图像的特征点和所述第二图像的特征点。
可选地，所述标定图像包括第一数量个标定点，所述第一数量大于或等于4，所述确定模块用于：
根据所述标定点与所述第一图像的特征点的对应关系，确定所述第一变换矩阵。
可选地，所述确定模块用于：
根据所述第一图像的特征点和所述第一变换矩阵，确定所述初始二维图像的特征点；
通过预设的匹配算法，从所述初始二维图像的特征点和所述第二图像的特征点中，确定第二数量个匹配特征点对；
通过预设的提纯算法，从第二数量个所述匹配特征点对中，确定第三数量个目标特征点对，所述第三数量小于或等于所述第二数量；
根据第三数量个所述目标特征点对，确定所述第二变换矩阵。
可选地，所述处理模块用于：
将所述第一图像转换为第一棋盘格图像，所述第一棋盘格图像包括多个棋盘格；
根据所述第一变换矩阵对所述第一棋盘格图像进行变形；
根据变形后的所述第一棋盘格图像中每个棋盘格的角点坐标，获取所述第一三维网格。
可选地，所述处理模块用于：
将所述第二图像转换为第二棋盘格图像，所述第二棋盘格图像包括多个棋盘格；
根据所述第二变换矩阵对所述第二棋盘格图像进行变形；
根据变形后的所述第二棋盘格图像中每个棋盘格的角点坐标，将所述第二棋盘格图像映射到所述第一三维网格，以获取所述第二三维网格。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
通过上述技术方案，本公开中首先根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，并根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，其中，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域，之后根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，并根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，最后根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种图像的处理方法的流程图；
图2是根据一示例性实施例示出的一种棋盘格图像变形的效果图；
图3是根据一示例性实施例示出的另一种图像的处理方法的流程图；
图4是图1所示实施例示出的一种步骤102的流程图；
图5是图1所示实施例示出的一种步骤103的流程图；
图6是图1所示实施例示出的一种步骤104的流程图；
图7是根据一示例性实施例示出的一种图像的处理装置的框图；
图8是根据一示例性实施例示出的另一种图像的处理装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的图像的处理方法、装置、存储介质和电子设备之前，首先对本公开各个实施例所涉及的应用场景进行介绍。该应用场景为对多个图像采集装置采集的目标区域的多路视频数据进行融合，以获取拼接视频。其中，多个图像采集装置中每个图像采集装置所拍摄的区域，与除该图像采集装置外的至少一个图像采集装置所拍摄的区域之间存在重叠区域，图像采集装置例如可以是拍摄角度和位置静止的静态摄像机或图像传感器，也可以是拍摄角度和位置变化的动态摄像机或图像传感器(例如监控球机)。
图1是根据一示例性实施例示出的一种图像的处理方法的流程图。如图1所示，该方法包括以下步骤：
步骤101，根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中。
步骤102，根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域。
示例的，在对目标区域进行监控时，为了更好地对目标区域进行监控，可以将多个图像采集装置采集的目标区域的多路视频数据进行拼接，以获取拼接视频。以对两个图像采集装置采集的两路视频数据进行拼接为例来进行说明，首先可以通过SDK(英文：Software Development Kit，中文：软件开发工具包)获取第一图像采集装置采集的第一视频数据和第二图像采集装置采集的第二视频数据(第一视频数据和第二视频数据可以是离线数据，也可以是实时数据)。之后对第一视频数据和第二视频数据进行解码处理，以获取第一视频数据和第二视频数据对应的视频帧，即将图像采集装置采集到的视频按时间顺序分解为一帧一帧的图像。之后将时间相同的视频帧进行组合，以获取多个视频帧集，每个视频帧集中至少包括第一图像和第二图像，第一图像为第一图像采集装置对应的视频帧，第二图像为第二图像采集装置对应的视频帧，第一图像和第二图像的采集时间相同。第一图像和第二图像存在重叠区域，重叠区域越大，即第一图像和第二图像的重叠度越大，对第一图像和第二图像拼接的效果越好，一般可以设置第一图像和第二图像的重叠度大于30％。
对第一图像采集装置和第二图像采集装置采集的视频进行拼接，可以采用对每个视频帧集中的第一图像和第二图像进行拼接的方式来实现。例如，首先可以获取第一图像和第二图像的特征点，并根据第一图像的特征点和标定图像的标定点的坐标，确定第一变换矩阵，并利用第一变换矩阵将第一图像投影到标定图像所在的标定平面中，以获取初始二维图像。其中，标定平面可以为目标区域的正射图所在的平面，标定图像例如可以是预先获取的目标区域的CAD(英文：Computer Aided Design，中文：计算机辅助设计)图像、gis(英文：Geographic Information System，中文：地理信息系统)图像或卫星顶视图。之后可以根据第一图像的特征点和第一变换矩阵，确定初始二维图像的特征点。再根据初始二维图像的特征点和第二图像的特征点的坐标，确定第二变换矩阵，并利用第二变换矩阵将第二图像投影到初始二维图像中。
步骤103，根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格。
步骤104，根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格。
步骤105，根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。
具体的，由于图像采集装置所采集到的图像为二维图像，丢失了三维物体的深度信息。为了进一步提高图像的拼接效果，使获取的拼接图像更加直观，可以在确定第一变换矩阵和第二变换矩阵后，先对第一图像进行棋盘格化，以获取第一棋盘格图像，并根据第一变换矩阵对第一棋盘格图像进行变形，如图2所示(图2中的a为第一棋盘格图像，图2中的b为变形后的第一棋盘格图像)，再根据变形后的第一棋盘格图像获取第一图像对应的第一三维网格。之后对第二图像进行棋盘格化，以获取第二棋盘格图像，并根据第二变换矩阵对第二棋盘格图像进行变形，之后根据变形后的第二棋盘格图像将第二图像映射到第一三维网格，以得到第二三维网格。对第一棋盘格图像和第二棋盘格图像进行变形是为了更好地对第一图像和第二图像进行拼接，第一三维网格和第二三维网格例如可以是mesh网格。最后将第一图像和第二图像投影到第二三维网格中，并对第二三维网格进行渲染，以获取拼接图像。这样，拼接图像能够还原出第一图像和第二图像中三维物体的深度信息，使拼接图像更加直观地展示目标区域内的状态，提高了拼接图像包含的信息量和图像拼接的拼接效果。获取第二三维网格的过程，可以理解为，先将第一图像和第二图像在标定平面中进行拼接，并利用第一图像和第二图像在标定平面的拼接结果来指导第二三维网格的生成。
在对每个视频帧集中的第一图像和第二图像拼接完成后，可以利用每个视频帧集对应的拼接图像，按照时间顺序进行视频纹理生成、镶嵌融合、视频网格渲染，以获取拼接视频。其中，镶嵌融合可以采用Alpha融合，视频网格渲染用于将文字、UI(英文：UserInterface，中文：用户界面)等渲染到拼接视频中。进一步的，可以预先对目标区域进行三维建模，以获取目标区域的三维地图场景，并通过三维注册技术，将拼接视频投影到三维地图场景中，使拼接视频与三维地图场景进行融合，从而使用户能够更加直观地获知目标区域内的状态。
需要说明的是，当对两个以上图像采集装置采集的目标区域的多路视频数据进行拼接时，所采用的拼接方式与上述对两个图像采集装置采集的两路视频数据进行拼接的方式相同，本公开对此不作具体限定。
综上所述，本公开中首先根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，并根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，其中，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域，之后根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，并根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，最后根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
图3是根据一示例性实施例示出的另一种图像的处理方法的流程图。如图3所示，在步骤101之前，该方法还包括以下步骤：
步骤106，利用预设的特征点识别算法，对第一图像和第二图像进行处理，以获取第一图像的特征点和第二图像的特征点。
在一种场景中，在确定第一变换矩阵之前，需要获取第一图像和第二图像的特征点，获取第一图像和第二图像的特征点的方式可以是：利用预设的特征点识别算法，对第一图像和第二图像进行处理，以获取第一图像的特征点和第二图像的特征点。预设的特征点识别算法例如可以是：Sift(英文：Scale-invariant feature transform，中文：尺度不变特征转换)算法，SURF(英文：Speed Up Robust Feature，中文：加速稳健特征)算法或ORB(英文：Oriented FAST and Rotated BRIEF)算法。
可选地，标定图像包括第一数量个标定点，第一数量大于或等于4，步骤101可以通过以下方式实现：
根据标定点与第一图像的特征点的对应关系，确定第一变换矩阵。
举例来说，标定图像包括第一数量个标定点(第一数量例如可以是15)，标定点可以是用户预先在标定图像上选取的点，每个标定点都对应一个第一图像的特征点(即在用户选取完标定点后，会建立标定点与第一图像的特征点的对应关系)，各标定点可以均匀分散在标定图像上，以确保获取的第一变换矩阵的准确性。在用户选取完标定点后，可以根据标定点与第一图像的特征点的对应关系，利用第一公式，确定第一变换矩阵。
第一公式包括：
X＝[x,y,1]T，X1＝[x1,y1,1]T，其中，H1为第一变换矩阵，hij为第一变换矩阵的元素，i＝{0,1,2}，j＝{0,1,2}，X为任一标定点(x，y为该标定点的坐标)，X1为X对应的第一图像的特征点(x1，y1为该第一图像的特征点的坐标)。确定第一变换矩阵的过程即为确定hij的过程，确定hij的数值(即确定h00、h01、h02、h10、h11、h12、h20和h21的数值)至少需要4对对应的点才能计算出第一变换矩阵，也就是说，标定图像包括的标定点的个数要大于或等于4，即第一数量大于或等于4。
图4是图1所示实施例示出的一种步骤102的流程图。如图4所示，步骤102包括以下步骤：
步骤1021，根据第一图像的特征点和第一变换矩阵，确定初始二维图像的特征点。
步骤1022，通过预设的匹配算法，从初始二维图像的特征点和第二图像的特征点中，确定第二数量个匹配特征点对。
步骤1023，通过预设的提纯算法，从第二数量个匹配特征点对中，确定第三数量个目标特征点对，第三数量小于或等于第二数量。
步骤1024，根据第三数量个目标特征点对，确定第二变换矩阵。
示例的，在确定第一变换矩阵后，首先可以根据第一图像的特征点的坐标和第一变换矩阵，利用第二公式，确定初始二维图像的特征点的坐标。
第二公式包括：
X1＝[x1,y1,1]T，X2＝[x2,y2,1]T，其中，H1为第一变换矩阵，X1为任一第一图像的特征点(x1，y1为该第一图像的特征点的坐标)，X2为X1对应的初始二维图像的特征点(x2，y2为该初始二维图像的特征点的坐标)。
再通过预设的匹配算法，对初始二维图像的特征点和第二图像的特征点进行相似程度度量，来实现特征点配准，以从初始二维图像的特征点和第二图像的特征点中，确定第二数量个匹配特征点对。匹配算法例如可以是NCC(英文：Normalized Cross Correlation)算法。之后通过预设的提纯算法，从第二数量个匹配特征点对中，确定第三数量个目标特征点对。其中，提纯算法例如可以是RANSAC(英文：Random Sample Consensus)算法，第三数量大于或等于4(第三数量例如可以为16)。最后根据第三数量个目标特征点对，利用第三公式，确定第二变换矩阵。
第三公式包括：
X2＝[x2,y2,1]T，X3＝[x3,y3,1]T，其中，H2为第二变换矩阵，hij为第二变换矩阵的元素，i＝{0,1,2}，j＝{0,1,2}，X2为任一初始二维图像的特征点(x2，y2为该初始二维图像的特征点的坐标)，X3为X2对应的第二图像的特征点(x3，y3为该第二图像的特征点的坐标)。
图5是图1所示实施例示出的一种步骤103的流程图。如图5所示，步骤103包括以下步骤：
步骤1031，将第一图像转换为第一棋盘格图像，第一棋盘格图像包括多个棋盘格。
步骤1032，根据第一变换矩阵对第一棋盘格图像进行变形。
步骤1033，根据变形后的第一棋盘格图像中每个棋盘格的角点坐标，获取第一三维网格。
举例来说，获取第一三维网格的方式可以是：首先将第一图像转换为第一棋盘格图像，其中，第一棋盘格图像包括多个棋盘格。之后根据第一变换矩阵，利用第四公式对第一棋盘格图像进行变形。再利用角点检测算法(例如Harris角点检测算法)，获取变形后的第一棋盘格中每个棋盘格图像的角点坐标(棋盘格图像中的每个棋盘格都包括4个角点，即每个棋盘格的4个顶点)。最后利用ue4(英文：Unreal Engine 4，中文：虚幻引擎4)，根据变形后的第一棋盘格图像中每个棋盘格的角点坐标，使用RMC(英文：Run time MeshComponent)，生成第一三维网格。
第四公式包括：
X4＝[x4,y4,1]T，X5＝[x5,y5,1]T，其中，H1为第一变换矩阵，X4为任一第一棋盘格图像的角点(x4，y4为该第一棋盘格图像的角点的坐标)，X5为X4对应的变形后的第一棋盘格图像的角点(x5，y5为该变形后的第一棋盘格图像的角点的坐标)。
图6是图1所示实施例示出的一种步骤104的流程图。如图6所示，步骤104包括以下步骤：
步骤1041，将第二图像转换为第二棋盘格图像，第二棋盘格图像包括多个棋盘格。
步骤1042，根据第二变换矩阵对第二棋盘格图像进行变形。
步骤1043，根据变形后的第二棋盘格图像中每个棋盘格的角点坐标，将第二棋盘格图像映射到第一三维网格，以获取第二三维网格。
具体的，获取第二三维网格的方式可以是：首先将第二图像转换为第二棋盘格图像，其中，第二棋盘格图像包括多个棋盘格。之后根据第二变换矩阵，利用第五公式对第二棋盘格图像进行变形。再利用角点检测算法，获取变形后的第二棋盘格中每个棋盘格图像的角点坐标。最后利用ue4，根据变形后的第二棋盘格图像中每个棋盘格的角点坐标，使用RMC，将第二图像映射到第一三维网格上，以生成第二三维网格。
第五公式包括：
X6＝[x6,y6,1]T，X7＝[x7,y7,1]T，其中，H2为第二变换矩阵，X6为任一第二棋盘格图像的角点(x6，y6为该第二棋盘格图像的角点的坐标)，X7为X6对应的变形后的第二棋盘格图像的角点(x7，y7为该变形后的第二棋盘格图像的角点的坐标)。
综上所述，本公开中首先根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，并根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，其中，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域，之后根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，并根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，最后根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
图7是根据一示例性实施例示出的一种图像的处理装置的框图。如图7所示，装置200包括：
确定模块201，用于根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中。
确定模块201，还用于根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域。
处理模块202，用于根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格。
处理模块202，还用于根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格。
渲染模块203，用于根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。
图8是根据一示例性实施例示出的另一种图像的处理装置的框图。如图8所示，装置200还包括识别模块204，识别模块204用于在根据第一图像的特征点和预设的标定图像，确定第一变换矩阵之前，利用预设的特征点识别算法，对第一图像和第二图像进行处理，以获取第一图像的特征点和第二图像的特征点。
可选地，标定图像包括第一数量个标定点，第一数量大于或等于4，确定模块201用于：
根据标定点与第一图像的特征点的对应关系，确定第一变换矩阵。
可选地，确定模块201用于：
根据第一图像的特征点和第一变换矩阵，确定初始二维图像的特征点。
通过预设的匹配算法，从初始二维图像的特征点和第二图像的特征点中，确定第二数量个匹配特征点对。
通过预设的提纯算法，从第二数量个匹配特征点对中，确定第三数量个目标特征点对，第三数量小于或等于第二数量。
根据第三数量个目标特征点对，确定第二变换矩阵。
可选地，处理模块202用于：
将第一图像转换为第一棋盘格图像，第一棋盘格图像包括多个棋盘格。
根据第一变换矩阵对第一棋盘格图像进行变形。
根据变形后的第一棋盘格图像中每个棋盘格的角点坐标，获取第一三维网格。
可选地，处理模块202用于：
将第二图像转换为第二棋盘格图像，第二棋盘格图像包括多个棋盘格。
根据第二变换矩阵对第二棋盘格图像进行变形。
根据变形后的第二棋盘格图像中每个棋盘格的角点坐标，将第二棋盘格图像映射到第一三维网格，以获取第二三维网格。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开中首先根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，并根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，其中，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域，之后根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，并根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，最后根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
图9是根据一示例性实施例示出的一种电子设备700的框图。如图9所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像的处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像的处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像的处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像的处理方法。
综上所述，本公开中首先根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，并根据第一图像的特征点和第二图像的特征点，确定第二变换矩阵，其中，第一变换矩阵用于将第一图像投影到标定图像所在的标定平面中，第二变换矩阵用于将第二图像投影到初始二维图像中，初始二维图像为第一图像投影在标定平面上的图像，第一图像和第二图像存在重叠区域，之后根据第一图像和第一变换矩阵，获取第一图像对应的第一三维网格，并根据第二图像和第二变换矩阵，将第二图像映射到第一三维网格，以得到第二三维网格，最后根据第一图像和第二图像，对第二三维网格进行渲染，以获取拼接图像。本公开通过根据第一图像的特征点和第二图像的特征点，获取第一图像和第二图像对应的三维网格，并利用三维网格对第一图像和第二图像进行拼接，提高了拼接图像包含的信息量和图像拼接的拼接效果。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (6)
1.一种图像的处理方法，其特征在于，所述方法包括：
根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，所述第一变换矩阵用于将所述第一图像投影到所述标定图像所在的标定平面中；
根据所述第一图像的特征点和所述第一变换矩阵，确定初始二维图像的特征点，通过预设的匹配算法，从所述初始二维图像的特征点和第二图像的特征点中，确定第二数量个匹配特征点对，通过预设的提纯算法，从第二数量个所述匹配特征点对中，确定第三数量个目标特征点对，所述第三数量小于或等于所述第二数量，根据第三数量个所述目标特征点对，确定第二变换矩阵，所述第二变换矩阵用于将所述第二图像投影到初始二维图像中，所述初始二维图像为所述第一图像投影在所述标定平面上的图像，所述第一图像和所述第二图像存在重叠区域；
将所述第一图像转换为第一棋盘格图像，所述第一棋盘格图像包括多个棋盘格，根据所述第一变换矩阵对所述第一棋盘格图像进行变形，根据变形后的所述第一棋盘格图像中每个棋盘格的角点坐标，获取第一三维网格；
将所述第二图像转换为第二棋盘格图像，所述第二棋盘格图像包括多个棋盘格，根据所述第二变换矩阵对所述第二棋盘格图像进行变形，根据变形后的所述第二棋盘格图像中每个棋盘格的角点坐标，将所述第二棋盘格图像映射到所述第一三维网格，以获取第二三维网格；
根据所述第一图像和所述第二图像，对所述第二三维网格进行渲染，以获取拼接图像。
2.根据权利要求1所述的方法，其特征在于，在所述根据第一图像的特征点和预设的标定图像，确定第一变换矩阵之前，所述方法还包括：
利用预设的特征点识别算法，对所述第一图像和所述第二图像进行处理，以获取所述第一图像的特征点和所述第二图像的特征点。
3.根据权利要求1所述的方法，其特征在于，所述标定图像包括第一数量个标定点，所述第一数量大于或等于4，所述根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，包括：
根据所述标定点与所述第一图像的特征点的对应关系，确定所述第一变换矩阵。
4.一种图像的处理装置，其特征在于，所述装置包括：
确定模块，用于根据第一图像的特征点和预设的标定图像，确定第一变换矩阵，所述第一变换矩阵用于将所述第一图像投影到所述标定图像所在的标定平面中；
所述确定模块，还用于根据所述第一图像的特征点和所述第一变换矩阵，确定初始二维图像的特征点，通过预设的匹配算法，从所述初始二维图像的特征点和第二图像的特征点中，确定第二数量个匹配特征点对，通过预设的提纯算法，从第二数量个所述匹配特征点对中，确定第三数量个目标特征点对，所述第三数量小于或等于所述第二数量，根据第三数量个所述目标特征点对，确定第二变换矩阵，所述第二变换矩阵用于将所述第二图像投影到初始二维图像中，所述初始二维图像为所述第一图像投影在所述标定平面上的图像，所述第一图像和所述第二图像存在重叠区域；
处理模块，用于将所述第一图像转换为第一棋盘格图像，所述第一棋盘格图像包括多个棋盘格，根据所述第一变换矩阵对所述第一棋盘格图像进行变形，根据变形后的所述第一棋盘格图像中每个棋盘格的角点坐标，获取第一三维网格；
所述处理模块，还用于将所述第二图像转换为第二棋盘格图像，所述第二棋盘格图像包括多个棋盘格，根据所述第二变换矩阵对所述第二棋盘格图像进行变形，根据变形后的所述第二棋盘格图像中每个棋盘格的角点坐标，将所述第二棋盘格图像映射到所述第一三维网格，以获取第二三维网格；
渲染模块，用于根据所述第一图像和所述第二图像，对所述第二三维网格进行渲染，以获取拼接图像。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3中任一项所述方法的步骤。
6.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067452.7A CN111311491B (zh) | 2020-01-20 | 2020-01-20 | 图像的处理方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067452.7A CN111311491B (zh) | 2020-01-20 | 2020-01-20 | 图像的处理方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311491A CN111311491A (zh) | 2020-06-19 |
| CN111311491B true CN111311491B (zh) | 2020-12-04 |
Family
ID=71158420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010067452.7A Active CN111311491B (zh) | 2020-01-20 | 2020-01-20 | 图像的处理方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311491B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101998136B (zh) * | 2009-08-18 | 2013-01-16 | 华为技术有限公司 | 单应矩阵的获取方法、摄像设备的标定方法及装置 |
| CN104463817A (zh) * | 2013-09-12 | 2015-03-25 | 华为终端有限公司 | 一种图像处理方法及装置 |
| TWI552600B (zh) * | 2014-12-25 | 2016-10-01 | 晶睿通訊股份有限公司 | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 |
| CN104835118A (zh) * | 2015-06-04 | 2015-08-12 | 浙江得图网络有限公司 | 通过两路鱼眼摄像头采集全景图像的方法 |
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
| CN105554449B (zh) * | 2015-12-11 | 2018-04-27 | 浙江宇视科技有限公司 | 一种用于快速拼接摄像机图像的方法及装置 |
| CN206931119U (zh) * | 2016-10-21 | 2018-01-26 | 微景天下（北京）科技有限公司 | 图像拼接系统 |
| KR102025735B1 (ko) * | 2017-11-23 | 2019-09-26 | 전자부품연구원 | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 |
| CN110677599B (zh) * | 2019-09-30 | 2021-11-05 | 西安工程大学 | 一种重建360度全景视频图像的系统和方法 |
-
2020
- 2020-01-20 CN CN202010067452.7A patent/CN111311491B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311491A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6824433B2 (ja) | カメラ姿勢情報の決定方法、決定装置、モバイル端末及びコンピュータプログラム | |
| WO2021227360A1 (zh) | 一种交互式视频投影方法、装置、设备及存储介质 | |
| CN114245905A (zh) | 深度感知照片编辑 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| CN110361005B (zh) | 定位方法、定位装置、可读存储介质及电子设备 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
| WO2022160857A1 (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN105701762B (zh) | 一种图片处理方法和电子设备 | |
| JP2019045991A (ja) | 生成装置、生成方法、及びプログラム | |
| CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| US20220335684A1 (en) | Finite aperture omni-directional stereo light transport | |
| CN111508058A (zh) | 图像三维重建的方法、装置、存储介质及电子设备 | |
| CN112288878B (zh) | 增强现实预览方法及预览装置、电子设备及存储介质 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN111311491B (zh) | 图像的处理方法、装置、存储介质和电子设备 | |
| CN112652056B (zh) | 一种3d信息展示方法及装置 | |
| CN112634439B (zh) | 一种3d信息展示方法及装置 | |
| US10990802B2 (en) | Imaging apparatus providing out focusing and method for controlling the same | |
| CN110827411B (zh) | 自适应环境的增强现实模型显示方法、装置、设备及存储介质 | |
| US11202000B2 (en) | Learning apparatus, image generation apparatus, learning method, image generation method, and program | |
| Kim et al. | Vision-based all-in-one solution for augmented reality and its storytelling applications | |
| WO2021190655A1 (en) | Method for merging multiple images and post-processing of panorama | |
| CN113934297B (zh) | 一种基于增强现实的交互方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086 Patentee after: Beijing Wuyi Vision digital twin Technology Co.,Ltd. Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086 Patentee before: DANGJIA MOBILE GREEN INTERNET TECHNOLOGY GROUP Co.,Ltd. |