CN113223184A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113223184A
CN113223184A CN202110578530.4A CN202110578530A CN113223184A CN 113223184 A CN113223184 A CN 113223184A CN 202110578530 A CN202110578530 A CN 202110578530A CN 113223184 A CN113223184 A CN 113223184A
Authority
CN
China
Prior art keywords
image
scanned
scanned image
target
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110578530.4A
Other languages
English (en)
Other versions
CN113223184B (zh
Inventor
汤近祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110578530.4A priority Critical patent/CN113223184B/zh
Publication of CN113223184A publication Critical patent/CN113223184A/zh
Application granted granted Critical
Publication of CN113223184B publication Critical patent/CN113223184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像识别技术领域，该方法包括：获取通过摄像头扫描到的每帧扫描图像；针对扫描到的每帧扫描对象，将扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与扫描图像匹配的第一目标图像；通过摄像头的相机内参、第一目标图像的预设坐标信息以及扫描图像与第一目标图像之间的匹配信息，确定扫描图像的位姿信息；基于位姿信息对第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至扫描图像。可以使用户看到丰富和直观的展示信息。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前为了对影视作品或者商品进行推广宣传，可以张贴海报或者在网站中展示电子海报，使得用户通过海报了解相关的影视作品或商品。然而海报展示出的信息有限且展示形式单一，无法让用户直观地了解相关的影视作品或商品。
发明内容
本发明实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用以解决通过海报无法让用户直观了解被推广的商品或者影视作品的问题。具体技术方案如下：
第一方面，本申请实施例提供一种图像处理方法，应用于电子设备；所述方法包括：
获取通过摄像头扫描到的每帧扫描图像；
针对扫描到的每帧扫描对象，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像；
通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息；
基于所述位姿信息对所述第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至所述扫描图像。
在一种可能的实现方式中，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像，包括：
对所述扫描图像进行特征提取，得到所述扫描图像包括的多个特征点以及每个特征点对应的描述子；
将所述扫描图像包括的特征点分别与所述图像目标集中的每个目标图像包括的特征点进行匹配；
确定所述扫描图像与每个目标图像之间匹配的特征点对的数量；
基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像，包括：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
基于所述第二目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
通过所述单应性矩阵，将所述第二目标图像中与所述扫描图像匹配的特征点转换至所述扫描图像所在坐标系，得到所述第二目标图像的转换特征点；
确定所述第二目标图像的转换特征点与所述扫描图像的特征点中，匹配的特征点对的数量，若匹配的特征点对数量大于第一预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息，包括：
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设N点透视PNP算法对所述内参矩阵、所述转换矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
在一种可能的实现方式中，所述基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像，包括：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
若所述第二目标图像与所述扫描图像之间匹配的特征点对数量大于第二预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息，包括：
基于所述第一目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设PNP算法对所述内参矩阵、所述单应性矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述装置包括：
获取模块，用于获取通过摄像头扫描到的每帧扫描图像；
第一确定模块，用于针对扫描到的每帧扫描对象，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像；
第二确定模块，用于通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息；
叠加模块，用于基于所述位姿信息对所述第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至所述扫描图像。
在一种可能的实现方式中，所述第一确定模块，具体用于：
对所述扫描图像进行特征提取，得到所述扫描图像包括的多个特征点以及每个特征点对应的描述子；
将所述扫描图像包括的特征点分别与所述图像目标集中的每个目标图像包括的特征点进行匹配；
确定所述扫描图像与每个目标图像之间匹配的特征点对的数量；
基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述第一确定模块，具体用于：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
基于所述第二目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
通过所述单应性矩阵，将所述第二目标图像中与所述扫描图像匹配的特征点转换至所述扫描图像所在坐标系，得到所述第二目标图像的转换特征点；
确定所述第二目标图像的转换特征点与所述第扫描图像的特征点中，匹配的特征点对的数量，若匹配的特征点对数量大于第一预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述第二确定模块，具体用于：
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设N点透视PNP算法对所述内参矩阵、所述转换矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
在一种可能的实现方式中，所述第一确定模块，具体用于：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
若所述第二目标图像与所述扫描图像之间匹配的特征点对数量大于第二预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
在一种可能的实现方式中，所述第二确定模块，具体用于：
基于所述第一目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设PNP算法对所述内参矩阵、所述单应性矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
第三方面，本发明实施例还提供一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像处理方法步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的图像处理方法。
第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的图像处理方法。
本发明实施例有益效果：采用本申请实施例提供的图像处理方法、装置、电子设备及存储介质，在获取到摄像头扫描到的每帧扫描图像后，可以针对每帧扫描图像，将该扫描图像与预设图像目标集中的各目标图像进行匹配，确定与该扫描图像匹配的第一目标图像。然后在通过相机内参、第一目标图像的预设坐标信息以及该扫描图像与第一目标图像之间的匹配信息确定扫描图像的位姿信息后，将第一目标图像对应的叠加对象进行变换处理，使得第一目标图像与扫描图像的位姿相同，进而将经过变换处理的叠加对象叠加至扫描图像。即用户扫描图像后，呈现给用户的效果是被扫描的图像上叠加有叠加对象，使得用户可以看到更加丰富和直观的展示信息。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种图像处理方法的流程图；
图2为本发明实施例提供的另一种图像处理方法的流程图；
图3为本发明实施例提供的一种图像处理装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种图像处理方法，应用于电子设备，如图1所示，该方法包括：
S101、获取通过摄像头扫描到的每帧扫描图像。
S102、针对扫描到的每帧扫描图像，将扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与扫描图像匹配的第一目标图像。
S103、通过摄像头的相机内参、第一目标图像的预设坐标信息以及扫描图像与第一目标图像之间的匹配信息，确定扫描图像的位姿信息。
S104、基于位姿信息对第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至扫描图像。
采用本申请实施例提供的图像处理方法，在获取到摄像头扫描到的每帧扫描图像后，可以针对每帧扫描图像，将该扫描图像与预设图像目标集中的各目标图像进行匹配，确定与该扫描图像匹配的第一目标图像。然后在通过相机内参、第一目标图像的预设坐标信息以及该扫描图像与第一目标图像之间的匹配信息确定扫描图像的位姿信息后，将第一目标图像对应的叠加对象进行变换处理，使得第一目标图像与扫描图像的位姿相同，进而将经过变换处理的叠加对象叠加至扫描图像。即用户扫描图像后，呈现给用户的效果是被扫描的图像上叠加有叠加对象，使得用户可以看到更加丰富和直观的展示信息。
针对上述S101，扫描图像可以是用户通过电子设备扫描的海报、logo、照片。例如，当用户通过电子设备扫描海报时，电子设备可以获取通过摄像头扫描到的每帧海报图像，上述扫描图像即为摄像头扫描到的海报图像。
针对上述S102，预设图像目标集中包括预先设置的需要被检测的目标图像，例如，预设图像目标集中包括多个电影的海报，或者包括多种商品的图像。或者，若本申请实施例为了实现儿童读物中的静态图像的动态展示，则该预设图像目标集中包括儿童读物中的图像。该预设图像目标集可基于实际应用需求设置，不限于上述举例中列举出的内容。
针对上述S103，上述位姿信息包括平移向量和旋转矩阵。进而在上述S104中，可以根据该平移向量和旋转矩阵对叠加对象进行变换处理，即可使得叠加对象与扫描图像的位姿相同。
在本申请实施例中，叠加对象可以是图像、视频或者增强现实(AugmentedReality，AR)效果。比如，若目标图像为电影海报，则叠加对象可以为电影的宣传短片或者与电影相关的AR效果，比如该AR效果可以为电影的主角在海报上行走的AR效果。
因用户通过摄像头对图像进行扫描的过程中，摄像头的位置会发生变化，相应的扫描到的扫描图像的位子信息也会发生变化，所以本申请实施例中针对扫描到的每帧扫描图像进行位姿计算，并分别基于每帧扫描图像的位姿信息对叠加对象进行变换处理，进而叠加至扫描图像，可以实现叠加对象对扫描图像较好的融合效果。
在本申请实施例中，为了对扫描图像中的目标图像进行识别，可以针对各目标图像预先生成一个模型文件。对于每个目标图像，可以通过特征点提取算法提取该目标图像的特征点和描述子。其中，每个特征点对应一个描述子，描述子包含该特征点周围的像素信息，用于描述该特征点。作为示例，在本申请实施例中可以为每个目标图像保留1000个特征点。
本申请实施例应用的特征点提取算法可以为尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、加速稳健特征(Speeded Up RobustFeatures，SURF)算法或定向快速旋转(Oriented Fast and Rotated Brief，ORB)算法，当然也可以采用其他特征点提取算法，本申请实施例对此不作限定。
通过上述特征提取算法提取出的特征点具有尺度不变性和旋转不变性的特点，也就是说，这些特征点不会随着扫描图像的尺度变换或者旋转变换而变化。
另外，还可以预设每个目标图像的坐标信息，即假设每个目标图像在3D坐标系中的尺寸，进而得到目标图像的各个角在3D坐标系中的坐标。
以海报为例，海报在真实世界中可以看作平面中的一个矩形，厚度可忽略不计，假设一张海报在真实世界中被打印出来的大小是6m×4m，则可以该海报的中心点为坐标系的原点，将该海报的四个角的坐标(3，2，0)、(3，-2，0)、(-3，-2，0)、(-3，2，0)作为该海报的预设坐标信息。
进而，可以在上述模型文件中对应存储每个目标图像的身份标识号(Identitydocument，ID)、目标图像的特征点和描述子以及目标图像的预设坐标信息。可选地，该模型文件可以采用二进制格式存储，以防止被外界破解，可以提高信息安全性。
在本申请的一个实施例中，如图2所示，上述S102、将扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与扫描图像匹配的第一目标图像，可以实现为：
S1021、对扫描图像进行特征提取，得到扫描图像包括的多个特征点以及每个特征点对应的描述子。
在本申请实施例中，对扫描图像进行特征提取时采用的特征提取算法，与对目标图像进行特征提取时采用的特征提取算法相同。
S1022、将扫描图像包括的特征点分别与所述图像目标集中的每个目标图像包括的特征点进行匹配。
将扫描图像包括的特征点与一个目标图像包括的特征点进行匹配的方法为：
将该扫描图像包括的一个特征点的描述子，分别与目标图像包括的每个特征点的描述子进行欧式距离的计算，若计算出的欧式距离小于预设的欧氏距离阈值，则确定两个特征点为匹配的特征点对。反之，若计算出的欧式距离大于等于预设的欧式距离阈值，则确定两个特征点之间不匹配。
S1023、确定扫描图像与每个目标图像之间匹配的特征点对的数量。
S1024、基于扫描图像与每个目标图像之间匹配的特征点对数量，确定预设图像目标集中与扫描图像匹配的第一目标图像。
在本申请实施例中，提供了两种确定第一目标图像的方法，以下分别进行说明。
方法一、上述S1024、基于扫描图像与每个目标图像之间匹配的特征点对数量，确定预设图像目标集中与扫描图像匹配的第一目标图像，包括：
步骤1、确定预设图像目标集中，与扫描图像之间匹配的特征点对数量最多的第二目标图像。
其中，通过特征点的匹配，可以确定扫描图像与每个目标图像之间匹配的特征点对的数量，进而可以将匹配的特征点对数量最多的目标图像作为该第二目标图像，然后通过后续步骤进一步判断该第二目标图像是否确实与扫描图像匹配。
步骤2、基于第二目标图像与扫描图像之间匹配的特征点对，解算单应性矩阵，单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系。
作为示例，本申请实施例中可以通过随机一致性采样(Random SampleConsensus，RANSAC)算法解算单应性矩阵(Homography matrix)，或者也可以采用相关技术中其他解算单应性矩阵的方法，可参考相关技术中的说明，此处不再赘述。
上述第二目标图像所在坐标系可以为3D坐标系，上述扫描图像所在坐标系可以为摄像头所在的坐标系，所以该单应性矩阵用于表示3D坐标系与摄像头坐标系之间的转换关系。
步骤3、通过单应性矩阵，将第二目标图像中与扫描图像匹配的特征点转换至扫描图像所在坐标系，得到第二目标图像的转换特征点。
步骤4、确定第二目标图像的转换特征点与扫描图像的特征点中，匹配的特征点对的数量，若匹配的特征点对数量大于第一预设数量阈值，则确定第二目标图像为与所述扫描图像匹配的第一目标图像。
为方便理解，将第二目标图像中与扫描图像匹配的特征点的坐标记为P0(t)，将扫描图像中与第二目标图像匹配的特征点记为P1(t)。即P0(t)和P1(t)为匹配的特征点对。将P0(t)转换到扫描图像所在坐标系后的转换特征点的坐标记为P0→1(t)。
进而，可以计算P0→1(t)与P1(t)之间的欧氏距离，若计算出的欧式距离小于预设的欧氏距离阈值，则确定P0→1(t)与P1(t)为匹配的特征点对。
作为示例，P0(t)和P1(t)的数量均为100个，即第二目标图像和扫描图像存在100个匹配的特征点对，其中，P0(1)和P1(1)匹配，P0(2)和P1(2)匹配，P0(3)和P1(3)匹配，依次类推。
然后，再将P0(1)、P0(2)……P0(100)转换到扫描图像所在的坐标系，得到转换特征点：P0→1(1)、P0→1(2)……P0→1(100)。
进而分别计算P0(1)与P0→1(1)之间的欧氏距离、P0(2)与P0→1(2)之间的欧氏距离、……、P0(100)与P0→1(100)之间的欧氏距离。进而将各欧氏距离与预设的欧氏距离阈值进行比较，若两个特征点的欧氏距离小于预设的欧式距离阈值，则这两个特征点互为匹配的特征点。进而可以得到P0(1)与P0→1(1)、P0(2)与P0→1(2)、……、P0(100)与P0→1(100)中匹配的特征点对数量。在本申请实施例中，可以将本步骤中确定出的匹配的特征点对中的P0→1(t)称为内点。
若匹配的特征点对数量(或者内点的数量)大于第一预设数量阈值，则可确定第二目标图像与扫描图像匹配。作为示例，该第一预设数量阈值可以为15。
在方法一的基础上，上述S103、通过摄像头的相机内参、第一目标图像的预设坐标信息以及扫描图像与第一目标图像之间的匹配信息，确定扫描图像的位姿信息，可以实现为：
获取摄像头扫描该扫描图像时的相机内参，基于获取到的相机内参确定摄像头的内参矩阵；基于预设N点透视(pespective-n-point，PNP)算法对内参矩阵、转换矩阵以及第一目标图像的预设坐标信息进行计算，得到扫描图像的位姿信息。
其中，相机的内参包括相机分辨率、视场角(field of view，FOV)，畸变参数等。
预设PNP算法可以为P3P相机姿态估计算法，高效的n点透视(EfficientPerspective-n-Point，EPnP)相机姿态估计算法，迭代法，直接最小二乘法(The DirectLeast-Squares Method，DLS)等，通过预设PNP解算算法可以解算得到摄像机坐标系和三维场景坐标系(3D坐标系)之间的位姿关系，该位姿关系包括平移向量t和旋转矩阵R。
采用方法一，在确定扫描图像与第二目标图像中匹配的特征点对之后，该通过该单应性矩阵对第二目标图像中匹配的特征点进行转换，再进一步的将转换特征点与扫描图像中的特征点进行匹配，进而根据匹配的特征点对数量确定扫描图像是否确实与第二目标图像匹配。通过两次特征点的匹配可以使得对扫描图像进行目标识别的识别结果更加准确，避免了识别错误的情况，从而可以准确地为扫描图像叠加AR效果。
方法二、上述S1024、基于扫描图像与每个目标图像之间匹配的特征点对数量，确定预设图像目标集中与扫描图像匹配的第一目标图像，包括：
确定预设图像目标集中，与扫描图像之间匹配的特征点对数量最多的第二目标图像；若第二目标图像与扫描图像之间匹配的特征点对数量大于第二预设数量阈值，则确定第二目标图像为与扫描图像匹配的第一目标图像。
其中，第二目标图像与扫描图像之间匹配的特征点对的数量越多，则说明第二目标图像与扫描图像的匹配程度越高。若第二目标图像与扫描图像之间匹配的特征点对数量小于等于第二预设数量阈值，则确定第二目标图像与扫描图像不匹配，即扫描图像中不存在目标图像，进而可以停止对这一帧扫描图像的处理。
其中，第二预设数量阈值为预先设置的经验值，通过合理的设置该第二预设数量阈值，可以提高对扫描图像识别的准确性。
在方法二的基础上，上述S103、通过摄像头的相机内参、第一目标图像的预设坐标信息以及扫描图像与第一目标图像之间的匹配信息，确定扫描图像的位姿信息，可以实现为：
基于第一目标图像与扫描图像之间匹配的特征点对，解算单应性矩阵，单应性矩阵用于表示第二目标图像所在坐标系与扫描图像所在坐标系之间的转换关系；获取摄像头扫描该扫描图像时的相机内参，基于获取到的相机内参确定摄像头的内参矩阵；基于预设PNP算法对内参矩阵、单应性矩阵以及第一目标图像的预设坐标信息进行计算，得到扫描图像的位姿信息。
其中，解算单应性矩阵的方法以及基于预设PNP算法计算得到扫描图像的位姿信息的方法可参考上文中的相关描述，此处不再赘述。
采用方法二，先通过第二目标图像与扫描图像之间匹配的特征点对数量与第二预设阈值之间的大小关系，确定扫描图像是否与第二目标图像匹配。在匹配的情况下，可以进行后续的位姿计算；在不匹配的情况下，就可以不进行后续的位姿计算，可以节省计算量。
基于相同的发明构思，本申请实施例还提供一种图像处理装置，应用于电子设备，如图3所示，该装置包括：
获取模块301，用于获取通过摄像头扫描到的每帧扫描图像；
第一确定模块302，用于针对扫描到的每帧扫描对象，将扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与扫描图像匹配的第一目标图像；
第二确定模块303，用于通过摄像头的相机内参、第一目标图像的预设坐标信息以及扫描图像与第一目标图像之间的匹配信息，确定扫描图像的位姿信息；
叠加模块304，用于基于位姿信息对第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至扫描图像。
可选的，第一确定模块302，具体用于：
对扫描图像进行特征提取，得到扫描图像包括的多个特征点以及每个特征点对应的描述子；
将扫描图像包括的特征点分别与图像目标集中的每个目标图像包括的特征点进行匹配；
确定扫描图像与每个目标图像之间匹配的特征点对的数量；
基于扫描图像与每个目标图像之间匹配的特征点对数量，确定预设图像目标集中与扫描图像匹配的第一目标图像。
可选的，第一确定模块302，具体用于：
确定预设图像目标集中，与扫描图像之间匹配的特征点对数量最多的第二目标图像；
基于第二目标图像与扫描图像之间匹配的特征点对，解算单应性矩阵，单应性矩阵用于表示第二目标图像所在坐标系与扫描图像所在坐标系之间的转换关系；
通过单应性矩阵，将第二目标图像中与扫描图像匹配的特征点转换至扫描图像所在坐标系，得到第二目标图像的转换特征点；
确定第二目标图像的转换特征点与第扫描图像的特征点中，匹配的特征点对的数量，若匹配的特征点对数量大于第一预设数量阈值，则确定第二目标图像为与扫描图像匹配的第一目标图像。
可选的，第二确定模块303，具体用于：
获取摄像头扫描该扫描图像时的相机内参，基于获取到的相机内参确定摄像头的内参矩阵；
基于预设PNP算法对内参矩阵、转换矩阵以及第一目标图像的预设坐标信息进行计算，得到扫描图像的位姿信息。
可选的，第一确定模块302，具体用于：
确定预设图像目标集中，与扫描图像之间匹配的特征点对数量最多的第二目标图像；
若第二目标图像与扫描图像之间匹配的特征点对数量大于第二预设数量阈值，则确定第二目标图像为与扫描图像匹配的第一目标图像。
可选的，第二确定模块303，具体用于：
基于第一目标图像与扫描图像之间匹配的特征点对，解算单应性矩阵，单应性矩阵用于表示第二目标图像所在坐标系与扫描图像所在坐标系之间的转换关系；
获取摄像头扫描该扫描图像时的相机内参，基于获取到的相机内参确定摄像头的内参矩阵；
基于预设PNP算法对内参矩阵、单应性矩阵以及第一目标图像的预设坐标信息进行计算，得到扫描图像的位姿信息。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现上述方法实施例中的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取通过摄像头扫描到的每帧扫描图像；
针对扫描到的每帧扫描对象，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像；
通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息；
基于所述位姿信息对所述第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至所述扫描图像。
2.根据权利要求1所述的方法，其特征在于，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像，包括：
对所述扫描图像进行特征提取，得到所述扫描图像包括的多个特征点以及每个特征点对应的描述子；
将所述扫描图像包括的特征点分别与所述图像目标集中的每个目标图像包括的特征点进行匹配；
确定所述扫描图像与每个目标图像之间匹配的特征点对的数量；
基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像，包括：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
基于所述第二目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
通过所述单应性矩阵，将所述第二目标图像中与所述扫描图像匹配的特征点转换至所述扫描图像所在坐标系，得到所述第二目标图像的转换特征点；
确定所述第二目标图像的转换特征点与所述扫描图像的特征点中，匹配的特征点对的数量，若匹配的特征点对数量大于第一预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
4.根据权利要求3所述的方法，其特征在于，所述通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息，包括：
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设N点透视PNP算法对所述内参矩阵、所述转换矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
5.根据权利要求2所述的方法，其特征在于，所述基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像，包括：
确定所述预设图像目标集中，与所述扫描图像之间匹配的特征点对数量最多的第二目标图像；
若所述第二目标图像与所述扫描图像之间匹配的特征点对数量大于第二预设数量阈值，则确定所述第二目标图像为与所述扫描图像匹配的所述第一目标图像。
6.根据权利要求5所述的方法，其特征在于，所述通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息，包括：
基于所述第一目标图像与所述扫描图像之间匹配的特征点对，解算单应性矩阵，所述单应性矩阵用于表示所述第二目标图像所在坐标系与所述扫描图像所在坐标系之间的转换关系；
获取所述摄像头扫描所述扫描图像时的相机内参，基于获取到的相机内参确定所述摄像头的内参矩阵；
基于预设PNP算法对所述内参矩阵、所述单应性矩阵以及所述第一目标图像的预设坐标信息进行计算，得到所述扫描图像的位姿信息。
7.一种图像处理装置，其特征在于，应用于电子设备，所述装置包括：
获取模块，用于获取通过摄像头扫描到的每帧扫描图像；
第一确定模块，用于针对扫描到的每帧扫描对象，将所述扫描图像与预设图像目标集中的各目标图像进行特征匹配，确定与所述扫描图像匹配的第一目标图像；
第二确定模块，用于通过所述摄像头的相机内参、所述第一目标图像的预设坐标信息以及所述扫描图像与所述第一目标图像之间的匹配信息，确定所述扫描图像的位姿信息；
叠加模块，用于基于所述位姿信息对所述第一目标图像对应的叠加对象进行变换处理，将经过变换处理的叠加对象叠加至所述扫描图像。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，具体用于：
对所述扫描图像进行特征提取，得到所述扫描图像包括的多个特征点以及每个特征点对应的描述子；
将所述扫描图像包括的特征点分别与所述图像目标集中的每个目标图像包括的特征点进行匹配；
确定所述扫描图像与每个目标图像之间匹配的特征点对的数量；
基于所述扫描图像与每个目标图像之间匹配的特征点对数量，确定所述预设图像目标集中与所述扫描图像匹配的所述第一目标图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202110578530.4A 2021-05-26 2021-05-26 一种图像处理方法、装置、电子设备及存储介质 Active CN113223184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110578530.4A CN113223184B (zh) 2021-05-26 2021-05-26 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110578530.4A CN113223184B (zh) 2021-05-26 2021-05-26 一种图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113223184A true CN113223184A (zh) 2021-08-06
CN113223184B CN113223184B (zh) 2023-09-05

Family

ID=77098605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578530.4A Active CN113223184B (zh) 2021-05-26 2021-05-26 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113223184B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680516A (zh) * 2015-01-08 2015-06-03 南京邮电大学 一种图像优质特征匹配集的获取方法
CN105957090A (zh) * 2016-05-17 2016-09-21 中国地质大学（武汉） 一种基于达芬奇技术的单目视觉位姿测量方法及系统
CN110246163A (zh) * 2019-05-17 2019-09-17 联想（上海）信息技术有限公司 图像处理方法及其装置、设备、计算机存储介质
WO2019205865A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
EP3644015A1 (en) * 2018-10-26 2020-04-29 Fujitsu Limited Position estimation system and position estimation method
WO2020259481A1 (zh) * 2019-06-27 2020-12-30 Oppo广东移动通信有限公司 定位方法及装置、电子设备、可读存储介质
CN112819892A (zh) * 2021-02-08 2021-05-18 北京航空航天大学 图像处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680516A (zh) * 2015-01-08 2015-06-03 南京邮电大学 一种图像优质特征匹配集的获取方法
CN105957090A (zh) * 2016-05-17 2016-09-21 中国地质大学（武汉） 一种基于达芬奇技术的单目视觉位姿测量方法及系统
WO2019205865A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
EP3644015A1 (en) * 2018-10-26 2020-04-29 Fujitsu Limited Position estimation system and position estimation method
CN110246163A (zh) * 2019-05-17 2019-09-17 联想（上海）信息技术有限公司 图像处理方法及其装置、设备、计算机存储介质
WO2020259481A1 (zh) * 2019-06-27 2020-12-30 Oppo广东移动通信有限公司 定位方法及装置、电子设备、可读存储介质
CN112819892A (zh) * 2021-02-08 2021-05-18 北京航空航天大学 图像处理方法和装置

Also Published As

Publication number Publication date
CN113223184B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US11475238B2 (en) Keypoint unwarping for machine vision applications
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
US9418319B2 (en) Object detection using cascaded convolutional neural networks
CN108711144B (zh) 增强现实方法及装置
CN111429354B (zh) 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN108961183B (zh) 图像处理方法、终端设备及计算机可读存储介质
WO2019019595A1 (zh) 图片匹配方法及电子设备方法、装置、电子设备及介质
US20210281744A1 (en) Action recognition method and device for target object, and electronic apparatus
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
CN111340109A (zh) 图像匹配方法、装置、设备及存储介质
US10198831B2 (en) Method, apparatus and system for rendering virtual content
CN110111241B (zh) 用于生成动态图像的方法和装置
CN112489114A (zh) 图像转换方法、装置、计算机可读存储介质及电子设备
WO2019148923A1 (zh) 一种以图搜图方法、装置、电子设备及存储介质
CN113223185B (zh) 一种图像处理方法、装置、电子设备及存储介质
JP6171660B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN112102404A (zh) 物体检测追踪方法、装置及头戴显示设备
CN105631850B (zh) 对齐多视图扫描
CN113223184B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108776959B (zh) 图像处理方法、装置及终端设备
Suk et al. Fixed homography–based real‐time sw/hw image stitching engine for motor vehicles
JP2017098878A (ja) 情報端末装置及びプログラム
US9953199B2 (en) Decoding a main image using an auxiliary image
CN114882482B (zh) 印章防伪识别方法及装置
CN111127310B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant