CN107451540A - 一种可压缩的3d识别方法 - Google Patents

一种可压缩的3d识别方法 Download PDF

Info

Publication number
CN107451540A
CN107451540A CN201710574974.4A CN201710574974A CN107451540A CN 107451540 A CN107451540 A CN 107451540A CN 201710574974 A CN201710574974 A CN 201710574974A CN 107451540 A CN107451540 A CN 107451540A
Authority
CN
China
Prior art keywords
frame
recognized
images
key frame
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710574974.4A
Other languages
English (en)
Other versions
CN107451540B (zh
Inventor
赵金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Weiqing Shikong Information Technology Co Ltd
Original Assignee
Nanjing Weiqing Shikong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Weiqing Shikong Information Technology Co Ltd filed Critical Nanjing Weiqing Shikong Information Technology Co Ltd
Priority to CN201710574974.4A priority Critical patent/CN107451540B/zh
Publication of CN107451540A publication Critical patent/CN107451540A/zh
Application granted granted Critical
Publication of CN107451540B publication Critical patent/CN107451540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种可压缩的3D识别方法，步骤包括：提取扫描的每一帧二维图像中3D物体的二维特征点；重构出各个特征点的深度信息得到各帧二维图像的3D特征点；根据匹配结果选出关键帧；将各个关键帧以及各个关键帧对应的3D特征点进行云存储；实时提取待识别图像的二维特征点，判断识别图像是否为3D物体的一部分；将云存储的3D特征点映射到待识别图像上，判断待识别图像相对于3D物体的姿态，从而得到识别结果。本发明提出的可压缩的3D识别方法，尽可能的压缩3D物体的特征信息，而不会降低其识别能力。

Description

一种可压缩的3D识别方法
技术领域
本发明涉及一种图像识别方法，尤其是一种可压缩的3D识别方法。
背景技术
随着AR技术的普及，3D方面的应用与技术逐渐融入到了人们的生活，比如：3D物体识别技术、3D交互技术、3D场景识别等。然而该类技术的应用，往往需要存储大量的3D物体的信息，传统的3D模型的文件一般会保存3D顶点、法向量、三角面片或是多边形面片等信息，对于基于特征点的3D物体识别而言其中的大部分信息都是多于的，同时也需要较大的计算量，很难做到实时，从而限制了很多实用场景。
发明内容
本发明要解决的技术问题是现有的3D物体识别技术需要存储大量的3D物体的信息，同时也需要较大的计算量，很难做到实时，从而限制了很多实用场景。
为了解决上述技术问题，本发明提供了一种可压缩的3D识别方法，包括如下步骤：
步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：
步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，且每个网格内只保存一个特征点；
步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，再利用三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；
步骤1.3，将首次两两匹配上的帧设为关键帧，再将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，则表明两帧图不能互相表示，将该帧图像同样存为关键帧；
步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；
步骤2，实时3D识别，具体为：
步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，则表明待识别图像为3D物体的一部分；
步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。
作为本发明的进一步限定方案，步骤1.1中，每个网格的大小为4*4，即M＝W/4，N＝H/4，W和H分别为二维图像的长和宽。
作为本发明的进一步限定方案，步骤1.2中，对极几何模型公式为：
Pl＝R(Pr-T)
(RTPr)T·T×Pl＝0
其中，Pl为前一帧二维图像中的特征点，Pr为后一帧二维图像中的特征点，RT为旋转矩阵R的转置。
本发明的有益效果在于：采用特征点的方法识别3D物体，而不需要重构物体的3D结构，因此只要存储可用于识别的3D特征点(点云)以及关键帧即可，这样极大减省了存储的数据量。此外3D点云中没必要存稠密的点云，因为某个小区域内只要有稳定的特征点就能匹配，这样再次减少了数据，也就减少了运算。
附图说明
图1为本发明的方法流程图。
具体实施方式
如图1所示，本发明提供的可压缩的3D识别方法包括如下步骤：
步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：
步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，每个网格内只保存一个特征点，从而有效降低保存特征点的数量，实现数据量的有效压缩；
步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，R为3*3矩阵，T为3*1矩阵，再利用计算机视觉中的三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；
步骤1.3，将首次两两匹配上的帧设为关键帧，将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，其中T＝100，则表明两帧图不能互相表示，将该帧图像同样存为关键帧，通过关键帧的匹配避免保存重复度高的帧，能够极大地减少存储帧图像的数量，实现存储数据量的压缩，步骤中的匹配采用现有技术中的特征点匹配技术，如比较两个点的像素值进行匹配或在特征点周围取个像素块，将像素块的信息提取出来，然后进行比较，若在设定范围内就表示已经匹配上了；
步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；
步骤2，实时3D识别，具体为：
步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，其中T＝100，则表明待识别图像为3D物体的一部分；
步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。
其中，步骤1.1中，每个网格的大小为4*4像素，即M＝W/4，N＝H/4，W和H分别为二维图像的长和宽；步骤1.2中，对极几何模型公式为：
Pl＝R(Pr-T)
(RTPr)T·T×Pl＝0
其中，Pl为前一帧二维图像中的特征点，Pr为后一帧二维图像中的特征点，RT为旋转矩阵R的转置。
本发明采用特征点的方法识别3D物体，而不需要重构物体的3D结构，故只要存储可用于识别的3D特征点(点云)以及关键帧即可，这样极大减省了存储的数据量。此外3D点云中，没必要存稠密的点云，因为某个小区域内只要有稳定的特征点就能匹配，这样再次减少了数据，也就减少了运算。本发明利用线下完成3D点云的生成以及关键帧的选取，利用线上实时识别3D物体。

Claims (3)

1.一种可压缩的3D识别方法，其特征在于，包括如下步骤：
步骤1，利用相机对3D物体进行扫描，从而获得3D数据，具体为：
步骤1.1，提取扫描的每一帧二维图像中3D物体的二维特征点，并将二维图像分为M*N个网格，且每个网格内只保存一个特征点；
步骤1.2，匹配连续两帧二维图像的特征点，并根据相机的对极几何模型求出该两帧二维图像表示位置关系的旋转矩阵R和平移矩阵T，再利用三角化算法重构出各个特征点的深度信息，从而得到各帧二维图像的3D特征点；
步骤1.3，将首次两两匹配上的帧设为关键帧，再将其余帧与关键帧进行匹配，若匹配上，则表明两帧图像有共视的部分，并进一步获得两帧图像中共视的特征点数量，若特征点数量小于T，则表明两帧图不能互相表示，将该帧图像同样存为关键帧；
步骤1.4，将各个关键帧以及各个关键帧对应的3D特征点进行云存储，供线上识别使用；
步骤2，实时3D识别，具体为：
步骤2.1，实时提取待识别图像的二维特征点，将待识别图像划分的M*N个网格中，且在每个网格内只保存一个二维特征点，再将待识别图像与云存储的关键帧进行对应网格匹配，选出共视特征点最多的关键帧，若共视特征点数量大于T，则表明待识别图像为3D物体的一部分；
步骤2.2，根据步骤2.1匹配选出的关键帧与待识别图像的对应位置关系计算出旋转矩阵R和平移矩阵T，从而将云存储的3D特征点映射到待识别图像上，得到待识别图像与3D物体的对应关系，以此判断待识别图像相对于3D物体的姿态，从而得到识别结果。
2.根据权利要求1所述的可压缩的3D识别方法，其特征在于，步骤1.1中，每个网格的大小为4*4，即M＝W/4，N＝H/4，W和H分别为二维图像的长和宽。
3.根据权利要求1所述的可压缩的3D识别方法，其特征在于，步骤1.2中，对极几何模型公式为：
Pl＝R(Pr-T)
(RTPr)T·T×Pl＝0
其中，Pl为前一帧二维图像中的特征点，Pr为后一帧二维图像中的特征点，RT为旋转矩阵R的转置。
CN201710574974.4A 2017-07-14 2017-07-14 一种可压缩的3d识别方法 Active CN107451540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710574974.4A CN107451540B (zh) 2017-07-14 2017-07-14 一种可压缩的3d识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710574974.4A CN107451540B (zh) 2017-07-14 2017-07-14 一种可压缩的3d识别方法

Publications (2)

Publication Number Publication Date
CN107451540A true CN107451540A (zh) 2017-12-08
CN107451540B CN107451540B (zh) 2023-09-01

Family

ID=60488537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710574974.4A Active CN107451540B (zh) 2017-07-14 2017-07-14 一种可压缩的3d识别方法

Country Status (1)

Country Link
CN (1) CN107451540B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106373141A (zh) * 2016-09-14 2017-02-01 上海航天控制技术研究所 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106373141A (zh) * 2016-09-14 2017-02-01 上海航天控制技术研究所 空间慢旋碎片相对运动角度和角速度的跟踪系统和跟踪方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046845A (zh) * 2019-12-25 2020-04-21 上海骏聿数码科技有限公司 活体检测方法、装置及系统

Also Published As

Publication number Publication date
CN107451540B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
KR102431117B1 (ko) 포인트 클라우드 맵핑
US11276231B2 (en) Semantic deep face models
US9736455B2 (en) Method and apparatus for downscaling depth data for view plus depth data compression
US8830236B2 (en) Method for estimating a pose of an articulated object model
Dellepiane et al. Flow-based local optimization for image-to-geometry projection
US11880935B2 (en) Multi-view neural human rendering
Ling et al. Virtual contour guided video object inpainting using posture mapping and retrieval
CN111988593B (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
CN107809630B (zh) 基于改进虚拟视点合成的多视点视频超分辨率重建算法
CN110070574A (zh) 一种基于改进PSMNet的双目视觉立体匹配算法
AU2016302049A1 (en) 2D-to-3D video frame conversion
WO2021053270A1 (en) Video-based point cloud compression model to world signalling information
CN113674148A (zh) 一种基于坐标注意力机制的ip-fsrgan-ca人脸图像超分辨率重建算法
US20230080639A1 (en) Techniques for re-aging faces in images and video frames
Waizenegger et al. Real-time patch sweeping for high-quality depth estimation in 3D video conferencing applications
CN107451540A (zh) 一种可压缩的3d识别方法
EP4162691A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN113077504B (zh) 基于多粒度特征匹配大场景深度图生成方法
Sun et al. Seamless view synthesis through texture optimization
CN113920270A (zh) 一种基于多视角全景的布局重建方法及其系统
TW201025186A (en) Image processing method for providing depth information
KR102648938B1 (ko) 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치
US20240144549A1 (en) Neural synthesis of tileable textures
CN111010558B (zh) 一种基于短视频图像的立木深度图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant