CN110956658A - 一种双目立体视觉系统中图像特征识别算法加速方法 - Google Patents
一种双目立体视觉系统中图像特征识别算法加速方法 Download PDFInfo
- Publication number
- CN110956658A CN110956658A CN201911026520.9A CN201911026520A CN110956658A CN 110956658 A CN110956658 A CN 110956658A CN 201911026520 A CN201911026520 A CN 201911026520A CN 110956658 A CN110956658 A CN 110956658A
- Authority
- CN
- China
- Prior art keywords
- stereo
- matching
- feature recognition
- recognition algorithm
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001133 acceleration Effects 0.000 title claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种双目立体视觉系统中图像特征识别算法的加速方法，包括步骤：S1，首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系；S2，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度；S3，在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速；本发明具有效率高、精度合适、系统结构简单、成本低等优点。
Description
技术领域
本发明涉及机器视觉技术领域，更为具体地，涉及一种双目立体视觉系统中图像特征识别算法的加速方法。
背景技术
StereoVision也就是我们常说的立体视觉，可以说是计算机视觉的一个重要模块。人类之所可以看到世界的各种各样的物品，正是得益于我们的视觉系统。那么，我们要想让机器跟人一样可以分辨物体，同样的需要给机器双眼。我们肯定都有这样的体验，当我们看到一个物体的时候，我们其实是可以估计出这个物体是离我们比较近还是比较远的，那我们需要给机器的不仅仅是能够识别物体的系统，而且这种系统同样的要能够判断出物体距离有多远，双目立体视觉系统的功能就能够很好的满足要求。
双目识别是一种基于双目立体视觉系统，对双目摄像头中的对象进行特征识别的方法。双目识别是利用双目视觉几何关系，对对象物体距离进行比较，可准确识别出图像中各对象及其距离关系。双目立体视觉(Binocular Stereo Vision)是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两个摄像头获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别称作视差(Disparity)图像。现有技术中，双目立体视觉系统中图像特征识别存在效率低、精度差、系统复杂和成本高等缺点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种双目立体视觉系统中图像特征识别算法的加速方法，具有效率高、精度合适、系统结构简单、成本低等优点。
本发明的目的是通过以下技术方案来实现的：
一种双目立体视觉系统中图像特征识别算法的加速方法，包括：
S1，首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系；
S2，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度；
S3，在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速；
S4，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得图像特征识别算法的速度进一步提升。
进一步的，包括摄像机标定模块，所述摄像机标定模块用于对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定。
进一步的，包括图像分割模块，所述图像分割模块用于对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速。
进一步的，包括立体匹配模块；所述立体匹配模块采用OpenCV中提供的多种立体匹配算法用于双目立体匹配。
进一步的，所述立体匹配算法包括BM、SGBM和HH中的任一种。
本发明的有益效果是：
(1)本发明首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度。在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对算法加速，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得算法的速度进一步提升。并且，本发明在智能交通、机器人视觉、航空测绘、军事运用、医学成像和工业检测等领域中的运用越来越广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的步骤流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：
若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。
在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。
当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。
如图1所示，一种双目立体视觉系统中图像特征识别算法的加速方法，包括：
S1，首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系；
S2，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度；
S3，在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速；
S4，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得图像特征识别算法的速度进一步提升。
进一步的，包括摄像机标定模块，所述摄像机标定模块用于对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定。
进一步的，包括图像分割模块，所述图像分割模块用于对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速。
进一步的，包括立体匹配模块；所述立体匹配模块采用OpenCV中提供的多种立体匹配算法用于双目立体匹配。
进一步的，所述立体匹配算法包括BM、SGBM和HH中的任一种。
实施例一
如图1所示，一种双目立体视觉系统中图像特征识别算法的加速方法，包括：
S1，首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系；
S2，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度；
S3，在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速；
S4，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得图像特征识别算法的速度进一步提升。
在本实施例中，双目识别解决方案可以包含摄像机标定、图像分割、立体匹配和三维测距等模块，从而可以实现对目标的识别与定位。双目立体匹配是建立立体视觉中最重要的一环，双目立体匹配的效果直接影响得到的三维信息。利用OpenCV中提供的多种双目匹配算法，比如BM，SGBM，HH等，还有各算法主要参数的设置与获取方式，加速了双目匹配的算法开发。并且本实施例中，采用OpenCV中提供的多种立体匹配算法，类似于局部的BM，全局的SGBM等。首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度。在校正之后，我们对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对算法加速，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得算法的速度进一步提升。可选的，双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，并且在对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。
在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。
所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述分立部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、 ROM、RAM等。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (5)
1.一种双目立体视觉系统中图像特征识别算法的加速方法，其特征在于，包括：
S1，首先对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定，实现精确求取两个摄像头间的位置关系；
S2，然后对立体图像对进行极线校正，通过达到行对齐的目的来减少计算量，提高匹配的精确度；
S3，在校正之后，对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速；
S4，然后对立体图像对进行金字塔分层，从最高层逐层往下匹配，使得图像特征识别算法的速度进一步提升。
2.根据权利要求1所述的一种双目立体视觉系统中图像特征识别算法的加速方法，其特征在于，包括摄像机标定模块，所述摄像机标定模块用于对立体图像对分别进行单独标定，再根据单独标定的结果来进行立体标定。
3.根据权利要求1所述的一种双目立体视觉系统中图像特征识别算法的加速方法，其特征在于，包括图像分割模块，所述图像分割模块用于对目标物体进行分割，使得在匹配的时候不用去处理背景像素，以此来对图像特征识别算法加速。
4.根据权利要求1所述的一种双目立体视觉系统中图像特征识别算法的加速方法，其特征在于，包括立体匹配模块；所述立体匹配模块采用OpenCV中提供的多种立体匹配算法用于双目立体匹配。
5.根据权利要求4所述的一种双目立体视觉系统中图像特征识别算法的加速方法，其特征在于，所述立体匹配算法包括BM、SGBM和HH中的任一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911026520.9A CN110956658A (zh) | 2019-10-26 | 2019-10-26 | 一种双目立体视觉系统中图像特征识别算法加速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911026520.9A CN110956658A (zh) | 2019-10-26 | 2019-10-26 | 一种双目立体视觉系统中图像特征识别算法加速方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110956658A true CN110956658A (zh) | 2020-04-03 |
Family
ID=69976379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911026520.9A Pending CN110956658A (zh) | 2019-10-26 | 2019-10-26 | 一种双目立体视觉系统中图像特征识别算法加速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956658A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| CN104050668A (zh) * | 2014-06-17 | 2014-09-17 | 安徽农业大学 | 一种基于双目视觉技术的绿茶嫩芽的目标识别方法 |
| CN106709905A (zh) * | 2016-12-07 | 2017-05-24 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉图像的防振锤故障在线检测识别方法 |
| CN110223377A (zh) * | 2019-05-28 | 2019-09-10 | 上海工程技术大学 | 一种基于立体视觉系统高精度的三维重建方法 |
-
2019
- 2019-10-26 CN CN201911026520.9A patent/CN110956658A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| CN104050668A (zh) * | 2014-06-17 | 2014-09-17 | 安徽农业大学 | 一种基于双目视觉技术的绿茶嫩芽的目标识别方法 |
| CN106709905A (zh) * | 2016-12-07 | 2017-05-24 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉图像的防振锤故障在线检测识别方法 |
| CN110223377A (zh) * | 2019-05-28 | 2019-09-10 | 上海工程技术大学 | 一种基于立体视觉系统高精度的三维重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
| CN109405765B (zh) | 一种基于散斑结构光的高精度深度计算方法及系统 | |
| CN111192235B (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
| CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
| CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
| CN108932734B (zh) | 单目图像的深度恢复方法及装置、计算机设备 | |
| CN104677330A (zh) | 一种小型双目立体视觉测距系统 | |
| CN110458952B (zh) | 一种基于三目视觉的三维重建方法和装置 | |
| CN103983186A (zh) | 双目视觉系统校正方法及校正设备 | |
| WO2018207032A1 (en) | Method and system for calibrating a velocimetry system | |
| Lee et al. | Algorithm of 3D spatial coordinates measurement using a camera image | |
| CN109300154A (zh) | 一种基于双目立体的测距方法及装置 | |
| CN110702015B (zh) | 输电线路覆冰厚度测量方法及装置 | |
| CN106447709A (zh) | 一种快速高精度双目视差匹配方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| KR20150069739A (ko) | 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템 | |
| CN116630423A (zh) | 一种基于orb特征的微小型机器人多目标双目定位方法及系统 | |
| CN110956658A (zh) | 一种双目立体视觉系统中图像特征识别算法加速方法 | |
| CN114092564B (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 | |
| CN110068308B (zh) | 一种基于多目相机的测距方法及测距系统 | |
| CN106548482B (zh) | 一种基于稀疏匹配与图像边缘的稠密匹配方法及系统 | |
| CN112734842B (zh) | 一种船舶大型设备对中安装辅助定位方法及系统 | |
| CN111986248B (zh) | 多目视觉感知方法、装置及自动驾驶汽车 | |
| Xu et al. | A real-time ranging method based on parallel binocular vision | |
| KR101614874B1 (ko) | 지능형 3차원 씨씨티브이 카메라 영상 처리장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |