CN114742885A - 一种双目视觉系统中的目标一致性判定方法 - Google Patents

一种双目视觉系统中的目标一致性判定方法 Download PDF

Info

Publication number
CN114742885A
CN114742885A CN202210658781.8A CN202210658781A CN114742885A CN 114742885 A CN114742885 A CN 114742885A CN 202210658781 A CN202210658781 A CN 202210658781A CN 114742885 A CN114742885 A CN 114742885A
Authority
CN
China
Prior art keywords
target
axis
vector
binocular vision
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210658781.8A
Other languages
English (en)
Other versions
CN114742885B (zh
Inventor
许岩
王振
何传林
王欣龙
陶港港
刘明磊
赵子昊
刘子琦
孙国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao National Laboratory for Marine Science and Technology Development Center
Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Original Assignee
Qingdao National Laboratory for Marine Science and Technology Development Center
Institute of Oceanographic Instrumentation Shandong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao National Laboratory for Marine Science and Technology Development Center, Institute of Oceanographic Instrumentation Shandong Academy of Sciences filed Critical Qingdao National Laboratory for Marine Science and Technology Development Center
Priority to CN202210658781.8A priority Critical patent/CN114742885B/zh
Publication of CN114742885A publication Critical patent/CN114742885A/zh
Application granted granted Critical
Publication of CN114742885B publication Critical patent/CN114742885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及计算机图像处理领域，公开了一种双目视觉系统中的目标一致性判定方法，包括如下步骤：S1：通过双目视觉系统同时采集目标的左右视差图像；S2：通过人工智能目标检测模型得到包含该目标边框的左右视差图像；S3：通过包含该目标边框的左右视差图像判断目标姿态是否一致，若一致则进行下一步，若不一致则判定左右视差图像中的目标不是同一目标；S4：判断目标的空间位置是否一致，若一致则判定左右视差图像中的目标为同一目标，若不一致则判定为不是同一目标。本发明所公开的方法具有较高的可靠性，对双目视觉检测技术和双目视觉定量测量的应用提供有效支撑。

Description

一种双目视觉系统中的目标一致性判定方法
技术领域
本发明涉及计算机图像处理领域，特别涉及一种双目视觉系统中的目标一致性判定方法。
背景技术
双目视觉系统是一类常用的计算机视觉系统。在已知摄像机参数的情况下，通过双目视差图像的极线约束计算出图像中目标在摄像机坐标空间的位置，从而对被测目标进行精确的空间测量。
对于空间中的目标，需要通过双目视觉确定其深度信息。单目图像是三维世界坐标中的一个视锥二维投影，无法得到目标的深度信息，而双目视觉系统产生的左右视差图像可以通过极线约束，结合双目视觉系统本身的坐标参数和摄像机焦距计算出空间目标在摄像机坐标系下的深度值（即目标距离光心连线的水平距离）。从而进一步通过该值计算目标的真实大小等定量信息，达到双目定量测量的目的。
目前常用的双目视觉检测方法包括两大类：基于直接视锥空间的双目目标检测方法和基于显式逆投影空间的双目目标检测方法。前一种方法将左右视差图像目标识别框分别确定后，通过“串接”或“扫描”的方式将左右视差图像的目标框信息（RoI）融合为一个多层特征（feature map），然后通过人工智能模型计算该目标的特征，如朝向，尺寸，边框信息等；后一种方法通过图像逆投影的方式将二维视锥信息还原为三维空间信息，再通过关键点的位置获取空间目标的各类位置信息。
但上述两大类方法都建立在一个基本假设前提下，即：二维视锥信息的投影左右视差图中的目标选框识别的是同一个目标。如果左右视差图中选框所识别的非同一目标，而仅是同类近似形状和近似位置的不同目标，那么通过上述视觉检测方法得到的目标空间信息肯定是不准确的。因此需要设计一种方法确定双目视觉系统中左右图像中目标的一致性。
发明内容
为解决上述技术问题，本发明提供了一种双目视觉系统中的目标一致性判定方法，解决了双目视觉系统中左右图像目标一致性判定的问题，对双目视觉检测技术和双目视觉定量测量的应用提供有效支撑。
为达到上述目的，本发明的技术方案如下：
一种双目视觉系统中的目标一致性判定方法，包括如下步骤：
S1：通过双目视觉系统同时采集目标的左右视差图像；
S2：通过人工智能目标检测模型得到包含该目标边框的左右视差图像；
S3：通过包含该目标边框的左右视差图像判断目标姿态是否一致，若一致则进行下一步，若不一致则判定左右视差图像中的目标不是同一目标；
S4：判断目标的空间位置是否一致，若一致则判定左右视差图像中的目标为同一目标，若不一致则判定为不是同一目标。
上述方案中，步骤S1中，双目视觉系统由两台摄像机组成，点A和B分别为两台摄像机的光心，两台摄像机分别对应两个投影平面P和Q，两个投影平面P和Q的坐标原点分别为C和D，投影平面P和Q坐标系的纵轴为L，横轴为过点C和D的直线，目标上的一点G在两个投影平面P和Q上的投影点分别为E和F。
上述方案中，步骤S2中，将左右视差图像分别输入训练好的人工智能目标检测模型中，并通过边框回归神经网络输出包含该目标边框的左右视差图像，投影点E和F分别为目标边框的中心点。
上述方案中，所人工智能目标检测模型采用SSD或faster R-CNN。
上述方案中，步骤S3的方法具体如下：
（3.1）在双目视觉系统中建立空间坐标系XYZ，空间坐标系XYZ的X轴与两个投影平面P和Q坐标原点的连线CD平行，Y轴与两台摄像机光轴AC和BD平行，Z轴与两台摄像机投影坐标系纵轴L平行；
（3.2）将目标抽象为一个单位向量
Figure 353386DEST_PATH_IMAGE001
，向量的起点M在目标尾部，终点N在目标头 部，将单位向量
Figure 114187DEST_PATH_IMAGE001
投影到空间坐标系XYZ的XOY平面内，得到二维投影单位向量
Figure 653621DEST_PATH_IMAGE002
；
（3.3）在XOY平面内以视轴AG作为纵轴建立坐标系Xa-A’-Xb，点A’为坐标原点；在XOY平面内以视轴BG为纵轴建立坐标系Xb-B’-Yb，点B’为坐标原点；
（3.4）通过人工智能目标检测模型测量得到左视差图像中向量
Figure 688180DEST_PATH_IMAGE002
与Xa轴的夹角 为A1，右视差图像中向量
Figure 63798DEST_PATH_IMAGE002
与Xb轴的夹角为B1；通过左摄像机焦距|AC|，摄像机镜头宽度| CE|计算视轴AG与Y轴的夹角A2，通过右摄像机焦距|BD|，摄像机镜头宽度|DF|计算视轴BG 与Y轴的夹角B2；
（3.5）判断A1+ A2和B1+ B2是否相等，若相等，则判定为左右视差图像中的目标姿态一致，若不相等，则判定为左右视差图像中的目标姿态不一致。
上述方案中，步骤S4的方法具体如下：
（4.1）在双目视觉系统中，计算得到向量
Figure 281152DEST_PATH_IMAGE003
的坐标，记为
Figure 81618DEST_PATH_IMAGE004
；向量
Figure 991805DEST_PATH_IMAGE005
的坐 标，记为
Figure 339872DEST_PATH_IMAGE006
；
（4.2）计算视轴AG和视轴BG的公垂线HI的向量r，计算方法如下：
Figure 236284DEST_PATH_IMAGE007
（1）
（4.3）将r以单位向量表示：
Figure 750311DEST_PATH_IMAGE008
（2）
（4.4）点A，B组成向量
Figure 237924DEST_PATH_IMAGE009
，记为
Figure 87936DEST_PATH_IMAGE010
，求s在r方向上的投影向量t，即向量
Figure 53618DEST_PATH_IMAGE009
在 公垂线HI上的投影向量
Figure 156572DEST_PATH_IMAGE011
，计算方法如下：
Figure 18349DEST_PATH_IMAGE012
（3）
（4.5）计算向量t的膜
Figure 872166DEST_PATH_IMAGE013
，即HI的长度
Figure 110381DEST_PATH_IMAGE014
：
Figure 599000DEST_PATH_IMAGE015
（4）
（4.6）通过式（5）判定目标空间位置的一致性，
Figure 756312DEST_PATH_IMAGE016
（5）
其中，delta为设定的阈值；
若符合式（5），则判定左右两摄像机平面投影E和F的原目标为同一目标，即投影E，F的目标具有空间一致性。
进一步的技术方案中，delta的取值如下：
Figure 815534DEST_PATH_IMAGE017
（6）
其中，W表示图像中选框的宽度，D表示目标的深度，通过双目视觉系统极线约束求出，c为摄像机焦距。
通过上述技术方案，本发明提供的一种双目视觉系统中的目标一致性判定方法具有如下有益效果：
本发明通过目标姿态一致性和目标空间位置一致性双重条件判定双目视觉系统中的目标一致性，其方法符合人眼识别目标一致性的生物学特性，分别就目标的姿态（在视轴投影二维坐标系下的方向信息）和目标所在空间位置（双视轴间最短距离）进行判定，具有较高的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种双目视觉系统中的目标一致性判定方法流程示意图；
图2为双目视觉系统示意图；
图3为双目视觉系统空间坐标系示意图；
图4为双目视觉系统左右视图投影关系图；
图5为空间坐标系下左右视轴距离示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种双目视觉系统中的目标一致性判定方法，如图1所示，包括如下步骤：
S1：通过双目视觉系统同时采集目标的左右视差图像。
如图2所示，该双目视觉系统由左右两台摄像机组成，点A和B分别为两台摄像机的光心，两台摄像机分别对应两个投影平面P和Q，两个投影平面P和Q的坐标原点分别为C和D，投影平面P和Q坐标系的纵轴为L，横轴为过点C和D的直线，目标K上的一点G在两个投影平面P和Q上的投影点分别为E和F。可见，同一个目标上的点G在左平面P上的投影在平面P的右上方，在右平面Q的投影在平面Q的左上方。
S2：通过人工智能目标检测模型得到包含该目标边框的左右视差图像。
将左右视差图像分别输入训练好的人工智能目标检测模型（SSD或faster R-CNN）中，并通过边框回归神经网络（如Bounding box regressor）输出包含该目标边框的左右视差图像。
在输出的包含该目标边框的左右视差图像中，以选定的点G的投影点E和F作为目标边框的中心点。
S3：通过包含该目标边框的左右视差图像判断目标姿态是否一致，若一致则进行下一步，若不一致则判定左右视差图像中的目标不是同一目标。
方法具体如下：
（3.1）在双目视觉系统中建立空间坐标系XYZ，如图3所示，空间坐标系XYZ的X轴与两个投影平面P和Q坐标原点的连线CD平行，Y轴与两台摄像机光轴AC和BD平行，Z轴与两台摄像机投影坐标系纵轴L平行；
（3.2）将目标抽象为一个单位向量
Figure 870822DEST_PATH_IMAGE001
，向量的起点M在目标K尾部，终点N在目标K 头部，将单位向量
Figure 433521DEST_PATH_IMAGE001
投影到空间坐标系XYZ的XOY平面内，得到二维投影单位向量
Figure 151947DEST_PATH_IMAGE002
，如图 4所示；
（3.3）在XOY平面内以视轴AG作为纵轴建立坐标系Xa-A’-Xb，点A’为坐标原点；在XOY平面内以视轴BG为纵轴建立坐标系Xb-B’-Yb，点B’为坐标原点；
因为单位向量
Figure 698466DEST_PATH_IMAGE002
具有尺度不变性，在XOY面内无论
Figure 560374DEST_PATH_IMAGE002
所在深度大小均可表征目标 在XOY面内的方向信息（通过
Figure 367793DEST_PATH_IMAGE002
在坐标轴上的投影实现）。因此可以通过测量
Figure 273432DEST_PATH_IMAGE002
在不同摄像 机投影坐标系Xa-A’-Xb，Xb-B’-Yb下的方向信息，并将该信息还原为空间坐标平面XOY内的 方向信息，比较左右图像中
Figure 290936DEST_PATH_IMAGE002
还原的XOY方向信息是否相等来判断左右图中的目标姿态的 一致性。
（3.4）通过训练后的人工智能目标检测模型测量得到左视差图像中向量
Figure 674644DEST_PATH_IMAGE002
与Xa 轴的夹角为A1，右视差图像中向量
Figure 70990DEST_PATH_IMAGE002
与Xb轴的夹角为B1；通过左摄像机焦距|AC|，摄像机镜 头宽度|CE|计算视轴AG与Y轴的夹角A2，通过右摄像机焦距|BD|，摄像机镜头宽度|DF|计算 视轴BG与Y轴的夹角B2；
（3.5）通过图4可以看出，向量
Figure 635613DEST_PATH_IMAGE002
与X轴夹角a其大小等于A1+ A2，同时也等于B1+ B2。因此可以得到如下关系：
XOY坐标系下目标向量
Figure 156725DEST_PATH_IMAGE002
与X轴的夹角 =
Figure 327812DEST_PATH_IMAGE002
与视轴坐标系横轴的夹角+视轴与光 轴的夹角；
因此，判断A1+ A2和B1+ B2是否相等，若相等，则判定为左右视差图像中的目标姿态一致，若不相等，则判定为左右视差图像中的目标姿态不一致。
S4：判断目标的空间位置是否一致，若一致则判定左右视差图像中的目标为同一目标，若不一致则判定为不是同一目标。
仅通过姿态一致性还无法完全确保目标的一致性，因为空间中可能存在两个相同姿态的目标，所以要对目标空间位置进行一致性判定。
判定目标空间位置一致性的方法是视轴交汇法。即通过左右图视轴在XOY坐标系下的距离来判断目标位置的一致性。
如图5所示，E和F分别为左右视差图像中目标的投影点。点A，B分别为左右摄像机的光心，则AE延长线AH为左摄像机对目标选框的视轴，BF延长线BI为右摄像机对目标选框的视轴。根据双目视觉原理，如果投影E，F为同一目标在左右摄像机平面的投影，则视轴AH和BI在坐标系XYZ下必然是相交关系。
方法具体如下：
（4.1）在双目视觉系统中，计算得到向量
Figure 250768DEST_PATH_IMAGE003
的坐标，记为
Figure 248942DEST_PATH_IMAGE004
；向量
Figure 991771DEST_PATH_IMAGE005
的坐 标，记为
Figure 232128DEST_PATH_IMAGE006
；
（4.2）根据向量积的性质：两个向量的向量积表示由这两个向量公垂线的向量，由此计算视轴AG和视轴BG的公垂线HI的向量r，计算方法如下：
Figure 603066DEST_PATH_IMAGE018
（1）
（4.3）为了简化后续计算，将r以单位向量表示：
Figure 286989DEST_PATH_IMAGE008
（2）
（4.4）点A，B组成向量
Figure 999336DEST_PATH_IMAGE009
，记为
Figure 528538DEST_PATH_IMAGE010
，根据数量积的性质：两个向量的数量积 表示一个向量在另一个向量方向上的投影和另一个向量长度的乘积。由于r为单位向量，可 通过数量积求s在r方向上的投影向量t，即向量
Figure 144196DEST_PATH_IMAGE009
在公垂线HI上的投影向量
Figure 733440DEST_PATH_IMAGE011
，计算方法 如下：
Figure 467172DEST_PATH_IMAGE012
（3）
（4.5）计算向量t的膜
Figure 800064DEST_PATH_IMAGE013
，即HI的长度
Figure 535808DEST_PATH_IMAGE014
：
Figure 420587DEST_PATH_IMAGE015
（4）
（4.6）通过式（5）判定目标空间位置的一致性，
Figure 625304DEST_PATH_IMAGE016
（5）
其中，delta为设定的阈值：
Figure 503830DEST_PATH_IMAGE017
（6）
其中，W表示图像中选框的宽度，D表示目标的深度，通过双目视觉系统极线约束求出，c为摄像机焦距；
若符合式（5），则判定左右两摄像机平面投影E和F的原目标为同一目标，即投影E，F的目标具有空间一致性。
根据本发明所述过程S1~S4，结合计算机图像处理常用方法，不难编写软件实现。S2中涉及的左右视差图像边框识别算法，在现有的人工智能算法中有多种可选用；S3中涉及的人工智能模型测量目标在投影坐标系中的方向信息，在现有的人工智能算法中有多种可选用。S4中涉及的双目视觉系统目标深度计算方法属现有技术，在此不做赘述。
实施例1
S1：建立双目视觉系统，左右摄像机焦距均为20mm，图像中心分别为C点和D点，焦点A，B水平间距400mm。以AB连线中点为原点建立三维空间坐标系XYZ，令三维坐标系XOY面与ABCD面重合，X轴与摄像机平面在XOY面内投影平行，Y轴与左右摄像机光轴AC和BD平行，Z轴垂直于平面ABCD。此时A点坐标(-200,0,0)，B点坐标(200,0,0)。通过左右摄像机拍摄某目标，生成左右两幅图片。
S2：通过faster R-CNN算法计算左图得到中心为E(-180,20,11)的矩形选框，右图得到中心为F(180,20,10)的矩形选框，选框宽5mm。
S3：取左图中选框，通过计算可知视轴AG与光轴AC在平面ABCD内的投影夹角为-45º。通过人工智能投影姿态算法对左图选框内目标进行姿态测量，测得它在视轴坐标系Xa-A’-Xb中与Xa轴所成夹角为15º，根据目标视轴坐标系方向与XOY坐标系间方向的换算关系得到左图还原XOY坐标系中与X轴夹角为-30°（-45°+15°）；取右图选框，通过计算可知视轴BG与光轴BD在平面ABCD内的投影夹角为45°。通过人工智能投影姿态算法对右图选框内目标进行姿态测量，测得它在视轴坐标系Xb-B’-Yb中与Xb轴所成夹角为-75°，根据目标视轴坐标系方向与XOY坐标系间方向的换算关系得到右图还原XOY坐标系中与X轴夹角为-30°。因为左右图还原XOY坐标系中目标方向与X轴夹角相等，判定左右图框选目标具有姿态一致性。
S4：以左摄像机光心A(-200,0,0)和点E(-180,20,11)确定左图像中目标的视轴AE，则它的向量为a(20,20,11)，同理，右摄像机光心B(200,0,0)和点F(180,20,10)确定右图像中目标的视轴BF的向量为b(-20,20,10)。记从左光心A到右光心B的直线AB，其向量为s(400,0,0)，综合上述条件，在当前空间坐标系下：
ax=20，ay=20，az=11
bx= -20，by=20，bz=10
sx=400，sy=0，sz=0
将上述数值直接代入式（4），计算得到视轴AE与BF的公垂线HI长度为8.86mm。又根据点E，F的坐标，左右摄像机焦距，左右摄像机距离通过双目视觉系统视深度计算方法求得目标G的视深度D为200mm，摄像机焦距c为20mm，目标选框宽度为5mm通过式（6）计算得到delta值为50mm，因此有|HI|<delta。因此判定左右图像中的目标点E，F具有空间位置一致性。
通过S3，S4判定左右图像以E，F为中心的框选目标同时具备姿态一致性和空间位置一致性，可判定为同一目标的影像。
实施例2
S1：建立双目视觉系统，左右摄像机焦距均为20mm，图像中心分别为C点和D点，焦点A，B水平间距400mm。以AB连线中点为原点建立三维空间坐标系XYZ，令三维坐标系XOY面与ABCD面重合，X轴与摄像机平面在XOY面内投影平行，Y轴与左右摄像机光轴AC和BD平行，Z轴垂直于平面ABCD。此时A点坐标(-200,0,0)，B点坐标(200,0,0)。通过左右摄像机拍摄某目标，生成左右两幅图片。
S2：通过faster R-CNN算法左图得到中心为E(-180,20,14)的矩形选框，右图得到中心为F(180,20,10)的矩形选框，选框宽3mm。
S3：取左图中选框，通过计算可知视轴AG与光轴AC在平面ABCD内的投影夹角为-45°。通过人工智能投影姿态算法对左图选框内目标进行姿态测量，测得它在视轴坐标系Xa-A’-Xb中与Xa轴所成夹角为15°，根据目标视轴坐标系方向与XOY坐标系间方向的换算关系得到左图还原XOY坐标系中与X轴夹角为-30°（-45°+15°）；取右图选框，通过计算可知视轴BG与光轴BD在平面ABCD内的投影夹角为45°。通过人工智能投影姿态算法对右图选框内目标进行姿态测量，测得它在视轴坐标系Xb-B’-Yb中与Xb轴所成夹角为-75°，根据目标视轴坐标系方向与XOY坐标系间方向的换算关系得到右图还原XOY坐标系中与X轴夹角为-30°。因为左右图还原XOY坐标系中目标方向与X轴夹角相等，判定左右图框选目标具有姿态一致性。
S4：以左摄像机光心A(-200,0,0)和点E(-180,20,14)确定左图像中目标的视轴AE，则它的向量为a(20,20,14)，同理，右摄像机光心B(200,0,0)和点F(180,20,10)确定右图像中目标的视轴BF的向量为b(-20,20,10)。记从左光心A到右光心B的直线AB，其向量为s(400,0,0)，综合上述条件，在当前空间坐标系下：
ax=20，ay=20，az=14
bx= -20，by=20，bz=10
sx=400，sy=0，sz=0
将上述数值直接代入式（4），计算得到视轴AE与BF的公垂线HI长度为34.19mm。又根据点E，F的坐标，左右摄像机焦距，左右摄像机距离通过双目视觉系统视深度计算方法求得目标G的视深度D为200mm，摄像机焦距c为20mm，目标选框宽度为3mm通过式（6）计算得到delta值为30mm，因此有|HI|>delta。因此判定左右图像中的目标点E，F不具有空间位置一致性。
通过S3，S4判定左右图像以E，F为中心的框选目标具备姿态一致性，但空间位置不一致，由此判定左右图像框选目标非同一目标。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种双目视觉系统中的目标一致性判定方法，其特征在于，包括如下步骤：
S1：通过双目视觉系统同时采集目标的左右视差图像；
S2：通过人工智能目标检测模型得到包含该目标边框的左右视差图像；
S3：通过包含该目标边框的左右视差图像判断目标姿态是否一致，若一致则进行下一步，若不一致则判定左右视差图像中的目标不是同一目标；
S4：判断目标的空间位置是否一致，若一致则判定左右视差图像中的目标为同一目标，若不一致则判定为不是同一目标。
2.根据权利要求1所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，步骤S1中，双目视觉系统由两台摄像机组成，点A和B分别为两台摄像机的光心，两台摄像机分别对应两个投影平面P和Q，两个投影平面P和Q的坐标原点分别为C和D，投影平面P和Q坐标系的纵轴为L，横轴为过点C和D的直线，目标上的一点G在两个投影平面P和Q上的投影点分别为E和F。
3.根据权利要求1所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，步骤S2中，将左右视差图像分别输入训练好的人工智能目标检测模型中，并通过边框回归神经网络输出包含该目标边框的左右视差图像，投影点E和F分别为目标边框的中心点。
4.根据权利要求1所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，所人工智能目标检测模型采用SSD或faster R-CNN。
5.根据权利要求1所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，步骤S3的方法具体如下：
（3.1）在双目视觉系统中建立空间坐标系XYZ，空间坐标系XYZ的X轴与两个投影平面P和Q坐标原点的连线CD平行，Y轴与两台摄像机光轴AC和BD平行，Z轴与两台摄像机投影坐标系纵轴L平行；
（3.2）将目标抽象为一个单位向量
Figure 146786DEST_PATH_IMAGE001
，向量的起点M在目标尾部，终点N在目标头部，将 单位向量
Figure 486763DEST_PATH_IMAGE001
投影到空间坐标系XYZ的XOY平面内，得到二维投影单位向量
Figure 63237DEST_PATH_IMAGE002
；
（3.3）在XOY平面内以视轴AG作为纵轴建立坐标系Xa-A’-Xb，点A’为坐标原点；在XOY平面内以视轴BG为纵轴建立坐标系Xb-B’-Yb，点B’为坐标原点；
（3.4）通过人工智能目标检测模型测量得到左视差图像中向量
Figure 396130DEST_PATH_IMAGE002
与Xa轴的夹角为A1， 右视差图像中向量
Figure 397453DEST_PATH_IMAGE002
与Xb轴的夹角为B1；通过左摄像机焦距|AC|，摄像机镜头宽度|CE|计 算视轴AG与Y轴的夹角A2，通过右摄像机焦距|BD|，摄像机镜头宽度|DF|计算视轴BG与Y轴 的夹角B2；
（3.5）判断A1+ A2和B1+ B2是否相等，若相等，则判定为左右视差图像中的目标姿态一致，若不相等，则判定为左右视差图像中的目标姿态不一致。
6.根据权利要求5所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，步骤S4的方法具体如下：
（4.1）在双目视觉系统中，计算得到向量
Figure 157598DEST_PATH_IMAGE003
的坐标，记为
Figure 578959DEST_PATH_IMAGE004
；向量
Figure 449963DEST_PATH_IMAGE005
的坐标，记 为
Figure 915579DEST_PATH_IMAGE006
；
（4.2）计算视轴AG和视轴BG的公垂线HI的向量r，计算方法如下：
Figure 830315DEST_PATH_IMAGE007
（1）
（4.3）将r以单位向量表示：
Figure 522327DEST_PATH_IMAGE008
（2）
（4.4）点A，B组成向量
Figure 682175DEST_PATH_IMAGE009
，记为
Figure 877665DEST_PATH_IMAGE010
，求s在r方向上的投影向量t，即向量
Figure 104246DEST_PATH_IMAGE009
在公垂 线HI上的投影向量
Figure 267243DEST_PATH_IMAGE011
，计算方法如下：
Figure 480050DEST_PATH_IMAGE012
（3）
（4.5）计算向量t的膜
Figure 549287DEST_PATH_IMAGE013
，即HI的长度
Figure 556557DEST_PATH_IMAGE014
：
Figure 82217DEST_PATH_IMAGE015
（4）
（4.6）通过式（5）判定目标空间位置的一致性，
Figure 82402DEST_PATH_IMAGE016
（5）
其中，delta为设定的阈值；
若符合式（5），则判定左右两摄像机平面投影E和F的原目标为同一目标，即投影E，F的目标具有空间一致性。
7.根据权利要求6所述的一种双目视觉系统中的目标一致性判定方法，其特征在于，
Figure 518063DEST_PATH_IMAGE017
的取值如下：
Figure 712546DEST_PATH_IMAGE018
（6）
其中，W表示图像中选框的宽度，D表示目标的深度，通过双目视觉系统极线约束求出，c为摄像机焦距。
CN202210658781.8A 2022-06-13 2022-06-13 一种双目视觉系统中的目标一致性判定方法 Active CN114742885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210658781.8A CN114742885B (zh) 2022-06-13 2022-06-13 一种双目视觉系统中的目标一致性判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658781.8A CN114742885B (zh) 2022-06-13 2022-06-13 一种双目视觉系统中的目标一致性判定方法

Publications (2)

Publication Number Publication Date
CN114742885A true CN114742885A (zh) 2022-07-12
CN114742885B CN114742885B (zh) 2022-08-26

Family

ID=82287109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658781.8A Active CN114742885B (zh) 2022-06-13 2022-06-13 一种双目视觉系统中的目标一致性判定方法

Country Status (1)

Country Link
CN (1) CN114742885B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
US20120050273A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
CN104834887A (zh) * 2014-02-11 2015-08-12 株式会社理光 运动行人表示方法、识别方法及其装置
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109345591A (zh) * 2018-10-12 2019-02-15 北京双髻鲨科技有限公司 一种车辆自身姿态检测方法和装置
CN110264498A (zh) * 2019-06-26 2019-09-20 北京深醒科技有限公司 一种视频监控场景下的人体跟踪方法
WO2019218621A1 (zh) * 2018-05-18 2019-11-21 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN110514212A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN110645960A (zh) * 2018-06-26 2020-01-03 凌上科技(北京)有限公司 测距方法、地形跟随测距方法、避障测距方法及装置
CN111950543A (zh) * 2019-05-14 2020-11-17 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
US20120050273A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
CN104834887A (zh) * 2014-02-11 2015-08-12 株式会社理光 运动行人表示方法、识别方法及其装置
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法
WO2019218621A1 (zh) * 2018-05-18 2019-11-21 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN110645960A (zh) * 2018-06-26 2020-01-03 凌上科技(北京)有限公司 测距方法、地形跟随测距方法、避障测距方法及装置
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109345591A (zh) * 2018-10-12 2019-02-15 北京双髻鲨科技有限公司 一种车辆自身姿态检测方法和装置
CN111950543A (zh) * 2019-05-14 2020-11-17 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN110264498A (zh) * 2019-06-26 2019-09-20 北京深醒科技有限公司 一种视频监控场景下的人体跟踪方法
CN110514212A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
C. ZHANG ET AL: "Binocular Depth Estimation Based on Diffractive Optical Elements and the Semiglobal Matching Algorithm", 《2018 IEEE 3RD INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
MA, WP ET AL: "Binocular Vision Object Positioning Method for Robots Based on Coarse-fine Stereo Matching", 《INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING》 *
ZHICHAO CHEN ET AL: "Person following with a mobile robot using binocular feature-based tracking", 《2007 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
何力: "基于双视觉的沥青路面布局研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
李浩文: "视频中细微动作识别方法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
雷蕴奇等: "双目视觉中的一种人脸立体匹配及视差计算方法", 《厦门大学学报（自然科学版）》 *

Also Published As

Publication number Publication date
CN114742885B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
Li et al. Dense surface reconstruction from monocular vision and LiDAR
CN111127522A (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
Ann et al. Study on 3D scene reconstruction in robot navigation using stereo vision
Fan et al. Large-scale dense mapping system based on visual-inertial odometry and densely connected U-Net
CN114742885B (zh) 一种双目视觉系统中的目标一致性判定方法
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
CN113052898B (zh) 基于主动式双目相机的点云和强反光目标实时定位方法
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
Fan et al. Human-M3: A Multi-view Multi-modal Dataset for 3D Human Pose Estimation in Outdoor Scenes
CN112329723A (zh) 一种基于双目相机的多人人体3d骨骼关键点定位方法
Tzovaras et al. Rigid 3-D motion estimation using neural networks and initially estimated 2-D motion data
Murmu et al. Low cost distance estimation system using low resolution single camera and high radius convex mirrors
Parvathi et al. Refraction Corrected Pose Estimation for 3D reconstruction of underwater objects
Kerkaou et al. Fast spatio-temporal stereo matching method for omnidirectional images
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
Mordohai On the evaluation of scene flow estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant