CN111047639B - 单目测距装置 - Google Patents

单目测距装置 Download PDF

Info

Publication number
CN111047639B
CN111047639B CN201910877212.0A CN201910877212A CN111047639B CN 111047639 B CN111047639 B CN 111047639B CN 201910877212 A CN201910877212 A CN 201910877212A CN 111047639 B CN111047639 B CN 111047639B
Authority
CN
China
Prior art keywords
checkerboard
effective area
point
projection
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910877212.0A
Other languages
English (en)
Other versions
CN111047639A (zh
Inventor
尤琳
谢恺
曹鹏蕊
占兆武
罗为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fulian Fugui Precision Industry Co Ltd
Original Assignee
Shenzhen Fulian Fugui Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fulian Fugui Precision Industry Co Ltd filed Critical Shenzhen Fulian Fugui Precision Industry Co Ltd
Publication of CN111047639A publication Critical patent/CN111047639A/zh
Application granted granted Critical
Publication of CN111047639B publication Critical patent/CN111047639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种单目测距装置，所述装置包括：获取装置，用于获取鱼眼摄像机所摄取的含有棋盘格的鱼眼图像；提取装置，用于从所述获取的鱼眼图像中提取有效区域；角点坐标确定装置，用于确定所述有效区域中棋盘格的角点坐标；校正装置，用于根据等距投影校正算法将所述有效区域中棋盘格的角点坐标转换为无畸变的棋盘格的角点坐标；长度确定装置，用于确定无畸变的棋盘格中的所有方格在图像中长度的平均值；距离确定装置，用于确定所述鱼眼摄像机与所述棋盘格所在平面的距离。从而可适用于利用鱼眼摄像机所获取的畸变较大的图像进行单目测距。

Description

单目测距装置
技术领域
本发明涉及机器视觉领域，具体涉及一种单目测距装置。
背景技术
单目测距是利用一个摄像机获得图像得出深度信息，而鱼眼摄像机由于短焦距、大视角等优点而广泛应用于视频监控、智能交通、机器人导航等领域中。现有的单目测距装置适用于利用畸变较小的图像进行单目测距，当图像为鱼眼摄像机所获取的畸变较大的图像，且目标对象只占鱼眼图像中一小部分时，如果将整个畸变图像进行校正，会存在较大的计算冗余、同时现有的单目测距算法性能有待提升。
发明内容
本发明提供一种单目测距装置，可适用于利用鱼眼摄像机所获取的畸变较大的图像进行测距。
一种单目测距装置，所述装置包括：
获取装置，用于获取鱼眼摄像机所摄取的含有棋盘格的鱼眼图像；
提取装置，用于从所述获取的鱼眼图像中提取有效区域；
角点坐标确定装置，用于通过角点检测确定所述有效区域中棋盘格的角点坐标；
校正装置，用于根据等距投影校正算法将所述有效区域中棋盘格的角点坐标转换为无畸变的棋盘格的角点坐标；
长度确定装置，用于根据无畸变的棋盘格的角点坐标确定无畸变的棋盘格中的所有方格在图像中长度的平均值；
距离确定装置，用于根据预存的鱼眼摄像机的焦距、预存的棋盘格中方格的实际长度以及所述无畸变的棋盘格中所有方格在图像中长度的平均值，确定所述鱼眼摄像机与所述棋盘格所在平面的距离。
所述单目测距装置通过从鱼眼摄像机获取含有棋盘格的鱼眼图像后，先提取有效区域，而后进行角点检测，并对有效区域中棋盘格中的角点坐标信息采用等距投影校正算法进行校正，无需对整个畸变图像进行校正，一定程度上减少了计算量，并根据获取到的无畸变的棋盘格的角点坐标，计算棋盘格中的所有方格在图像中长度的平均值，最后根据该平均值进行测距，一定程度上提高了单目测距的精度，可适用于利用鱼眼摄像机所获取的畸变较大的图像进行单目测距。
附图说明
图1为本发明一实施例的单目测距装置的方框示意图。
图2为本发明一实施例的鱼眼图像的示意图。
图3为本发明一实施例的建立鱼眼图像坐标系的示意图。
图4为本发明一实施例的鱼眼摄像机成像的平面原理图。
图5为本发明一实施例的鱼眼摄像机校正过程的立体示意图。
图6为本发明一实施例的校正点与畸变点在投影球面上的投影点之间关系的示意图。
图7为本发明一实施例的测距示意图。
主要元件符号说明
单目测距装置 1
获取装置 10
提取装置 20
角点坐标确定装置 30
校正装置 40
长度确定装置 50
距离确定装置 60
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
请参阅图1，其为本发明一实施例的单目测距装置的方框示意图。所述单目测距装置1用于根据鱼眼摄像机所获取的畸变较大的含有棋盘格的鱼眼图像确定鱼眼摄像机到棋盘格所在平面之间的距离。所述单目测距装置1包括获取装置10、提取装置20、角点坐标确定装置30、校正装置40、长度确定装置50及距离确定装置60。
所述获取装置10，用于获取鱼眼摄像机所摄取的含有棋盘格的鱼眼图像。
所述鱼眼摄像机为一种焦距短、视角大的摄像机，其所摄取的鱼眼图像相较于普通摄像机所摄取的图像具有更大的视野范围，且其所摄取的图像(如图2所示)畸变较大。
所述提取装置20，用于从所述获取的鱼眼图像中提取有效区域。
在本实施例中，鱼眼图像的有效区域的形状为圆形的顶部及底部对称各被切掉一部分所形成的类似于圆的形状。在其他实施例中，鱼眼图像的有效区域的形状可为圆形或者为圆形的左端及右端对称各被切掉一部分所形成的类似于圆的形状。鱼眼图像的有效区域之外的区域为黑色。所述有效区域的提取可采用最小二乘拟合法，逐行逐列扫描算法，或者面积统计算法等。所述最小二乘拟合法、逐行逐列扫描算法、及面积统计算法为现有技术，在此不进行赘述。在本实施例中，所述有效区域中的棋盘格占满整个有效区域。在其他实施例中，所述有效区域中的棋盘格可占据整个有效区域的部分区域，例如占据整个有效区域的10％区域，20％区域，30％区域，40％区域，或者70％区域等等。
所述角点坐标确定装置30，用于通过角点检测确定所述有效区域中棋盘格的角点坐标。
在本实施例中，所述角点坐标确定装置30具体用于：
以所述有效区域左上角点为坐标原点，水平向右为X轴正方向，垂直向下为Y轴正方向建立鱼眼图像坐标系；
如图3所示，以所述有效区域左上角点A为坐标原点，水平向右为X轴正方向，垂直向下为Y轴正方向建立鱼眼图像坐标系；其中，所述圆形或类似于圆的形状的区域为有效区域，左上角点A为与所述有效区域相切的方形的左上角点。
通过角点检测确定所述有效区域中棋盘格的角点在鱼眼图像坐标系中的坐标。
所述角点检测可为Harris检测算法，基于生长的棋盘格角点检测算法，或者SUSAN检测算法等。所述Harris检测算法，基于生长的棋盘格角点检测算法，及SUSAN检测算法为现有技术，在此不进行赘述。
所述校正装置40，用于根据等距投影校正算法将所述有效区域中棋盘格的角点坐标转换为无畸变的棋盘格的角点坐标。
所述校正装置40具体用于：
根据所述获取的有效区域，确定所述有效区域的高度、所述有效区域的宽度、所述有效区域的中心、及所述有效区域的半径；
根据所述有效区域的半径及预存的鱼眼摄像机的视场角度，确定所述有效区域中棋盘格的角点所投影的投影球面半径；
根据等距投影模型函数、所述有效区域的中心、投影球面半径及有效区域中棋盘格的角点坐标确定所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角；
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、所述有效区域的中心及所述有效区域中棋盘格的角点坐标确定无畸变的棋盘格的角点坐标。
由于鱼眼图像的有效区域的形状为圆形或类似于圆的形状，有效区域直径为有效区域的高度和宽度中的较大值，则根据所述获取的有效区域，确定所述有效区域的高度、所述有效区域的宽度、所述有效区域的中心、及所述有效区域的半径包括：
根据所述获取的有效区域，确定有效区域的高度为m'及宽度为n'；
根据所述有效区域的高度m'及宽度n'确定所述有效区域中心为(n'/2,m'/2)及有效区域的半径R＝max(m'/2,n'/2)。
请参阅图4，图4为本发明一实施例的鱼眼摄像机成像的平面原理图。如图4所示，图中半圆b为鱼眼图像投影半球面的平面图，平面c为成像平面，Q点为三维空间点，P'点为三维空间点Q在投影半球面上的投影点，P点为投影球面上的P'点在成像平面上的投影点，为OP'与鱼眼摄像机光轴的夹角。
在本实施例中，所述鱼眼摄像机的成像过程与所述鱼眼摄像机的校正过程互为逆过程。所述鱼眼摄像机的校正过程为将所述有效区域中棋盘格的角点坐标转换为无畸变的棋盘格的角点坐标。
请参阅图5，图5为本发明一实施例的鱼眼校正过程的立体示意图。在图5中，投影半球面κ为鱼眼图像所投影的投影半球面，O为投影半球面κ的球心，投影半球面κ的三维空间坐标系XYZ如图中所示。P'点为鱼眼图像中P点(图未示)在投影半球面κ上的投影，平面α为平行于XOY平面且与投影半球面κ相切(切点为A)的校正平面。OP'的延长线交平面α于Q点，Q点为鱼眼图像中点P对应的校正点。
由于鱼眼摄像机成像时遵循的模型可以近似为单位球面投影模型，则当鱼眼摄像机的视场角度为π时，鱼眼图像上的任一直径映射到球面上时为经过投影半球面κ上的A点且连接投影半球面直径的圆弧。根据周长公式可知，投影球面半径其中，R为所述有效区域的半径。当鱼眼摄像机的视场角度为ε时，根据所述有效区域的半径及预存的鱼眼摄像机的视场角度，确定所述有效区域中棋盘格的角点所投影的投影球面半径其中，r为所述有效区域中棋盘格的角点所投影的投影球面半径，ε为预存的鱼眼摄像机的视场角度，R为所述有效区域的半径。
在此所述单目测距装置1采用等距投影校正算法进行校正，所述等距投影模型函数为其中r1为有效区域中棋盘格的角点P到有效区域中心的距离，r为投影球面半径，/>为OP'与鱼眼摄像机光轴的夹角。
根据所述等距投影模型函数、所述有效区域的中心、投影球面半径及有效区域中棋盘格的角点坐标确定所述有效区域中棋盘格中的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角包括：
在校正过程中，为了便于后续的计算，需将有效区域的坐标原点移动至有效区域的中心，即鱼眼图像的坐标原点向右移n'/2，并向下移动m'/2，同样有效区域中棋盘格的角点坐标也需进行相应移动。
有效区域中棋盘格的第i个角点Pi坐标经过上述平移后获取的点p'i坐标满足以下关系式：
其中，为有效区域中棋盘格的第i个角点经过平移后的横坐标，/>为有效区域中棋盘格的第i个角点经过平移后的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，n'为有效区域的宽度，m'为有效区域的高度。
根据等距投影模型函数可知：
其中，为有效区域中棋盘格的第i个角点经过平移后的横坐标，/>为有效区域中棋盘格的第i个角点经过平移后的纵坐标，/>为有效区域中棋盘格的第i个角点Pi到有效区域中心的距离，r为投影球面半径，/>为OPi'与鱼眼摄像机光轴的夹角。
则根据公式1、公式2及公式3可知：
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，n'为有效区域的宽度，m'为有效区域的高度，r为投影球面半径。
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、有效区域的中心及有效区域中棋盘格的角点坐标，确定无畸变的棋盘格的角点坐标包括：
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、有效区域的中心及有效区域中棋盘格的角点坐标，确定有效区域中棋盘格的角点对应的校正点坐标；
根据有效区域中棋盘格的角点对应的校正点坐标确定无畸变的棋盘格的角点坐标。
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、有效区域的中心及有效区域中棋盘格的角点坐标，确定有效区域中棋盘格的角点对应的校正点坐标包括：
请参阅图5，由于平面α为平行于XOY平面且与投影半球面κ相切(切点为A)的平面，且Q为平面α上的一点，且为有效区域中棋盘格的角点P对应的校正点，则QA⊥AO。则对于有效区域中棋盘格的第i个角点对应的校正点Qi，根据正切函数可知：
其中，为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，r为投影球面半径，/>为OPi'与鱼眼摄像机光轴的夹角。
请参阅图6，图6为本发明一实施例的根据等距投影模型确定有效区域中棋盘格的角点对应的校正点坐标与有效区域中棋盘格的角点在投影球面上的投影点之间的关系示意图。在图6中，点A为平面α的中心，经过点A作平行于X轴的轴u'(横轴)，平行于Y轴的轴v'(纵轴)，从点Q作平行于轴v'的第一直线，所述第一直线交轴u'于点C，从点Q作平行于轴u'的第二直线，所述第二直线交轴v'于A'。则A'Q的长度与AC的长度均等于点Q的横坐标的绝对值AA'的长度与CQ的长度均等于点Q的纵坐标的绝对值/>
在图6中，作平行于轴u'(横轴)的轴u”，轴u”与点P'所形成的平面平行于平面α。从点P'作平行于轴v'的第三直线，所述第三直线交轴u”于点C'，从点P'作垂直于鱼眼摄像机光轴(竖轴)的第四直线，所述第四直线交鱼眼摄像机光轴于点B，过点B作平行于v'且垂直于u”的直线v”(图未示)。则，C'P'的长度为点P'的纵坐标的绝对值BC'的长度为P'的横坐标的绝对值/>
在图6中，由于BP'//AQ，u'//u”，且∠ACQ＝∠BC'P'＝90°，则ΔACQ～ΔBC'P'。因此AC/BC'＝CQ/C'P'，对于第i个角点而言，满足：
其中，为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，/>为有效区域中棋盘格的第i个角点在投影球面上的投影点的横坐标，/>为有效区域中棋盘格的第i个角点在投影球面上的投影点的纵坐标。
显然，本发明不仅局限于从点P'作平行于轴v'的第三直线，还可为作平行于轴u'的直线，所述直线交平行于轴v'的轴v”(图未示)于点D(图未示)，ΔAQA'～ΔBP'D，同样可得上述关系式。
从点P'向投影球面的球心所在平面w作垂线交所述平面w于点E，为了便于理解，可将点E理解为有效区域中棋盘格的第i个角点经过平移后的点p'i。从点E作平行于Y轴的第五直线，所述第五直线交X轴于点F，ΔOFE～ΔBC'P'，则有效区域中棋盘格的角点对应的校正点坐标与有效区域中棋盘格的角点经过平移后的坐标之间的关系，满足：
显然，本发明不仅局限于从点E作平行于Y轴的第五直线，还可为作平行于X轴的直线(图未示)，所述直线交Y轴于点G(图未示)，ΔOGE～ΔBC'P'，同样可得上述公式6。
根据公式1、公式2、公式4、公式5、及公式6可确定有效区域中棋盘格的角点对应的校正点坐标，具体地：
1)当为非特殊值(例如不趋近于零)时：
其中，
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，n'为有效区域的宽度，m'为有效区域的高度，r为投影球面半径。
2)当时：
由于则：
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，r为投影球面半径。
所述根据有效区域中棋盘格的角点对应的校正点坐标确定无畸变的棋盘格的角点坐标包括：由于在校正过程中，涉及投影球面，为了方便采用图像中心为原点来校正，因此，在确定无畸变的棋盘格的角点坐标时需要采用图像左上角点为坐标原点，即需要将无畸变鱼眼图像的坐标原点从无畸变鱼眼图像的中心移动至无畸变鱼眼图像的左上角点。因此：
其中，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，m为无畸变鱼眼图像的高度，n为无畸变鱼眼图像的宽度，其中，m及n的值可根据用户的需求而设定。
根据公式7、公式8、公式9、及公式10可确定无畸变的棋盘格的角点坐标，具体地：
1)当为非特殊值(例如不趋近于零)时：
其中
其中，为OPi'与鱼眼摄像机光轴的夹角，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为有效区域中棋盘格的第i个角点对应的校正点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，m为无畸变鱼眼图像的高度，n为无畸变鱼眼图像的宽度，r为投影球面半径，其中，m及n的值可根据用户的需求而设定。
2)当时：
其中，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，m为无畸变鱼眼图像的高度，n为无畸变鱼眼图像的宽度，r为投影球面半径，其中，m及n的值可根据用户的需求而设定。
其中，上述i为所述棋盘格的角点中的任意角点，而不局限于所述棋盘格的某一特定的角点。其中，有效区域中棋盘格的第i个角点Pi经过平移后的点为p'i，有效区域中棋盘格的第i个角点Pi投影到投影球面的点为Pi'。
所述长度确定装置50，用于根据无畸变的棋盘格的角点坐标确定无畸变的棋盘格中的所有方格在图像中长度的平均值。
在本实施例中，所述长度确定装置50具体用于：
根据无畸变的棋盘格的角点坐标确定无畸变的棋盘格中的各方格在图像中长度；
确定无畸变的棋盘格中的所有方格在图像中长度的平均值。
所述确定无畸变的棋盘格中的各方格在图像中长度包括：
确定无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，其中i＝1,2,...,n。
所述确定无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离为：
1)当且/>时：
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为OPi+1'与鱼眼摄像机光轴的夹角，di为无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，ui+1为无畸变的棋盘格的第i+1个角点的横坐标，vi+1为无畸变的棋盘格的第i+1个角点的纵坐标，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标。
2)当且/>为非特殊值(例如不趋近于零)时：
其中，
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为OPi+1'与鱼眼摄像机光轴的夹角，di为无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，ui+1为无畸变的棋盘格的第i+1个角点的横坐标，vi+1为无畸变的棋盘格的第i+1个角点的纵坐标，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，r为投影球面半径。
3)当且/>为非特殊值(例如不趋近于零)时：
其中，
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为OPi+1'与鱼眼摄像机光轴的夹角，di为无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，ui+1为无畸变的棋盘格的第i+1个角点的横坐标，vi+1为无畸变的棋盘格的第i+1个角点的纵坐标，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，r为投影球面半径。
4)当及/>均为非特殊值(例如均不趋近于零)时：
其中，
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为OPi+1'与鱼眼摄像机光轴的夹角，di为无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，ui+1为无畸变的棋盘格的第i+1个角点的横坐标，vi+1为无畸变的棋盘格的第i+1个角点的纵坐标，ui为无畸变的棋盘格的第i个角点的横坐标，vi为无畸变的棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，r为投影球面半径。
所述确定无畸变的棋盘格中的所有方格在图像中长度的平均值包括：
确定无畸变的棋盘格中方格的总数量L；
根据无畸变的棋盘格中的各方格在图像中长度及无畸变的棋盘格中方格的总数量L，确定无畸变的棋盘格中的所有方格在图像中长度的平均值。
所述根据无畸变的棋盘格中的各方格在图像中长度及无畸变的棋盘格中方格的总数量L，确定无畸变的棋盘格中的所有方格在图像中长度的平均值，以及/>均为非特殊值(例如不趋近于零)为例来说明其计算过程：
其中，
/>
其中，为OPi+1'与鱼眼摄像机光轴的夹角，/>为OPi'与鱼眼摄像机光轴的夹角，d为无畸变的棋盘格中的所有方格在图像中长度的平均值，L为无畸变的棋盘格中方格的总数量，di为无畸变的棋盘格的第i+1个角点与无畸变的棋盘格的第i个角点在图像中的距离，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标，m'为有效区域的高度，n'为有效区域的宽度，r为投影球面半径。
所述距离确定装置60，用于根据预存的鱼眼摄像机的焦距、预存的棋盘格中的方格的实际长度以及无畸变的棋盘格中的所有方格在图像中长度的平均值，确定鱼眼摄像机与棋盘格所在平面的距离。
如图7所示，点A为鱼眼摄像机，AE为鱼眼摄像机的焦距，AB为鱼眼摄像机与棋盘格所在平面的距离，GF为无畸变的棋盘格中的所有方格在图像中长度的平均值，DC为棋盘格中的方格的实际长度。当根据有效区域中棋盘格的角点坐标确定无畸变的棋盘格中的所有方格在图像中长度的平均值后，所述无畸变的棋盘格的成像原理为普通摄像机所采用的成像原理。因此，ΔAEF～ΔABC，且ΔAGF～ΔADC,进而可得公式：AB×GF＝DC×AE。
所述距离确定装置60具体用于：
根据公式来确定鱼眼摄像机与棋盘格所在平面的距离，其中，DC为预存的棋盘格中的方格的实际长度，AE为预存的鱼眼摄像机的焦距，GF为无畸变的棋盘格中所有方格在图像中长度的平均值。其中，DC为执行本发明前预先测量的棋盘格中的方格的实际长度。
具体地，以及/>为非特殊值(例如不趋近于零)为例来说明其计算过程：
其中，
其中，为OPi'与鱼眼摄像机光轴的夹角，/>为OPi+1'与鱼眼摄像机光轴的夹角，AB为鱼眼摄像机与棋盘格所在平面的距离，DC为预存的棋盘格中的方格的实际长度，AE为预存的鱼眼摄像机的焦距，GF为无畸变的棋盘格中所有方格在图像中长度的平均值，L为无畸变的棋盘格中方格的总数量，r为投影球面半径，n'为有效区域的宽度，m'为有效区域的高度，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标。
在本实施例中，所述预存的鱼眼摄像机的焦距为在执行本发明前预先通过所述距离确定装置60获得。在其他实施例中，所述预存的鱼眼摄像机的焦距为从商家或者其他已知方法获得。
所述距离确定装置60还用于：
如图7所示，当根据有效区域中棋盘格的角点坐标确定无畸变的棋盘格中的所有方格在图像中长度的平均值后，所述无畸变的棋盘格的成像原理为普通摄像机所采用的成像原理。因此，ΔAEF～ΔABC，且ΔAGF～ΔADC，可得公式：AB×GF＝DC×AE，进而其中，AE为鱼眼摄像机的焦距，AB为预存的鱼眼摄像机与棋盘格所在平面的距离，GF为无畸变的棋盘格中所有方格在图像中长度的平均值，DC为预存的棋盘格中的方格的实际长度。其中，所述AB及DC为在执行本发明前通过量测预先获得并存储的鱼眼摄像机与棋盘格所在平面的距离及棋盘格中的方格的实际长度。从而可通过预存的鱼眼摄像机与棋盘格所在平面的距离、无畸变的棋盘格中的所有方格在图像中长度的平均值及预存的棋盘格中的方格的实际长度来确定鱼眼摄像机的焦距。具体地，以/>为非特殊值为例来说明其计算过程：
其中，
其中，为OPi'与摄像机光轴的夹角，/>为OPi+1'与摄像机光轴的夹角，AE为鱼眼摄像机的焦距，AB为预s存的鱼眼摄像机与棋盘格所在平面的距离，GF为无畸变的棋盘格中的所有方格在图像中长度的平均值，DC为预存的棋盘格中的方格的实际长度，L为无畸变的棋盘格中方格的总数量，r为投影球面半径，m'为有效区域的高度，n'为有效区域的宽度，为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，/>为有效区域中棋盘格的第i+1个角点的横坐标，/>为有效区域中棋盘格的第i+1个角点的纵坐标。
本发明通过在从鱼眼摄像机获取含有棋盘格的鱼眼图像后，先提取有效区域，而后进行角点检测，并对有效区域中的角点坐标信息采用等距投影校正算法进行校正，从而无需对整个畸变图像进行校正，一定程度上减少了计算量；并根据获取到的无畸变的角点坐标，计算棋盘格中的各方格在图像中长度，求取均值作为方格在图像中长度，一定程度上提高了方格在图像中长度的精度；最后通过此均值进行测距，一定程度上提高了单目测距的精度。
以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。本领域技术人员还可在本发明精神内做其它变化等用在本发明的设计，只要其不偏离本发明的技术效果均可。这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。

Claims (10)

1.一种单目测距装置，其特征在于，所述装置包括：
获取装置，用于获取鱼眼摄像机所摄取的含有棋盘格的鱼眼图像；
提取装置，用于从所述获取的鱼眼图像中提取有效区域；
角点坐标确定装置，用于通过角点检测确定所述有效区域中棋盘格的角点坐标；
校正装置，用于根据等距投影校正算法将所述有效区域中棋盘格的角点坐标转换为无畸变的棋盘格的角点坐标；
长度确定装置，用于根据无畸变的棋盘格的角点坐标确定无畸变的棋盘格中的所有方格在图像中长度的平均值；
距离确定装置，用于根据预存的鱼眼摄像机的焦距、预存的棋盘格中方格的实际长度以及所述无畸变的棋盘格中所有方格在图像中长度的平均值，确定所述鱼眼摄像机与所述棋盘格所在平面的距离。
2.如权利要求1所述的单目测距装置，其特征在于，所述角点坐标确定装置用于：
以所述有效区域左上角点为坐标原点，水平向右为X轴正方向，垂直向下为Y轴正方向建立鱼眼图像坐标系；
通过角点检测确定所述有效区域中棋盘格的角点在鱼眼图像坐标系中的坐标。
3.如权利要求1所述的单目测距装置，其特征在于，所述校正装置用于：
根据所述获取的有效区域，确定所述有效区域的高度、所述有效区域的宽度、所述有效区域的中心、及所述有效区域的半径；
根据所述有效区域的半径及预存的鱼眼摄像机的视场角度，确定所述有效区域中棋盘格的角点所投影的投影球面半径；
根据等距投影模型函数、所述有效区域的中心、所述投影球面半径及所述有效区域中棋盘格的角点坐标，确定所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与所述鱼眼摄像机光轴的夹角；
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与所述鱼眼摄像机光轴的夹角、所述有效区域的中心及所述有效区域中棋盘格的角点坐标，确定无畸变的棋盘格的角点坐标。
4.如权利要求3所述的单目测距装置，其特征在于，根据所述获取的有效区域，确定所述有效区域的高度、所述有效区域的宽度、所述有效区域的中心、及所述有效区域的半径包括：
根据所述获取的有效区域，确定有效区域的高度为m'，有效区域的宽度为n'；
根据有效区域的高度m'及宽度n'确定有效区域的中心为(n'/2,m'/2)及有效区域的半径R＝max(m'/2,n'/2)。
5.如权利要求3所述的单目测距装置，其特征在于，根据所述有效区域的半径及预存的鱼眼摄像机的视场角度，确定所述有效区域中棋盘格的角点所投影的投影球面半径包括：
根据周长公式确定所述有效区域中棋盘格的角点所投影的投影球面半径其中，r为所述有效区域中棋盘格的角点所投影的投影球面半径，ε为预存的鱼眼摄像机的视场角度，R为所述有效区域的半径。
6.如权利要求3所述的单目测距装置，其特征在于，根据等距投影模型函数、所述有效区域的中心、所述投影球面半径及所述有效区域中棋盘格的角点坐标确定所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与摄像机光轴的夹角包括：
根据所述有效区域的中心将所述有效区域中棋盘格的角点坐标中的横坐标减去n'/2及纵坐标减去m'/2，来将所述有效区域中棋盘格的角点坐标进行平移，其中m'为有效区域的高度，n'为有效区域的宽度，第i个角点坐标平移后的坐标为
根据等距投影模型函数得到公式：其中，/>为有效区域中棋盘格的第i个角点经过平移后的横坐标，/>为有效区域中棋盘格的第i个角点经过平移后的纵坐标，/>为有效区域中棋盘格的第i个角点Pi到有效区域中心的距离，r为投影球面半径，为有效区域中棋盘格的第i个角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角；
根据公式及第i个角点坐标平移后的坐标/>得其中，/>为有效区域中棋盘格的第i个角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角，/>为有效区域中棋盘格的第i个角点的横坐标，/>为有效区域中棋盘格的第i个角点的纵坐标，n'为有效区域的宽度，m'为有效区域的高度，r为投影球面半径。
7.如权利要求3所述的单目测距装置，其特征在于，根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、所述有效区域的中心及所述有效区域中棋盘格的角点坐标确定无畸变的棋盘格的角点坐标包括：
根据正切函数确定公式：其中，/>为所述有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为所述有效区域中棋盘格的第i个角点对应的校正点的纵坐标，r为所述投影球面半径，/>为有效区域中棋盘格的第i个角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角；
根据所述有效区域中棋盘格的角点对应的校正点、从所述校正点引垂直于校正点所在的校正平面的横轴或纵轴所形成的点、及校正平面的中心所形成的三角形与所述有效区域中棋盘格的角点在投影球面上的投影点、从所述投影点引垂直于平行于校正平面的平面的横轴或纵轴所形成的点、及从所述投影点引垂直于所述鱼眼摄像机光轴所形成的点所形成的三角形相似原理，所述有效区域中棋盘格的角点在投影球面上的投影点、从所述投影点引垂直于平行于校正平面的平面的横轴或纵轴所形成的点、及从所述投影点引垂直于所述鱼眼摄像机光轴所形成的点所形成的三角形与从所述投影点向投影球面的球心所在平面作垂线与所述平面所形成的交点、从所述交点引垂直于平行于校正平面的平面的横轴或纵轴所形成的点、及所述投影球面的球心所形成的三角形相似原理，以及所述有效区域的中心，得出所述有效区域中棋盘格的角点对应的校正点与所述有效区域中棋盘格经平移后的点满足：其中，/>为所述有效区域中棋盘格的第i个角点对应的校正点的横坐标，/>为所述有效区域中棋盘格的第i个角点对应的校正点的纵坐标，/>为所述有效区域中棋盘格的角点经平移后的横坐标，/>为所述有效区域中棋盘格的角点经平移后的纵坐标，/>为所述有效区域中棋盘格的第i个角点的横坐标，/>为所述有效区域中棋盘格的角点的纵坐标，n'为所述有效区域的宽度，m'为所述有效区域的高度；
根据所述有效区域中棋盘格的角点在投影球面上的投影点与投影球心连线与鱼眼摄像机光轴的夹角、公式公式/>确定所述有效区域中棋盘格的角点对应的校正点坐标；
根据所述有效区域中棋盘格的角点对应的校正点坐标确定无畸变的棋盘格的角点坐标。
8.如权利要求1所述的单目测距装置，其特征在于，所述长度确定装置用于：
根据所述无畸变的棋盘格的角点坐标确定无畸变的棋盘格中的各方格在图像中长度；
确定无畸变的棋盘格中的所有方格在图像中长度的平均值。
9.如权利要求8所述的单目测距装置，其特征在于，所述确定无畸变的棋盘格中的所有方格在图像中长度的平均值包括：
确定无畸变的棋盘格中方格的总数量L；
根据所述无畸变的棋盘格中的各方格在图像中长度及无畸变的棋盘格中方格的总数量L，确定无畸变的棋盘格中的所有方格在图像中长度的平均值。
10.如权利要求1所述的单目测距装置，其特征在于，所述距离确定装置用于：
根据相机成像原理确定所述鱼眼摄像机与所述棋盘格所在平面的距离其中，AB为所述鱼眼摄像机与所述棋盘格所在平面的距离，DC为所述预存的棋盘格中方格的实际长度，AE为所述预存的鱼眼摄像机的焦距，及GF为所述无畸变的棋盘格中所有方格在图像中长度的平均值。
CN201910877212.0A 2018-10-12 2019-09-17 单目测距装置 Active CN111047639B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018216631500 2018-10-12
CN201821663150 2018-10-12

Publications (2)

Publication Number Publication Date
CN111047639A CN111047639A (zh) 2020-04-21
CN111047639B true CN111047639B (zh) 2023-08-18

Family

ID=70232499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877212.0A Active CN111047639B (zh) 2018-10-12 2019-09-17 单目测距装置

Country Status (1)

Country Link
CN (1) CN111047639B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124820B (zh) * 2021-06-17 2021-09-10 中国空气动力研究与发展中心低速空气动力研究所 一种基于曲面镜的单目测距方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN103996191A (zh) * 2014-05-09 2014-08-20 东北大学 一种基于最小二乘优化的黑白棋盘格图像角点的检测方法
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法
CN106327478A (zh) * 2016-08-31 2017-01-11 北京的卢深视科技有限公司 一种鱼眼全景图像合成处理方法及装置
WO2017092631A1 (zh) * 2015-11-30 2017-06-08 宁波舜宇光电信息有限公司 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN107833255A (zh) * 2017-11-17 2018-03-23 广州市安晓科技有限责任公司 一种鱼眼镜头的快速标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN103996191A (zh) * 2014-05-09 2014-08-20 东北大学 一种基于最小二乘优化的黑白棋盘格图像角点的检测方法
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法
WO2017092631A1 (zh) * 2015-11-30 2017-06-08 宁波舜宇光电信息有限公司 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN106327478A (zh) * 2016-08-31 2017-01-11 北京的卢深视科技有限公司 一种鱼眼全景图像合成处理方法及装置
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN107833255A (zh) * 2017-11-17 2018-03-23 广州市安晓科技有限责任公司 一种鱼眼镜头的快速标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向位姿估计的相机系统标定方法研究;江士雄;《中国博士学位论文全文数据库 信息科技辑》;正文全文 *

Also Published As

Publication number Publication date
CN111047639A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108053450B (zh) 一种基于多约束的高精度双目相机标定方法
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN107767422B (zh) 一种鱼眼镜头的校正方法、装置及便携式终端
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN111220128B (zh) 一种单目聚焦的测量方法及终端
CN104537616A (zh) 鱼眼图像畸变的校正方法
CN101726855A (zh) 基于立方体投影对鱼眼图像畸变校正方法
CN111047633B (zh) 单目测距装置
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN110763306B (zh) 一种基于单目视觉的液位测量系统及方法
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN112037284B (zh) 棋盘格格子中心点检测方法、摄像机畸变标定方法及系统
CN109272555A (zh) 一种rgb-d相机的外部参数获得及标定方法
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN111047639B (zh) 单目测距装置
Chan et al. An improved method for fisheye camera calibration and distortion correction
CN111047643B (zh) 单目测距装置
CN111047637B (zh) 单目测距装置
CN111047638B (zh) 单目测距装置
CN106815872B (zh) 基于圆锥投影变换的单目视觉空间定位方法
CN108335333A (zh) 一种线性摄像机标定方法
CN114549659A (zh) 一种基于准三维靶标的摄像机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221130

Address after: The first floor, the second floor, the third floor and the fourth floor of the factory building No.1, f8d District, Foxconn science and Technology Industrial Park, east side of Minqing Road, Longhua street, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Fulian Fugui Precision Industry Co.,Ltd.

Address before: 518109 3rd floor, building 1, F8B, Foxconn Science Park, No.2, Donghuan 2nd Road, Longhua street, Longhua District, Shenzhen City, Guangdong Province

Applicant before: FUHUAKE PRECISION INDUSTRY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant