CN113421300B - 确定鱼眼相机图像中物体实际位置的方法及装置 - Google Patents

确定鱼眼相机图像中物体实际位置的方法及装置 Download PDF

Info

Publication number
CN113421300B
CN113421300B CN202110724136.7A CN202110724136A CN113421300B CN 113421300 B CN113421300 B CN 113421300B CN 202110724136 A CN202110724136 A CN 202110724136A CN 113421300 B CN113421300 B CN 113421300B
Authority
CN
China
Prior art keywords
fisheye camera
camera image
coordinates
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110724136.7A
Other languages
English (en)
Other versions
CN113421300A (zh
Inventor
杨录
辛学仕
姚生意
张程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wiwide Network Technology Co ltd
Original Assignee
Shanghai Wiwide Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wiwide Network Technology Co ltd filed Critical Shanghai Wiwide Network Technology Co ltd
Priority to CN202110724136.7A priority Critical patent/CN113421300B/zh
Publication of CN113421300A publication Critical patent/CN113421300A/zh
Application granted granted Critical
Publication of CN113421300B publication Critical patent/CN113421300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

确定鱼眼相机图像中物体实际位置的方法及装置，所述方法包括：确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；计算鱼眼相机图像中物体在世界坐标系下的实际位置。本发明实现了高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置，鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行，同时借助于标定板来确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角、以及鱼眼相机的安装高度，简单高效。

Description

确定鱼眼相机图像中物体实际位置的方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种确定鱼眼相机图像中物体实际位置的方法及装置。
背景技术
鱼眼镜头，指的是一种焦距在16nm或以下、且视角接近或等于180°的镜头，是一种极端的广角镜头。为使镜头达到最大的摄影视角，鱼眼镜头的前镜片直径很短、且呈抛物线状向镜头前部凸出，和鱼的眼睛相似，故而得名。
鱼眼相机，即带有鱼眼镜头的相机。如前所述，它的焦距极短(16nm或以下)、且视角接近或等于180°
可以理解的是，极短的焦距，在带来更大的视角范围的同时，也会产生一定的弊端，例如会产生桶形畸变。
桶形畸变，指的是由镜头引起的成像画面呈现桶形膨胀状的失真现象，又称桶形失真。鱼眼相机由于其极短的焦距，会存在大幅度的桶形畸变。
桶形畸变会影响成像的位置精度，在基于鱼眼相机和深度学习的监控系统中，鱼眼相机的桶形畸变(和相机的安装误差)会导致对图像中物体在现实世界坐标系中位置的定位不准确。
对于由鱼眼相机所拍摄的图像，如何高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置，是本领域亟需解决的问题。
发明内容
本发明解决的技术问题是：对于由鱼眼相机所拍摄的图像，如何高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置。
为了解决上述技术问题，本发明实施例提供一种确定鱼眼相机图像中物体实际位置的方法，包括：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；
确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；
计算鱼眼相机图像中物体在世界坐标系下的实际位置。
可选的，所述确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ包括：
在鱼眼相机镜头的下方放置标定板，并计算得到标定板上各个角点的位置；
以鱼眼相机图像坐标系正方向与标定板所在世界坐标系正方向之间的夹角，来作为所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ。
可选的，所述在鱼眼相机镜头的下方放置标定板包括：所述标定板按照其所在世界坐标系的正南正北方向放置，标定板的棋盘格的边界与世界坐标系的南北/东西方向平行，以此来确定标定板所在世界坐标系正方向。
可选的，鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行。
可选的，所述确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
确定鱼眼相机与其安装位置下方的地面之间的距离，作为鱼眼相机的安装高度h；
在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
可选的，所述在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
以预定的m米作为调整单位，分别记录鱼眼相机在各个安装高度下，此n个点在鱼眼相机图像中的坐标；
根据所述此n个点在鱼眼相机图像中的坐标，来计算此n个点距离鱼眼相机图像的成像中心之间的距离，作为所述实际距离d；
根据不同安装高度h下的不同实际距离d的图像坐标(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)，来进行多项式的拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
可选的，根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h。
可选的，所述根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h包括：
根据鱼眼相机标定时标定板某个确定角点至鱼眼相机正下方棋盘格位置的实际距离d、以及该角点在鱼眼相机图像中的坐标(x,y)、以及所述鱼眼相机的安装高度h和鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系；
根据所述鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系，来计算出鱼眼相机的安装高度h。
可选的，所述计算鱼眼相机图像中物体在世界坐标系下的实际位置包括：
根据物体在鱼眼相机图像中的坐标(x,y)，得到物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d、以及其成像角度
Figure BDA0003136344790000031
根据所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ，计算
Figure BDA0003136344790000032
作为物体在世界坐标系下与鱼眼相机图像正方向之间的夹角；
根据所述物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d和所述物体在世界坐标系下与鱼眼相机图像正方向之间的夹角，来计算得到鱼眼相机图像中物体在世界坐标系下的实际位置。
为了解决上述技术问题，本发明实施例还提供一种确定鱼眼相机图像中物体实际位置的装置，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ；
确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d的拟合多项式；
计算鱼眼相机图像中物体在世界坐标系下的实际位置。
与现有技术相比，本发明的技术方案具有以下有益效果：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；计算鱼眼相机图像中物体在世界坐标系下的实际位置，从而实现了高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置。
进一步的，公开了实现上述各个步骤的具体方式，距离估计中通过多项式进行建模的方法简单高效，并且足够应用于通过鱼眼相机图像中距离估计来现实距离的场合；同时，根据不同的监控场景，可以通过不同的测量数据以及多项式的设计满足实际的应用需求，十分灵活和方便。
进一步的，鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行，同时借助于标定板来确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角、以及鱼眼相机的安装高度，简单高效。
附图说明
图1为本发明实施例中确定鱼眼相机图像中物体实际位置的方法流程图；
图2为本发明实施例中鱼眼相机角度标定示意图；
图3为本发明实施例中鱼眼相机自动标定俯视图；
图4为本发明实施例中鱼眼相机的标准安装示意图；
图5为本发明实施例中鱼眼图像坐标与实际距离拟合关系示意图；
图6为本发明实施例中鱼眼相机高度推算过程示意图；
图7为本发明实施例中精确位置计算示意图。
具体实施方式
根据背景技术部分的分析可知，桶形畸变会影响成像的位置精度，在基于鱼眼相机和深度学习的监控系统中，鱼眼相机的桶形畸变(和相机的安装误差)会导致对图像中物体在现实世界坐标系中位置的定位不准确。
经研究发现，对于摄像机画面中物体在现实世界中的精确位置，现有技术中的相关方案主要有以下两类：
一类方法是单纯利用像素位置和相机参数的方式。具体的：单纯利用像素位置和相机参数的方式，需要详细、精确的相机内参和相机的安装角度。通过图像坐标系——像素坐标系——世界坐标系的三步转换，可以通过公式计算得到物体在世界坐标系中所对应的精确位置。这类方法的优点是原理简单，缺点十分明显，包括：1)相机的安装角度很难精确的测量，同时相机安装角度不能长时间的保持不变，每当安装位置发生变化，就需要重新校正；2)详细、精确的相机内参一般通过标定相机来获得，标定的过程复杂；3)每安装一个相机都需要进行一次标定测量，拓展性差。
另一类方法是通过添加距离传感器的方式。具体的：添加距离传感器的方式，通过相机与距离传感器(包括雷达、毫米波传感器等)配合，实现图像上的距离以及真实距离之间的映射和配合。这类方案优点是精度高，缺点有：需要的设备多、价格昂贵、部署不便、以及不同设备之间的数据通信等不方便调试，并且仅能在普通枪机摄像头下应用。
鱼眼镜头一般是由十几个不同的透镜组合而成的，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼镜头与普通镜头相比起来，拥有了更大的视野范围，但同时这种多元件的构造结构，使得对鱼眼相机的映射关系的分析变得相当复杂。
对于鱼眼相机坐标映射关系问题，本发明的基本构思，是通过自动标定鱼眼相机，得到其安装角度相较于世界坐标系的夹角，利用鱼眼相机成像系统模型，进行标准安装下实际距离的多项式模型拟合，根据标定的角度与拟合的距离，来实现对鱼眼相机下物体的精确位置的计算与测量。
本发明确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；计算鱼眼相机图像中物体在世界坐标系下的实际位置，从而实现了高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置。
为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。
实施例一
如下所述，本发明实施例提供一种确定鱼眼相机图像中物体实际位置的方法。
参照图1所示的确定鱼眼相机图像中物体实际位置的方法流程图，以下通过具体步骤进行详细说明：
S101，确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角。
如图2、图3所示，在一些实施例中，所述确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角(θ)包括：
在鱼眼相机镜头的下方放置标定板，并计算得到标定板上各个角点的位置；
以鱼眼相机图像坐标系正方向与标定板所在世界坐标系正方向之间的夹角，来作为所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ。
进一步的，在一些实施例中，所述在鱼眼相机镜头的下方放置标定板包括：所述标定板按照其所在世界坐标系的正南正北方向放置，标定板的棋盘格的边界与世界坐标系的南北/东西方向平行，以此来确定标定板所在世界坐标系正方向。
S102，确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式。
如图4、图5所示，具体的，在一些实施例中，所述确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
确定鱼眼相机与其安装位置下方的地面之间的距离，作为鱼眼相机的安装高度h；
在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
进一步的，所述在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
以预定的m米作为调整单位，分别记录鱼眼相机在各个安装高度下，此n个点在鱼眼相机图像中的坐标；
根据所述此n个点在鱼眼相机图像中的坐标，来计算此n个点距离鱼眼相机图像的成像中心之间的距离，作为所述实际距离d；
根据不同安装高度h下的不同实际距离d的图像坐标(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)，来进行多项式的拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
在一些实施例中，鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行(仅存在偏航角的安装方式)。
在一些实施例中，根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h。
进一步的，所述根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h包括：
根据鱼眼相机标定时标定板某个确定角点至鱼眼相机正下方棋盘格位置的实际距离d、以及该角点在鱼眼相机图像中的坐标(x,y)、以及所述鱼眼相机的安装高度h和鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系；
根据所述鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系，来计算出鱼眼相机的安装高度h。
在实际部署场景下我们往往会遇到鱼眼相机安装高度缺省的情况，面对此类情况，利用相机标定时标定板的物理大小及其像素位置，根据上述步骤中求得的高度h和图像坐标(x,y)关于实际距离d的拟合多项式推出鱼眼相机的安装高度。如图6、图7所示，根据标定板某个确定角点至相机正下方棋盘格位置的距离d以及其在鱼眼图像中的坐标(x,y)，利用高度h和图像坐标(x,y)关于实际距离d的拟合多项式推出图像坐标(x,y)和实际距离d关于高度h的映射关系，从而计算出实际安装高度。
通过以上对技术方案的描述可以看出：本实施例中，鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行，同时借助于标定板来确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角、以及鱼眼相机的安装高度，简单高效。
S103，计算鱼眼相机图像中物体在世界坐标系下的实际位置。
具体的，所述计算鱼眼相机图像中物体在世界坐标系下的实际位置包括：
根据物体在鱼眼相机图像中的坐标(x,y)，得到物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d、以及其成像角度
Figure BDA0003136344790000081
根据所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ，计算
Figure BDA0003136344790000082
作为物体在世界坐标系下与鱼眼相机图像正方向之间的夹角；
根据所述物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d和所述物体在世界坐标系下与鱼眼相机图像正方向之间的夹角，来计算得到鱼眼相机图像中物体在世界坐标系下的实际位置。
通过以上对技术方案的描述可以看出：本实施例中，确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；计算鱼眼相机图像中物体在世界坐标系下的实际位置，从而实现了高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置。
进一步的，公开了实现上述各个步骤的具体方式，距离估计中通过多项式进行建模的方法简单高效，并且足够应用于通过鱼眼相机图像中距离估计来现实距离的场合；同时，根据不同的监控场景，可以通过不同的测量数据以及多项式的设计满足实际的应用需求，十分灵活和方便。
实施例二
如下所述，本发明实施例提供一种确定鱼眼相机图像中物体实际位置的装置，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ；具体的，包括：
在鱼眼相机镜头的下方放置标定板，并计算得到标定板上各个角点的位置；
以鱼眼相机图像坐标系正方向与标定板所在世界坐标系正方向之间的夹角，来作为所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ。
确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d的拟合多项式；具体的，包括：
确定鱼眼相机与其安装位置下方的地面之间的距离，作为鱼眼相机的安装高度h；
在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
进一步的，在一些实施例中，所述在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
以预定的m米作为调整单位，分别记录鱼眼相机在各个安装高度下，此n个点在鱼眼相机图像中的坐标；
根据所述此n个点在鱼眼相机图像中的坐标，来计算此n个点距离鱼眼相机图像的成像中心之间的距离，作为所述实际距离d；
根据不同安装高度h下的不同实际距离d的图像坐标(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)，来进行多项式的拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
计算鱼眼相机图像中物体在世界坐标系下的实际位置。具体的，包括：
根据物体在鱼眼相机图像中的坐标(x,y)，得到物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d、以及其成像角度
Figure BDA0003136344790000101
根据所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ，计算
Figure BDA0003136344790000102
作为物体在世界坐标系下与鱼眼相机图像正方向之间的夹角；
根据所述物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d和所述物体在世界坐标系下与鱼眼相机图像正方向之间的夹角，来计算得到鱼眼相机图像中物体在世界坐标系下的实际位置。
通过以上对技术方案的描述可以看出：本实施例中，确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；计算鱼眼相机图像中物体在世界坐标系下的实际位置，从而实现了高效、准确地估计出图像中的物体在现实世界坐标系中的实际位置。
进一步的，公开了实现上述各个步骤的具体方式，距离估计中通过多项式进行建模的方法简单高效，并且足够应用于通过鱼眼相机图像中距离估计来现实距离的场合；同时，根据不同的监控场景，可以通过不同的测量数据以及多项式的设计满足实际的应用需求，十分灵活和方便。
本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (7)

1.一种确定鱼眼相机图像中物体实际位置的方法，其特征在于，包括：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角；
确定鱼眼相机的安装高度和物体在鱼眼相机图像中的坐标关于物体在鱼眼相机图像中的坐标与鱼眼相机图像的成像中心之间的实际距离的拟合多项式；所述鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行；
计算鱼眼相机图像中物体在世界坐标系下的实际位置，包括：根据物体在鱼眼相机图像中的坐标(x,y)，得到物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d、以及其成像角度
Figure FDA0004156637640000011
根据所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ，计算
Figure FDA0004156637640000012
作为物体在世界坐标系下与鱼眼相机图像正方向之间的夹角；根据所述物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d和所述物体在世界坐标系下与鱼眼相机图像正方向之间的夹角，来计算得到鱼眼相机图像中物体在世界坐标系下的实际位置；
所述鱼眼相机的安装高度采用如下方式确定：根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h。
2.如权利要求1所述的确定鱼眼相机图像中物体实际位置的方法，其特征在于，所述确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ包括：
在鱼眼相机镜头的下方放置标定板，并计算得到标定板上各个角点的位置；
以鱼眼相机图像坐标系正方向与标定板所在世界坐标系正方向之间的夹角，来作为所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ。
3.如权利要求2所述的确定鱼眼相机图像中物体实际位置的方法，其特征在于，所述在鱼眼相机镜头的下方放置标定板包括：所述标定板按照其所在世界坐标系的正南正北方向放置，标定板的棋盘格的边界与世界坐标系的南北/东西方向平行，以此来确定标定板所在世界坐标系正方向。
4.如权利要求1所述的确定鱼眼相机图像中物体实际位置的方法，其特征在于，所述确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
确定鱼眼相机与其安装位置下方的地面之间的距离，作为鱼眼相机的安装高度h；
在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
5.如权利要求4所述的确定鱼眼相机图像中物体实际位置的方法，其特征在于，所述在世界坐标系下选取距离鱼眼相机1米至n米不等的n个点进行多项式拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式包括：
以预定的m米作为调整单位，分别记录鱼眼相机在各个安装高度下，此n个点在鱼眼相机图像中的坐标；
根据所述此n个点在鱼眼相机图像中的坐标，来计算此n个点距离鱼眼相机图像的成像中心之间的距离，作为所述实际距离d；
根据不同安装高度h下的不同实际距离d的图像坐标(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)，来进行多项式的拟合，得到鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式。
6.如权利要求1所述的确定鱼眼相机图像中物体实际位置的方法，其特征在于，所述根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h包括：
根据鱼眼相机标定时标定板某个确定角点至鱼眼相机正下方棋盘格位置的实际距离d、以及该角点在鱼眼相机图像中的坐标(x,y)、以及所述鱼眼相机的安装高度h和鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系；
根据所述鱼眼相机图像中的坐标(x,y)和实际距离d关于安装高度h的映射关系，来计算出鱼眼相机的安装高度h。
7.一种确定鱼眼相机图像中物体实际位置的装置，其特征在于，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
确定鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ；
确定鱼眼相机的安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d的拟合多项式；所述鱼眼相机的安装平面与鱼眼相机的安装位置下方的地面平行；
计算鱼眼相机图像中物体在世界坐标系下的实际位置，包括：根据物体在鱼眼相机图像中的坐标(x,y)，得到物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d、以及其成像角度
Figure FDA0004156637640000031
根据所述鱼眼相机图像正方向与世界坐标系正方向之间的夹角θ，计算
Figure FDA0004156637640000032
作为物体在世界坐标系下与鱼眼相机图像正方向之间的夹角；根据所述物体在鱼眼相机图像中的坐标(x,y)与鱼眼相机图像的成像中心之间的实际距离d和所述物体在世界坐标系下与鱼眼相机图像正方向之间的夹角，来计算得到鱼眼相机图像中物体在世界坐标系下的实际位置；
所述鱼眼相机的安装高度采用如下方式确定：根据鱼眼相机标定时标定板的物理大小及其像素位置、以及所述安装高度h和物体在鱼眼相机图像中的坐标(x,y)关于实际距离d的拟合多项式，来推导出鱼眼相机的安装高度h。
CN202110724136.7A 2021-06-28 2021-06-28 确定鱼眼相机图像中物体实际位置的方法及装置 Active CN113421300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110724136.7A CN113421300B (zh) 2021-06-28 2021-06-28 确定鱼眼相机图像中物体实际位置的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110724136.7A CN113421300B (zh) 2021-06-28 2021-06-28 确定鱼眼相机图像中物体实际位置的方法及装置

Publications (2)

Publication Number Publication Date
CN113421300A CN113421300A (zh) 2021-09-21
CN113421300B true CN113421300B (zh) 2023-05-12

Family

ID=77717045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110724136.7A Active CN113421300B (zh) 2021-06-28 2021-06-28 确定鱼眼相机图像中物体实际位置的方法及装置

Country Status (1)

Country Link
CN (1) CN113421300B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797468B (zh) * 2023-02-03 2023-05-16 厦门农芯数字科技有限公司 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488766A (zh) * 2015-11-23 2016-04-13 上海汽车集团股份有限公司 鱼眼镜头图像校正方法及装置
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976374B (zh) * 2016-05-06 2019-01-18 北京信息科技大学 摄影测量相机的场相关畸变标定方法
CN108616753B (zh) * 2016-12-29 2020-08-04 深圳超多维科技有限公司 一种裸眼立体显示方法及装置
CN107316332A (zh) * 2017-05-16 2017-11-03 深圳市保千里电子有限公司 一种应用智能驾驶的相机和场景关联标定方法及系统
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN109696122A (zh) * 2017-10-24 2019-04-30 华晶科技股份有限公司 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN108257183B (zh) * 2017-12-20 2021-02-23 歌尔光学科技有限公司 一种相机镜头光轴校准方法和装置
CN110672020A (zh) * 2019-06-14 2020-01-10 浙江农林大学 一种基于单目视觉的立木高度测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488766A (zh) * 2015-11-23 2016-04-13 上海汽车集团股份有限公司 鱼眼镜头图像校正方法及装置
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法

Also Published As

Publication number Publication date
CN113421300A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN109035320B (zh) 基于单目视觉的深度提取方法
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN106871787B (zh) 大空间线扫描成像三维测量方法
CN112541953B (zh) 一种基于雷达信号和视频同步坐标映射的车辆检测方法
JP4052382B2 (ja) 非接触画像計測装置
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN109255819B (zh) 基于平面镜的Kinect标定方法及装置
CN111260539A (zh) 鱼眼图目标识别方法及其系统
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
TW201712298A (zh) 全景影像三維深度估測系統及全景影像三維深度估測方法
CN113421300B (zh) 确定鱼眼相机图像中物体实际位置的方法及装置
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
CN109146981A (zh) 结构光模组平行aa方法、装置、设备及存储介质
CN104700409A (zh) 一种根据监控目标自动调整摄像机预置位的方法
CN114693807B (zh) 一种输电线路图像与点云的映射数据重构方法及系统
CN114754695B (zh) 多视场桥梁挠度测量装置、方法及存储介质
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
CN116147582A (zh) 一种水下摄影测量定位定向的方法
CN115690212A (zh) 一种对视定位方法、装置及存储介质
US11640680B2 (en) Imaging system and a method of calibrating an image system
CN115511961A (zh) 三维空间定位方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant