CN110021044B - 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 - Google Patents

利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 Download PDF

Info

Publication number
CN110021044B
CN110021044B CN201810023066.0A CN201810023066A CN110021044B CN 110021044 B CN110021044 B CN 110021044B CN 201810023066 A CN201810023066 A CN 201810023066A CN 110021044 B CN110021044 B CN 110021044B
Authority
CN
China
Prior art keywords
fisheye
image
lens
incident angle
fisheye lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810023066.0A
Other languages
English (en)
Other versions
CN110021044A (zh
Inventor
吴伯政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Corp
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Priority to CN201810023066.0A priority Critical patent/CN110021044B/zh
Publication of CN110021044A publication Critical patent/CN110021044A/zh
Application granted granted Critical
Publication of CN110021044B publication Critical patent/CN110021044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置。此方法是利用图像获取装置的第一及第二鱼眼镜头分别获取包括一物体的第一及第二鱼眼图像，检测物体在第一及第二鱼眼图像中的坐标，据此计算物体在第一及第二鱼眼镜头的图像传感器平面上相对于第一及第二鱼眼图像的鱼眼中心的第一及第二方位角，利用第一及第二鱼眼镜头的镜头曲线，将物体坐标与第一、第二鱼眼图像的鱼眼中心的距离分别转换为第一及第二入射角。最后，根据第一、第二方位角、第一、第二入射角以及第一及第二鱼眼镜头之间的基线距离，利用三角函数计算物体的三维坐标。藉此，可在不进行几何转换的情况下，实现所摄物体的三维坐标计算。

Description

利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
技术领域
本发明涉及一种图像获取装置及方法，尤其涉及一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置。
背景技术
游戏机是现代人家庭娱乐不可或缺的电子产品之一。为了增加玩家与游戏内容的互动，许多游戏机已摒除传统手把的控制模式，加入了体感检测的元素。通过红外线等传感器检测使用者于空间中的移动或动作，并反应于游戏内容的操控，而大幅增加游戏的娱乐性。
除了早期的红外线感测定位技术之外，近期的游戏机更导入了光球检测技术，当使用者手持光球遥杆在空间中挥舞时，游戏机会通过配置其上的双镜头拍摄光球的图像，并根据光球在图像中的位置计算光球在空间中的位置。
然而，由于传统镜头的视野(field of view，FOV)有限，此将使得上述双镜头的拍摄范围会受到限制，连带使得使用者的移动空间也受到限制。而若将此镜头替换成视野较广的鱼眼镜头，则因为鱼眼镜头所获取的图像会有变形，需要进行鱼眼校正后才能用来定位，但校正过程需要经过几何转换(geometry transformation)，此将降低视频图像的管线期间(pipeline duration)，而有可能需要通过增加图框率(frame rate)来解决。
发明内容
本发明提供一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置，可在不进行几何转换的情况下，使用双鱼眼图像计算出物体于空间中的三维坐标。
本发明的利用双鱼眼图像计算所摄物体坐标的方法适用于具有第一鱼眼镜头及第二鱼眼镜头的图像获取装置。其中，第一鱼眼镜头及第二鱼眼镜头之间具有基线距离。所述方法是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。接着，检测此物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标，然后根据此第一坐标及第二坐标，计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角，之后则利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线，分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。最后，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的三维坐标。
在本发明的一实施例中，所述的物体包括发光装置，而所述检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标的步骤包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。
在本发明的一实施例中，所述物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。
在本发明的一实施例中，假设所述第一方位角为
Figure BDA0001544167320000025
第二方位角为
Figure BDA0001544167320000026
第一入射角为θl、第二入射角为θr以及基线距离为B，物体的三维坐标为(x,y,z)，其中
Figure BDA0001544167320000021
Figure BDA0001544167320000022
以及
Figure BDA0001544167320000023
或
Figure BDA0001544167320000024
在本发明的一实施例中，所述第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角，使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域。其中，当所述物体出现在重叠区域时，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的三维坐标；以及当所述物体出现在非重叠区域时，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的二维坐标。
本发明的图像获取装置包括图像获取模块、物体检测模块、方位角计算模块、入射角计算模块及坐标计算模块。图像获取模块是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。物体检测模块是检测所述物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标。方位角计算模块是根据所述的第一坐标及第二坐标，计算所述物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角。入射角计算模块是利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线，分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。坐标计算模块是根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及第一鱼眼镜头与第二鱼眼镜头之间的基线距离，利用三角函数计算所述物体的三维坐标。
在本发明的一实施例中，所述的物体包括发光装置，而所述物体检测模块包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为第一坐标及第二坐标。
在本发明的一实施例中，所述的物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述的物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。
在本发明的一实施例中，假设所述的第一方位角为
Figure BDA0001544167320000033
第二方位角为
Figure BDA0001544167320000034
第一入射角为θl、第二入射角为θr以及基线距离为B，物体的三维坐标为(x,y,z)，其中
Figure BDA0001544167320000031
Figure BDA0001544167320000032
以及
Figure BDA0001544167320000041
或
Figure BDA0001544167320000042
在本发明的一实施例中，所述的第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角，使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域，其中当物体出现在重叠区域时，坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的三维坐标；以及当物体出现在重叠区域时，坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的二维坐标。
基于上述，本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置利用双鱼眼镜头获取物体图像，并在不进行几何转换的情况，直接使用物体在双鱼眼图像中的坐标计算由物体发射的光在鱼眼镜头上的入射角以及在镜头平面上的方位角，最后利用三角定位的方式，计算该物体在空间中的三维坐标。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例所显示的双摄像头图像获取装置的方块图；
图2是依照本发明一实施例所显示的双摄像头图像获取装置的摄像方法的流程图；
图3A至图3B是依照本发明一实施例所显示的双摄像头图像获取装置20的摄像方法的范例；
图4是依照本发明一实施例所显示的双摄像头图像获取装置的方块图。
附图标号说明：
10：图像获取装置
12：第一鱼眼镜头
14：第二鱼眼镜头
16：存储装置
161：图像获取模块
162：物体检测模块
163：方位角计算模块
164：入射角计算模块
165：坐标计算模块
18：处理器
32：鱼眼镜头
34：图像传感器
36：鱼眼图像
θ、θl、θr：入射角
Figure BDA0001544167320000051
方位角
O、Ol、Or：鱼眼中心
P：投影点
R：有效投影平径
r：投影平径
T、T’：物体
M：P点在基线
Figure BDA0001544167320000052
上的投影点
S202～S210：本发明一实施例的利用双鱼眼图像计算所摄物体坐标的方法步骤
具体实施方式
由于鱼眼镜头采用等距镜头(Equi-Distance lens)，其自物体(例如光球)接收的光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。据此，本发明即通过检测物体在鱼眼图像中的位置，利用上述关系反推物体发光的入射角，结合物体在镜头平面上的方位角，利用三角定位的方式，即可计算出物体于空间中的三维坐标。藉此，本发明可在增加拍摄视野且不进行几何转换的情况下，实现所摄物体的三维坐标计算。
图1是依照本发明一实施例所显示的图像获取装置的方块图。请参照图1，本实施例的图像获取装置10例如是手机、平板电脑、笔记本电脑、导航装置、行车纪录器、数码相机、数码摄影机(Digital video camcorder，DVC)等具备摄像功能的电子装置。图像获取装置10中包括第一鱼眼镜头12、第二鱼眼镜头14、存储装置16及处理器18，其功能分述如下：
第一鱼眼镜头12及第二鱼眼镜头14分别包括镜头及图像传感器，其中所述镜头是采用视角接近、等于或超过180度的定焦或变焦镜头，其可使得位于其视野(Field ofView，FOV)内的被摄物体成像在图像传感器上。图像传感器中配置有电荷耦合元件(Chargecoupled device，CCD)、互补性氧化金属半导体(Complementary metal-oxidesemiconductor，CMOS)元件或其他种类的感光元件，而可感测进入镜头的光线强度，从而获取图像信号以产生鱼眼图像。第一鱼眼镜头12及第二鱼眼镜头14之间例如具有一基线距离。
存储装置16例如是任何形式的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，存储装置16用以记录图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165，这些模块例如是存储在存储装置16中的程序。
处理器18例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数码信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。处理器18连接第一鱼眼镜头12、第二鱼眼镜头14及存储装置16，而配置用以从存储装置16载入图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165的程序，据以执行本申请利用双鱼眼图像计算所摄物体坐标的方法。
详言之，图2是依照本发明一实施例所显示的利用双鱼眼图像计算所摄物体坐标的方法的流程图。请同时参照图1及图2，本实施例的方法适用于图1的图像获取装置10，以下即搭配图像获取装置10中的各项元件说明本案的利用双鱼眼图像计算所摄物体坐标的方法的详细步骤。
首先，处理器18执行图像获取模块161，以利用第一鱼眼镜头12及第二鱼眼镜头14分别获取包括一物体的第一鱼眼图像及第二鱼眼图像(步骤S202)。其中，所述物体例如是白色、蓝色、红色、绿色或其他易辨识颜色的光球，其例如是配置在遥杆、遥控器、虚拟实境的头戴式显示器、头盔或是手环、手表等可穿戴式装置上，而可通过发出白光或其他颜色的光，让图像获取装置10可辨识出手持或配戴此物体之使用者的动作。
接着，处理器18执行物体检测模块162，以检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标(步骤S204)。其中，物体检测模块162例如会分别检测第一鱼眼图像及第二鱼眼图像中亮度或某一颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。
详言之，若所述物体为光球，则此物体在鱼眼图像中将以亮度较高或某一颜色分量较高的圆形(或椭圆形)区域呈现，因此，物体检测模块162即通过将鱼眼图像中各个像素的亮度值与预设值比较，以检测出物体(白色光球)，或是将鱼眼图像中各个像素的某个颜色分量(例如R、G、B)的像素值(例如蓝色分量的像素值)与预设值比较，以检测出具有该颜色的物体(例如蓝色光球)。另一方面，鱼眼镜头所拍摄的物体，会依其偏离鱼眼中心的距离而产生不同程度的形变(例如圆形的光球会变成椭圆形)，因此，在确定物体于鱼眼图像中的坐标时，物体检测模块162例如会计算此物体的中心(例如范围可涵括此物体的最小矩形的中心)或重心，而以此中心或重心在鱼眼图像中的坐标作为物体的坐标。
然后，处理器18执行方位角计算模块163，以根据第一坐标及第二坐标，计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角(步骤S206)。此外，处理器18还会执行入射角计算模块164，以利用第一鱼眼镜头12及第二鱼眼镜头14的镜头曲线，分别将前述第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及前述第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角(步骤S208)。其中，处理器18执行的顺序并不限于上述的步骤S206、步骤S208，亦可先执行步骤S208、再执行步骤S206，或同时执行。
第一鱼眼镜头12及第二鱼眼镜头14所拍摄物体在其图像传感器平面上的投影半径，会依据其镜头曲线而有不同。在一实施例中，若第一鱼眼镜头12与第二鱼眼镜头14是采用等距镜头(Equi-Distance lens)，则其所接收光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。意即，由物体所发出的光在第一鱼眼镜头12上的入射角与此光在第一鱼眼镜头12的图像传感器上的投影半径呈正比；另一方面，由物体所发出的光在第二鱼眼镜头14上的入射角与此光在第二鱼眼镜头14的图像传感器上的投影半径呈正比。而在另一实施例中，第一鱼眼镜头12与第二鱼眼镜头14所接收光的入射角与此光在图像传感器上的投影半径彼此间也可具有多项式函数的关系，此关系可通过预先取得镜头曲线，或预先测定不同角度入射光在图像传感器上的投影半径，而预先取得。
举例来说，图3A是依照本发明一实施例所显示的物体在鱼眼镜头的投影半径与入射角的关系示意图，图3B是依照本发明一实施例所显示的物体在鱼眼图像中的位置与方位角的关系示意图。请先参照图3A，由物体T所发出的光例如是以入射角θ入射鱼眼镜头32，并经由鱼眼镜头32的折射，在图像传感器34所在的图像传感器平面上距离鱼眼中心O为投影平径r的位置上呈像。其中，鱼眼镜头32在图像传感器平面上的有效投影平径为R。根据鱼眼镜头32的镜头曲线，前述的入射角θ与投影平径r的关系例如为θ＝k·r，其中k为常数且可预先测得。藉此，若使用此鱼眼镜头32拍摄任意物体，即可依据该物体在所拍摄鱼眼图像中的位置，利用上述关系反推由此物体发光的入射角θ。另一方面，请参照图3B，依据物体T’在鱼眼图像36中的位置，即可以贯穿鱼眼图像36的鱼眼中心O的x轴为基准，计算出物体T’相对于鱼眼中心O的方位角
Figure BDA0001544167320000088
在计算出物体相对于鱼眼中心的方位角以及由物体与鱼眼中心的距离所计算出的入射角之后，处理器18即执行坐标计算模块165，而根据前述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算所述物体的三维坐标(步骤S210)。
详言之，图4是依照本发明一实施例所显示的计算物体三维坐标的示意图。请参照图4，假设Ol与Or分别是左、右鱼眼镜头的鱼眼中心，P点是物体T在镜头平面上的投影点，M点是P点在基线
Figure BDA0001544167320000081
上的投影点，基线
Figure BDA0001544167320000082
的长度为B。其中，线段
Figure BDA0001544167320000083
与线段
Figure BDA0001544167320000084
之间的夹角θl可视为物体T的发光入射于左鱼眼镜头的入射角，线段
Figure BDA0001544167320000085
为线段
Figure BDA0001544167320000086
在镜头平面上的投影线，而基线
Figure BDA0001544167320000087
与投影线
Figure BDA0001544167320000091
之间的夹角
Figure BDA0001544167320000092
则可视为物体T相对于鱼眼中心Ol的方位角。类似地，线段
Figure BDA0001544167320000093
与线段
Figure BDA0001544167320000094
之间的夹角θr可视为物体T的发光入射于右鱼眼镜头的入射角，线段
Figure BDA0001544167320000095
为线段
Figure BDA0001544167320000096
在镜头平面上的投影线，而基线
Figure BDA0001544167320000097
与投影线
Figure BDA0001544167320000098
之间的夹角
Figure BDA0001544167320000099
则可视为物体T相对于鱼眼中心Or的方位角。
基于前述的方位角
Figure BDA00015441673200000910
入射角θl、θr以及基线距离B，物体T的三维坐标为(x,y,z)可利用下列公式推得：
Figure BDA00015441673200000911
Figure BDA00015441673200000912
以及
Figure BDA00015441673200000913
或
Figure BDA00015441673200000914
通过上述方法，本实施例的图像获取装置10即可在不进行鱼眼校正的情况下，实现所摄物体的三维坐标计算，且其所拍摄范围相较于传统镜头更广。
需说明的是，在上述实施例中，图像获取装置的两个鱼眼镜头的光轴预设为平行。而在其他实施例中，两个鱼眼镜头的光轴也可不平行，即两个鱼眼镜头的光轴之间具有夹角。此夹角愈大，代表两个鱼眼镜头视野所涵盖的范围愈大，可支援物体位置检测的角度也愈大。
基于人眼感受深度的范围有限，但对于两侧物体的感受较为明显。本发明一实施例的图像获取装置是采用光轴不平行的两个鱼眼镜头，其光轴之间的夹角将使得两个鱼眼镜头的视野包括重叠区域及非重叠区域。其中，当有物体出现在重叠区域时，图像获取装置即可根据前述实施例所计算的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的三维坐标。而当有物体出现在非重叠区域时，图像获取装置则可根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的二维坐标。其中，虽然位于非重叠区域中的物体会因为只被一个鱼眼镜头拍摄到，因此无法计算出深度。但由于物体的二维坐标仍可被计算出，因此仍有助于对位于视野边缘的物体进行定位。
综上所述，本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置依据物体在双鱼眼镜头所拍摄图像中的位置，分别计算出物体发光进入鱼眼镜头的入射角以及物体在镜头平面上的方位角，进而计算出物体于空间中的三维坐标。藉此，本发明实施例可在不进行几何转换的情况下，实现所摄物体的三维坐标计算，且可在增加检测范围的同时，减少检测物体所需的运算量。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (8)

1.一种利用双鱼眼图像计算所摄物体坐标的方法，适用于具有第一鱼眼镜头及第二鱼眼镜头的图像获取装置，其特征在于，所述第一鱼眼镜头及所述第二鱼眼镜头之间具有基线距离，所述方法包括下列步骤：
利用所述第一鱼眼镜头及所述第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像；
检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的第一坐标及第二坐标；
根据所述第一坐标及所述第二坐标，计算所述物体在所述第一鱼眼镜头及所述第二鱼眼镜头的图像传感器平面上相对于所述第一鱼眼图像及所述第二鱼眼图像的鱼眼中心的第一方位角及第二方位角；
利用所述第一鱼眼镜头及所述第二鱼眼镜头的镜头曲线，分别将所述第一坐标与所述第一鱼眼图像的鱼眼中心的第一距离以及所述第二坐标与所述第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角；以及
根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离，利用三角函数计算所述物体的三维坐标，
其中假设所述第一方位角为
Figure FDA0003828990190000011
所述第二方位角为
Figure FDA0003828990190000012
所述第一入射角为θl、所述第二入射角为θr以及所述基线距离为B，所述物体的三维坐标为(x,y,z)，其中
Figure FDA0003828990190000013
Figure FDA0003828990190000014
以及
Figure FDA0003828990190000015
或
Figure FDA0003828990190000016
2.根据权利要求1所述的利用双鱼眼图像计算所摄物体坐标的方法，其特征在于，所述物体包括发光装置，而检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的所述第一坐标及所述第二坐标的步骤包括：
分别检测所述第一鱼眼图像及所述第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以所述像素所形成区域的中心或重心在所述第一鱼眼图像及所述第二鱼眼图像中的坐标作为所述第一坐标及所述第二坐标。
3.根据权利要求2所述的利用双鱼眼图像计算所摄物体坐标的方法，其特征在于，所述物体所发出的光在所述第一鱼眼镜头上的入射角与所述光在所述第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述物体所发出的光在所述第二鱼眼镜头上的入射角与所述光在所述第二鱼眼镜头的图像传感器上的投影半径呈正比。
4.根据权利要求1所述的利用双鱼眼图像计算所摄物体坐标的方法，其特征在于，所述第一鱼眼镜头的光轴及所述第二鱼眼镜头的光轴具有一夹角，使得所述第一鱼眼镜头的视野与所述第二鱼眼镜头的视野包括重叠区域及非重叠区域，其中
当所述物体出现在所述重叠区域时，根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离，利用三角函数计算所述物体的所述三维坐标；以及
当所述物体出现在所述非重叠区域时，根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离，利用三角函数计算所述物体的二维坐标。
5.一种图像获取装置，其特征在于，包括：
图像获取模块，利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像；
物体检测模块，检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的第一坐标及第二坐标；
方位角计算模块，根据所述第一坐标及所述第二坐标，计算所述物体在所述第一鱼眼镜头及所述第二鱼眼镜头的图像传感器平面上相对于所述第一鱼眼图像及所述第二鱼眼图像的鱼眼中心的第一方位角及第二方位角；
入射角计算模块，利用所述第一鱼眼镜头及所述第二鱼眼镜头的镜头曲线，分别将所述第一坐标与所述第一鱼眼图像的鱼眼中心的第一距离以及所述第二坐标与所述第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角；以及
坐标计算模块，根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述第一鱼眼镜头及所述第二鱼眼镜头之间基线距离，利用三角函数计算所述物体的三维坐标，
其中假设所述第一方位角为
Figure FDA0003828990190000031
所述第二方位角为
Figure FDA0003828990190000032
所述第一入射角为θl、所述第二入射角为θr以及所述基线距离为B，所述物体的三维坐标为(x,y,z)，其中
Figure FDA0003828990190000033
Figure FDA0003828990190000034
以及
Figure FDA0003828990190000035
或
Figure FDA0003828990190000036
6.根据权利要求5所述的图像获取装置，其特征在于，所述物体包括发光装置，而所述物体检测模块包括分别检测所述第一鱼眼图像及所述第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以所述像素所形成区域的中心或重心在所述第一鱼眼图像及所述第二鱼眼图像中的坐标作为所述第一坐标及所述第二坐标。
7.根据权利要求6所述的图像获取装置，其特征在于，所述物体所发出的光在所述第一鱼眼镜头上的入射角与所述光在所述第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述物体所发出的光在所述第二鱼眼镜头上的入射角与所述光在所述第二鱼眼镜头的图像传感器上的投影半径呈正比。
8.根据权利要求5所述的图像获取装置，其特征在于，所述第一鱼眼镜头的光轴及所述第二鱼眼镜头的光轴具有一夹角，使得所述第一鱼眼镜头的视野与所述第二鱼眼镜头的视野包括重叠区域及非重叠区域，其中
当所述物体出现在所述重叠区域时，所述坐标计算模块包括根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离，利用三角函数计算所述物体的所述三维坐标；以及
当所述物体出现在所述非重叠区域时，所述坐标计算模块包括根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离，利用三角函数计算所述物体的二维坐标。
CN201810023066.0A 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 Active CN110021044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023066.0A CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023066.0A CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Publications (2)

Publication Number Publication Date
CN110021044A CN110021044A (zh) 2019-07-16
CN110021044B true CN110021044B (zh) 2022-12-20

Family

ID=67188028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023066.0A Active CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Country Status (1)

Country Link
CN (1) CN110021044B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675445B (zh) * 2019-09-27 2022-06-21 深兰科技（上海）有限公司 一种视觉定位方法、装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
JP2011091528A (ja) * 2009-10-21 2011-05-06 Olympus Corp 撮像装置及び撮像方法
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN106157256A (zh) * 2015-04-22 2016-11-23 Tcl集团股份有限公司 一种鱼眼图像校正方法和鱼眼图像校正装置
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
CN106357991A (zh) * 2015-07-14 2017-01-25 旺玖科技股份有限公司 图像处理方法、图像处理装置及显示系统
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
JP2011091528A (ja) * 2009-10-21 2011-05-06 Olympus Corp 撮像装置及び撮像方法
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN106157256A (zh) * 2015-04-22 2016-11-23 Tcl集团股份有限公司 一种鱼眼图像校正方法和鱼眼图像校正装置
CN106357991A (zh) * 2015-07-14 2017-01-25 旺玖科技股份有限公司 图像处理方法、图像处理装置及显示系统
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于坐标投影的鱼眼图像校正方法研究;霍薇薇等;《电子测量技术》;20140531;第37卷(第5期);第25-28页 *

Also Published As

Publication number Publication date
CN110021044A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
US20170214866A1 (en) Image Generating Method and Dual-Lens Device
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5472506B2 (ja) 複数の移動対象物の追跡撮影システム及び撮影制御方法
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
JP6003135B2 (ja) 画像処理装置、画像処理方法及び撮像装置
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
US10762658B2 (en) Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN107547789B (zh) 影像获取装置及其摄影构图的方法
CN110021044B (zh) 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
TWI725279B (zh) 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
TWI646506B (zh) 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
TW202001792A (zh) 用於偵測在一視訊序列中之移動之方法
JP2017525172A5 (zh)
CN101841589B (zh) 便携式电子装置
CN109696122A (zh) 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN104931039B (zh) 自由空间定位方法及系统
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
CN108701364B (zh) 台球位置确定方法、台球位置确定装置及电子设备
TW201919382A (zh) 影像追蹤裝置及其影像追蹤方法
JP7200002B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
TW202405548A (zh) 使用獨立運動校正之全景影像處理方法
TWM640759U (zh) 使用運動校正之全景攝像設備

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant