CN110021044A - 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 - Google Patents

利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 Download PDF

Info

Publication number
CN110021044A
CN110021044A CN201810023066.0A CN201810023066A CN110021044A CN 110021044 A CN110021044 A CN 110021044A CN 201810023066 A CN201810023066 A CN 201810023066A CN 110021044 A CN110021044 A CN 110021044A
Authority
CN
China
Prior art keywords
fish
fish eye
coordinate
angle
eye images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810023066.0A
Other languages
English (en)
Other versions
CN110021044B (zh
Inventor
吴伯政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Corp
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Priority to CN201810023066.0A priority Critical patent/CN110021044B/zh
Publication of CN110021044A publication Critical patent/CN110021044A/zh
Application granted granted Critical
Publication of CN110021044B publication Critical patent/CN110021044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明提供一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置。此方法是利用图像获取装置的第一及第二鱼眼镜头分别获取包括一物体的第一及第二鱼眼图像,检测物体在第一及第二鱼眼图像中的坐标,据此计算物体在第一及第二鱼眼镜头的图像传感器平面上相对于第一及第二鱼眼图像的鱼眼中心的第一及第二方位角,利用第一及第二鱼眼镜头的镜头曲线,将物体坐标与第一、第二鱼眼图像的鱼眼中心的距离分别转换为第一及第二入射角。最后,根据第一、第二方位角、第一、第二入射角以及第一及第二鱼眼镜头之间的基线距离,利用三角函数计算物体的三维坐标。藉此,可在不进行几何转换的情况下,实现所摄物体的三维坐标计算。

Description

利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
技术领域
本发明涉及一种图像获取装置及方法,尤其涉及一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置。
背景技术
游戏机是现代人家庭娱乐不可或缺的电子产品之一。为了增加玩家与游戏内容的互动,许多游戏机已摒除传统手把的控制模式,加入了体感检测的元素。通过红外线等传感器检测使用者于空间中的移动或动作,并反应于游戏内容的操控,而大幅增加游戏的娱乐性。
除了早期的红外线感测定位技术之外,近期的游戏机更导入了光球检测技术,当使用者手持光球遥杆在空间中挥舞时,游戏机会通过配置其上的双镜头拍摄光球的图像,并根据光球在图像中的位置计算光球在空间中的位置。
然而,由于传统镜头的视野(field of view,FOV)有限,此将使得上述双镜头的拍摄范围会受到限制,连带使得使用者的移动空间也受到限制。而若将此镜头替换成视野较广的鱼眼镜头,则因为鱼眼镜头所获取的图像会有变形,需要进行鱼眼校正后才能用来定位,但校正过程需要经过几何转换(geometry transformation),此将降低视频图像的管线期间(pipeline duration),而有可能需要通过增加图框率(frame rate)来解决。
发明内容
本发明提供一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置,可在不进行几何转换的情况下,使用双鱼眼图像计算出物体于空间中的三维坐标。
本发明的利用双鱼眼图像计算所摄物体坐标的方法适用于具有第一鱼眼镜头及第二鱼眼镜头的图像获取装置。其中,第一鱼眼镜头及第二鱼眼镜头之间具有基线距离。所述方法是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。接着,检测此物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标,然后根据此第一坐标及第二坐标,计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角,之后则利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线,分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。最后,根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算物体的三维坐标。
在本发明的一实施例中,所述的物体包括发光装置,而所述检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标的步骤包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素,而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。
在本发明的一实施例中,所述物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比,以及所述物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。
在本发明的一实施例中,假设所述第一方位角为第二方位角为第一入射角为θl、第二入射角为θr以及基线距离为B,物体的三维坐标为(x,y,z),其中
以及
在本发明的一实施例中,所述第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角,使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域。其中,当所述物体出现在重叠区域时,根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算此物体的三维坐标;以及当所述物体出现在非重叠区域时,根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算此物体的二维坐标。
本发明的图像获取装置包括图像获取模块、物体检测模块、方位角计算模块、入射角计算模块及坐标计算模块。图像获取模块是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。物体检测模块是检测所述物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标。方位角计算模块是根据所述的第一坐标及第二坐标,计算所述物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角。入射角计算模块是利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线,分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。坐标计算模块是根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及第一鱼眼镜头与第二鱼眼镜头之间的基线距离,利用三角函数计算所述物体的三维坐标。
在本发明的一实施例中,所述的物体包括发光装置,而所述物体检测模块包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素,而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为第一坐标及第二坐标。
在本发明的一实施例中,所述的物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比,以及所述的物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。
在本发明的一实施例中,假设所述的第一方位角为第二方位角为第一入射角为θl、第二入射角为θr以及基线距离为B,物体的三维坐标为(x,y,z),其中
以及
在本发明的一实施例中,所述的第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角,使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域,其中当物体出现在重叠区域时,坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算物体的三维坐标;以及当物体出现在重叠区域时,坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算物体的二维坐标。
基于上述,本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置利用双鱼眼镜头获取物体图像,并在不进行几何转换的情况,直接使用物体在双鱼眼图像中的坐标计算由物体发射的光在鱼眼镜头上的入射角以及在镜头平面上的方位角,最后利用三角定位的方式,计算该物体在空间中的三维坐标。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例所显示的双摄像头图像获取装置的方块图;
图2是依照本发明一实施例所显示的双摄像头图像获取装置的摄像方法的流程图;
图3A至图3B是依照本发明一实施例所显示的双摄像头图像获取装置20的摄像方法的范例;
图4是依照本发明一实施例所显示的双摄像头图像获取装置的方块图。
附图标号说明:
10:图像获取装置
12:第一鱼眼镜头
14:第二鱼眼镜头
16:存储装置
161:图像获取模块
162:物体检测模块
163:方位角计算模块
164:入射角计算模块
165:坐标计算模块
18:处理器
32:鱼眼镜头
34:图像传感器
36:鱼眼图像
θ、θl、θr:入射角
方位角
O、Ol、Or:鱼眼中心
P:投影点
R:有效投影平径
r:投影平径
T、T’:物体
M:P点在基线上的投影点
S202~S210:本发明一实施例的利用双鱼眼图像计算所摄物体坐标的方法步骤
具体实施方式
由于鱼眼镜头采用等距镜头(Equi-Distance lens),其自物体(例如光球)接收的光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。据此,本发明即通过检测物体在鱼眼图像中的位置,利用上述关系反推物体发光的入射角,结合物体在镜头平面上的方位角,利用三角定位的方式,即可计算出物体于空间中的三维坐标。藉此,本发明可在增加拍摄视野且不进行几何转换的情况下,实现所摄物体的三维坐标计算。
图1是依照本发明一实施例所显示的图像获取装置的方块图。请参照图1,本实施例的图像获取装置10例如是手机、平板电脑、笔记本电脑、导航装置、行车纪录器、数码相机、数码摄影机(Digital video camcorder,DVC)等具备摄像功能的电子装置。图像获取装置10中包括第一鱼眼镜头12、第二鱼眼镜头14、存储装置16及处理器18,其功能分述如下:
第一鱼眼镜头12及第二鱼眼镜头14分别包括镜头及图像传感器,其中所述镜头是采用视角接近、等于或超过180度的定焦或变焦镜头,其可使得位于其视野(Field ofView,FOV)内的被摄物体成像在图像传感器上。图像传感器中配置有电荷耦合元件(Chargecoupled device,CCD)、互补性氧化金属半导体(Complementary metal-oxidesemiconductor,CMOS)元件或其他种类的感光元件,而可感测进入镜头的光线强度,从而获取图像信号以产生鱼眼图像。第一鱼眼镜头12及第二鱼眼镜头14之间例如具有一基线距离。
存储装置16例如是任何形式的固定式或可移动式随机存取存储器(randomaccess memory,RAM)、只读存储器(read-only memory,ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中,存储装置16用以记录图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165,这些模块例如是存储在存储装置16中的程序。
处理器18例如是中央处理单元(Central Processing Unit,CPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数码信号处理器(DigitalSignal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。处理器18连接第一鱼眼镜头12、第二鱼眼镜头14及存储装置16,而配置用以从存储装置16载入图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165的程序,据以执行本申请利用双鱼眼图像计算所摄物体坐标的方法。
详言之,图2是依照本发明一实施例所显示的利用双鱼眼图像计算所摄物体坐标的方法的流程图。请同时参照图1及图2,本实施例的方法适用于图1的图像获取装置10,以下即搭配图像获取装置10中的各项元件说明本案的利用双鱼眼图像计算所摄物体坐标的方法的详细步骤。
首先,处理器18执行图像获取模块161,以利用第一鱼眼镜头12及第二鱼眼镜头14分别获取包括一物体的第一鱼眼图像及第二鱼眼图像(步骤S202)。其中,所述物体例如是白色、蓝色、红色、绿色或其他易辨识颜色的光球,其例如是配置在遥杆、遥控器、虚拟实境的头戴式显示器、头盔或是手环、手表等可穿戴式装置上,而可通过发出白光或其他颜色的光,让图像获取装置10可辨识出手持或配戴此物体之使用者的动作。
接着,处理器18执行物体检测模块162,以检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标(步骤S204)。其中,物体检测模块162例如会分别检测第一鱼眼图像及第二鱼眼图像中亮度或某一颜色分量大于预设值的多个像素,而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。
详言之,若所述物体为光球,则此物体在鱼眼图像中将以亮度较高或某一颜色分量较高的圆形(或椭圆形)区域呈现,因此,物体检测模块162即通过将鱼眼图像中各个像素的亮度值与预设值比较,以检测出物体(白色光球),或是将鱼眼图像中各个像素的某个颜色分量(例如R、G、B)的像素值(例如蓝色分量的像素值)与预设值比较,以检测出具有该颜色的物体(例如蓝色光球)。另一方面,鱼眼镜头所拍摄的物体,会依其偏离鱼眼中心的距离而产生不同程度的形变(例如圆形的光球会变成椭圆形),因此,在确定物体于鱼眼图像中的坐标时,物体检测模块162例如会计算此物体的中心(例如范围可涵括此物体的最小矩形的中心)或重心,而以此中心或重心在鱼眼图像中的坐标作为物体的坐标。
然后,处理器18执行方位角计算模块163,以根据第一坐标及第二坐标,计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角(步骤S206)。此外,处理器18还会执行入射角计算模块164,以利用第一鱼眼镜头12及第二鱼眼镜头14的镜头曲线,分别将前述第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及前述第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角(步骤S208)。其中,处理器18执行的顺序并不限于上述的步骤S206、步骤S208,亦可先执行步骤S208、再执行步骤S206,或同时执行。
第一鱼眼镜头12及第二鱼眼镜头14所拍摄物体在其图像传感器平面上的投影半径,会依据其镜头曲线而有不同。在一实施例中,若第一鱼眼镜头12与第二鱼眼镜头14是采用等距镜头(Equi-Distance lens),则其所接收光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。意即,由物体所发出的光在第一鱼眼镜头12上的入射角与此光在第一鱼眼镜头12的图像传感器上的投影半径呈正比;另一方面,由物体所发出的光在第二鱼眼镜头14上的入射角与此光在第二鱼眼镜头14的图像传感器上的投影半径呈正比。而在另一实施例中,第一鱼眼镜头12与第二鱼眼镜头14所接收光的入射角与此光在图像传感器上的投影半径彼此间也可具有多项式函数的关系,此关系可通过预先取得镜头曲线,或预先测定不同角度入射光在图像传感器上的投影半径,而预先取得。
举例来说,图3A是依照本发明一实施例所显示的物体在鱼眼镜头的投影半径与入射角的关系示意图,图3B是依照本发明一实施例所显示的物体在鱼眼图像中的位置与方位角的关系示意图。请先参照图3A,由物体T所发出的光例如是以入射角θ入射鱼眼镜头32,并经由鱼眼镜头32的折射,在图像传感器34所在的图像传感器平面上距离鱼眼中心O为投影平径r的位置上呈像。其中,鱼眼镜头32在图像传感器平面上的有效投影平径为R。根据鱼眼镜头32的镜头曲线,前述的入射角θ与投影平径r的关系例如为θ=k·r,其中k为常数且可预先测得。藉此,若使用此鱼眼镜头32拍摄任意物体,即可依据该物体在所拍摄鱼眼图像中的位置,利用上述关系反推由此物体发光的入射角θ。另一方面,请参照图3B,依据物体T’在鱼眼图像36中的位置,即可以贯穿鱼眼图像36的鱼眼中心O的x轴为基准,计算出物体T’相对于鱼眼中心O的方位角
在计算出物体相对于鱼眼中心的方位角以及由物体与鱼眼中心的距离所计算出的入射角之后,处理器18即执行坐标计算模块165,而根据前述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算所述物体的三维坐标(步骤S210)。
详言之,图4是依照本发明一实施例所显示的计算物体三维坐标的示意图。请参照图4,假设Ol与Or分别是左、右鱼眼镜头的鱼眼中心,P点是物体T在镜头平面上的投影点,M点是P点在基线上的投影点,基线的长度为B。其中,线段与线段之间的夹角θl可视为物体T的发光入射于左鱼眼镜头的入射角,线段为线段在镜头平面上的投影线,而基线与投影线之间的夹角则可视为物体T相对于鱼眼中心Ol的方位角。类似地,线段与线段之间的夹角θr可视为物体T的发光入射于右鱼眼镜头的入射角,线段为线段在镜头平面上的投影线,而基线与投影线之间的夹角则可视为物体T相对于鱼眼中心Or的方位角。
基于前述的方位角入射角θl、θr以及基线距离B,物体T的三维坐标为(x,y,z)可利用下列公式推得:
以及
通过上述方法,本实施例的图像获取装置10即可在不进行鱼眼校正的情况下,实现所摄物体的三维坐标计算,且其所拍摄范围相较于传统镜头更广。
需说明的是,在上述实施例中,图像获取装置的两个鱼眼镜头的光轴预设为平行。而在其他实施例中,两个鱼眼镜头的光轴也可不平行,即两个鱼眼镜头的光轴之间具有夹角。此夹角愈大,代表两个鱼眼镜头视野所涵盖的范围愈大,可支援物体位置检测的角度也愈大。
基于人眼感受深度的范围有限,但对于两侧物体的感受较为明显。本发明一实施例的图像获取装置是采用光轴不平行的两个鱼眼镜头,其光轴之间的夹角将使得两个鱼眼镜头的视野包括重叠区域及非重叠区域。其中,当有物体出现在重叠区域时,图像获取装置即可根据前述实施例所计算的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算此物体的三维坐标。而当有物体出现在非重叠区域时,图像获取装置则可根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离,利用三角函数计算此物体的二维坐标。其中,虽然位于非重叠区域中的物体会因为只被一个鱼眼镜头拍摄到,因此无法计算出深度。但由于物体的二维坐标仍可被计算出,因此仍有助于对位于视野边缘的物体进行定位。
综上所述,本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置依据物体在双鱼眼镜头所拍摄图像中的位置,分别计算出物体发光进入鱼眼镜头的入射角以及物体在镜头平面上的方位角,进而计算出物体于空间中的三维坐标。藉此,本发明实施例可在不进行几何转换的情况下,实现所摄物体的三维坐标计算,且可在增加检测范围的同时,减少检测物体所需的运算量。
虽然本发明已以实施例揭示如上,然其并非用以限定本发明,任何所属技术领域中技术人员,在不脱离本发明的精神和范围内,当可作些许的更改与润饰,故本发明的保护范围当视权利要求所界定的为准。

Claims (10)

1.一种利用双鱼眼图像计算所摄物体坐标的方法,适用于具有第一鱼眼镜头及第二鱼眼镜头的图像获取装置,其特征在于,所述第一鱼眼镜头及所述第二鱼眼镜头之间具有基线距离,所述方法包括下列步骤:
利用所述第一鱼眼镜头及所述第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像;
检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的第一坐标及第二坐标;
根据所述第一坐标及所述第二坐标,计算所述物体在所述第一鱼眼镜头及所述第二鱼眼镜头的图像传感器平面上相对于所述第一鱼眼图像及所述第二鱼眼图像的鱼眼中心的第一方位角及第二方位角;
利用所述第一鱼眼镜头及所述第二鱼眼镜头的镜头曲线,分别将所述第一坐标与所述第一鱼眼图像的鱼眼中心的第一距离以及所述第二坐标与所述第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角;以及
根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离,利用三角函数计算所述物体的三维坐标。
2.根据权利要求1所述的利用双鱼眼图像计算所摄物体坐标的方法,其特征在于,所述物体包括发光装置,而检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的所述第一坐标及所述第二坐标的步骤包括:
分别检测所述第一鱼眼图像及所述第二鱼眼图像中亮度或颜色分量大于预设值的多个像素,而以所述像素所形成区域的中心或重心在所述第一鱼眼图像及所述第二鱼眼图像中的坐标作为所述第一坐标及所述第二坐标。
3.根据权利要求2所述的利用双鱼眼图像计算所摄物体坐标的方法,其特征在于,所述物体所发出的光在所述第一鱼眼镜头上的入射角与所述光在所述第一鱼眼镜头的图像传感器上的投影半径呈正比,以及所述物体所发出的光在所述第二鱼眼镜头上的入射角与所述光在所述第二鱼眼镜头的图像传感器上的投影半径呈正比。
4.根据权利要求1所述的利用双鱼眼图像计算所摄物体坐标的方法,其特征在于,假设所述第一方位角为所述第二方位角为所述第一入射角为θl、所述第二入射角为θr以及所述基线距离为B,所述物体的三维坐标为(x,y,z),其中
以及
5.根据权利要求1所述的利用双鱼眼图像计算所摄物体坐标的方法,其特征在于,所述第一鱼眼镜头的光轴及所述第二鱼眼镜头的光轴具有一夹角,使得所述第一鱼眼镜头的视野与所述第二鱼眼镜头的视野包括重叠区域及非重叠区域,其中
当所述物体出现在所述重叠区域时,根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离,利用三角函数计算所述物体的所述三维坐标;以及
当所述物体出现在所述非重叠区域时,根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离,利用三角函数计算所述物体的二维坐标。
6.一种图像获取装置,其特征在于,包括:
图像获取模块,利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像;
物体检测模块,检测所述物体在所述第一鱼眼图像及所述第二鱼眼图像中的第一坐标及第二坐标;
方位角计算模块,根据所述第一坐标及所述第二坐标,计算所述物体在所述第一鱼眼镜头及所述第二鱼眼镜头的图像传感器平面上相对于所述第一鱼眼图像及所述第二鱼眼图像的鱼眼中心的第一方位角及第二方位角;
入射角计算模块,利用所述第一鱼眼镜头及所述第二鱼眼镜头的镜头曲线,分别将所述第一坐标与所述第一鱼眼图像的鱼眼中心的第一距离以及所述第二坐标与所述第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角;以及
坐标计算模块,根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述第一鱼眼镜头及所述第二鱼眼镜头之间基线距离,利用三角函数计算所述物体的三维坐标。
7.根据权利要求6所述的图像获取装置,其特征在于,所述物体包括发光装置,而所述物体检测模块包括分别检测所述第一鱼眼图像及所述第二鱼眼图像中亮度或颜色分量大于预设值的多个像素,而以所述像素所形成区域的中心或重心在所述第一鱼眼图像及所述第二鱼眼图像中的坐标作为所述第一坐标及所述第二坐标。
8.根据权利要求7所述的图像获取装置,其特征在于,所述物体所发出的光在所述第一鱼眼镜头上的入射角与所述光在所述第一鱼眼镜头的图像传感器上的投影半径呈正比,以及所述物体所发出的光在所述第二鱼眼镜头上的入射角与所述光在所述第二鱼眼镜头的图像传感器上的投影半径呈正比。
9.根据权利要求6所述的图像获取装置,其特征在于,假设所述第一方位角为所述第二方位角为所述第一入射角为θl、所述第二入射角为θr以及所述基线距离为B,所述物体的三维坐标为(x,y,z),其中
以及
10.根据权利要求6所述的图像获取装置,其特征在于,所述第一鱼眼镜头的光轴及所述第二鱼眼镜头的光轴具有一夹角,使得所述第一鱼眼镜头的视野与所述第二鱼眼镜头的视野包括重叠区域及非重叠区域,其中
当所述物体出现在所述重叠区域时,所述坐标计算模块包括根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离,利用三角函数计算所述物体的所述三维坐标;以及
当所述物体出现在所述非重叠区域时,所述坐标计算模块包括根据所述第一方位角、所述第二方位角、所述第一入射角、所述第二入射角以及所述基线距离,利用三角函数计算所述物体的二维坐标。
CN201810023066.0A 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置 Active CN110021044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023066.0A CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023066.0A CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Publications (2)

Publication Number Publication Date
CN110021044A true CN110021044A (zh) 2019-07-16
CN110021044B CN110021044B (zh) 2022-12-20

Family

ID=67188028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023066.0A Active CN110021044B (zh) 2018-01-10 2018-01-10 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置

Country Status (1)

Country Link
CN (1) CN110021044B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675445A (zh) * 2019-09-27 2020-01-10 深兰科技(上海)有限公司 一种视觉定位方法、装置及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
US20040233280A1 (en) * 2003-05-19 2004-11-25 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
US20100040279A1 (en) * 2008-08-12 2010-02-18 Samsung Electronics Co., Ltd Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
JP2011091528A (ja) * 2009-10-21 2011-05-06 Olympus Corp 撮像装置及び撮像方法
US20120114262A1 (en) * 2010-11-09 2012-05-10 Chi-Chang Yu Image correction method and related image correction system thereof
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN106157256A (zh) * 2015-04-22 2016-11-23 Tcl集团股份有限公司 一种鱼眼图像校正方法和鱼眼图像校正装置
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
US20170019595A1 (en) * 2015-07-14 2017-01-19 Prolific Technology Inc. Image processing method, image processing device and display system
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
US20040233280A1 (en) * 2003-05-19 2004-11-25 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
JP2007192832A (ja) * 2007-03-06 2007-08-02 Iwate Univ 魚眼カメラの校正方法。
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
US20100040279A1 (en) * 2008-08-12 2010-02-18 Samsung Electronics Co., Ltd Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
JP2011091528A (ja) * 2009-10-21 2011-05-06 Olympus Corp 撮像装置及び撮像方法
CN101814181A (zh) * 2010-03-17 2010-08-25 天津理工大学 一种鱼眼图像复原的展开方法
US20120114262A1 (en) * 2010-11-09 2012-05-10 Chi-Chang Yu Image correction method and related image correction system thereof
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN106157256A (zh) * 2015-04-22 2016-11-23 Tcl集团股份有限公司 一种鱼眼图像校正方法和鱼眼图像校正装置
US20170019595A1 (en) * 2015-07-14 2017-01-19 Prolific Technology Inc. Image processing method, image processing device and display system
CN106357991A (zh) * 2015-07-14 2017-01-25 旺玖科技股份有限公司 图像处理方法、图像处理装置及显示系统
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
霍薇薇等: "基于坐标投影的鱼眼图像校正方法研究", 《电子测量技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675445A (zh) * 2019-09-27 2020-01-10 深兰科技(上海)有限公司 一种视觉定位方法、装置及存储介质

Also Published As

Publication number Publication date
CN110021044B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US9965861B2 (en) Method and system of feature matching for multiple images
TWI317084B (en) Pointer positioning device and method
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
KR20150085710A (ko) 디스플레이 장치 및 그 제어 방법
EP3241348A1 (en) Method and system of sub-pixel accuracy 3d measurement using multiple images
KR20170074742A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
EP3371780A1 (en) System and methods for imaging three-dimensional objects
US10762658B2 (en) Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
TWI637288B (zh) 用於眼球視線校正的影像處理方法及其系統
CN107563329A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN109084679B (zh) 一种基于空间光调制器的3d测量及获取装置
CN107454335A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN110021044A (zh) 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
US11250586B2 (en) Information processing apparatus and information processing method
TWI545936B (zh) 電子裝置及其校正方法
TWI725279B (zh) 利用雙魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN109696122A (zh) 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
TWI646506B (zh) 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN108701364B (zh) 台球位置确定方法、台球位置确定装置及电子设备
CN112598716B (zh) 一种多模态图像的配准方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant