CN111127554A - 全向云台双目立体摄像机的目标物体位置计算方法 - Google Patents

全向云台双目立体摄像机的目标物体位置计算方法 Download PDF

Info

Publication number
CN111127554A
CN111127554A CN201911151585.6A CN201911151585A CN111127554A CN 111127554 A CN111127554 A CN 111127554A CN 201911151585 A CN201911151585 A CN 201911151585A CN 111127554 A CN111127554 A CN 111127554A
Authority
CN
China
Prior art keywords
camera
sinθ
image
cosθ
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911151585.6A
Other languages
English (en)
Other versions
CN111127554B (zh
Inventor
刘瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Jingyan electromechanical Co.,Ltd.
Original Assignee
Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jingyi Intelligent Science and Technology Co Ltd filed Critical Hangzhou Jingyi Intelligent Science and Technology Co Ltd
Priority to CN201911151585.6A priority Critical patent/CN111127554B/zh
Publication of CN111127554A publication Critical patent/CN111127554A/zh
Application granted granted Critical
Publication of CN111127554B publication Critical patent/CN111127554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Abstract

涉及全向云台双目立体摄像机的目标物体位置计算方法，包括全向云台摄像机，内部设置图像处理器和进行图像采集的双目立体摄像头，所述的双目立体摄像头由两个光轴相互平行的第一摄像头和第二摄像头组成，在初始状态下建立在与所述的第一摄像头的摄像机坐标系ocxcyczc相重合的世界坐标系oxyz，所述的图像处理器设置位置计算方法，包括以下步骤：(1)、图像处理器通过第一摄像头和第二摄像头获取图像f1(X,Y)和f2(X,Y)；(2)、基于f1(X,Y)和f2(X,Y)计算场景的深度d(X,Y)；(3)、计算成像点P的摄像机坐标的坐标(xc,yc,zc)；(4)、读取全向云台摄像机旋转变(θy，θx)和位移量Δz，计算成像点P绕y轴和绕x轴旋转的坐标变换；(5)、整理得到成像点P的世界坐标(x,y,z)。

Description

全向云台双目立体摄像机的目标物体位置计算方法
技术领域
本发明涉及一种全向云台双目立体摄像机的目标物体位置计算方法，属于计算机视觉领域。
背景技术
目前，监控摄像头在我们的生活和工作中，起到的作用越来越大。监控摄像头可以起到提前预防的作用，对犯罪分子有威慑和警示的作用，也可以事后追踪线索，案件侦破提供证据，同时对欲行不轨的小人起到威慑作用。但是固定朝向的摄像头，成像区域是固定的，而成像质量较好的区域是固定的中心区域，其他范围的成像质量就欠佳，对于发生在角落里的事件不能发挥很好的监控效果。为了保证监控效果，现在开始普遍采用全向云台摄像机，这种摄像机可以实现水平方向和垂直方向的旋转。需要智能判断发生的事件在图像中位置，并转换成世界坐标系中的坐标，可以为全向云台旋转提供数据，并为工作人员迅速确定事件地点提供准确数据。
发明内容
本发明的目的是为了解决上述技术问题，提出一种全向云台双目立体摄像机的目标物体位置计算方法，所采用的技术方案是：
全向云台双目立体摄像机的目标物体位置计算方法，包括全向云台摄像机，所述的全向云台摄像机设置水平360度旋转和垂直120度旋转的机构，内部设置图像处理器和进行图像采集的双目立体摄像头，所述的双目立体摄像头由两个光轴相互平行的第一摄像头和第二摄像头组成，在初始状态下建立与所述的第一摄像头的摄像机坐标系ocxcyczc相重合的世界坐标系oxyz，所述的图像处理器设置位置计算方法，所述的位置计算方法包括以下步骤：
(1)、所述的图像处理器通过所述的第一摄像头获取图像f1(X,Y)，通过所述的第二摄像头获取图像f2(X,Y)，其中，X和Y为原点设定在图像中心的图像坐标系坐标；
(2)、所述的图像处理器基于f1(X,Y)和f2(X,Y)计算场景的深度d(X,Y)；
(3)、对于图像f1 (X,Y)中的像素点(X,Y)，计算成像点P的摄像机坐标系的坐标(xc,yc, zc)：xc=X·zc/F，yc=Y·zc/F，即P(X·zc/F, Y·zc/F, zc)，其中，zc= d(X,Y)，F为所述的摄像头的焦距；
(4)、读取所述的全向云台摄像机旋转变(θy，θx)和位移量Δz，则计算成像点P的世界坐标(x, y, z)：绕y轴旋转得到：x`= xc·cosθy-zc·sinθy， y`=yc， z`= zc·cosθy+xc·sinθy；绕x轴旋转得到：x= x`，y= y`·cosθx+z`·sinθx，z=z`·cosθx-y`·sinθx+Δz；
(5)、整理得到x=(X/F·cosθy-sinθy)·d(X,Y)，y=(Y/F·cosθx+sinθx·cosθy+ X/F·sinθx·sinθy)·d(X,Y)，z=(cosθx·cosθy+X/F·sinθy·cosθx-Y/F·sinθx)·d(X,Y) +Δz。
实施本发明的积极效果是：根据图像中的位置，结合立体视觉提供的深度信息，经过旋转与平移，计算成像点的实际位置，为摄像机的旋转，以及确定事件确定位置提供准确数据。
附图说明
图1是坐标系建立的示意图。
具体实施方式
现结合附图对本发明作进一步说明：
参照图1，全向云台双目立体摄像机的目标物体位置计算方法，包括全向云台摄像机，所述的全向云台摄像机设置水平360度旋转和垂直120度旋转的机构，内部设置图像处理器和进行图像采集的双目立体摄像头，所述的双目立体摄像头由两个光轴相互平行的第一摄像头和第二摄像头组成，在初始状态下建立与所述的第一摄像头的摄像机坐标系ocxcyczc相重合的世界坐标系oxyz。所述的摄像机坐标系ocxcyczc的zc轴与所述的第一摄像头的成像平面相垂直，并指向所述的第一摄像头的前方，坐标原点oc于所述的第一摄像头的成像平面的中心。所述的全向云台摄像机还可以设置在轨道上，实现一个方向上的移动。所述的摄像机坐标系的zc轴指向移动的方向。
所述的图像处理器设置位置计算方法，所述的位置计算方法包括以下步骤：
(1)、所述的图像处理器通过所述的第一摄像头获取图像f1(X,Y)，通过所述的第二摄像头获取图像f2(X,Y)，其中，X和Y为原点设定在图像中心的图像坐标系坐标；
步骤(1)是图像采集过程。
(2)、所述的图像处理器基于f1(X,Y)和f2(X,Y)计算场景的深度d(X,Y)；
步骤(2)是基于双目立体视觉原理，根据视差信息，计算图像中的像素点的深度信息。
(3)、对于图像f1 (X,Y)中的像素点(X,Y)，计算成像点P的摄像机坐标的坐标(xc,yc, zc)：xc=X·zc/F，yc=Y·zc/F，即P(X·zc/F, Y·zc/F, zc)，其中，zc= d(X,Y)，F为所述的摄像头的焦距；
步骤(3)是根据小孔摄像机成像模型，以图像坐标计算摄像机坐标。
(4)、读取所述的全向云台摄像机旋转变(θy，θx)和位移量Δz，则计算成像点P的世界坐标(x, y, z)：绕y轴旋转得到：x`= xc·cosθy-zc·sinθy， y`=yc， z`= zc·cosθy+xc·sinθy；绕x轴旋转得到：x= x`，y= y`·cosθx+z`·sinθx，z=z`·cosθx-y`·sinθx+Δz；
步骤(4)是根据坐标系旋转模型，以摄像机坐标系下的坐标，计算世界坐标系下的坐标。
(5)、整理得到x=(X/F·cosθy-sinθy)·d(X,Y)，y=(Y/F·cosθx+sinθx·cosθy+ X/F·sinθx·sinθy)·d(X,Y)，z=(cosθx·cosθy+X/F·sinθy·cosθx-Y/F·sinθx)·d(X,Y)+Δz。
步骤(5)是进行公式整理。

Claims (1)

1.全向云台双目立体摄像机的目标物体位置计算方法，包括全向云台摄像机，所述的全向云台摄像机设置水平360度旋转和垂直120度旋转的机构，内部设置图像处理器和进行图像采集的双目立体摄像头，所述的双目立体摄像头由两个光轴相互平行的第一摄像头和第二摄像头组成，在初始状态下建立与所述的第一摄像头的摄像机坐标系ocxcyczc相重合的世界坐标系oxyz，其特征在于：所述的图像处理器设置位置计算方法，所述的位置计算方法包括以下步骤：
(1)、所述的图像处理器通过所述的第一摄像头获取图像f1(X,Y)，通过所述的第二摄像头获取图像f2(X,Y)，其中，X和Y为原点设定在图像中心的图像坐标系坐标；
(2)、所述的图像处理器基于f1(X,Y)和f2(X,Y)计算场景的深度d(X,Y)；
(3)、对于图像f1 (X,Y)中的像素点(X,Y)，计算成像点P的摄像机坐标系的坐标(xc,yc, zc)：xc=X·zc/F，yc=Y·zc/F，即P(X·zc/F, Y·zc/F, zc)，其中，zc= d(X,Y)，F为所述的摄像头的焦距；
(4)、读取所述的全向云台摄像机旋转变(θy，θx)和位移量Δz，则计算成像点P的世界坐标(x, y, z)：绕y轴旋转得到：x`= xc·cosθy-zc·sinθy， y`=yc， z`= zc·cosθy+xc·sinθy；绕x轴旋转得到：x= x`，y= y`·cosθx+z`·sinθx，z=z`·cosθx-y`·sinθx+Δz；
(5)、整理得到x=(X/F·cosθy-sinθy)·d(X,Y)，y=(Y/F·cosθx+sinθx·cosθy+ X/F·sinθx·sinθy)·d(X,Y)，z=(cosθx·cosθy+X/F·sinθy·cosθx-Y/F·sinθx)·d(X,Y) +Δz。
CN201911151585.6A 2019-11-21 2019-11-21 全向云台双目立体摄像机的目标物体位置计算方法 Active CN111127554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911151585.6A CN111127554B (zh) 2019-11-21 2019-11-21 全向云台双目立体摄像机的目标物体位置计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911151585.6A CN111127554B (zh) 2019-11-21 2019-11-21 全向云台双目立体摄像机的目标物体位置计算方法

Publications (2)

Publication Number Publication Date
CN111127554A true CN111127554A (zh) 2020-05-08
CN111127554B CN111127554B (zh) 2021-08-24

Family

ID=70496137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911151585.6A Active CN111127554B (zh) 2019-11-21 2019-11-21 全向云台双目立体摄像机的目标物体位置计算方法

Country Status (1)

Country Link
CN (1) CN111127554B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104075688A (zh) * 2013-03-29 2014-10-01 中原工学院 一种双目立体凝视监控系统的测距方法
US20180007350A1 (en) * 2015-01-21 2018-01-04 Chengdu Idealsee Technology Co., Ltd. Binocular See-Through AR Head-Mounted Display Device and Information Display Method Therefor
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108253931A (zh) * 2018-01-12 2018-07-06 内蒙古大学 一种双目立体视觉测距方法及其测距装置
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104075688A (zh) * 2013-03-29 2014-10-01 中原工学院 一种双目立体凝视监控系统的测距方法
US20180007350A1 (en) * 2015-01-21 2018-01-04 Chengdu Idealsee Technology Co., Ltd. Binocular See-Through AR Head-Mounted Display Device and Information Display Method Therefor
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108253931A (zh) * 2018-01-12 2018-07-06 内蒙古大学 一种双目立体视觉测距方法及其测距装置
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
CN111127554B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN104506761B (zh) 一种360度全景立体摄像机
CN106127115B (zh) 一种基于全景和常规视觉的混合视觉目标定位方法
CN103871045B (zh) 显示系统和方法
US20180184077A1 (en) Image processing apparatus, method, and storage medium
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
CN112655024A (zh) 一种图像标定方法及装置
CN102221331A (zh) 一种基于不对称双目立体视觉技术的测量方法
CN105783880A (zh) 一种单目激光辅助舱段对接装置及方法
CN107202555A (zh) 一种连杆加工旋转盘夹具视觉检测装置和检测方法
CN111811462A (zh) 极端环境下大构件便携式视觉测距系统及方法
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN111340959A (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN104700409B (zh) 一种根据监控目标自动调整摄像机预置位的方法
CN110602376B (zh) 抓拍方法及装置、摄像机
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉系统
CN111127554B (zh) 全向云台双目立体摄像机的目标物体位置计算方法
CN105758383A (zh) 一种双目视觉测量系统精度分析方法
TW565736B (en) Method for determining the optical parameters of a camera
CN116309881A (zh) 一种云台相机外参测算方法、装置、设备及介质
Iguchi et al. Omni-directional 3D measurement using double fish-eye stereo vision
WO2019100216A1 (zh) 3d建模方法、电子设备、存储介质及程序产品
CN111947598B (zh) 基于平面反射镜的360°三维人头测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210729

Address after: 321035 Jinshan Village, Xiaoshun Town, Jindong District, Jinhua City, Zhejiang Province

Applicant after: Jinhua Jingyan electromechanical Co.,Ltd.

Address before: 310013 no.256, 6th floor, building 2, Huahong building, 248 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU JINGYI INTELLIGENT SCIENCE & TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Calculation Method of Target Position for Omnidirectional Pan tilt Binocular Stereo Camera

Effective date of registration: 20221213

Granted publication date: 20210824

Pledgee: Agricultural Bank of China Limited by Share Ltd. Jinhua Economic Development Zone Branch

Pledgor: Jinhua Jingyan electromechanical Co.,Ltd.

Registration number: Y2022330003663

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210824

Pledgee: Agricultural Bank of China Limited by Share Ltd. Jinhua Economic Development Zone Branch

Pledgor: Jinhua Jingyan electromechanical Co.,Ltd.

Registration number: Y2022330003663

PC01 Cancellation of the registration of the contract for pledge of patent right