CN107038722A - 一种设备定位方法及装置 - Google Patents
一种设备定位方法及装置 Download PDFInfo
- Publication number
- CN107038722A CN107038722A CN201610074260.2A CN201610074260A CN107038722A CN 107038722 A CN107038722 A CN 107038722A CN 201610074260 A CN201610074260 A CN 201610074260A CN 107038722 A CN107038722 A CN 107038722A
- Authority
- CN
- China
- Prior art keywords
- equipment
- positioning image
- feature point
- position feature
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种设备定位方法及装置,该方法包括:确定第一设备的N个位置特征点,建立第一设备的几何模型,从而得到N个位置特征点在几何模型中的空间坐标,获取第二设备拍摄的第一设备的定位图像,确定定位图像中分别与N个位置特征点对应的N个像素特征点,从而得到N个像素特征点在定位图像中的像素坐标,根据N个位置特征点在几何模型中的空间坐标和N个像素特征点在定位图像中的像素坐标,确定第二设备与第一设备之间的相对姿态位置关系。解决了现有技术中获取第二设备与第一设备之间的相对位置关系估算精度不高,估算方法复杂度高的问题,可以有效提高获取第二设备与第一设备之间的相对位置关系的精度和效率。
Description
技术领域
本发明涉及显示技术领域,尤其涉及一种设备定位方法及装置。
背景技术
随着裸眼3D技术的发展,裸眼3D显示设备越来越受到人们的关注。目前,主流的裸眼3D显示设备通常通过在普通显示器上层叠加特殊的光栅,该光栅能够向不同方向折射图像,让左眼和右眼的可视画面分开,从而让使用者看到3D影像。裸眼3D显示设备的显示效果直接影响人们的观看感受。受到制造工艺和装配误差等因素影响,对于装配好的裸眼3D显示设备,其光栅参数的实际值与理想设计值通常是存在一定的偏差的。如果直接使用设计值进行显示,将导致立裸眼3D显示设备的对于左右眼视区的调整不准确,进而影响裸眼3D显示设备的显示效果。因此,为了有效保证裸眼3D显示设备的显示效果,在裸眼3D显示设备出厂销售前,需要对裸眼3D的显示设备的光栅参数进行调节。
现有技术中,通常是通过摄像头模拟人眼观看裸眼3D显示设备的显示效果,从而确定该裸眼3D显示设备的光栅参数。这种方式下,为了确定光栅参数,需要使用一个关键的参数——观测位置与被观测显示器之间的相对位置关系,即摄像头与裸眼3D显示设备之间的相对位置关系。该相对位置关系若精度不高,将影响所确定的光栅参数的精度,从而影响到裸眼3D显示设备的显示效果。
目前,确定摄像头与裸眼3D显示设备之间的相对位置关系的方法包括固定位置法,即摄像头与裸眼3D显示设备使用固定的相对位置,但是一方面该固定位置需要进行物理测量,精度有限,另一方面是如果显示设备位置变动,就需要重新测量,不适用于量产,效率较低。确定摄像头与显示设备之间的相对位置关系的方法还包括通过开启裸眼3D显示设备自带的摄像头,抓捕预先放置好的人脸模型跟踪到人脸模型的眼睛位置,从而实时的估算显示设备和人眼的相对位置关系。但是通过该方法估算的相对位置关系精度不高。
发明内容
本发明实施例提供一种设备定位方法及装置,用以解决现有技术中确定的相对位置关系精度不高,从而影响到设备的显示效果的问题。
本发明实施例提供的一种设备定位方法,包括:
确定第一设备的N个位置特征点,N大于等于4;
根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标;
获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标;
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述第一设备包括矩形显示区域,所述N个位置特征点包括所述矩形显示区域的4个角点;
在所述第二设备拍摄所述第一设备的定位图像时,所述第一设备的矩形显示区域显示预定画面;在所述定位图像中,所述预定画面区别于所述定位图像的其他部分突出呈现;
所述根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,包括:
检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓;
根据作为位置特征点的所述矩形显示区域的4个角点,将检测到的所述矩形边缘轮廓的4个角点确定为像素特征点。
较佳地,所述检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓,包括:
对所述定位图像进行边缘增强处理;
对所述边缘增强处理后的定位图像进行阈值分割;
从所述阈值分割后的定位图像中检测出所述突出呈现的预定画面的矩形边缘轮廓。
较佳地,所述根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系;
所述公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为所述像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为所述位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,所述旋转矩阵和所述平移矩阵用于表示所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据公式(1),将世界坐标系构造在Z=0的平面上,从而对公式(1)进行变换,得到公式(2):
设定单应性矩阵根据公式(3),确定所述第一设备相对于所述第二设备的旋转矩阵和平移矩阵;
所述公式(3)为:
其中,(u,v,1)为所述像素特征点的像素坐标Pp,(X,Y,1)为所述位置特征点的空间坐标Pv,[r1r2r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,λ=1/||A-1h1||=1/||A-1h2||。
相应地,本发明实施例提供了一种第一设备定位装置,包括:
第一确定单元,用于确定第一设备的N个位置特征点,N大于等于4;
几何模型建立单元,用于根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标;
第二确定单元,用于获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标;
定位单元,用于根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述第一设备包括矩形显示区域,所述N个位置特征点包括所述矩形显示区域的4个角点;
在所述第二设备拍摄所述第一设备的定位图像时,所述第一设备的矩形显示区域显示预定画面;在所述定位图像中,所述预定画面区别于所述定位图像的其他部分突出呈现;
所述第二确定单元具体用于:
检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓;
根据作为位置特征点的所述矩形显示区域的4个角点,将检测到的所述矩形边缘轮廓的4个角点确定为像素特征点。
较佳地,所述第二确定单元具体用于:
对所述定位图像进行边缘增强处理;
对所述边缘增强处理后的定位图像进行阈值分割;
从所述阈值分割后的定位图像中检测出所述突出呈现的预定画面的矩形边缘轮廓。
较佳地,所述定位单元具体用于:
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述定位单元具体用于:
根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系;
所述公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为所述像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为所述位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,所述旋转矩阵和所述平移矩阵用于表示所述第二设备与所述第一设备之间的相对姿态位置关系。
较佳地,所述定位单元具体用于:
根据公式(1),将世界坐标系构造在Z=0的平面上,从而对公式(1)进行变换,得到公式(2):
设定单应性矩阵根据公式(3),确定所述第一设备相对于所述第二设备的旋转矩阵和平移矩阵;
所述公式(3)为:
其中,(u,v,1)为所述像素特征点的像素坐标Pp,(X,Y,1)为所述位置特征点的空间坐标Pv,[r1 r2 r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,λ=1/||A-1h1||=1/||A-1h2||。
本发明实施例提供的设备定位方法,确定第一设备的N个位置特征点,根据N个位置特征点,建立第一设备的几何模型,从而得到N个位置特征点在几何模型中的空间坐标,获取第二设备拍摄的第一设备的定位图像,根据N个位置特征点确定定位图像中分别与N个位置特征点对应的N个像素特征点,从而得到N个像素特征点在定位图像中的像素坐标,根据N个位置特征点在几何模型中的空间坐标和N个像素特征点在定位图像的中的像素坐标,确定第二设备与第一设备之间的相对姿态位置关系。通过第一设备的位置特征点的空间坐标,以及第二设备拍摄的第一设备的定位图像中与位置特征点对应的像素特征点的像素坐标,得到第二设备与第一设备之间的相对姿态位置关系,解决了现有技术中获取第二设备与第一设备之间的相对姿态位置关系估算精度不高,估算方法复杂度高的问题,可以提高获取第二设备与第一设备之间的相对姿态位置关系的精度和效率,从而提高了裸眼3D显示设备的显示效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的一种设备定位方法的流程示意图;
图2(a)为本发明实施例中提供的一种设备定位方法中,经过边缘增强处理后的定位图像的示例性示意图;
图2(b)为本发明实施例中提供的一种设备定位方法中,经过阈值分割后的定位图像的示例性示意图;
图3为本发明实施例中提供的一种设备定位装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
首先需要说明的是,本发明实施例中,第一设备可以是裸眼3D显示设备,如裸眼3D手机、裸眼3D平板等。第二设备可以是摄像头、包含有摄像头的摄像机、包含有摄像头的手机等任意一种能够拍摄第一设备的图像的观测设备,即可以模拟人眼观看3D显示设备的显示效果的观测设备。
基于上述描述,图1示出了本发明实施例提供的一种设备定位方法的流程,该流程可以由设备定位装置执行。如图1所示,本发明实施例提供的设备定位方法包括:
步骤101,确定第一设备的N个位置特征点。
其中,N为整数,N需要大于等于4。
步骤102,根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标。
步骤103,获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标。
步骤104,根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像的中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
在步骤101中,该第一设备的N个位置特征点可以是该第一设备上的任意的N个位置特征点。例如,可以是该第一设备的显示区域中即显示屏上的N个点,显示区域的边缘上的N个点,也可以是该第一设备的机身上的任意N个点。为了更好的实施本发明,在本发明的一个实施例中,对于位置特征点,可以选择显示区域即显示屏的角点,若显示屏为矩形,该角点为矩形的四个顶点,或者可以选择显示区域的边缘上的每条边的中心点,或者是每条边上距离角点1/3、1/4、1/5处的点,本发明实施例对此不做限定。
其中,N为大于等于4的整数。例如,N可以等于4,通过显示区域的4个位置特征点和校正图像的4个像素特征点可以构建8个方程,求解4个未知数。该N个位置特征点可以预先设定,在步骤101中即可根据预先设定,确定出这N个位置特征点。
在步骤102中,在确定第一设备的N个位置特征点之后,可以根据该N个位置特征点,建立该第一设备的几何模型。
具体的,以该N个位置特征点中任意一个位置特征点为原点,第一设备所在的平面为X轴和Y轴所在的平面,第一设备至第二设备的方向为Z轴的朝向,建立该第一设备的几何模型。建立几何模型的目的主要是使用这个几何模型来简化第一设备的外形,同时规定以第一设备的任一位置特征点作为三维坐标的原点构建坐标系,方便后面的坐标换算。对于不同款式的第一设备需要建立不同的几何模型用以代表各自不同的设备的外形,对于同一款式的第一设备,建立一次几何模型,其它相同款式的可以使用。具体可以根据该第一设备的尺寸数据,例如长宽等尺寸数据,得到该第一设备N个位置特征点在该几何模型中的位置信息,即确定出该N个位置特征点的空间坐标,从而建立几何模型。
举例来说,以第一设备为3D平板显示设备或手机显示设备为例,选取设备显示区域即显示屏的4个角点为显示设备的4个位置特征点,显示器屏幕是一个平面,屏幕显示区域的实际长宽分别为220mm和140mm。以显示区域的左上角的角点为坐标原点,建立空间几何模型,该4个位置特征点的空间坐标用Pv={Pv0,Pv1,Pv2,Pv3}表示,按照右手坐标系准则,从左到右,从上到下,4个位置特征点的空间坐标分别为:Pv0={0,0,0}、Pv1={220,0,0}、Pv2={220,-140,0}、Pv3={0,-140,0}。
在步骤103中,获取第二设备拍摄的该第一设备的定位图像,根据该N个位置特征点确定该定位图像中分别与N个位置特征点对应的N个像素特征点,从而得到该N个像素特征点在定位图像中的像素坐标。
第二设备以第一设备作为拍摄物,拍摄第一设备的一张图像,本发明中将之称为定位图像,该定位图像中包含有第一设备的影像,也就是说,该定位图像中包括第一设备的位置特征点的影像,亦即定位图像中具有与位置特征点对应的像素特征点。举例说明,如第一设备的显示区域的四个角点为位置特征点,那在定位图像中所显示的第一设备的影像中,其显示区域的四个角点即为与位置特征点对应的像素特征点。
具体的,在本发明的一个实施例中,第一设备包括矩形显示区域即矩形显示屏,选取该矩形显示区域的4个角点作为位置特征点。为了便于确定像素特征点,有效减少运算量,在第二设备拍摄第一设备的定位图像时,使得第一设备的矩形显示区域显示预定画面,该预定画面可以是任何画面,在此不做限制,只需点亮显示区域即可,从而使得第二设备所拍摄的定位图像中,该预定画面区别于该定位图像的其他部分突出呈现,例如预定画面是高亮的,而其他部分是暗淡的。举例而言,可将第一设备放置在密闭不透光的黑暗屋子里,使第一设备显示预定画面,第二设备拍摄第一设备,从而使得第二设备拍摄的定位图像中,预定画面为高亮的,而其他部分为黑的。定位图像可参见图2(a),定位图像中除了预定画面,其他部分为黑色背景。
由于预定画面是与矩形显示区域相匹配的,因此,预定画面的四个角点即与矩形显示区域的四个角点相对应,也就是说,定位图像中预定画面的影像的四个角点,即是与作为位置特征点的矩形显示区域的四个角点对应的四个像素特征点。由于定位图像中,预定画面是突出呈现的,因此,能够非常方便在定位图像中找到预定画面的四个角点。
例如,可检测该定位图像中该突出呈现的预定画面的矩形边缘轮廓,根据作为位置特征点的所述矩形显示区域的4个角点,将检测到的矩形边缘轮廓的4个角点确定为像素特征点。
可以通过图像处理技术可以检测出该定位图像中突出呈现的预定画面的矩形边缘轮廓。例如:首先可通过双边滤波处理或导向滤波处理等技术对定位图像进行边缘增强处理,从而增强预定画面的边缘并平滑噪声,为后面提取边缘轮廓提供有利的条件,边缘增强处理后的定位图像可参见图2(a);然后对该边缘增强处理后的定位图像进行阈值分割,便于后续的轮廓检测,再从阈值分割后的定位图像中检测出突出呈现的预定画面的矩形边缘轮廓。
在对边缘增强处理后的定位图像进行阈值分割时,通常是指利用像素的灰度值进行阈值分割,像素的灰度值通常在0至255之间,在进行阈值分割时,可将阈值设为100,将灰度值小于100的像素灰度设为0,将灰度值大于100的像素的灰度设为255。这样一来,则该定位图像中就只有两种灰度:白和黑,从而可以将预定画面与背景分离开来。阈值分割后的定位图像可参见图2(b)。
在阈值分割后,可以利用现有的矩形图像检测方法,例如Open CV矩形边缘轮廓检测,找到预定画面的矩形边缘轮廓。在得到定位图像中突出呈现的预定画面的矩形边缘轮廓之后,可以根据第一设备的矩形显示区域的4个角点,将检测到的矩形边缘轮廓的4个角点确定为像素特征点。图2(b)中与黑色背景区分的矩形框(即矩形边缘轮廓)的四个顶点即为像素特征点。
需要强调的是,可以理解,本发明是以第一设备包括矩形显示区域为例进行示例性说明的,但是本发明不限于此,第一设备的显示区域的形状不限,任何形状的显示区域均可采用与上述类似的方法,确定位置特征点和像素特征点。当然,本发明也不限于使用显示区域上的点作为位置特征点,第一设备机身上的任意点均可以作为位置特征点。
在步骤104中,根据第一设备的N个位置特征点在几何模型中的空间坐标和N个像素特征点在定位图像中的像素坐标,具体可利用小孔成像模型,确定该第二设备与第一设备之间的相对姿态位置关系。
具体的,可以根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系。
该公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,旋转矩阵和平移矩阵用于表示第二设备与第一设备之间的相对姿态位置关系。
因为标的物是平面,可以将世界坐标系构造在Z=0的平面上,从而令Z=0后,将N个位置特征点的空间坐标和N个像素特征点像素信息代入到公式(1)后,对公式(1)进行变换,得到公式(2)。
该公式(2)为:
其中,S为尺度因子,(u,v,1)为像素特征点的像素坐标Pp,A为第二设备拍摄定位图像的摄像机的内参数,(r1,r2,t)为第二设备相对于第一设备的旋转矩阵和平移矩阵,(X,Y,1)为位置特征点的空间坐标Pv。
该转换为单应性转换,因此,可以设定单应性矩阵 则上述公式(2)可以转换为公式(4)。该单应性矩阵H为3×3的矩阵,并且其中一个元素是作为齐次坐标,H有8个未知量待解。
该公式(4)为:
其中,H为单应性矩阵,S为尺度因子,(u,v,1)为像素特征点的像素坐标Pp,(X,Y,1)为位置特征点的空间坐标Pv。
将上述单应性矩阵代入到公式(4)中,可以得到公式(5)。上述单应性矩阵中的值可以根据公式(5)计算得到。然后根据该单应性矩阵,得出该第二设备相对于该第一设备的旋转矩阵和平移矩阵,该第二设备相对于该第一设备的旋转矩阵和平移矩阵主要用于表示该第二设备与该第一设备之间的相对姿态位置关系。
该公式(5)为:
其中,[h1 h2 h3]为单应性矩阵H,S为尺度因子,(u,v,1)为像素特征点的像素坐标Pp,(X,Y,1)为位置特征点的空间坐标Pv。
上述第二设备相对于第一设备的旋转矩阵和平移矩阵可以根据公式(3)得到。
该公式(3)为:
其中,[r1 r2 r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,A为第二设备拍摄定位图像的摄像机的内参数,λ=1/||A-1h1||=1/||A-1h2||,[h1 h2 h3]为单应性矩阵。
上述第二设备拍摄定位图像的摄像机的内参数A可以根据公式(6)来得到。
该公式(6)为:
其中,A为第二设备拍摄定位图像的摄像机的内参数,α=f/dx,β=f/dy,α为摄像机的x轴的有效焦距,β为摄像机的y轴的有效焦距,f为摄像机的焦距,dx为摄像机的x轴的像素间隔,dy为摄像机的y轴的像素间隔,γ为像素点在x轴和y轴上的尺度因子,(u0,v0)为摄像机中光轴在图像上的投影点。
本领域技术人员所公知的,为了方便运算,上述技术中引入了齐次坐标,S和λ均是齐次坐标运算所需因子,这里就不做详细说明了。
上述实施例表明,确定第一设备的N个位置特征点,根据N个位置特征点,建立第一设备的几何模型,从而得到N个位置特征点在几何模型中的空间坐标,获取第二设备拍摄的第一设备的定位图像,根据N个位置特征点确定定位图像中分别与N个位置特征点对应的N个像素特征点,从而得到N个像素特征点在定位图像中的像素坐标,根据N个位置特征点在几何模型中的空间坐标和N个像素特征点在定位图像的中的像素坐标,确定第二设备与第一设备之间的相对姿态位置关系。通过第一设备的位置特征点的空间坐标,以及第二设备拍摄的第一设备的定位图像中与位置特征点对应的像素特征点的像素坐标,得到第二设备与第一设备之间的相对姿态位置关系,解决了现有技术中获取第二设备与第一设备之间的相对姿态位置关系估算精度不高,估算方法复杂度高的问题,可以提高获取第二设备与第一设备之间的相对姿态位置关系的精度和效率。从而提高了裸眼3D显示设备的显示效果。
为了更好的解释本发明实施例,以下结合具体的实施应用场景,描述显示设备定位的具体实现过程。以下给出以10.1平板显示器的定位的一个实施例。
以显示器(第一设备)的显示面板(即显示区域)的4个角点作为位置特征点,以平板中摄像头的位置作为三维坐标系的原点,显示器的朝向作为Z轴的朝向,平板显示器的平面作为坐标系XY平面。近似的将显示面板看做一个平面,4个位置特征点和坐标原点近似处于一个平面中,建立几何模型,通过测量获得显示区域的尺寸,为了降低误差,可多次测量取平均值,从而得到4个位置特征点相对于原点的空间坐标分别为:Pv0={-118.9600,-11.0000,0.0}、Pv1={118.9600,-11.0000,0.0}、Pv2={118.9600,-1403.2000,0.0}、Pv3={-118.9600,-1403.2000,0.0}。可以通过该4个位置特征点表示平板显示设备,这样几何模型建立完成。
然后,获取观测设备(第二设备)拍摄的平板显示器的定位图像,在观测设备拍摄平板显示器的定位图像时,把平板显示器放置在黑暗空间,显示区域显示一画面,从而使得观测设备所拍摄的定位图像中,该画面是高亮的,而其他部分是黑的。
通过双边滤波算法增强该定位图像的图像边缘,对该增强图像边缘后的定位图像以设定阈值进行分割,分割之后,检测到定位图像的边缘轮廓,筛选出符合矩形框的边缘轮廓,拟合矩形框。将该矩形框的4个顶点确定为该定位图像的4个像素特征点,同时获取该4个像素特征点在该定位图像上的像素坐标。
将4个位置特征点的空间坐标和4个像素特征点的像素坐标,代入小孔成像模型中,即可以得到观测设备与平板显示器之间的相对姿态位置关系。
具体的,将世界坐标系构造在Z=0的平面上,根据公式(2)确定单应性矩阵。根据所述单应性矩阵,得出观测设备相对于显示设备的旋转矩阵和平移矩阵,观测设备相对于显示设备的旋转矩阵和平移矩阵用于表示观测设备与显示设备之间的相对姿态位置关系。
上述观测设备相对于所述显示设备的旋转矩阵和平移矩阵可以根据公式(3)确定出来。
与现有技术相比,本发明实施例有效提高了获取第二设备与第一设备之间的相对姿态位置关系的计算精度和计算效率。
基于相同的技术构思,图3示出了本发明实施例提供的一种设备定位装置,该装置可以执行设备定位的流程。
如图3所示,该装置具体包括:
第一确定单元201,用于确定第一设备的N个位置特征点,N大于等于4;
几何模型建立单元202,用于根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标;
第二确定单元203,用于获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标;
定位单元204,用于根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
优选地,所述第一设备包括矩形显示区域,所述N个位置特征点包括所述矩形显示区域的4个角点;
在所述第二设备拍摄所述第一设备的定位图像时,所述第一设备的矩形显示区域显示预定画面;在所述定位图像中,所述预定画面区别于所述定位图像的其他部分突出呈现;
所述第二确定单元203具体用于:
检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓;
根据所述矩形显示区域的4个角点,将检测到的所述矩形边缘轮廓的4个角点确定为像素特征点。
优选地,所述第二确定单元203具体用于:
对所述定位图像进行边缘增强处理;
对所述边缘增强处理后的定位图像进行阈值分割;
从所述阈值分割后的定位图像中检测出所述突出呈现的预定画面的矩形边缘轮廓。
优选地,所述定位单元204具体用于:
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
优选地,所述定位单元204具体用于:
根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系;
所述公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为所述像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为所述位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,所述旋转矩阵和所述平移矩阵用于表示所述第二设备与所述第一设备之间的相对姿态位置关系。
优选地,所述定位单元204具体用于:
根据公式(1),将世界坐标系构造在Z=0的平面上,从而对公式(1)进行变换,得到公式(2):
设定单应性矩阵根据公式(3),确定所述第一设备相对于所述第二设备的旋转矩阵和平移矩阵;
所述公式(3)为:
其中,(u,v,1)为所述像素特征点的像素坐标Pp,(X,Y,1)为所述位置特征点的空间坐标Pv,[r1 r2 r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,λ=1/||A-1h1||=1/||A-1h2||。
内参数A可以根据公式(6)来得到。
该公式(6)为:
其中,A为第二设备拍摄定位图像的摄像机的内参数,α=f/dx,β=f/dy,α为摄像机的x轴的有效焦距,β为摄像机的y轴的有效焦距,f为摄像机的焦距,dx为摄像机的x轴的像素间隔,dy为摄像机的y轴的像素间隔,γ为像素点在x轴和y轴上的尺度因子,(u0,v0)为摄像机中光轴在图像上的投影点。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种设备定位方法,其特征在于,包括:
确定第一设备的N个位置特征点,N大于等于4;
根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标;
获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标;
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
2.如权利要求1所述的方法,其特征在于,所述第一设备包括矩形显示区域,所述N个位置特征点包括所述矩形显示区域的4个角点;
在所述第二设备拍摄所述第一设备的定位图像时,所述第一设备的矩形显示区域显示预定画面;
在所述定位图像中,所述预定画面区别于所述定位图像的其他部分突出呈现;
所述根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,包括:
检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓;
根据作为位置特征点的所述矩形显示区域的4个角点,将检测到的所述矩形边缘轮廓的4个角点确定为像素特征点。
3.如权利要求2所述的方法,其特征在于,所述检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓,包括:
对所述定位图像进行边缘增强处理;
对所述边缘增强处理后的定位图像进行阈值分割;
从所述阈值分割后的定位图像中检测出所述突出呈现的预定画面的矩形边缘轮廓。
4.如权利要求1所述的方法,其特征在于,所述根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
5.如权利要求4所述的方法,其特征在于,所述根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系;
所述公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为所述像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为所述位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,所述旋转矩阵和所述平移矩阵用于表示所述第二设备与所述第一设备之间的相对姿态位置关系。
6.如权利要求5所述的方法,其特征在于,所述根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系,包括:
根据公式(1),将世界坐标系构造在Z=0的平面上,从而对公式(1)进行变换,得到公式(2):
设定单应性矩阵H=[h1 h2 h3]=A[r1 r2 t],根据公式(3),确定所述第一设备相对于所述第二设备的旋转矩阵和平移矩阵;
所述公式(3)为:
其中,(u,v,1)为所述像素特征点的像素坐标Pp,(X,Y,1)为所述位置特征点的空间坐标Pv,[r1 r2 r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,λ=1/||A-1h1||=1/||A-1h2||。
7.一种设备定位装置,其特征在于,包括:
第一确定单元,用于确定第一设备的N个位置特征点,N大于等于4;
几何模型建立单元,用于根据所述N个位置特征点,建立所述第一设备的几何模型,从而得到所述N个位置特征点在所述几何模型中的空间坐标;
第二确定单元,用于获取第二设备拍摄的所述第一设备的定位图像,根据所述N个位置特征点确定所述定位图像中分别与所述N个位置特征点对应的N个像素特征点,从而得到所述N个像素特征点在所述定位图像中的像素坐标;
定位单元,用于根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
8.如权利要求7所述的装置,其特征在于,所述第一设备包括矩形显示区域,所述N个位置特征点包括所述矩形显示区域的4个角点;
在所述第二设备拍摄所述第一设备的定位图像时,所述第一设备的矩形显示区域显示预定画面;在所述定位图像中,所述预定画面区别于所述定位图像的其他部分突出呈现;
所述第二确定单元具体用于:
检测所述定位图像中所述突出呈现的预定画面的矩形边缘轮廓;
根据作为位置特征点的所述矩形显示区域的4个角点,将检测到的所述矩形边缘轮廓的四个角点确定为像素特征点。
9.如权利要求8所述的装置,其特征在于,所述第二确定单元具体用于:
对所述定位图像进行边缘增强处理;
对所述边缘增强处理后的定位图像进行阈值分割;
从所述阈值分割后的定位图像中检测出所述突出呈现的预定画面的矩形边缘轮廓。
10.如权利要求7所述的装置,其特征在于,所述定位单元具体用于:
根据所述N个位置特征点在所述几何模型中的空间坐标和所述N个像素特征点在所述定位图像中的像素坐标,利用小孔成像模型,确定所述第二设备与所述第一设备之间的相对姿态位置关系。
11.如权利要求10所述的装置,其特征在于,所述定位单元具体用于:
根据公式(1)确定所述第二设备与所述第一设备之间的相对姿态位置关系;
所述公式(1)为:
SPp=A[Rt]Pv……………………………………(1)
其中,S为尺度因子,Pp为所述像素特征点的像素坐标,A为第二设备拍摄定位图像的摄像机的内参数,Pv为所述位置特征点的空间坐标,R为第一设备相对于第二设备的旋转矩阵,t为第一设备相对于第二设备的平移矩阵,所述旋转矩阵和所述平移矩阵用于表示所述第二设备与所述第一设备之间的相对姿态位置关系。
12.如权利要求11所述的装置,其特征在于,所述定位单元具体用于:
根据公式(1),将世界坐标系构造在Z=0的平面上,从而对公式(1)进行变换,得到公式(2):
设定单应性矩阵H=[h1 h2 h3]=A[r1 r2 t],根据公式(3),确定所述第一设备相对于所述第二设备的旋转矩阵和平移矩阵;
所述公式(3)为:
其中,(u,v,1)为所述像素特征点的像素坐标Pp,(X,Y,1)为所述位置特征点的空间坐标Pv,[r1 r2 r3]为第二设备相对于第一设备的旋转矩阵R,t为第二设备相对于第一设备的平移矩阵,λ=1/||A-1h1||=1/||A-1h2||。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610074260.2A CN107038722A (zh) | 2016-02-02 | 2016-02-02 | 一种设备定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610074260.2A CN107038722A (zh) | 2016-02-02 | 2016-02-02 | 一种设备定位方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107038722A true CN107038722A (zh) | 2017-08-11 |
Family
ID=59532929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610074260.2A Pending CN107038722A (zh) | 2016-02-02 | 2016-02-02 | 一种设备定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107038722A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
CN109410316A (zh) * | 2018-09-21 | 2019-03-01 | 深圳前海达闼云端智能科技有限公司 | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 |
CN109472828A (zh) * | 2018-10-26 | 2019-03-15 | 达闼科技(北京)有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
CN109521781A (zh) * | 2018-10-30 | 2019-03-26 | 普宙飞行器科技(深圳)有限公司 | 无人机定位系统、无人机以及无人机定位方法 |
CN110375650A (zh) * | 2019-08-15 | 2019-10-25 | 中国铁建重工集团股份有限公司 | 一种拱架位姿测量方法及系统 |
WO2019228047A1 (zh) * | 2018-05-31 | 2019-12-05 | 京东方科技集团股份有限公司 | 空间定位方法、其装置、其系统及计算机可读介质 |
CN112258881A (zh) * | 2020-10-21 | 2021-01-22 | 广元量知汇科技有限公司 | 基于智慧交通的车辆管理方法 |
CN112348876A (zh) * | 2019-08-08 | 2021-02-09 | 北京地平线机器人技术研发有限公司 | 一种标志牌的空间坐标获取方法及装置 |
CN113034531A (zh) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | 设备摆放检测方法及装置 |
CN113052899A (zh) * | 2021-04-23 | 2021-06-29 | 江南大学 | 一种编队飞行器动态姿态标定系统及方法 |
CN113221805A (zh) * | 2021-05-25 | 2021-08-06 | 云南电网有限责任公司电力科学研究院 | 一种电力设备图像位置获取方法及装置 |
CN113808199A (zh) * | 2020-06-17 | 2021-12-17 | 华为技术有限公司 | 定位方法、电子设备与定位系统 |
WO2023141963A1 (zh) * | 2022-01-28 | 2023-08-03 | 深圳市大疆创新科技有限公司 | 可移动平台的位姿估计方法、可移动平台及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101319895A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 手持式交通事故现场快速测绘仪 |
CN104504675A (zh) * | 2014-11-03 | 2015-04-08 | 中国科学院光电研究院 | 一种主动视觉定位方法 |
-
2016
- 2016-02-02 CN CN201610074260.2A patent/CN107038722A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101319895A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 手持式交通事故现场快速测绘仪 |
CN104504675A (zh) * | 2014-11-03 | 2015-04-08 | 中国科学院光电研究院 | 一种主动视觉定位方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399638B (zh) * | 2018-02-08 | 2021-07-20 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
WO2019228047A1 (zh) * | 2018-05-31 | 2019-12-05 | 京东方科技集团股份有限公司 | 空间定位方法、其装置、其系统及计算机可读介质 |
US11270456B2 (en) | 2018-05-31 | 2022-03-08 | Beijing Boe Optoelectronics Technology Co., Ltd. | Spatial positioning method, spatial positioning device, spatial positioning system and computer readable medium |
CN109410316A (zh) * | 2018-09-21 | 2019-03-01 | 深圳前海达闼云端智能科技有限公司 | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 |
CN109472828A (zh) * | 2018-10-26 | 2019-03-15 | 达闼科技(北京)有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
CN109521781A (zh) * | 2018-10-30 | 2019-03-26 | 普宙飞行器科技(深圳)有限公司 | 无人机定位系统、无人机以及无人机定位方法 |
CN112348876A (zh) * | 2019-08-08 | 2021-02-09 | 北京地平线机器人技术研发有限公司 | 一种标志牌的空间坐标获取方法及装置 |
CN110375650A (zh) * | 2019-08-15 | 2019-10-25 | 中国铁建重工集团股份有限公司 | 一种拱架位姿测量方法及系统 |
CN113808199B (zh) * | 2020-06-17 | 2023-09-08 | 华为云计算技术有限公司 | 定位方法、电子设备与定位系统 |
CN113808199A (zh) * | 2020-06-17 | 2021-12-17 | 华为技术有限公司 | 定位方法、电子设备与定位系统 |
CN112258881B (zh) * | 2020-10-21 | 2021-07-16 | 贵州汇联通电子商务服务有限公司 | 基于智慧交通的车辆管理方法 |
CN112258881A (zh) * | 2020-10-21 | 2021-01-22 | 广元量知汇科技有限公司 | 基于智慧交通的车辆管理方法 |
CN113034531A (zh) * | 2021-04-02 | 2021-06-25 | 广州绿怡信息科技有限公司 | 设备摆放检测方法及装置 |
CN113052899A (zh) * | 2021-04-23 | 2021-06-29 | 江南大学 | 一种编队飞行器动态姿态标定系统及方法 |
CN113221805A (zh) * | 2021-05-25 | 2021-08-06 | 云南电网有限责任公司电力科学研究院 | 一种电力设备图像位置获取方法及装置 |
CN113221805B (zh) * | 2021-05-25 | 2022-08-02 | 云南电网有限责任公司电力科学研究院 | 一种电力设备图像位置获取方法及装置 |
WO2023141963A1 (zh) * | 2022-01-28 | 2023-08-03 | 深圳市大疆创新科技有限公司 | 可移动平台的位姿估计方法、可移动平台及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038722A (zh) | 一种设备定位方法及装置 | |
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
US10319104B2 (en) | Method and system for determining datum plane | |
WO2018111915A1 (en) | Foot measuring and sizing application | |
JP7480882B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
CN108038886B (zh) | 双目摄像系统标定方法、装置及其汽车 | |
US20180160776A1 (en) | Foot measuring and sizing application | |
CN110324534B (zh) | 图像处理方法、装置及电子设备 | |
CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
CN108989794B (zh) | 基于抬头显示系统的虚像信息测量方法及系统 | |
CN106778660B (zh) | 一种人脸姿态校正方法及装置 | |
CN107403447A (zh) | 深度图像获取方法 | |
CN107249128A (zh) | 一种摄像头的校正方法及装置 | |
US20130088488A1 (en) | Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses | |
US11061471B2 (en) | Screen estimation | |
CN108648141A (zh) | 一种图像拼接方法及装置 | |
US20170223321A1 (en) | Projection of image onto object | |
CN106919928A (zh) | 手势识别系统、方法及显示设备 | |
CN107270829B (zh) | 一种基于深度图像的人体三围测量方法 | |
US8983125B2 (en) | Three-dimensional image processing device and three dimensional image processing method | |
CN112051920A (zh) | 视线落点确定方法和装置 | |
CN108616753B (zh) | 一种裸眼立体显示方法及装置 | |
CN109213323A (zh) | 一种基于眼动交互技术实现屏幕姿态估计的方法 | |
Kim et al. | Real‐Time Human Shadow Removal in a Front Projection System | |
CN108540790A (zh) | 一种用于移动终端的立体图像获取方法、装置及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180726 Address after: 518052 Room 201, building A, Qian Wan Road, Shenzhen Nanshan District cooperation zone, Qianhai, Shenzhen, Guangdong Applicant after: Shenzhen super Technology Co., Ltd. Address before: 518053 East Guangdong H-1 101, overseas Chinese Town Road, Nanshan District, Shenzhen. Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170811 |