CN116597003A - 一种3d空间定位方法及装置、电子设备 - Google Patents
一种3d空间定位方法及装置、电子设备 Download PDFInfo
- Publication number
- CN116597003A CN116597003A CN202310540203.9A CN202310540203A CN116597003A CN 116597003 A CN116597003 A CN 116597003A CN 202310540203 A CN202310540203 A CN 202310540203A CN 116597003 A CN116597003 A CN 116597003A
- Authority
- CN
- China
- Prior art keywords
- images
- positioning information
- group
- space
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 244000089409 Erythrina poeppigiana Species 0.000 description 2
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例提供了一种3D空间定位方法及装置、电子设备,涉及扩展现实技术领域,该方法包括获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;至少三组双目摄像头设置于拍摄空间中的不同方位;针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与设定像素点之间的距离;其中,各设定像素点用于表征被测物体在图像中的设定轮廓;基于每组图像中各设定像素点的距离,得到被测物体在每组图像对应方位的定位信息;根据至少三组图像在不同方位的定位信息,得到被测物体在3D空间的定位信息。上述的定位方式,通过不同方位的定位保证了其精准性,也为使用者操作提供便利。
Description
技术领域
本申请涉及扩展现实技术领域,尤其涉及一种3D空间定位方法及装置、电子设备、计算机可读存储介质。
背景技术
虚拟现实技术自诞生以来得到了越来越多人的认可。人们可以通过头盔、手柄等虚拟现实设备进入虚拟世界进行游戏、影音等沉浸式体验,所以对于头盔、手柄的位置就需要保证其精准性。如何定位被测物体的3D位置信息已经成为着重关注点。现有的技术中是需要被测物体穿上穿戴标定,同时对环境进行红外设备部署,才能实现被测物体的3D空间定位。但现有技术中这种穿戴标定的制作材料昂贵且穿戴麻烦。因而需要提供一种便利使用且精准的3D空间定位方法。
发明内容
本申请实施例提供一种3D空间定位方法,通过不同方位的定位保证了其精准性,也为使用者提供便利。
第一方面,本申请实施例提供一种3D空间定位方法,包括:获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;至少三组双目摄像头设置于拍摄空间中的不同方位;针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与设定像素点之间的距离;其中,各设定像素点用于表征被测物体在图像中的设定轮廓;基于每组图像中各设定像素点的距离,得到被测物体在每组图像对应方位的定位信息;根据至少三组图像在不同方位的定位信息,得到被测物体在3D空间的定位信息。
上述方案中,通过不同的双目摄像头在不同的方位对被测物体进行拍摄得到多组图像,根据获取每组图像中的设定像素点与双目摄像头的距离,通过多组距离确定被测物体在每组双目摄像头不同方位的定位信息,进而得到被测物体在3D空间的定位信息。与现有技术相比,本申请实施例不需要再利用特殊的穿戴标定来确定被测物体在3D空间的定位,可以有效的降低成本;同时特殊的穿戴标定在对被测物体进行穿戴时比较繁琐,而本申请则不需要对被测物体进行额外的操作,达到了便利的效果。
在一种可能的设计中,得到被测物体在3D空间的定位信息之后,还包括:获取被测物体在虚拟设备中的虚拟定位信息;确定被测物体在3D空间的定位信息与虚拟定位信息之间的偏差值并将偏差值传输至虚拟设备;偏差值用于所述虚拟设备调整被测物体后续的虚拟定位信息。
上述方案中,在对一个3D空间中的被测物体进行3D定位后,去获取虚拟设备中的被测物体在虚拟的3D空间中的虚拟定位信息,将被测物体在3D空间的定位信息和虚拟设备中虚拟定位信息进行比对,判断是否存在偏差值,并根据获取的偏差值传给虚拟设备,虚拟设备根据偏差值进行调节,可以有效调整虚拟设备对被测物体在3D空间中定位的准确性,进而提升用户在使用虚拟设备的体验感。
在一种可能的设计中,根据至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息,包括:将方位相邻的任意两组图像进行重合像素点的归一化处理,得到被测物体在相邻方位的边缘处的轮廓信息,从而得到被测物体在3D空间的定位信息。
上述方案中,至少三组双目摄像头拍摄的至少三组图像来源于不同的方位,每一个方位对于被测物体来说只能获取到一个侧面的轮廓信息,针对方位相邻的两组图像中都拍到的像素点(重合像素点)进行归一化处理,得到被测物体在相邻方位的边缘处的轮廓信息,进而确定被测物体在3D空间的定位信息,归一化的处理保证了一个像素点最终只有一个对应的设定像素点,保证了被测物体在3D空间的定位信息的准确性。
在一种可能的设计中,每组图像包括左视角图像和右视角图像;基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离,包括:根据该组图像中的左视角图像,确定设定像素点与该组图像对应的双目摄像头中左摄像头的第一距离和第一视角;根据该组图像中的右视角图像,确定设定像素点与该组图像对应的双目摄像头中右摄像头的第二距离和第二视角;根据第一距离、第一视角、第二距离和第二视角在三角函数中的关系,得到该组图像对应的双目摄像头与设定像素点之间的距离。
上述方案中,双目摄像头包含左摄像头、右摄像头,因此一个双目摄像头在同一时刻拍摄被测物体会得到一组图像,分别为左视角图像和右视角图像,根据被测物体中设定像素点在左视角图像中,可以获得该设定像素点与左视角图像的第一距离和第一视角,同理也可以确定该设定像素点与右视角图像的第二距离和第二视角,根据第一距离、第一视角、第二距离和第二视角通过三角函数确定该组图像对应的双目摄像头与设定像素点之间的距离,通过三角函数去确定距离,不需要额外去测量其他变量,计算简便且准确。
在一种可能的设计中,通过如下方式确定各设定像素点,包括:针对该组图像中任一图像,对图像进行灰度化处理和/或二值化处理;将处理后的图像通过轮廓算法,得到图像中所述被测物体在图像中的设定轮廓;将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点。
上述方案中,在通过双目摄像头获取被测物体的拍摄图像后,对图像进行灰度化处理和/或二值化处理,处理后的图像是像素点的形式存在,通过轮廓算法,获取被测物体在图像中的设定轮廓,上面灰度化处理和/或二值化处理使图像中的数据量大量的减少,减少计算量。其中,各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点,通过对应关系设定像素点降低了因为角度的偏差造成的设定像素点不准确,防止影响在3D空间中的定位的准确性。
在一种可能的设计中,至少三组双目摄像头分别设置于拍摄空间的正前方位、正后方位、左方位、右方位和俯视方位。
上述方案中,至少三组双目摄像头设置于拍摄空间的不同方位,可以是正前方位、正后方位、左方位、右方位和俯视方位。不同的方位拍摄的被测物体的角度不同,得到的被测物体的图像的拍摄面也不同,为了后续保证其被测物体轮廓在3D空间中的完整性。
第二方面,本申请实施例提供了一种3D空间定位装置,包括:获取单元,用于获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;所述至少三组双目摄像头设置于拍摄空间中的不同方位;
计算单元,用于针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离;其中,各设定像素点用于表征所述被测物体在图像中的设定轮廓;
定位单元,用于基于每组图像中各设定像素点的距离,得到所述被测物体在每组图像对应方位的定位信息;
还用于根据所述至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息。
在一种可能的设计中,还包括确定单元;
所述获取单元,还用于获取所述被测物体在虚拟设备中的虚拟定位信息;
所述确定单元,还用于确定所述被测物体在3D空间的定位信息与所述虚拟定位信息之间的偏差值并将所述偏差值传输至所述虚拟设备;所述偏差值用于所述虚拟设备调整所述被测物体后续的虚拟定位信息。
在一种可能的设计中,所述定位单元,具体用于将方位相邻的任意两组图像进行重合像素点的归一化处理,得到所述被测物体在相邻方位的边缘处的轮廓信息,从而得到所述被测物体在3D空间的定位信息。
在一种可能的设计中,每组图像包括左视角图像和右视角图像;
所述计算单元,具体用于根据该组图像中的左视角图像,确定所述设定像素点与该组图像对应的双目摄像头中左摄像头的第一距离和第一视角;
所述计算单元,具体用于根据该组图像中的右视角图像,确定所述设定像素点与该组图像对应的双目摄像头中右摄像头的第二距离和第二视角;
所述计算单元,具体用于根据所述第一距离、所述第一视角、所述第二距离和所述第二视角在三角函数中的关系,得到该组图像对应的双目摄像头与所述设定像素点之间的距离。
在一种可能的设计中,所述计算单元,具体用于针对该组图像中任一图像,对所述图像进行灰度化处理和/或二值化处理;
所述计算单元,具体用于将处理后的图像通过轮廓算法,得到所述图像中所述被测物体在所述图像中的设定轮廓;
所述计算单元,具体用于将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点。
在一种可能的设计中,所述至少三组双目摄像头分别设置于所述拍摄空间的正前方位、正后方位、左方位、右方位和俯视方位。
第三方面,本申请还提供一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用存储器中存储的程序指令,按照获得的程序执行上述图像处理的方法。
第四方面,本申请还提供一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行计算机可读指令时,使得计算机执行上述图像处理的方法。
上述第二方面至第四方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述,此处不再重复赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种3D空间定位的系统架构图;
图2为本申请实施例提供的一种3D空间定位方法流程示意图;
图3为本申请实施例提供一种确定像素点方法流程示意图;
图4为本申请实施例提供的一种图像像素点示意图;
图5为本申请实施例提供的一种确定距离的方法程示意图;
图6为本申请实施例提供了一种3D空间定位装置示意图;
图7为本申请实施例还提供了一种计算设备。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
如今时代下虚拟与现实的交互越来越受到重视。扩展现实技术扩展现实(Extended Reality,XR),是指通过计算机将真实与虚拟相结合,打造一个可人机交互的虚拟环境,这也是增强现实(Augmented Reality,简称AR)、虚拟现实技术(Virtual Reality,VR)、混合现实(Mixed Reality,MR)等多种技术的统称。所谓虚拟现实,顾名思义,就是虚拟和现实相互结合。
从理论上来讲,虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据,通过计算机技术产生的电子信号,将其与各种输出设备结合使其转化为能够让人们感受到的现象,这些现象可以是现实中真真切切的物体,也可以是我们肉眼所看不到的物质,通过三维模型表现出来。因为这些现象不是我们直接所能看到的,而是通过计算机技术模拟出来的现实中的世界,故称为虚拟现实。
所谓增强现实也被称为扩增现实,增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。
所谓混合现实技术(MR)是虚拟现实技术的进一步发展,该技术通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。
通过将三者的视觉交互技术相融合,为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。而在这个过程中如何实现3D空间中的被测物体定位成为了如今的重点关注对象。现有技术通过先通过对被测物体穿上穿戴标定,穿戴标定上带有检测珠子,通过空间中的红外设备对穿戴设备上的珠子进行红外感应,从而来确定被检测物体在3D空间中的定位信息。但现有技术中这种穿戴标定存在制作材料昂贵且穿戴麻烦的问题。
为了解决上述的问题,本申请提供了一种3D空间定位方法,图1为本申请实施例提供的一种3D空间定位的系统架构图,该系统架构图至少包括被测物体101、双目摄像头102、后台系统103。其中,被测物体101是确定3D空间场景中要确认的物体,可以是任何物体,在这里不作具体限定。双目摄像头102是含有两个摄像头的光芯,在对被测物体进行拍摄时一次可以拍摄不同角度的两张图像。后台系统103是将双目摄像头102拍摄的图像进行处理,得到计算处理后被测物体的3D空间的定位信息。
双目摄像头102与后台系统103连接方式可以通过无线连接,也可以通过其他方式进行连接,本申请在此不作限制。
针对具体的确定3D空间定位方法,如图2所示,图2为本申请实施例提供的一种3D空间定位方法流程示意图,包括:
S201.获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;至少三组双目摄像头设置于拍摄空间中的不同方位。
在一个3D空间中,被测物体是一个3D立体的存在,而一组双目摄像头只能拍摄到被测物体一个侧面上的样子,所以为了保证3D空间中被测物体定位的准确性,所以需要多组双目摄像头对被测物体拍摄多个侧面。本申请实施例中采用了至少三组双目摄像头同一时刻对被测物体进行拍摄,得到来自不同方位的至少三组图像。
一个示例中,假设有三组双目摄像头拍摄被测物体得到三组图像,分别是图像A、图像B、图像C,假设图像A来自与俯视被测物体,图像B位于被测物体的右边进行拍摄,图像C位于被测物体的左边进行拍摄。
应注意,双目摄像头至少为三组,也可以是四组,也可以是五组,也可以是多组,接下来实施例以五组为例,在此不作具体限定。
S202.针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与设定像素点之间的距离;其中,各设定像素点用于表征被测物体在图像中的设定轮廓。
图像是由多个像素点组成的,像素点是显示器显示画面的最小发光单位,由红、绿、蓝三个像素单元组成,这三种基色通过不同的亮度组合即可产生各种颜色不同的像素点呈现不同的图像。为了保证被测物体最终获得3D空间定位的准确性,采取针对像素点来进行后续操作。在上述S201获得来自不同方位的多组图像后,对每组图像中的任一设定像素点去计算其与双目摄像头的距离。其中,各组图像中的设定像素点是用来标识每组图像中被测物体的设定轮廓。
一个示例中,假设被测物体是一个人,多组双目摄像头对其进行拍摄,得到正视图A、后视图B、左视图C、右视图D、俯视图E后,确定正视图A中的任意设定像素点距离双目摄像头A的距离,确定正视图A中的任意设定像素点距离双目摄像头A的距离,确定后视图B中的任意设定像素点距离双目摄像头B的距离,确定左视图C中的任意设定像素点距离双目摄像头C的距离,确定右视图D中的任意设定像素点距离双目摄像头D的距离,确定俯视图E中的任意设定像素点距离双目摄像头E的距离。
S203.基于每组图像中各设定像素点的距离,得到被测物体在每组图像对应方位的定位信息。
在上述的步骤中得到了每组图像中设定像素点与对应的双目摄像头的距离,根据距离得到被测物体在每组图像对应方位的定位信息。接着S202的示例,正视图A距离双目摄像头A的距离为H1,后视图B距离双目摄像头B的距离为H2,左视图C距离双目摄像头C的距离为H3,右视图D距离双目摄像头D的距离为H4,俯视图E距离双目摄像头E的距离为H5。假设H1=1、H2=2、H3=2、H4=3、H5=4可以确定被测物体的定位信息为距离前方双目摄像头A的距离为1m,距离后方的双目摄像头B的距离为2m,距离左面的双目摄像头C的距离为2m,距离右面的双目摄像头D的距离为3m,距离上面的双目摄像头的距离为5m。
S204.根据至少三组图像在不同方位的定位信息,得到被测物体在3D空间的定位信息。
根据上面至少三组的图像在不同方位的定位信息,可以获得被测物体在3D空间的定位信息。接着上述示例来看,五组双目摄像头与被测物体的距离分别确定后,既可以确定了被测物体的三位坐标为(1,3,5),也就是被测物体在3D空间的定位信息。
多组双目摄像头拍摄被测物体得到的图像是多个不同面的二维图像,这就会存在这相邻的两个面拍摄的图像中含有相同的像素点,所以针对重合像素点需要将方位相邻的任意两组图像进行重合像素点的归一化处理,得到被测物体在相邻方位的边缘处的轮廓信息,从而得到被测物体在3D空间的定位信息。
上述的一个可选的方式中,对于重合像素点采用归一化处理得到相邻方位的边缘处的轮廓信息,从而得到被测物体在3D空间的定位信息。
一个示例中,被测物体是正方体,正视图拍摄到的图像为正方形,设左上角的像素点为a,左视图拍摄到的图像也是一个正方形,在左视图中右上角的像素点也为a,针对这种情况属于同一位置的像素点,需要根据对应关系进行整合得到最终的像素点a’。
在确定了3D空间的定位信息是为了最终的应用,所以得到所述被测物体在3D空间的定位信息之后,获取被测物体在虚拟设备中的虚拟定位信息;确定被测物体在3D空间的定位信息与虚拟定位信息之间的偏差值并将所述偏差值传输至所述虚拟设备;偏差值用于所述虚拟设备调整被测物体后续的虚拟定位信息。
在一个3D空间中进行定位被测物体最终是为了保证在一些虚拟的界面中被测物体的定位信息应用到虚拟设备中,从而达到虚拟与现实的交互。具体是通过后台系统接着取获取被测物体在虚拟设备中的虚拟定位信息,将上面计算得到的3D空间中的定位信息与虚拟界面中的定位信息进行比较,得到偏差值,根据偏差值传给虚拟设备,虚拟设备根据偏差值去调整被测物体后续在虚拟设备中的虚拟定位信息,提高其准确性。其中虚拟设备可以应用在AR领域,也可以应用在VR领域,也可以是其他领域,在此不作具体限定。
双目摄像头的方位可以是多种多样的,本申请实施例中的提到至少三组双目摄像头可以位于拍摄空间的正前方位、正后方位、左方位、右方位和俯视方位任意三个方位,也可以是其他方位,也可以增加双目摄像头的数量,在此不作具体限定。
一种可选的实施方式中,图像最终肉眼呈现的是一个多彩的场景,但是针对机器而言是通过像素点进行确定的,针对S202步骤中如何确定图像中像素点如图3所示,图3为本申请实施例提供一种确定像素点方法流程示意图,包括:
S301.针对该组图像中任一图像,对图像进行灰度化处理和/或二值化处理。
图像是由红、绿、蓝三个像素单元组成的,三种三原色融合进而得到多彩的图像。但是图像中含有这大量的像素点,所以对图像进行计算时,为了减少计算量,对图像进行灰度化处理和/或二值化处理。所谓的灰度化处理是指将一幅彩色图像转化为灰度图像的过程,也就是保证图像中的R、G、B相等,其计算方式可以是将R的所有像素点和G的所有像素点以及B的所有像素点进行加和计算,并对计算结果除以3后保证R=B=G。也可以是通过公式R=G=B=R*0.3+G*0.59+B*0.11。也可以是其他计算方式,在此不作具体限定。所谓二值化处理是指让图像的每个像素值为0(黑)或者是255(白),保证彩色图像中经过二值化处理后只有两种颜色,其计算方式也是多样的,比如取阈值0-255中的中位数1277,像素点的像素值<=127,设置为0(黑),像素点的像素值>127设置为255(白)。
一个示例中,对A图像进行灰度化处理,通过计算得到R=G=B的A’图像。
应注意,上述的灰度化处理和二值化处理可以同时存在,也可以只利用一种方式处理,在此不作具体限定。
S302.将处理后的图像通过轮廓算法,得到图像中被测物体在图像中的设定轮廓。
在上述S301将双目摄像头拍摄的每组图像通过灰度值处理和/或二值化处理后,将处理后的图像通过轮廓算法得到图像中被测物体在图像中的设定轮廓。其中,设定轮廓为提前设定好的被测物体的轮廓信息。
接着上述S301中的示例,假设被测物体是正方体,一组图像中通过灰度值处理和/或二值化处理后的A’中包含了三行三列,总共九个像素点,如图4所示,图4为本申请实施例提供的一种图像像素点示意图。在图4中,(1)为S301步骤处理后的图像,(2)为进行轮廓算法处理后的图像。
S303.将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点。
在通过至少三组双目摄像头拍摄图像时,会存在两个邻面中相同的像素点,也就是说在正视图中包含了像素点A,在侧视图也包含了像素点A,所以对于重合的像素点,需要将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点,这样才能有效保证被测物体后续3D空间定位的准确性。
接着上述S302的示例,被测物体是正方体,正视图拍摄到的图像为正方形,设左上角的像素点为a,左视图拍摄到的图像也是一个正方形,在左视图中右上角的像素点b,针对这种情况属于同一位置的像素点,将像素点a和像素点b确定为存在对应关系的设定像素点。
每一组双目摄像头包含了两个摄像头灯芯,所以对于同一时刻拍摄被测物体的图像包含了左视角图像和右视角图像,对于左视角图像的左摄像头来说,如图5中S501所示,S501.根据该组图像中的左视角图像,确定设定像素点与该组图像对应的双目摄像头中左摄像头的第一距离和第一视角。S501确定了左摄像头与设定像素点的第一距离和第一视角。同理对于右视角图像的右摄像头来说,如图5中S502所示,S502.根据该组图像中的右视角图像,确定设定像素点与该组图像对应的双目摄像头中右摄像头的第二距离和第二视角。S502确定右摄像头与设定像素点的第二距离和第二视角。接下来通过S503确定设定像素点和双目摄像头的距离。具体来看,S503.根据第一距离、第一视角、第二距离和第二视角在三角函数中的关系,得到该组图像对应的双目摄像头与设定像素点之间的距离。根据三角函数规则,将上面的到的第一距离和第一视角、第二距离和第二视角带入得到设定像素点和双目摄像头的距离。
一个示例中,以一组双目摄像头为例,包含了左视角图像的摄像头A和右视角图像的双目摄像头B,根据A拍摄被测物体C的图像得到第一距离为3m,第一视角为60°,根据B拍摄被测物体C的图像得到第一距离为4m,第一视角为30°,而双目摄像头中的摄像头A和摄像头B距离已知假设为5m,根据三角函数的公式,BC/sinA=AC/sinB=AB/sinC和H=BC*sinB=AC*sinA计算得到H为
基于相同的技术构思,本发明实施例还提供了一种3D空间定位装置,如图6所示,包括:获取单元601,用于获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;所述至少三组双目摄像头设置于拍摄空间中的不同方位;
计算单元602,用于针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离;其中,各设定像素点用于表征所述被测物体在图像中的设定轮廓;
定位单元603,用于基于每组图像中各设定像素点的距离,得到所述被测物体在每组图像对应方位的定位信息;
还用于根据所述至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息。
一种可选地实施方式中,还包括确定单元604;
所述获取单元601,还用于获取所述被测物体在虚拟设备中的虚拟定位信息;
所述确定单元604,还用于确定所述被测物体在3D空间的定位信息与所述虚拟定位信息之间的偏差值并将所述偏差值传输至所述虚拟设备;所述偏差值用于所述虚拟设备调整所述被测物体后续的虚拟定位信息。
一种可选地实施方式中,所述定位单元603,具体用于将方位相邻的任意两组图像进行重合像素点的归一化处理,得到所述被测物体在相邻方位的边缘处的轮廓信息,从而得到所述被测物体在3D空间的定位信息。
一种可选地实施方式中,每组图像包括左视角图像和右视角图像;
所述计算单元602,具体用于根据该组图像中的左视角图像,确定所述设定像素点与该组图像对应的双目摄像头中左摄像头的第一距离和第一视角;
所述计算单元602,具体用于根据该组图像中的右视角图像,确定所述设定像素点与该组图像对应的双目摄像头中右摄像头的第二距离和第二视角;
所述计算单元602,具体用于根据所述第一距离、所述第一视角、所述第二距离和所述第二视角在三角函数中的关系,得到该组图像对应的双目摄像头与所述设定像素点之间的距离。
一种可选地实施方式中,所述计算单元602,具体用于针对该组图像中任一图像,对所述图像进行灰度化处理和/或二值化处理;
所述计算单元602,具体用于将处理后的图像通过轮廓算法,得到所述图像中所述被测物体在所述图像中的设定轮廓;
所述计算单元602,具体用于将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点。
一种可选地实施方式中,所述至少三组双目摄像头分别设置于所述拍摄空间的正前方位、正后方位、左方位、右方位和俯视方位。
基于相同的技术构思,本发明实施例还提供了一种计算设备,如图7所示,包括至少一个处理器701,以及与至少一个处理器连接的存储器702,本发明实施例中不限定处理器701与存储器702之间的具体连接介质,图7中处理器701和存储器702之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中,存储器702存储有可被至少一个处理器701执行的指令,至少一个处理器701通过执行存储器702存储的指令,可以执行前述的基于3D空间定位方法中所包括的步骤。
其中,处理器701是计算设备的控制中心,可以利用各种接口和线路连接计算设备的各个部分,通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据,从而实现数据处理。可选的,处理器701可包括一个或多个处理单元,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理下发指令。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。在一些实施例中,处理器701和存储器702可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器701可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合3D空间定位方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于相同的技术构思,本发明实施例还提供了一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述基于3D空间定位方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种3D空间定位方法,其特征在于,包括:
获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;所述至少三组双目摄像头设置于拍摄空间中的不同方位;
针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离;其中,各设定像素点用于表征所述被测物体在图像中的设定轮廓;
基于每组图像中各设定像素点的距离,得到所述被测物体在每组图像对应方位的定位信息;
根据所述至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息。
2.如权利要求1所述的方法,其特征在于,得到所述被测物体在3D空间的定位信息之后,还包括:
获取所述被测物体在虚拟设备中的虚拟定位信息;
确定所述被测物体在3D空间的定位信息与所述虚拟定位信息之间的偏差值并将所述偏差值传输至所述虚拟设备;所述偏差值用于所述虚拟设备调整所述被测物体后续的虚拟定位信息。
3.如权利要求1所述的方法,其特征在于,根据所述至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息,包括:
将方位相邻的任意两组图像进行重合像素点的归一化处理,得到所述被测物体在相邻方位的边缘处的轮廓信息,从而得到所述被测物体在3D空间的定位信息。
4.如权利要求1所述的方法,其特征在于,每组图像包括左视角图像和右视角图像;
基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离,包括:
根据该组图像中的左视角图像,确定所述设定像素点与该组图像对应的双目摄像头中左摄像头的第一距离和第一视角;
根据该组图像中的右视角图像,确定所述设定像素点与该组图像对应的双目摄像头中右摄像头的第二距离和第二视角;
根据所述第一距离、所述第一视角、所述第二距离和所述第二视角在三角函数中的关系,得到该组图像对应的双目摄像头与所述设定像素点之间的距离。
5.如权利要求1所述的方法,其特征在于,通过如下方式确定各设定像素点,包括:
针对该组图像中任一图像,对所述图像进行灰度化处理和/或二值化处理;
将处理后的图像通过轮廓算法,得到所述图像中所述被测物体在所述图像中的设定轮廓;
将各图像的设定轮廓中处于同一位置关系的像素点确定为存在对应关系的设定像素点。
6.如权利要求1-5任意一项所述的方法,其特征在于,所述至少三组双目摄像头分别设置于所述拍摄空间的正前方位、正后方位、左方位、右方位和俯视方位。
7.一种3D空间定位装置,其特征在于,包括:
获取单元,用于获取至少三组双目摄像头在同一时刻拍摄被测物体的至少三组图像;所述至少三组双目摄像头设置于拍摄空间中的不同方位;
计算单元,用于针对每组图像中的任一设定像素点,基于该组图像计算得到该组图像对应的双目摄像头与所述设定像素点之间的距离;其中,各设定像素点用于表征所述被测物体在图像中的设定轮廓;
定位单元,用于基于每组图像中各设定像素点的距离,得到所述被测物体在每组图像对应方位的定位信息;
还用于根据所述至少三组图像在不同方位的定位信息,得到所述被测物体在3D空间的定位信息。
8.如权利要求7所述的装置,其特征在于,得到所述被测物体在3D空间的定位信息之后,还包括:
所述获取单元,还用于获取所述被测物体在虚拟设备中的虚拟定位信息;
确定单元,还用于确定所述被测物体在3D空间的定位信息与所述虚拟定位信息之间的偏差值并将所述偏差值传输至所述虚拟设备;所述偏差值用于所述虚拟设备调整所述被测物体后续的虚拟定位信息。
9.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行如权利要求1至6中任一项权利要求所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被运行时,执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540203.9A CN116597003A (zh) | 2023-05-12 | 2023-05-12 | 一种3d空间定位方法及装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540203.9A CN116597003A (zh) | 2023-05-12 | 2023-05-12 | 一种3d空间定位方法及装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116597003A true CN116597003A (zh) | 2023-08-15 |
Family
ID=87605620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310540203.9A Pending CN116597003A (zh) | 2023-05-12 | 2023-05-12 | 一种3d空间定位方法及装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116597003A (zh) |
-
2023
- 2023-05-12 CN CN202310540203.9A patent/CN116597003A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
EP3614340A1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
US9020241B2 (en) | Image providing device, image providing method, and image providing program for providing past-experience images | |
TWI711966B (zh) | 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體 | |
US11330172B2 (en) | Panoramic image generating method and apparatus | |
US20190098277A1 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
US10726580B2 (en) | Method and device for calibration | |
CN102938844B (zh) | 利用立体成像生成自由视点视频 | |
US11516412B2 (en) | Image processing method, image processing apparatus and electronic device | |
US11004267B2 (en) | Information processing apparatus, information processing method, and storage medium for generating a virtual viewpoint image | |
CN110914873B (zh) | 增强现实方法、装置、混合现实眼镜及存储介质 | |
CN103262126A (zh) | 图像处理装置、照明处理装置及其方法 | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US11380063B2 (en) | Three-dimensional distortion display method, terminal device, and storage medium | |
CN110335307A (zh) | 标定方法、装置、计算机存储介质和终端设备 | |
KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
US10909752B2 (en) | All-around spherical light field rendering method | |
CN116597003A (zh) | 一种3d空间定位方法及装置、电子设备 | |
US20210192782A1 (en) | Methods and apparatuses for corner detection | |
CN107506031B (zh) | 一种vr应用程序的识别方法及电子设备 | |
CN115482285A (zh) | 图像对齐方法、装置、设备及存储介质 | |
CN114125304B (zh) | 拍摄方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |