CN114202640A - 一种数据采集方法、装置、计算机设备以及存储介质 - Google Patents

一种数据采集方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN114202640A
CN114202640A CN202111505451.7A CN202111505451A CN114202640A CN 114202640 A CN114202640 A CN 114202640A CN 202111505451 A CN202111505451 A CN 202111505451A CN 114202640 A CN114202640 A CN 114202640A
Authority
CN
China
Prior art keywords
target
bounding box
data
real
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111505451.7A
Other languages
English (en)
Inventor
张思宇
周晓巍
孙佳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202111505451.7A priority Critical patent/CN114202640A/zh
Publication of CN114202640A publication Critical patent/CN114202640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种数据采集方法、装置、计算机设备以及存储介质,其中,该方法包括:获取采集的包含目标物体的实时图像,及,在采集实时图像同一时刻获取的目标数据;根据目标数据确定AR包围盒;AR包围盒显示于实时图像上,用于展示目标物体的位置范围;响应于对AR包围盒的调整操作,调整得到目标包围盒;根据目标包围盒生成采集指示信息,采集指示信息用于表征对目标物体的数据采集,数据采集包括:采集包含目标物体的至少一个图像帧和/或每个图像帧中目标物体的物体位姿数据。本公开实施例通过AR渲染技术渲染出可调整的目标包围盒,通过AR交互技术调整该目标包围盒,可以提高目标包围盒的位置精度,进而提高物体位姿数据的准确度。

Description

一种数据采集方法、装置、计算机设备以及存储介质
技术领域
本公开涉及数据处理技术领域,具体而言,涉及一种数据采集方法、装置、计算机设备以及存储介质。
背景技术
增强现实技术的重要应用场景为将虚拟信息与真实世界中的物体和曾经进行融合与交互。为了将虚拟信息融合到真实世界中,需要采集包含物体的图像,并准确的检测真实直接中物体的位姿数据。在现有技术中,首先,利用深度相机拍摄包含物体的RGB图像和深度图;并通过外部设备获取相机的姿态,该外部设备可以为外置二维码或者外置机械臂。之后,基于采集到的RGB图像、深度图以及相机姿态,得到物体及其周围环境的三维模型;进而,根据该三维模型确定物体的位姿数据。在采用现有技术确定物体的位姿数据时,无法对确定的三维模型进行控制,例如,自动调节,因此,采用现有技术所确定的三维模型往往不能包含完整的物体,在此基础上,将降低所确定物体的位姿数据准确性,从而严重影响增强现实的效果。
发明内容
本公开实施例至少提供一种数据采集方法、装置、计算机设备以及存储介质。
第一方面,本公开实施例提供了一种数据采集方法,应用于终端设备,所述方法包括:获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;响应于对所述AR包围盒的调整操作,调整得到目标包围盒;根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
本公开实施例通过AR渲染技术,渲染出可调整的目标包围盒,通过AR交互技术调整该目标包围盒,可以提高目标包围盒的位置精度,在根据该目标包围盒确定目标物体的物体位姿数据时,可以提高物体位姿数据的准确度。
一种可选的实施方式中,所述响应于对所述AR包围盒的调整操作,调整得到目标包围盒,包括:响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒;其中,所述调整标识包括:用于表征AR包围盒的属性参数的参数标识,和/或,用于表征所述目标物体在所述实时图像中相对位置的位置标识。
在本公开实施例中,通过对AR包围盒的调整标识执行相应的调整操作,以实现对该AR包围盒的大小和位置进行调整,可以实现对目标物体的AR包围盒的位置和大小进行更加灵活的控制,以提高目标物体的AR包围盒的位置精度,进而提高目标物体的物体位姿数据的精确度。
一种可选的实施方式中,所述调整标识为所述参数标识;所述响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括:响应于对所述参数标识的调整操作,根据调整之后的所述参数标识确定调整后包围盒的属性参数;按照所述调整后包围盒的属性参数对所述AR包围盒的渲染结果进行调整,得到所述目标包围盒,所述属性参数包括:位置信息和/或尺寸信息。
通过上述描述可知,通过对参数标识执行相应的调整操作,以实现对该AR包围盒的大小和位置进行调整,能够实现更加灵活的设置AR包围盒的位置和大小,并且能够更加直观的为用户展示AR包围盒的调整过程,以提高目标物体的AR包围盒的位置精度。
一种可选的实施方式中,所述调整标识为所述位置标识;所述目标数据包括:所述目标物体的物体点云数据;所述响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括:确定所述位置标识相对于所述目标物体的第一位置信息;根据所述第一位置信息和目标调整信息,对所述AR包围盒的位置和/或尺寸进行调整,得到所述目标包围盒,其中,所述目标调整信息包括以下至少之一:AR包围盒的预设调整尺寸,位于所述实时图像中与所述第一位置信息相对应目标区域内的物体点云数据。
通过上述描述可知,通过第一位置信息和目标调整信息对AR包围盒进行调整的方式,可以实现通过移动终端设备就能够自动的调整AR包围盒尺寸和/或位置,进而在提高AR包围盒的位置精度的基础上,进一步简化AR包围盒的调整方式,以实现对目标物体的AR包围盒的位置和大小进行更加灵活的控制。
一种可选的实施方式中,所述方法还包括:在所述第一位置信息发生变化的情况下,对位于所述目标区域内的物体点云数据进行更新,并在所述实时图像中展示更新之后的物体点云数据;根据所述更新之后的物体点云数据生成用于引导用户对所述实时图像中所展示的AR包围盒进行调整的目标引导信息。
一种可选的实施方式中,所述目标数据包括:所述目标物体的物体点云数据;所述根据所述目标数据确定AR包围盒,包括:在所述实时图像中确定出所述目标物体的估计位置区域;在所述物体点云数据中确定位于所述估计位置区域内的目标点云数据,并根据所述目标点云数据构建所述目标物体的AR包围盒,其中,所述目标点云数据包含在所述AR包围盒内。
一种可选的实施方式中,所述根据所述AR包围盒生成采集指示信息,包括:响应于所述终端设备中摄像装置针对所述目标物体的拍摄操作,生成第一采集指示信息,其中,所述第一采集指示信息用于指示所述摄像装置采集所述至少一个图像帧;响应于所述摄像装置采集所述至少一个图像帧时,生成第二采集指示信息,其中,所述第二采集指示信息用于指示基于所述目标包围盒采集所述物体位姿数据。
一种可选的实施方式中,所述物体位姿数据包括:第一位姿数据和第二位姿数据,其中,所述第一位姿数据为所述视觉惯导里程计在所述摄像装置采集每个图像帧时所采集到的所述摄像装置相对于世界坐标系的位姿数据,所述第二位姿数据所述目标包围盒相对于世界坐标系的位姿。
通过上述描述可知,通过摄像装置相对于世界坐标系的位姿数据,以及目标包围盒相对于世界坐标系的位姿数据,确定目标物体相对于摄像装置的位姿数据的方式,可以加速数据采集的流程,提高数据采集的效率,进而缩短数据采集的时间。
一种可选的实施方式中,所述目标包围盒包含多个平面,每个平面预先被划分成多个平面子区域;所述方法还包括:在所述终端设备围绕所述目标物体移动的过程中,在所述多个平面子区域中确定位置标识所经过的目标平面子区域,所述位置标识为用于表征所述目标物体在所述实时图像中相对位置的标识;在所述实时图像中展示所述目标平面子区域所对应的AR特效。
在本公开实施例中,通过为位置标识所经过的目标平面子区域添加对应AR特效,可以为用户实时展示数据采集的进度,从而避免数据的重复采集,提高了数据采集的效率和质量。
一种可选的实施方式中,所述方法还包括:在调整得到目标包围盒之后,控制所述目标包围盒处于锁定状态,其中,所述锁定状态表示所述目标包围盒的尺寸信息和所述目标包围盒相对于所述目标物体的位置信息均不发生变化;所述根据所述目标包围盒生成采集指示信息,包括:在确定出所述目标包围盒处于锁定状态处于锁定状态的情况下,根据所述目标包围盒根据所述目标包围盒生成采集指示信息。
通过上述描述可知,在目标包围盒处于锁定状态之后,则目标包围盒的位置和尺寸处于锁定状态,在此情况下,采集包含目标物体的至少一个图像帧和每个图像帧中目标物体的物体位姿数据时,可以避免由于包围盒的位置和尺寸发生变化导致采集的数据不准确的问题,从而进一步提高了所采集数据的精度。
一种可选的实施方式中,所述获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据,包括:获取所述终端设备中摄像装置采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的所述终端设备中视觉惯导里程计采集到的所述目标数据。
第二方面,本公开实施例提供了一种数据采集装置,设置于终端设备,所述装置包括:获取单元,用于获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;确定单元,用于根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;调整单元,用于响应于对所述AR包围盒的调整操作,调整得到目标包围盒;数据采集单元,用于根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种数据采集方法的流程图;
图2示出了本公开实施例所提供的一种对目标物体进行数据采集过程的示意图;
图3示出了本公开实施例所提供的第一种基于参数标识调整AR包围盒的展示示意图;
图4示出了本公开实施例所提供的第二种基于参数标识调整AR包围盒的展示示意图;
图5示出了本公开实施例所提供的第三种基于参数标识调整AR包围盒的展示示意图;
图6示出了本公开实施例所提供的一种包含目标引导信息的AR包围盒的展示示意图;
图7示出了本公开实施例所提供的一种包含目标平面子区域所对应的AR包围盒的展示示意图;
图8示出了本公开实施例所提供的一种数据采集装置的示意图;
图9示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,在采用现有技术确定物体的位姿数据时,无法对确定的三维模型进行控制,例如,自动调节,因此,采用现有技术所确定的三维模型往往不能包含完整的物体,在此基础上,将降低所确定物体的位姿数据准确性,从而严重影响增强现实技术的质量。
基于上述研究,本公开提供了一种数据采集方法。在本公开实施例中,首先,获取采集的包含目标物体的实时图像,以及在采集实时图像同一时刻获取的目标数据;进而,根据该目标数据确定AR包围盒;之后,响应于对AR包围盒的调整操作,调整得到目标包围盒;并根据目标包围盒生成采集指示信息,其中,该采集指示信息用于表征对目标物体的数据采集,数据采集包括:采集包含目标物体的至少一个图像帧和/或每个图像帧中目标物体的物体位姿数据。本公开实施例通过AR渲染技术,渲染出可调整的目标包围盒,通过AR交互技术调整该目标包围盒,可以提高目标包围盒的位置精度,在根据该目标包围盒确定目标物体的物体位姿数据时,可以提高物体位姿数据的准确度。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据采集方法进行详细介绍,本公开实施例所提供的数据采集方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备。在下述实施例中,以计算机设备为终端设备为例对该数据采集方法进行介绍,在该终端设备中包含摄像装置和视觉惯导里程计。
参见图1所示,为本公开实施例提供的一种数据采集方法的流程图,所述方法包括步骤S101~S107,其中:
S101:获取采集的包含目标物体的实时图像,以及在采集所述实时图像同一时刻获取的目标数据。
在本公开实施例中,可以获取终端设备中摄像装置采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的所述终端设备中视觉惯导里程计采集到的所述目标数据。
摄像装置为能够采集RGB图像的设备,视觉惯导里程计所采集到的目标数据中包含目标物体的物体点云数据和摄像装置的位姿数据,其中,摄像装置的位姿数据可以理解为摄像装置相对于世界坐标系的姿态。
S103:根据所述目标数据确定AR包围盒;其中,AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围。
在本公开实施例中,在采集到目标数据之后,可以根据该目标数据确定AR包围盒(也即,3D包围框);并通过AR渲染技术在实时图像上展示包含AR包围盒的特效图像。
S105:响应于对所述AR包围盒的调整操作,调整得到目标包围盒。
在本公开实施例中,特效图像中所展示的AR包围盒为可以调整的包围盒,该调整是指对AR包围盒的大小和/或位置进行调整,其中,大小包括AR包围盒的长、宽和高,位置表示该AR包围盒相对于目标物体的位置。调整之后得到的目标包围盒包含完整的目标物体,且相对于目标物体来说,目标包围盒的大小和位置是相对不变的。
S107:根据所述目标包围盒生成采集指示信息,采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
本公开实施例通过AR渲染技术,渲染出可调整的目标包围盒,通过AR交互技术调整该目标包围盒,可以提高目标包围盒的位置精度,在根据该目标包围盒确定目标物体的物体位姿数据时,可以提高物体位姿数据的准确度。
根据背景技术部分的描述可知,在现有技术中,需要利用深度相机拍摄包含物体的RGB图像和深度图;进而,结合该RGB图像、深度图以及相机姿态确定出物体的三维模型。然而,包含深度相机的计算机设备的成本往往较高,且携带不便。在大部分的智能终端设备,一般配备的相机为传统RGB相机,不会配备相应的深度相机,因此,现有技术的数据采集方法应用范围受到了很大的限制。
在本公开实施例中,目标数据包括物体点云数据和摄像装置的位姿,在获取到目标数据之后,可以根据物体点云数据和摄像装置的位姿来确定AR包围盒。也就是说,在本公开所提供的方法中,不需要深度相机,只需要使用智能终端设备就能完成数据采集的过程,大大降低了采集设备的成本以及携带便捷性。
针对现有技术来说,在获取到RGB图像、深度图和相机姿态之后,需要将上述数据发送至具有相应数据处理能力的计算机设备离线进行三维模型的重建和数据的采集。然而,本公开实施例所提供的方法可以在线的进行数据采集,降低了时间成本,同时可以在线对包围盒进行可视化和调整,从而进一步提高了数据采集的效率。
根据背景技术部分的描述可知,在现有技术中,需要通过外部设备获取相机的姿态,该外部设备可以为外置二维码或者外置机械臂。因此,现有技术的方法导致数据采集场景的局限性较大,会降低采集数据的多样性,不利于机器学习方法的使用。然而,本公开实施例所提供的方法不需要依赖于标志物或机械臂等外部设备,可以通过视觉惯导里程计在任意位置进行摄像装置的位姿的采集,减少了对于采集场景的限制。
在本公开实施例中,首先,获取采集的包含目标物体的实时图像,并获取视觉惯导里程计在实时图像的采集时刻所采集到的摄像装置的位姿数据和目标物体的物体点云数据;其中,物体点云数据可以为用于表征该目标物体的特征点的数据。
在获取到该实时图像和目标数据之后,就可以根据该目标数据确定AR包围盒,并展示包含该AR包围盒的特效图像。
在本公开实施例中,在初始状态下,可以在终端设备的显示界面中展示如图2所示的AR特效图像,从图2可以看出,在该AR特效图像中,包含目标平面和目标物体的物体点云数据,其中,目标平面为目标物体所对应的物体坐标系中X轴和Y轴所组成的平面。初始状态可以理解为在检测到包含目标物体的实时图像和目标数据之后,首先在终端设备的显示界面上展示的AR特效图像,例如,如图2所示的AR特效图像。
在显示界面上展示如图2所示的AR特效图像之后,还可以在AR特效图像中展示一个初始包围盒,其中,该初始包围盒可以为终端设备自动生成的AR包围盒,还可以为用户通过终端设备手动设置的AR包围盒,本公开对此不作具体限定。
在终端设备的显示界面上展示包含AR包围盒的AR特效图像之后,用户可以对AR包围盒执行相应的调整操作,之后,终端设备响应于对AR包围盒的调整操作,调整得到目标包围盒。
在一个可选的实施方式中,步骤S105,响应于对所述AR包围盒的调整操作,调整得到目标包围盒,包括如下步骤:
步骤S1051,响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒;其中,所述调整标识包括:用于表征AR包围盒的属性参数的参数标识,和/或,用于表征所述目标物体在所述实时图像中相对位置的位置标识。
在本公开实施例中,可以设置多种类型的调整标识,例如:参数标识、位置标识和其他标识。
针对参数标识来说,如图3所示,参数标识可以包含以下信息:围绕Y轴旋转的角度yaw,X轴的扩展大小,Y轴的扩展大小,Z轴的扩展大小。用户可以通过拖动如图3所示的滑条来调整AR包围盒的属性参数,具体包括:AR包围盒的长、宽、高,以及围绕Y轴旋转的角度。
针对位置标识来说,调整标识可以为用于表征目标物体在所述实时图像中相对位置的位置标识,具体地,如图2和图3所示,该位置标识可以为位于终端设备的显示界面的中心位置的指示点。
针对其他标识来说,上述调整标识除了为参数标识和位置标识之外,调整标识还可以为AR包围盒的边框,和/或,AR包围盒的中心点等标识。此时,调整操作可以为用户对AR包围盒边框的拖拽操作,以通过对该边框的拖拽来调整AR包围盒的尺寸;或者,该调整操作可以为用户对AR包围盒的中心点的点击或者长按操作,比如,在长按该AR包围盒的中心点之后AR包围盒的长、宽和高增大,在点击该AR包围盒的中心点之后,AR包围盒的长、宽和高减小。
在本公开实施例中,通过对AR包围盒的调整标识执行相应的调整操作,以实现对该AR包围盒的大小和位置进行调整,可以实现对目标物体的AR包围盒的位置和大小进行更加灵活的控制,以提高AR包围盒的位置精度,进而提高目标物体的物体位姿数据的精确度。
情况一、调整标识为所述参数标识。
在此情况下,上述步骤S1051,响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括如下过程:
(1)、响应于对所述参数标识的调整操作,根据调整之后的所述参数标识确定调整后包围盒的属性参数;
(2)、按照所述调整后包围盒的属性参数对所述AR包围盒的渲染结果进行调整,得到所述目标包围盒,所述属性参数包括:位置信息和/或尺寸信息。
具体地,如图3所示的为参数标识的一种可选的展示方式,如图4所示的为参数标识的另一种可选的展示方式。如图3所示,可以通过滑条的方式展示该参数标识,在如图3所示的参数标识中包含以下信息:围绕Y轴旋转的角度yaw,X轴的扩展大小,Y轴的扩展大小,Z轴的扩展大小,用户可以通过拖动如图3所示的滑条来调整AR包围盒的属性参数。比如,用户拖动该滑条向左移动,则减小相应的属性参数,用户拖动该滑条向右移动,则增大相应的属性参数。如图3所示,还可以在滑条的最后位置展示每个属性参数的具体参数值。
在本公开实施例中,若调整标识为参数标识,那么该调整操作可以为参数标识所对应滑条的拖动操作。终端设备在检测到该拖动操作,可以响应于该拖动操作,在终端设备的显示界面上展示该参数标识的滑条的拖动过程,并实时动态的展示AR包围盒的每个属性参数的参数值。
在一个可选的实施方式中,可以在用户拖动该滑条的过程中,在该显示界面上动态的展示AR包围盒的调整过程,从而为用户更加直观的展示AR包围盒的调整过程,以实现精准的对AR包围盒的大小和位置进行控制。
在另一个可选的实施方式中,用户还可以对每个参数标识的滑条进行拖动调整,并在调整之后点击该显示界面的确认按钮。此时,终端设备响应于该确认操作,根据调整之后的参数标识确定调整后AR包围盒的属性参数的参数值,进而根据该参数值对当前时刻显示在AR包围盒进行调整,调整后得到目标包围盒。
如图4所示,在本公开实施例中,还可以为每个参数标识设置对应的输入窗口,用户可以通过该输入窗口输入对应的参数值。基于此,调整操作可以描述为数据输入操作,用户可以在该输入窗口中输入对应的参数值。终端设备在检测到该数据输入操作之后,响应于该数据输入操作,确定调整后AR包围盒的属性参数,并按照调整后的属性参数对AR包围盒的渲染结果进行调整,得到目标包围盒。
在本公开实施例中,针对图4所示的参数标识的展示方式,如图5所示,还可以在输入窗口的两端分别设置符号“+”和“-”,符号“+”表示增大对应的参数值,符号“-”标识减小对应的参数值,其中,参数值的增大幅度和减小幅度可以为预先设定的幅度阈值,本公开对此不作具体限定。
需要说明的是,用户可以通过终端设备设置参数标识的展示方式,例如,可以设置如图3所示的展示方式,还可以设置如图4所示的展示方式,还可以设置如图3和如图4所示展示方式交替展示,本公开对此不作具体限定。
在本公开实施例中,用户可以对AR包围盒进行反复调整,从而得到目标物体的目标包围盒。
通过上述描述可知,通过对参数标识执行相应的调整操作,以实现对该AR包围盒的大小和位置进行调整,能够实现更加灵活的设置AR包围盒的位置和大小,并且能够更加直观的为用户展示AR包围盒的调整过程,以提高目标物体的AR包围盒的位置精度。
情况二、调整标识为所述位置标识。
在此情况下,上述步骤S1051,响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括如下过程:
(1)、确定所述位置标识相对于所述目标物体的第一位置信息;
(2)、根据所述第一位置信息和目标调整信息,对所述AR包围盒的位置和/或尺寸进行调整,得到所述目标包围盒,其中,所述目标调整信息包括以下至少之一:AR包围盒的预设调整尺寸,位于所述实时图像中与所述第一位置信息相对应目标区域内的物体点云数据。
在本公开实施例中,如图2所示,位置标识可以为位于终端设备的显示界面的中心位置的指示点,也即,该位置标识的位置是固定不变的。当终端设备围绕目标物体旋转时,可以在不同的拍摄角度对目标物体进行拍摄,并将拍摄到的实时图像展示在终端设备的显示界面上。在上述过程中,位置标识是固定不变的,实时图像是动态变化的,通过该位置标识可以确定目标物体在实时图像中的相对位置。
在本公开实施例中,在获取到实时图像之后,可以确定位置标识相对于该实时图像中目标物体的第一位置信息,其中,该第一位置信息可以理解为目标物体上位置标识所指示位置的位置信息。具体地,每个目标物体都对应包含相应的三维坐标系,第一位置信息可以理解为目标物体上位置标识所指示位置相对于该三维坐标系中X轴(或者Y轴)的位置信息,其中,该三维坐标系的原点为该目标物体的中心点。
在确定出第一位置信息之后,就可以根据第一位置信息和目标调整信息,对AR特效图像中所展示的包围盒的位置和/或尺寸进行调整,得到目标包围盒,其中,目标调整信息包括:AR包围盒的预设调整尺寸和目标物体的物体点云数据,下面分情况对该步骤进行介绍。
情况一、目标调整信息包括:AR包围盒的预设调整尺寸。
若根据第一位置信息确定出位置标识在目标物体中所指示的位置为目标物体的左侧,则控制AR包围盒向左侧增大预设调整尺寸。若根据第一位置信息确定出位置标识在目标物体中所指示的位置为目标物体的右侧,则控制AR包围盒向右侧增大预设调整尺寸。
需要说明的是,在本公开实施例中,若位置标识在目标物体中所指示的位置位于三维坐标系中Y轴的左侧,则确定位置标识在目标物体中所指示的位置为目标物体的左侧。
情况二、目标调整信息包括:物体点云数据。
在确定出第一位置信息之后,可以在AR特效图像中确定一个与该第一位置信息相对应的目标区域,该第一位置信息所对应位置可以为该目标区域的顶点或者中心点。然后,在目标数据中确定位于该目标区域内的物体点云数据。之后,可以调整AR包围盒的尺寸和/或位置,从而使得调整后的AR包围盒能够包含上述确定出的位于目标区域内的物体点云数据。按照上述所描述的步骤进行反复调整之后,可以得到目标包围盒。
情况三、目标调整信息包括:预设调整尺寸和物体点云数据。
在确定出第一位置信息之后,可以在AR特效图像中确定一个与该第一位置信息相对应的目标区域,并在目标数据中确定位于该目标区域内的物体点云数据。之后,按照预设调整尺寸调整AR包围盒的尺寸和/或位置,从而使得调整后的AR包围盒能够包含上述确定出的位于目标区域内的物体点云数据。按照上述所描述的步骤进行反复调整之后,可以得到目标包围盒。
通过上述描述可知,通过第一位置信息和目标调整信息对AR包围盒进行调整的方式,可以实现通过移动终端设备就能够自动的调整AR包围盒尺寸和/或位置,进而在提高AR包围盒的位置精度的基础上,进一步简化AR包围盒的调整方式,以实现对目标物体的包围盒的位置和大小进行更加灵活的控制。
通过上述描述可知,在调整AR包围盒的尺寸和/或位置的过程中,终端设备处于移动的状态,此时,位置标识相对于目标物体的第一位置信息也是处于变化的。
因此,在本公开实施例中,在检测到第一位置信息发生变化的情况下,可以对位于所述目标区域内的物体点云数据进行更新,并在终端设备的显示界面中展示更新之后的物体点云数据。
如果相邻时刻检测到的第一位置信息之间的差值大于预定差值,则确定第一位置信息发生了变化,此时,可以根据变化之后的第一位置信息对目标区域内的物体点云数据进行更新。
具体地,可以根据变化之后的第一位置信息重新确定相对应的目标区域,并在目标数据所包含的物体点云数据中确定包含在该目标区域内的物体点云数据,并在终端设备的显示界面中展示该物体点云数据。
之后,就可以根据更新之后的物体点云数据生成用于引导用户对AR包围盒进行调整的目标引导信息。
具体地,可以在更新之后的物体点云数据中确定位于当前AR包围盒外的物体点云数据,然后,根据该物体点云数据的位置生成目标引导信息,并在终端设备的显示界面中展示该目标引导信息。
在展示该目标引导信息之后,一种的可选实施方式是,根据变化之后的第一位置信息和目标调整信息,自动的对AR包围盒进行调整。通过该目标引导信息可以更加直观的为用户展示该AR包围盒的调整过程。另一种可选的实施方式是,在该终端设备的显示界面中展示参数标识,用户按照该目标引导信息对参数标识进行调整,从而实现对目标物体的AR包围盒进行调整。
在本公开实施例中,该目标引导信息可以为文字引导信息,还可以为音频引导信息。例如,该文字引导信息可以为如图6所示的引导信息,即在终端设备的显示界面中展示以下信息:向上调整AR包围盒,此时,还可以在终端设备的显示界面中显示一个向上的箭头,以通过该箭头引导用户调整AR包围盒的尺寸和/或位置。
通过生成目标引导信息,以根据该目标引导信息引导用户对AR包围盒进行调整的方式,可以简化AR包围盒调整操作,缩短AR包围盒调整时间,提高AR包围盒的调整效率。
在另一个可选的实施方式中,步骤S105,响应于对所述AR包围盒的调整操作,调整得到目标包围盒,还包括如下过程:
步骤S11,根据所述目标数据确定所述目标物体的初始包围盒,并将初始包围盒确定为AR包围盒。
具体地,可以通过神经网络模型对实时图像进行处理,以根据图像处理结果在实时图像中确定出目标物体的估计位置区域。然后,在目标数据所包含的物体点云数据中确定位于估计位置区域内的目标点云数据,并根据目标点云数据构建所述目标物体的初始包围盒,其中,目标点云数据包含在所述初始包围盒内。
步骤S12,响应于对所述初始包围盒的调整操作,调整得到所述目标包围盒。
在本公开实施例中,在确定出初始包围盒之后,就可以将该初始包围盒作为AR包围盒。之后,用户就可以按照上述所描述的调整方式对该初始包围盒进行反复多次的调整,得到目标包围盒。
通过上述描述可知,首先,确定目标物体的初始包围盒,再对该初始包围盒进行调整,使得该数据采集方法可以适应更多的用户。比如,针对能力较差的新用户来说,通过设置初始包围盒的方式,能够简化包围盒的调整方式,从而扩大该方法的适用范围。
在按照上述所描述的方式确定出目标包围盒之后,在调整得到目标包围盒之后,控制所述目标包围盒处于锁定状态,其中,该锁定状态表示所述目标包围盒的尺寸信息和目标包围盒相对于所述目标物体的位置信息均不发生变化。
在本公开实施例中,用户可以按照上述所描述的方式在各个角度对目标物体进行拍摄,从而得到包含目标物体的各个角度的实时图像和各个角度的AR包围盒。此时,用户就可以在各个角度对AR包围盒进行调整,从而得到满足要求的目标包围盒。其中,该要求可以为该目标包围盒能够包含完整的目标物体。
在得到满足要求的目标包围盒之后,就可以控制目标包围盒处于锁定状态,处于锁定状态的目标包围盒的尺寸信息不再发生变化,且该锁定状态下,目标包围盒和目标物体之间的相对位置信息也不再发生变化。
在确定出所述目标包围盒处于锁定状态处于锁定状态的情况下,就可以根据目标包围盒采集包含目标物体的至少一个图像帧和每个图像帧中目标物体的物体位姿数据。
通过上述描述可知,在目标包围盒处于锁定状态之后,则目标包围盒的位置和尺寸处于锁定状态,在此情况下,采集包含目标物体的至少一个图像帧和每个图像帧中目标物体的物体位姿数据时,可以避免由于包围盒的位置和尺寸发生变化导致采集的数据不准确的问题,从而进一步提高了所采集数据的精度。
在一个可选的实施方式中,在按照上述所描述的方式确定出目标包围盒之后,就可以根据所述AR包围盒生成采集指示信息,具体包括如下过程:
首先,响应于所述终端设备中摄像装置针对所述目标物体的拍摄操作,生成第一采集指示信息,其中,所述第一采集指示信息用于指示所述摄像装置采集所述至少一个图像帧。
具体地,在确定出满足要求的目标包围盒之后,可以控制终端设备围绕目标物体移动。在终端设备移动的过程中,通过摄像装置采集包含目标物体的至少一个图像帧。
之后,响应于所述摄像装置采集所述至少一个图像帧时,生成第二采集指示信息,其中,所述第二采集指示信息用于指示基于所述目标包围盒采集所述物体位姿数据。
这里,物体位姿数据包括:第一位姿数据和第二位姿数据,其中,所述第一位姿数据为所述视觉惯导里程计在所述摄像装置采集每个图像帧时所采集到的所述摄像装置相对于世界坐标系的位姿数据,所述第二位姿数据所述目标包围盒相对于世界坐标系的位姿。
在终端设备的摄像装置采集包含目标物体的至少一个图像帧时,终端设备中的视觉惯导里程计获取该摄像装置相对于世界坐标系的位姿数据,从而得到第一位姿数据。
最后,就可以根据所述第一位姿数据和第二位姿数据确定所述物体位姿数据,其中,所述物体位姿数据用于表征所述目标物体相对于所述摄像装置的位姿数据,所述第二位姿数据用于表征所述目标包围盒相对于世界坐标系的位姿。
在本公开实施例中,在确定出目标包围盒之后,就可以确定出该目标包围盒相对于世界坐标系的位姿数据(即,第二位姿数据)。此时,针对每个图像帧,可以根据摄像装置采集该图像帧时的第一位姿数据和第二位姿数据确定目标物体相对于摄像装置的位姿数据,即物体位姿数据。
需要说明的是,在本公开实施例中,目标包围盒相对于世界坐标系的位姿数据(即,第二位姿数据)可以作为目标物体相对于世界坐标系的位姿数据。因此,在获取到摄像装置相对于世界坐标系的位姿数据,以及目标物体相对于世界坐标系的位姿数据之后,就可以根据获取到的位姿数据,确定目标物体相对于摄像装置的位姿数据,得到物体位姿数据。
通过上述描述可知,通过摄像装置相对于世界坐标系的位姿数据,以及目标包围盒相对于世界坐标系的位姿数据,确定目标物体相对于摄像装置的位姿数据的方式,可以加速数据采集的流程,提高数据采集的效率,进而缩短数据采集的时间。
在本公开实施例中,目标包围盒包含多个平面,可以预先将每个平面划分成多个平面子区域;具体地,将每个平面等分成N个平面子区域,例如,可以将每个平民等分成4个平面子区域。用户可以根据实际需要确定每个平面中所包含的平面子区域的数量,本公开对此不作具体限定。
在将每个平面划分成多个平面子区域之后,在终端设备围绕目标物体移动的过程中,在多个平面子区域中确定位置标识所经过的目标平面子区域,其中,位置标识为用于表征所述目标物体在所述实时图像中相对位置的标识。
通过上述描述可知,位置标识可以理解为终端设备的显示界面上的指示点,在终端设备移动的过程中,该指示点的位置不发生变化,一直处于终端设备的显示界面的中心位置。
在控制终端设备围绕目标物体移动的过程中,可以将该指示点所扫过的区域确定为目标平面子区域,此时,可以在实时图像中展示所述目标平面子区域所对应的AR特效,例如,如图7中斜线部分所示。例如,如图7中斜线部分所示的AR特效可以是为该目标平面子区域添加对应的颜色,比如,淡黄色。通过添加对应的颜色可以表示该目标平面子区域为已经采集的区域,此时,就可以指示用户对其他的角度对目标物体进行数据采集。
在本公开实施例中,通过为位置标识所经过的目标平面子区域添加对应AR特效,可以为用户实时展示数据采集的进度,从而避免数据的重复采集,提高了数据采集的效率和质量。
下面将结合图2、图3和图7对数据采集的过程进行描述,描述过程如下:
一、初始化视觉惯导里程计和3D包围框。
使用者将目标物体放置在任意平面上,移动终端设备以初始化视觉惯导里程计,之后,通过平面检测算法拟合出如图2所示的平面,同时初始化物体周围的稀疏点云(即,物体点云数据)。使用者通过终端设备的屏幕中央的指示点(也即,位置标识)指明目标物体的大致位置,指示点周围的稀疏点云会被标记为物体点云,用于生成初始3D包围框(即,包围盒)。
二、基于AR渲染的交互式的调整3D包围框标注。
3D包围框会作为AR效果被渲染到终端设备的屏幕上,并利用视觉惯导里程计提供的摄像装置的位姿数据调整渲染效果,保证3D包围框在世界坐标系下位置的稳定。
使用者可以通过移动上述终端设备,在各个视角下观察3D包围框的渲染效果,确认3D包围框的标注是否准确,并对3D包围框的位置和大小进行调整。使用者可以手动调整3D包围框的长宽高,也可以用指示点表示需要被3D包围框包含的稀疏点云,让3D包围框自动拓展。
三、交互式数据采集。
使用者完成3D包围框标注后,开始进行数据采集,此时3D包围框的位置信息会被锁定。在数据采集的过程中,指示点扫过的位置附近会出现填充物,整个3D包围框的填充比例会同时被显示出来,引导使用者完成扫描,如图7所示。
在本公开实施例中,上述终端设备可以为搭载AR算法的移动设备;还可以为搭载具有计算能力的数据采集设备。
在使用时,可以将该数据采集方法所描述的程序集成到有计算能力的数据采集设备中,使用数据采集设备进行采集;还可以该数据采集方法所描述的程序集成到智能手机中,便于使用者在各种场景进行数据采集与标注,提高数据的多样性;还可以将该数据采集方法所描述的程序打包成手机app,分发给全球的用户,进行众包式的数据采集与标注,大大提高数据采集与标注的效率和数据量。
本公开实施例所提供的方法具有以下优点:
1、该方法不需要深度摄像头和计算机设备,只需要使用智能手机就能完成整个采集和标注的过程,大大降低了采集设备的成本以及携带便捷性。
2、该方法使用视觉惯导里程计获取相机姿态,不需要依赖于标志物或机械臂等外部装置,可以在任意位置进行采集,减少了对于采集场景的限制。
3、该方法可以在线的进行采集和标注,降低了时间成本,同时可以在线对标注结果进行可视化和调整,提高了数据采集的效率。
4、该方法可以基于重建的稀疏点云自动调整物体3D包围框的范围,加速了标注的流程。
该方法采用了引导式和交互式的逻辑,可以引导非专业使用者完成高质量的数据标注与数据采集。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与数据采集方法对应的数据采集装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据采集方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图8所示,为本公开实施例提供的一种数据采集装置的示意图,所述装置包括:获取单元81、确定单元82、调整单元83和数据采集单元84;其中,
获取单元81,用于获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;
确定单元82,用于根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;
调整单元83,用于响应于对所述AR包围盒的调整操作,调整得到目标包围盒;
数据采集单元84,用于根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
本公开实施例通过AR渲染技术,渲染出可调整的目标包围盒,通过AR交互技术调整该目标包围盒,可以提高目标包围盒的位置精度,在根据该目标包围盒确定目标物体的物体位姿数据时,可以提高物体位姿数据的准确度。
一种可能的实施方式中,调整单元83,还用于:响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒;其中,所述调整标识包括:用于表征AR包围盒的属性参数的参数标识,和/或,用于表征所述目标物体在所述实时图像中相对位置的位置标识。
一种可能的实施方式中,调整单元83,还用于:在调整标识为所述参数标识的情况下,响应于对所述参数标识的调整操作,根据调整之后的所述参数标识确定调整后包围盒的属性参数;按照所述调整后包围盒的属性参数对所述AR包围盒的渲染结果进行调整,得到所述目标包围盒,所述属性参数包括:位置信息和/或尺寸信息。
一种可能的实施方式中,调整单元83,还用于:在调整标识为所述位置标识;以及目标数据包括:所述目标物体的物体点云数据的情况下,确定所述位置标识相对于所述目标物体的第一位置信息;根据所述第一位置信息和目标调整信息,对所述AR包围盒的位置和/或尺寸进行调整,得到所述目标包围盒,其中,所述目标调整信息包括以下至少之一:AR包围盒的预设调整尺寸,位于所述实时图像中与所述第一位置信息相对应目标区域内的物体点云数据。
一种可能的实施方式中,该装置,还用于:在所述第一位置信息发生变化的情况下,对位于所述目标区域内的物体点云数据进行更新,并在所述实时图像中展示更新之后的物体点云数据;根据所述更新之后的物体点云数据生成用于引导用户对所述实时图像中所展示的AR包围盒进行调整的目标引导信息。
一种可能的实施方式中,调整单元83,还用于:在所述实时图像中确定出所述目标物体的估计位置区域;在所述物体点云数据中确定位于所述估计位置区域内的目标点云数据,并根据所述目标点云数据构建所述目标物体的AR包围盒,其中,所述目标点云数据包含在所述AR包围盒内。
一种可能的实施方式中,数据采集单元84,还用于:响应于所述终端设备中摄像装置针对所述目标物体的拍摄操作,生成第一采集指示信息,其中,所述第一采集指示信息用于指示所述摄像装置采集所述至少一个图像帧;响应于所述摄像装置采集所述至少一个图像帧时,生成第二采集指示信息,其中,所述第二采集指示信息用于指示基于所述目标包围盒采集所述物体位姿数据。
一种可能的实施方式中,所述物体位姿数据包括:第一位姿数据和第二位姿数据,其中,所述第一位姿数据为所述视觉惯导里程计在所述摄像装置采集每个图像帧时所采集到的所述摄像装置相对于世界坐标系的位姿数据,所述第二位姿数据所述目标包围盒相对于世界坐标系的位姿。
一种可能的实施方式中,该装置,还用于:在目标包围盒包含多个平面,每个平面预先被划分成多个平面子区域的情况下,在所述终端设备围绕所述目标物体移动的过程中,在所述多个平面子区域中确定位置标识所经过的目标平面子区域,所述位置标识为用于表征所述目标物体在所述实时图像中相对位置的标识;在所述实时图像中展示所述目标平面子区域所对应的AR特效。
一种可能的实施方式中,该装置,还用于:在调整得到目标包围盒之后,控制所述目标包围盒处于锁定状态,其中,所述锁定状态表示所述目标包围盒的尺寸信息和所述目标包围盒相对于所述目标物体的位置信息均不发生变化;所述根据所述目标包围盒生成采集指示信息,包括:在确定出所述目标包围盒处于锁定状态处于锁定状态的情况下,根据所述目标包围盒根据所述目标包围盒生成采集指示信息。
一种可能的实施方式中,获取单元,还用于:获取所述终端设备中摄像装置采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的所述终端设备中视觉惯导里程计采集到的所述目标数据。
对应于图1中的数据采集方法,本公开实施例还提供了一种计算机设备900,如图9所示,为本公开实施例提供的计算机设备900结构示意图,包括:
处理器91、存储器92、和总线93;存储器92用于存储执行指令,包括内存921和外部存储器922;这里的内存921也称内存储器,用于暂时存放处理器91中的运算数据,以及与硬盘等外部存储器922交换的数据,处理器91通过内存921与外部存储器922进行数据交换,当所述计算机设备900运行时,所述处理器91与所述存储器92之间通过总线93通信,使得所述处理器91执行以下指令:
获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;
根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;
响应于对所述AR包围盒的调整操作,调整得到目标包围盒;
根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据采集方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据采集方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种数据采集方法,其特征在于,应用于终端设备,所述方法包括:
获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;
根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;
响应于对所述AR包围盒的调整操作,调整得到目标包围盒;
根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
2.根据权利要求1所述的方法,其特征在于,所述响应于对所述AR包围盒的调整操作,调整得到目标包围盒,包括:
响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒;
其中,所述调整标识包括:用于表征AR包围盒的属性参数的参数标识,和/或,用于表征所述目标物体在所述实时图像中相对位置的位置标识。
3.根据权利要求2所述的方法,其特征在于,所述调整标识为所述参数标识;所述响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括:
响应于对所述参数标识的调整操作,根据调整之后的所述参数标识确定调整后包围盒的属性参数;
按照所述调整后包围盒的属性参数对所述AR包围盒的渲染结果进行调整,得到所述目标包围盒,所述属性参数包括:位置信息和/或尺寸信息。
4.根据权利要求2所述的方法,其特征在于,所述调整标识为所述位置标识;所述目标数据包括:所述目标物体的物体点云数据;
所述响应于对所述AR包围盒的调整标识的调整操作,调整得到所述目标包围盒,包括:
确定所述位置标识相对于所述目标物体的第一位置信息;
根据所述第一位置信息和目标调整信息,对所述AR包围盒的位置和/或尺寸进行调整,得到所述目标包围盒,其中,所述目标调整信息包括以下至少之一:AR包围盒的预设调整尺寸,位于所述实时图像中与所述第一位置信息相对应目标区域内的物体点云数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述第一位置信息发生变化的情况下,对位于所述目标区域内的物体点云数据进行更新,并在所述实时图像中展示更新之后的物体点云数据;
根据所述更新之后的物体点云数据生成用于引导用户对所述实时图像中所展示的AR包围盒进行调整的目标引导信息。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述目标数据包括:所述目标物体的物体点云数据;所述根据所述目标数据确定AR包围盒,包括:
在所述实时图像中确定出所述目标物体的估计位置区域;
在所述物体点云数据中确定位于所述估计位置区域内的目标点云数据,并根据所述目标点云数据构建所述目标物体的AR包围盒,其中,所述目标点云数据包含在所述AR包围盒内。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述根据所述AR包围盒生成采集指示信息,包括:
响应于所述终端设备中摄像装置针对所述目标物体的拍摄操作,生成第一采集指示信息,其中,所述第一采集指示信息用于指示所述摄像装置采集所述至少一个图像帧;
响应于所述摄像装置采集所述至少一个图像帧时,生成第二采集指示信息,其中,所述第二采集指示信息用于指示基于所述目标包围盒采集所述物体位姿数据。
8.根据权利要求7所述的方法,其特征在于,所述物体位姿数据包括:第一位姿数据和第二位姿数据,其中,所述第一位姿数据为视觉惯导里程计在所述摄像装置采集每个图像帧时所采集到的所述摄像装置相对于世界坐标系的位姿数据,所述第二位姿数据所述目标包围盒相对于世界坐标系的位姿。
9.根据权利要求7或8所述的方法,其特征在于,所述目标包围盒包含多个平面,每个平面预先被划分成多个平面子区域;所述方法还包括:
在所述终端设备围绕所述目标物体移动的过程中,在所述多个平面子区域中确定位置标识所经过的目标平面子区域,所述位置标识为用于表征所述目标物体在所述实时图像中相对位置的标识;
在所述实时图像中展示所述目标平面子区域所对应的AR特效。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:
在调整得到目标包围盒之后,控制所述目标包围盒处于锁定状态,其中,所述锁定状态表示所述目标包围盒的尺寸信息和所述目标包围盒相对于所述目标物体的位置信息均不发生变化;
所述根据所述目标包围盒生成采集指示信息,包括:在确定出所述目标包围盒处于锁定状态处于锁定状态的情况下,根据所述目标包围盒根据所述目标包围盒生成采集指示信息。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据,包括:
获取所述终端设备中摄像装置采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的所述终端设备中视觉惯导里程计采集到的所述目标数据。
12.一种数据采集装置,其特征在于,设置于终端设备,所述装置包括:
获取单元,用于获取采集的包含目标物体的实时图像,及,在采集所述实时图像同一时刻获取的目标数据;
确定单元,用于根据所述目标数据确定AR包围盒;所述AR包围盒显示于所述实时图像上,用于展示所述目标物体的位置范围;
调整单元,用于响应于对所述AR包围盒的调整操作,调整得到目标包围盒;
数据采集单元,用于根据所述目标包围盒生成采集指示信息,所述采集指示信息用于表征对所述目标物体的数据采集,所述数据采集包括:采集包含所述目标物体的至少一个图像帧和/或每个图像帧中所述目标物体的物体位姿数据。
13.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的数据采集方法的步骤。
14.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至11任一所述的数据采集方法的步骤。
CN202111505451.7A 2021-12-10 2021-12-10 一种数据采集方法、装置、计算机设备以及存储介质 Pending CN114202640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111505451.7A CN114202640A (zh) 2021-12-10 2021-12-10 一种数据采集方法、装置、计算机设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111505451.7A CN114202640A (zh) 2021-12-10 2021-12-10 一种数据采集方法、装置、计算机设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114202640A true CN114202640A (zh) 2022-03-18

Family

ID=80652051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111505451.7A Pending CN114202640A (zh) 2021-12-10 2021-12-10 一种数据采集方法、装置、计算机设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114202640A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972650A (zh) * 2022-06-08 2022-08-30 北京百度网讯科技有限公司 一种目标对象的调整方法、装置、电子设备及存储介质
CN115002440A (zh) * 2022-05-09 2022-09-02 北京城市网邻信息技术有限公司 基于ar的图像采集方法、装置、电子设备及存储介质
CN115097977A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于点云处理的方法、装置、设备和存储介质
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002440A (zh) * 2022-05-09 2022-09-02 北京城市网邻信息技术有限公司 基于ar的图像采集方法、装置、电子设备及存储介质
CN114972650A (zh) * 2022-06-08 2022-08-30 北京百度网讯科技有限公司 一种目标对象的调整方法、装置、电子设备及存储介质
CN114972650B (zh) * 2022-06-08 2024-03-19 北京百度网讯科技有限公司 一种目标对象的调整方法、装置、电子设备及存储介质
CN115097977A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于点云处理的方法、装置、设备和存储介质
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
CN115097976B (zh) * 2022-07-13 2024-03-29 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN114202640A (zh) 一种数据采集方法、装置、计算机设备以及存储介质
CN111783820B (zh) 图像标注方法和装置
CN108876934B (zh) 关键点标注方法、装置和系统及存储介质
CN106705837B (zh) 一种基于手势的物体测量方法及装置
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和系统
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
WO2016122973A1 (en) Real time texture mapping
US11308655B2 (en) Image synthesis method and apparatus
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
US11842514B1 (en) Determining a pose of an object from rgb-d images
EP3533218B1 (en) Simulating depth of field
CN112729327A (zh) 一种导航方法、装置、计算机设备及存储介质
EP3629302B1 (en) Information processing apparatus, information processing method, and storage medium
US10950056B2 (en) Apparatus and method for generating point cloud data
CN108629799B (zh) 一种实现增强现实的方法及设备
JP6723798B2 (ja) 情報処理装置、方法、プログラム
CN110033507B (zh) 模型贴图的内描线绘制方法、装置、设备及可读存储介质
CN112991556A (zh) Ar数据的展示方法、装置、电子设备及存储介质
JP2017003525A (ja) 三次元計測装置
CN111651052A (zh) 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111506280B (zh) 用于指示屏幕外兴趣点的图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination