CN112036442A - 多帧3d点云数据中物体追踪标注的方法和装置、存储介质 - Google Patents

多帧3d点云数据中物体追踪标注的方法和装置、存储介质 Download PDF

Info

Publication number
CN112036442A
CN112036442A CN202010759541.8A CN202010759541A CN112036442A CN 112036442 A CN112036442 A CN 112036442A CN 202010759541 A CN202010759541 A CN 202010759541A CN 112036442 A CN112036442 A CN 112036442A
Authority
CN
China
Prior art keywords
data
frame
labeling
annotation
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010759541.8A
Other languages
English (en)
Inventor
郑贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202010759541.8A priority Critical patent/CN112036442A/zh
Publication of CN112036442A publication Critical patent/CN112036442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开一种帧3D点云数据中物体的追踪标注方法和装置,以解决现有技术中无法对3D点云数据中的物体进行快速高效的标注的问题。该方法包括:标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;记录该物体的第N帧的标注数据;在显示后续第N+i帧3D点云数据的过程中,在显示3D点云数据的3D坐标系空间中,生成并显示一个与记录的标注数据相符的3D标注框;接收输入的3D标注框的更新数据,根据更新数据对应更新生成的3D标注框,并得到更新后的标注数据;记录更新后的标注数据为该物体的第N+i帧的标注数据;其中,N和i均为大于等于1的自然数。

Description

多帧3D点云数据中物体追踪标注的方法和装置、存储介质
技术领域
本申请涉及数据标注领域,特别涉及一种多帧3D点云数据中物体追踪标注的方法和装置、存储介质。
背景技术
在相关技术中,标注员对浏览器等前端上显示的3D点云数据进行标注。通常对多帧3D点云数据中的物体进行追踪标注时,标注员需要观察识别出一帧点云数据中的物体,并用3D标注框标识出该物体,在下一帧3D点云数据中,观察识别出同一个物体,用3D标注框标识出该物体。
发明内容
本申请提供了一种多帧3D点云数据中物体的追踪标注方案,用以解决现有技术中无法对3D点云数据中的物体进行快速高效的标注的问题。
一方面,本申请实施例提供了一种多帧3D点云数据中物体的追踪标注方法,包括:
标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;记录该物体的第N帧的标注数据;其中,该标注数据中至少包括以下的一种或多种:3D标注框的位置数据、3D标注框的尺寸数据、物体的类别数据;
在显示后续第N+i帧3D点云数据的过程中,在显示3D点云数据的3D坐标系空间中,生成并显示一个与记录的标注数据相符的3D标注框;接收输入的3D标注框的更新数据,根据更新数据对应更新生成的3D标注框,并得到更新后的标注数据;记录更新后的标注数据为该物体的第N+i帧的标注数据;其中,N和i均为大于等于1的自然数。
另一方面,本申请实施例提供了一种多帧3D点云数据中物体的追踪标注装置,包括:一个处理器和至少一个存储器,至少一个存储器中存储有至少一条机器可执行指令,处理器执行至少一条机器可执行指令以执行如上所述的多帧3D点云数据中物体的追踪方法。
另一方面,本申请实施例提供了一种非易失性存储介质,其中存储有至少一条机器可执行指令,至少一条机器可执行指令被处理器执行后执行如上所述的多帧3D点云数据中物体的追踪方法。
在本申请实施例提供的技术方案中,标注装置在显示多帧3D点云数据的过程中,在其中一帧中的一个物体得到首次标注后,记录标注该物体的3D标注框的标注数据,在显示后续帧的过程中,生成并显示与记录的标注数据相符的3D标注框,接收输入的对该3D标注框的更新数据,根据更新数据来更新3D标注框,并得到更新后的标注数据,记录该物体该帧的标记数据。从而标注装置不需要接收标注员对每帧3D点云数据中同一个物体的逐一标注,只需在3D点云数据中的一个物体得到首次标注后,在后续帧中自动生成对应的3D标注框,并根据输入的更新数据来调整3D标注框,且自动记录更新后的3D标注框的标注数据,能够快速、高效地对多帧3D点云数据中的物体进行追踪标注,相比现有技术中的标注方法,能够显著地提高标注速度和标注效率。
附图说明
附图用来提供对本申请的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请,并不构成对本申请的限制。
图1为本申请实施例提供的多帧3D点云数据中物体的追踪标注装置的结构示意图;
图2为本申请实施例提供的多帧3D点云数据中物体的追踪标注处理的架构示意图;
图3为本申请实施例提供的多帧3D点云数据中物体的追踪标注方法的处理流程图;
图4为本申请实施例提供的图3中步骤301的一种实施流程图;
图5为本申请实施例提供的图3中步骤301的另一种实施流程图;
图6为本申请实施例提供的图3中步骤301的另一种实施流程图;
图7为本申请实施例提供的图3中步骤301的另一种实施流程图;
图8为本申请实施例提供的图6或图7中更新处理的处理流程图;
图9为本申请实施例提供的多帧3D点云数据中物体的追踪标注的另一处理流程图;
图10a~10h为实施图9所示方法对断续出现的物体进行追踪标注的示例。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
在相关技术中,标注员对多帧3D点云数据中的物体进行追踪标注时,需要在每一帧3D点云数据中观察识别出同一个物体,并对物体进行逐一标注,这样的标注方法显然存在标注速度慢、效率低的问题。特别是在多帧3D点云数据的帧数较多、且每一帧数据中待标注的物体较多时,标注速度和效率会出现显著的下降。
本申请实施例提供了一种多帧3D点云数据中物体的追踪标注方案,能够有效地提高物体追踪标注的速度和效率。在本申请的实施例中,标注装置在显示多帧3D点云数据的过程中,在其中一帧中的一个物体得到首次标注后,记录标注该物体的3D标注框的标注数据,在显示后续帧数据的过程中,生成并显示与记录的标注数据相符的3D标注框,接收输入的对该3D标注框的更新数据,根据更新数据来更新3D标注框,并得到更新后的标注数据,记录该物体该帧的标记数据。从而标注装置不需要接收标注员对每帧数据中物体的逐一标注,只需对3D点云数据中的物体进行首次标注后,在后续帧中自动生成3D标注框,并根据输入的更新数据来调整3D标注框,且自动记录更新后的3D标注框的标注数据,能够快速、高效地对多帧3D点云数据中的物体进行追踪标注,相比现有技术中的标注方法,能够显著地提高标注速度和标注效率。
本申请的一些实施例提供了一种多帧3D点云数据中物体的追踪标注方案。图1示出了本申请实施例提供的标注装置的结构,该装置1包括处理器11和至少一个存储器12。
在一些实施例中,至少一个存储器12可以是多种形态的存储装置,例如暂态或非暂态的存储介质。在存储器12中可以存储至少一条机器可执行指令,至少一条机器可执行指令被处理器11执行后实现本申请实施例提供的多帧3D点云数据中物体的追踪标注处理。
在一些实施例中,标注装置1可以位于服务器端。在另一些实施例中,标注装置1也可以位于云端服务器中。在另一些实施例中,标注装置1还可以位于客户端中。
如图2所示,本申请实施例提供的多帧3D点云数据中物体的追踪标注处理可以包括前端处理12和后端处理14。通过前端处理12显示相关的3D点云数据或其它数据,并接收标注员输入的相关数据或信息,例如,前端处理12可以是通过web页面实现的处理,或者是通过单独的应用界面实现的处理。后端处理14根据前端处理12接收到的相关数据和信息,进行相应的标注处理。在标注处理完成后,标注装置1可以进一步将标注结果提供给客户端、服务器、云端服务器上的其它处理或应用。
下面对标注装置1执行至少一条机器可执行指令实现的多帧3D点云数据中物体的追踪标注处理进行说明。
图3中示出了本申请实施例提供的多帧3D点云数据中物体的追踪标注的处理流程,也即标注装置进行物体追踪标注的处理,包括:
步骤301、标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;记录该物体的第N帧的标注数据;其中,N为大于等于1的自然数,标注数据中至少包括以下的一种或多种:3D标注框的位置数据、3D标注框的尺寸数据、物体的类别数据;
步骤302、标注装置在显示后续第N+i帧3D点云数据的过程中,在显示3D点云数据的3D坐标系空间中,生成并显示一个与记录的标注数据相符的3D标注框;接收输入的3D标注框的更新数据,根据更新数据对应更新生成的3D标注框,并得到更新后的标注数据;记录更新后的标注数据为该物体的第N+i帧的标注数据;其中,i为大于等于1的自然数。
根据图3所示的方法,标注装置不需要接收标注员对每帧3D点云数据中同一个物体的逐一标注,只需根据接收到的标注数据对3D点云数据中的一个物体进行首次标注,在后续帧中自动生成对应的3D标注框,并根据接收到的更新数据来调整3D标注框,且自动记录更新后的3D标注框的标注数据,能够快速、高效地对多帧3D点云数据中的物体进行追踪标注,相比现有技术中的标注方法,能够显著地提高标注速度和标注效率。
图3所示处理可以通过多个实施方式以及可替代实施方式来实现,下面对本申请实施例提供的实施方式进行说明。
在上述步骤301和302中,在标注装置显示3D点云数据时,可以根据指定的显示方向来显示3D点云数据。指定的显示方向可以是预设的显示方向,也可以是标注员输入的显示方向。
例如,在一些实施例中,在标注装置读取了一帧3D点云数据后,可以根据预设的显示方向来显示该帧3D点云数据。又例如,在一些实施例中,在标注员需要仔细观察该3D点云数据表达的场景或物体时,可以选择并输入所需的显示方向,标注装置根据接收到的显示方向来显示3D点云数据,以便于标注员进行观察和识别。
在本申请的一些实施例中,多帧3D点云数据可以是连续的多帧3D点云数据,例如是1秒钟内的多帧连续3D点云数据。在有些应用场景中,获取3D点云数据的时间间隔非常短,帧与帧之间的场景区别并不大,为了节省处理量,不需要对每一帧3D点云数据中的物体进行标注,可以只对其中具有一定时间间隔的3D点云数据进行标注,从而在一些实施例中,多帧3D点云数据可以是具有相同时间间隔的多帧3D点云数据。在另外的一些场景中,只需要对场景具有明显变化的3D点云数据进行标注,可以从多帧的3D点云数据中挑选出部分数据进行标注,从而在一些实施例中,多帧3D点云数据可以是不具有相同的时间间隔的多帧数据。
在本申请实施例中,多帧3D点云数据中可能会出现多个物体,一个物体的首次出现可以是在多帧数据中的任一帧。在步骤301中,在标注员对多帧3D点云数据中的物体进行追踪标注时,需要对在其中一帧中首次识别出的物体进行人工标注。也即,标注员可以对多帧3D点云中任一帧中首次出现的物体进行人工标注,向标注装置输入标注该物体的3D标注框的标注数据。
在一些应用场景中,标注员可以通过多种方式通过标注装置提供的人机界面输入3D标注框的标注数据,例如,在人机界面中的数据输入框中直接输入具体的参数数值,点击人机界面上预设的按钮、按键,按钮或者按键具有对应的预设的指令或者数据,或者在人机界面提供的下拉菜单中选择相应的选项,下拉菜单中可以包括一级或多级子菜单、每个子菜单可以包括一个或多个选项,标注装置通过人机界面接收标注员输入的标注数据。
标注装置根据接收到的标注数据进行首次标注操作,包括生成相应的3D标注框、对接收到的标注数据进行记录。在一些实施例中,在标注员输入了对一个物体的3D标注框的标注数据后,标注装置还可以生成并显示该3D标注框,以便于标注员观察标注操作是否准确。图4示出了标注装置执行的首次标注操作的一种处理流程,也即上述步骤301的一种实施方式,包括:
步骤3011a、标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;
步骤3012a、标注装置在显示3D点云数据的3D坐标系空间中,生成并显示一个与标注数据相符的3D标注框;
步骤3013a、标注装置记录该物体的标注数据。
在本申请实施例中,示例性地,3D标注框可以是长方体。在不同的应用场景中,还可以根据应用场景的需要,设置不同形状的3D标注框。
在一些实施例中,在标注装置需要标注出一帧数据中首次出现的多个物体时,还可以为每个物体建立标识、以及建立标识与标注数据之间的对应关系,以实现对多个物体的准确标注和记录。图5示出了上述步骤301的另一种实施方式的处理流程:
步骤3011b、标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;
步骤3012b、建立该物体的标识;
步骤3013b、标注装置在显示3D点云数据的3D坐标系空间中,生成并显示一个与标注数据相符的3D标注框;
步骤3014b、标注装置记录该物体的标注数据;
步骤3015b、标注装置建立该物体的标识与该物体的标注数据的关联关系。
在一些实施例中,在标注装置根据标注员输入的标注数据生成了3D标注框后,标注员还可以进一步对生成的3D标注框进行调整,以实现对物体的准确标注,也即标注装置执行的首次标注操作,还可以进一步接收标注员输入的3D标注框的更新数据对3D标注框进行调整,记录3D标注框的更新后的标注数据。图6示出了步骤301的另一种实施方式的处理流程,包括:
步骤3011c、标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;
步骤3012c、标注装置在显示3D点云数据的3D坐标系空间中,生成并显示一个与标注数据相符的3D标注框;
步骤3013c、接收输入的3D标注框的更新数据,根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据;
步骤3014c、记录该物体第N帧的更新后的标注数据。
以上图4~图6所示的实施例,还可以相互结合得到新的实施方式,例如,可以得到如图7所示的实施例,包括:
步骤3011d、标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;
步骤3012d、建立该物体的标识;
步骤3013d、标注装置在显示3D点云数据的3D坐标系空间中,生成并显示一个与标注数据相符的3D标注框;
步骤3014d、接收输入的3D标注框的更新数据,根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据;
步骤3015d、记录该物体第N帧的更新后的标注数据;
步骤3016d、标注装置建立该物体的标识与该物体的更新后的标注数据的关联关系。
本申请实施例虽然列举出了标注装置进行首次标注操作的一些实施方式,在具体的应用场景中,还可以包括其它的等同实施方式或替代实施方式。
在上述图3~图7所示的实施例的处理过程中,以及在下述实施例的处理过程中,根据标注数据中包括的不同的数据,生成一个与标注数据相符的3D标注框的操作可以包括以下多种实施方式。
生成方式一、在一些场景中,在多帧3D点云数据中对物体进行追踪标注时,要对物体进行准确标注,物体的位置是一个要考虑的因素,也即标注数据中可以包括物体的位置数据,标注装置根据接收到的位置数据生成3D标注框。
在一些实施例中,在标注数据中包括3D标注框的位置数据的情况下,生成一个与标注数据相符的3D标注框的操作可以包括:在标注数据包括的位置数据所指的位置上生成一个3D标注框。
例如,当标注员在显示3D点云数据中识别出一个物体后,在显示该数据的3D坐标系空间中,点击选择一个位置,标注装置识别出该位置的三维坐标值,位置数据包括该位置的三维坐标值(x,y,z);或者标注员能够识别出待选位置的三维坐标值的情况下,还可以直接在人机界面的数值输入框中输入位置数据,包括该位置的三维坐标值(x,y,z)。这样,标注装置可以在接收到的三维坐标值所指的位置上生成一个3D标注框,生成时可以以该三维坐标值所指的位置为立方体的中心点生成一个长方体3D标注框,或者以该三维坐标值所指位置为一个预定的角点生成一个立方体3D标注框,还可以以三维坐标值所指位置为一个面的中心点生成一个立方体3D标注框。
进一步,生成的3D标注框可以具有预定的尺寸。例如,在一些场景中,要求标注的物体比较单一,这些物体具有类似或者相同的尺寸,在这种情况下,可以预设3D标注框的尺寸,标注装置根据接收到的位置数据来生成具有预定尺寸的3D标注框。
生成方式二、在一些场景中,标注工作对标注物体尺寸准确性的要求较高,这样标注装置可能会先接收到标注员输入的3D标注框的尺寸数据。
在一些实施例中,在标注数据中包括3D标注框的尺寸数据的情况下,生成一个与标注数据相符的3D标注框的操作可以包括:生成一个尺寸与标注数据包括的尺寸数据一致的3D标注框。该尺寸数据可以是根据3D点云数据中数据点的尺寸与实际物体尺寸的比例关系而设定的,该尺寸的数值为在3D空间坐标系中的数值s*t*r。
进一步,生成3D标注框的处理,还可以是在预定的位置上生成与尺寸数据一致的3D标注框,该预定位置可以是例如人机界面中显示窗口的大致正中的位置、或者3D坐标系空间中一个预设的位置。后续如果接收到标注员输入的3D标注框的位置数据,可以根据位置数据进一步地在位置数据所指的位置上重生成与尺寸数据相符的3D标注框。
生成方式三、在一些场景中,标注工作对物体位置的准确性要求较高,且待标注的多个物体之间的差别较大,不能用同一个尺寸的3D标注框来标注多个不同的物体,标注员在输入位置数据后还需要输入3D标注框的尺寸数据。
在一些实施例中,在标注数据中包括3D标注框的位置数据和尺寸数据的情况下,生成一个与标注数据相符的3D标注框的操作可以包括:在标注数据包括的位置数据所指的位置上、生成一个尺寸数据所指尺寸的3D标注框。
生成方式四、在一些场景中,已知要标注的物体的类别,可以预先设置物体类别对应的3D标注框的尺寸,标注装置预存该信息。标注装置在接收到物体类别数据的情况下,可以直接生成一个与物体类别对应的预设尺寸的3D标注框,这样可以提高标注效率。
在一些实施例中,在标注数据中包括物体的类别数据的情况下,生成一个与标注数据相符的3D标注框的操作可以包括:生成一个与物体类别对应的预设尺寸的3D标注框。
进一步,生成3D标注框的处理,还可以是在预定的位置上生成与物体类别对应的预设尺寸的3D标注框,该预定位置可以是例如人机界面中显示窗口的大致正中的位置、或者3D坐标系空间中一个预设的位置。后续可以根据标注员输入的位置数据,进一步地在位置数据所指的位置上重生成与物体类别对应尺寸的3D标注框。
生成方式五、在一些场景中,已知要标注的物体的类别,可以预设物体的类别、以及与物体类别相对应的3D标注框的尺寸,标注员在输入位置数据后还需要输入物体的类别数据,标注装置根据接收到的位置数据生成一个与物体类别对应的尺寸的3D标注框。
在一些实施例中,在标注数据中包括3D标注框的位置数据和物体的类别数据的情况下,生成一个与标注数据相符的3D标注框的操作可以包括:在标注数据包括的位置数据所指的位置上、生成一个与物体类别对应的预设尺寸的3D标注框。
以上虽然说明了在标注数据中包括不同数据的情况下,如何根据不同的数据生成相应的3D标注框的处理,上述实施例还可以组合得到多种其他的实施方式或者变形的实施方式。
生成方式六、在一些实施例中,标注装置中预先保存了一种通用的3D标注框的尺寸、以及与不同物体类别分别对应的3D标注框的尺寸数据,标注员分多次输入标注数据中包括的不同数据;在标注装置先接收到的标注数据中包括位置数据时,标注装置可以先根据位置数据生成一个具有通用尺寸的3D标注框,在标注装置进一步接收到物体种类数据后,对已生成的3D标注框进行重生成,在位置数据所指的位置上、生成尺寸与物体种类对应的尺寸数据一致的3D标注框。
生成方式七、在一些实施例中,标注装置中预先保存了一种通用的3D标注框的尺寸、以及与不同物体类别分别对应的3D标注框的尺寸数据,标注员分多次输入标注数据中的不同参数;在标注装置先接收到标注数据中包括的类别数据时,在3D坐标系空间中的一个预定的位置生成与物体类别对应尺寸的3D标注框,例如该预定位置可以是人机界面中显示界面的正中间的位置,在标注装置进一步接收到位置数据后,在位置数据所指的位置上重生成一个与物体类别对应尺寸的3D标注框。
上述实例性示例性地列举了标注员分多次输入标注数据包括的多个不同数据的情况下,如何生成3D标注框的处理,与此类似,标注员还可以以其它不同的顺序来输入不同的数据,标注装置根据接收到的标注数据包括的具体数据,来执行相应的处理,具体的处理过程可以是上述生成方式中的一种或者多种的组合,本领域技术人员可以根据本申请的记载和公开,得到多种等同的、可替换的、或者变形的处理方式,本申请这里不一一列举。
上述说明了标注装置根据标注员输入的标注数据,对物体进行首次标注的处理过程。
在如图6或图7所示的处理过程中,标注装置根据接收到的更新数据对3D标注框进行的更新处理,如图8所示,可以包括如下的处理过程:
步骤801、标注装置接收输入的3D标注框的更新数据,根据更新数据对应地更新生成的3D标注框,得到更新后的标注数据;
步骤802、记录该物体更新后的标注数据。
根据图8所示的处理过程,能够根据更新数据对3D标注框进行调整,并记录更新后的标注数据。
上述步骤801的处理,根据更新数据中包括的不同数据,可以包括以下多种实施方式。
更新方式一、在一些实施例中,如图9所示,接收到的3D标注框的更新数据包括3D标注框的位置更新数据;标注装置根据3D标注框的位置更新数据确定3D标注框的更新后的位置,在更新后的位置上显示3D标注框;确定更新后的标注数据中包括3D标注框的更新后的位置数据。
在一些实施例中,在3D标注框的位置更新数据包括3D标注框的更新后的位置数据的情况下,将3D标注框的更新后的位置数据所指的位置,确定为3D标注框的更新后的位置。该位置更新数据中可以包括3D标注框更新后的三维空间坐标值(x’,y’,z’)。标注装置在更新后的三维空间坐标值(x’,y’,z’)所指的位置上重生成3D标注框。
在一些实施例中,在3D标注框的位置更新数据包括3D标注框的位置更新方向和位置偏移量的情况下,标注装置根据生成3D标注框的位置和位置更新数据包括的3D标注框的更新方向和位置偏移量,确定得到3D标注框更新后的位置。例如,更新前生成3D标注框的位置坐标为(x,y,z),位置更新数据中包括更新方向为x轴方向、偏移量为a,则更新后的位置为(x’,y,z),x’=x+a。标注装置在更新后的的三维空间坐标值(x’,y,z)所指的位置上重生成3D标注框。
更新方式二、在一些实施例中,接收到的3D标注框的更新数据包括3D标注框的尺寸更新数据;标注装置根据尺寸更新数据确定3D标注框的更新后的尺寸,使用更新后的尺寸显示3D标注框;确定更新后的标注数据中包括3D标注框的更新后的尺寸数据。
在一些实施例中,在3D标注框的尺寸更新数据包括3D标注框的更新后的尺寸数据的情况下,标注装置将3D标注框的更新后的尺寸数据所指的尺寸,确定为3D标注框更新后的尺寸。该尺寸更新数据可以包括更新后的尺寸数据s’*r’*t’。标注装置重新生成一个尺寸为s’*r’*t’的3D标注框。
在一些实施例中,在3D标注框的尺寸更新数据包括3D标注框的调整数据的情况下,标注装置根据生成3D标注框的尺寸和更新数据包括的3D标注框的调整数据,确定3D标注框更新后的尺寸。例如,更新前的尺寸数据包括s*r*t,调整数据包括(+i,-j,+k),更新后的尺寸数据为s’*r’*t’,s’=s+i,r’=r-j,t’=t+k。标注装置重新生成一个尺寸为s’*r’*t’的3D标注框。
更新方式三,在一些实施例中,接收到的3D标注框的更新数据包括3D标注框的尺寸更新数据和位置更新数据,标注装置可以根据上述的更新方式一和更新方式二来实现对3D标注框的更新。
根据上述实施例,在标注员对多帧3D点云数据中首次出现的物体输入标注数据,标注装置完成了对该物体的首次标注、记录了该物体的标注数据后,在标注装置显示后续帧的数据的过程中,就可以根据记录的标注数据自动生成并显示3D标注框,标注人员根据观察结果对3D标注框进行调整、输入3D标注框的更新数据,标注装置根据更新数据来对应更新3D标注框,并生成和记录更新后的标注数据,从而可以完成对后续帧3D点云数据中同一个物体的追踪标注处理。
在标注装置记录完对一帧数据中物体的标注数据后,可以显示下一帧3D点云数据,执行对后续帧数据中的物体的标注操作。
下面对步骤302的多种实施方式进行说明。
在步骤302中,标注装置需要参考已记录的标注数据,来生成与该记录的标注数据相符的3D标注框。上述生成方式一~七说明了生成与标注数据相符的3D标注框的处理,在步骤302中,标注装置可以结合上述生成方式一~七中的任一项以及以下生成方式八~十中的任一项,来执行生成一个与记录的标注数据相符的3D标注框的处理。
生成方式八、在一些实施例中,标注装置可以生成一个与记录的第N帧的标注数据相符的3D标注框;也即标注装置根据首次记录的该物体的标注数据来生成一个3D标注框。例如,在有些场景中,标注员需要以首次记录的一个物体的3D标注框为参考进行观察和识别,这样标注装置可以在显示后续帧3D点云数据的过程中,根据首次记录的标注数据来生成一个3D标注框。
生成方式九、在一些实施例中,标注装置生成一个与记录的前一帧的标注数据相符的3D标注框。例如,在有些场景中,标注员需要以前一帧记录的一个物体的3D标注框为参考进行观察和识别,这样标注装置可以在显示后续帧3D点云数据的过程中,根据上一帧记录的标注数据来生成一个3D标注框。
生成方式十、在一些实施例中,标注装置生成一个与记录的此前任一帧的标注数据相符的3D标注框。例如,在有些场景中,标注员可以很好的观察和识别出待标注的物体,不需要以特定帧的标注数据为参考,这种情况下标注装置可以在显示后续帧3D点云数据的过程中,根据之前任一帧记录的标注数据来生成一个3D标注框。
在步骤302中,标注装置在生成并显示了与记录的标注数据相符的3D标注框后,标注员可以对该3D标注框进行调整、以更新得到准确标注物体的3D标注框。标注装置根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据的处理,可以参考上述更新方式一至更新方式三种的一种。
在步骤302中,记录更新后的标注数据的处理,在标注装置已经建立了物体的标识与该物体的标注数据的关联关系的情况下,可以将该物体的第N+i帧的标注数据与物体标识进行关联记录,实现对多帧3D点云数据中物体的标注数据准确记录和追踪记录。
通过步骤302的处理,标注装置可以在对第N帧3D点云数据中的一个物体进行首次标注后,在后续帧3D点云数据中自动生成标注该物体的3D标注框,并根据标注员输入的3D标注框的更新数据来对应更新生成的3D标注框,记录更新后的标注数据。
通过上述实施例的处理,标注装置在根据接收到的标注数据对一个物体进行首次标注后,能够根据接收到的3D标注框的更新数据,自动对后续多帧3D点云数据中的物体进行追踪标注,从而能够显著地提高标注速度和标注效率。
在有些场景中,有些物体在多帧3D点云数据中并不是持续出现的,在首次出现后,可能在某一帧数据中消失,并在后续的另一帧数据中又重新出现。本申请的一些实施例提供的技术方案能够有效地对多帧3D点云数据中断续出现的物体进行标注。
如图9所示,在图3所示处理的步骤302之后,还包括:
步骤303、在显示第N+x帧3D点云数据时,标注装置接收到针对该物体的第一指令的情况下,取消显示标注该物体的3D标注框,停止对该物体的标记数据的操作;其中,x为大于等于1的自然数;
步骤304、在显示第N+k帧3D点云数据时,跳过在该帧数据中对该物体的标注操作,也即跳过上述步骤302的处理;其中,k为大于等于1的自然数,且x≤k;
步骤305、在显示第N+y帧3D点云数据时,接收到针对该物体的第二指令的情况下,重新对该帧数据中的该物体生成一个与记录的标注数据相符的3D标注框,以及执行对该物体的标注数据的操作,也即重新执行上述步骤302的处理;其中,y为大于等于1的自然数,且k≤y。
在上述步骤303中,第一指令可以是多种形式的指令,例如预设按钮、预设命令等,第一指令的含义可以包括一个连续追踪标注的物体消失在当前的第N+x帧3D点云数据中。在标注装置接收到针对一个物体的第一指令后,可以相应地停止对该物体的标注操作,也即取消当前显示的该物体的3D标注框,以及取消对该物体的标注数据的操作。
并且,在第N+k帧3D点云数据中,如果没有接收到第二指令,则在该帧数据中,跳过对该物体的标注操作,包括不显示该物体的3D标注框,不对该物体的标注数据进行操作。
如果在第N+y帧3D点云数据中,接收到了针对一个物体的第二指令,该指令的含义可以是一个已标注过且曾经消失的物体又重新出现在当前的第N+y帧3D点云数据中,则标注装置应当重新执行对该物体的标注操作,也即重新生成一个与记录的标注数据相符的3D标注框,并执行对该3D标注框的操作、执行对该物体的标注数据的操作。
图10a~10h中示出了对断续出现的物体进行追踪标注的示例。图10a~10h示出了一个道路场景的多帧3D点云数据,在其中,物体2为配置有传感器、获取环境信息的车辆,物体1为出现在相邻车道上的车辆。为了进行简洁且清楚的说明,这多帧点云数据是从连续帧数据中挑选出来的数据。为了进行更清楚的说明,图10a~10h中均采用3D坐标系中XY平面垂直的方向进行显示。在该示例中,标注装置根据记录的物体的前一帧的标注数据来自动生成当前帧数据中的3D标注框。
图10a中示出了标注装置根据标注员输入的标注数据,对第一帧3D点云数据中出现的两个物体1、2标注的3D标注框。
在图10b中示出了标注装置显示第二帧3D点云数据后,根据第一帧的标注数据生成的物体1和物体2的3D标注框。由于物体2是进行数据采集的车辆,物体2始终在3D点云数据中相对固定的位置上,在图10b~10h中,标注装置生成的物体2的3D标注框的位置不会发生改变,能够准确地标注出物体2。在第二帧数据中物体1的位置相对于第一帧中物体1的位置发生了改变,标注装置根据第一帧的标注数据生成的物体1的标注框无法正确地标注出物体1。
在图10c中示出了标注装置根据标注员输入的物体1的位置更新数据,将物体1的3D标注框更新到物体1的准确位置上。
在图10d中示出了标注装置显示第三帧3D点云数据后,根据第二帧的标注数据生成的3D标注框。可以看出在该帧数据中,物体1已经消失在数据中,标注装置根据第二帧的标注数据生成的物体1的3D标注框无法正确地标识出物体1。
在图10e中,标注装置接收到标注员输入的针对物体1的第一指令后,取消显示物体1的3D标注框。也即标注装置接收到针对物体1的第一指令后,对物体1的第三帧点云数据不做标注处理。
在图10f中示出了标注装置显示第四帧3D点云数据后,根据第三帧的标注数据生成的3D标注框。由于标注装置没有记录第三帧点云数据中物体1的标注数据,标注装置在第四帧点云数据中只生成了物体2的3D标注框。但是可以看出在第四帧点云数据中,物体1又重新出现了。
在图10g中,标注装置接收到针对物体1的第二指令后,根据最近记录的物体1的标注数据重新生成物体1的3D标注框。标注员在识别出第四帧点云数据中重新出现物体1后,输入针对物体1的第二指令。标注装置接收到针对物体1的第二指令后,根据最近记录的物体1的标注数据,也即第二帧点云数据中物体1的标注数据,生成对物体1的3D标注框。但是可以看出,生成的物体1的3D标注框无法正确地标注出物体1。
在图10h中,标注装置根据接收到的物体1的位置更新数据,将物体1的3D标注框更新到物体1的准确位置上。标注员识别出物体1与物体1的3D标注框之间的位置差异后,输入位置更新数据,标注装置根据位置更新数据更新物体1的3D标注框的位置,使得3D标注框能够正确的标注出物体1。
通过图9所示的处理,可以对在多帧3D点云数据中断续出现的物体进行追踪标注。
以下列出了在一个应用场景中,使用本申请上述实施例提供的方法,对连续的六帧3D点云数据中的物体1和物体2进行追踪的处理流程图,包括:
步骤1001、标注装置在人机界面上显示第一帧3D点云数据;
步骤1002、标注装置接收标注员在人机界面上输入的物体1标注数据和物体2的标注数据,标注数据中均包括位置数据和尺寸数据;
步骤1003、标注装置为物体1和物体2分别建立标识;
步骤1004、标注装置根据物体1的标注数据生成物体1的3D标注框,根据物体2的标注数据生成物体2的3D标注框,生成的3D标注框的位置和尺寸与标注数据中包括的位置数据和尺寸数据相一致;
步骤1005、标注装置在人机界面上显示物体1和物体2的3D标注框;
步骤1006、标注装置接收标注员在人机界面上输入的物体1的3D标注框的更新数据,该更新数据中包括3D标注框的尺寸更新数据;
步骤1007、标注装置根据物体1的3D标注框的更新数据,对应地更新物体1的3D标注框的尺寸,并重新生成尺寸更新后3D标注框;
步骤1008、标注装置纪录物体1的第一帧的标注数据,该标注数据包括更新后的尺寸数据和接收到的位置数据;记录物体2的第一帧的标注数据,该标准数据中包括接收到的位置数据和尺寸数据;
步骤1009、标注装置建立物体1的标识和物体1的第一帧标注数据的对应关系,建立物体2的标识和物体2的第一帧标注数据的对应关系;
步骤1010、标注装置在人机界面上显示第二帧3D点云数据;
步骤1011、标注装置根据物体1的标识读取物体1的第一帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;根据物体2的标识读取物体2的第一帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;
步骤1012、标注装置接收标注员通过人机界面输入的物体1的3D标注框的更新数据,该更新数据中包括位置更新数据;
步骤1013、标注装置根据位置更新数据对应地更新物体1的3D标注框的位置,得到更新后的位置数据;
步骤1014、标注装置确定物体1的第二帧的标注数据包括读取的尺寸数据和更新后的位置数据,并关联记录物体1的标识和物体1的第二帧的标注数据;
步骤1015、标注装置接收标注员通过人机界面输入的物体2的3D标注框的更新数据,该更新数据中包括位置更新数据;
步骤1016、标注装置根据位置更新数据对应地更新物体2的3D标注框的位置,得到更新后的位置数据;
步骤1017、标注装置确定物体2的第二帧的标注数据包括读取的尺寸数据和更新后的位置数据,并关联记录物体2的标识和物体2的第二帧的标注数据;
步骤1018、标注装置在人机界面上显示第三帧3D点云数据;
步骤1019、标注装置根据物体1的标识读取物体1的第二帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;根据物体2的标识读取物体2的第二帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;
步骤1020、标注装置接收标注员通过人机界面输入的物体1的3D标注框的更新数据,该更新数据中包括位置更新数据和尺寸更新数据;
步骤1021、标注装置根据位置更新数据对应地更新物体1的3D标注框的位置,得到更新后的位置数据,根据尺寸更新数据对应地更新物体1的3D框的尺寸,得到更新后的尺寸数据;
步骤1022、标注装置确定物体1的第三帧的标注数据包括更新后的位置数据和更新后的尺寸数据,并关联记录物体1的标识和物体1的第三帧的标注数据;
步骤1023、标注装置接收标注员通过人机界面输入的物体2的3D标注框的更新数据,该更新数据中包括位置更新数据和尺寸更新数据;
步骤1024、标注装置根据位置更新数据对应地更新物体2的3D标注框的位置,得到更新后的位置数据,根据尺寸更新数据对应地更新物体2的3D框的尺寸,得到更新后的尺寸数据;
步骤1025、标注装置确定物体2的第三帧的标注数据包括更新后的位置数据和更新后的尺寸数据,并关联记录物体2的标识和物体2的第三帧的标注数据;
步骤1026、标注装置通过人机界面显示第四帧3D点云数据;
步骤1027、标注装置根据物体1的标识读取物体1的第三帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;根据物体2的标识读取物体2的第三帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;
步骤1028、标注装置接收到针对物体1的第一指令,取消在人机界面上显示物体1的3D标注框,停止对物体1的3D标注框、以及标注数据的操作;
步骤1029、标注装置接收标注员通过人机界面输入的物体2的3D标注框的更新数据,该更新数据中包括位置更新数据和尺寸更新数据;
步骤1030、标注装置根据位置更新数据对应地更新物体2的3D标注框的位置,得到更新后的位置数据,根据尺寸更新数据对应地更新物体2的3D框的尺寸,得到更新后的尺寸数据;
步骤1031、标注装置确定物体2的第四帧的标注数据包括更新后的位置数据和更新后的尺寸数据,并关联记录物体2的标识和物体2的第四帧的标注数据;
步骤1032、标注装置通过人机界面显示第五帧3D点云数据;
步骤1033、标注装置根据物体2的标识读取物体2的第四帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;
步骤1034、标注装置接收标注员通过人机界面输入的物体2的3D标注框的更新数据,该更新数据中包括位置更新数据;
步骤1035、标注装置根据位置更新数据对应地更新物体2的3D标注框的位置,得到更新后的位置数据;
步骤1036、标注装置确定物体2的第五帧的标注数据包括更新后的位置数据和读取的尺寸数据,并关联记录物体2的标识和物体2的第五帧的标注数据;
步骤1037、标注装置通过人机界面显示第六帧3D点云数据;
步骤1038、标注装置接收到针对物体1的第二指令,根据物体1的标识读取物体1的第三帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;根据物体2的标识读取物体2的第五帧的标注数据,根据读取的标注数据生成一个3D标注框,并在人机界面上显示该3D标注框;
步骤1039、标注装置接收到针对物体2的第一指令,取消在人机界面上显示物体2的3D标注框,停止对物体2的3D标注框、以及标注数据的操作;
步骤1040、标注装置接收标注员通过人机界面输入的物体1的3D标注框的更新数据,该更新数据中包括位置更新数据;
步骤1041、标注装置根据位置更新数据对应地更新物体1的3D标注框的位置,得到更新后的位置数据;
步骤1042、标注装置确定物体1的第六帧的标注数据包括更新后的位置数据和读取的尺寸数据,并关联记录物体1的标识和物体1的第六帧的标注数据。
以上示例性给出了一个应用场景中的多帧3D点云数据中物体的追踪标注处理过程。根据本申请实施例提供的多个实施例,在多个应用场景中,可以组合得到更多的实施情况。
本申请实施例还提供了一种非易失性存储介质,该存储介质中存储有至少一条机器可执行指令,处理器执行该至少一条机器可执行指令执行上述如图3~9中的任意一个方法。
本申请中描述的实质内容以及功能性操作的实施方式,能够通过多种系统、数字电子电路、或者计算机软件、固件或者硬件来实现,这些实施方式包括说明书中公开的结构以及等同结构,或者这些结构的结合。说明书中描述的实质内容的实施方式,能够被实施为一个或者多个计算机程序产品,例如,计算机程序指令的一个或多个模块,该计算机程序指令被编码存储在一个有形且非易失性的计算机可读介质中,该计算机程序指令可被数据处理装置执行,或者用于控制数据处理装置的操作。该计算机可读介质可以是一个机器可读存储装置、机器可读存储基板、存储设备、能够影响机器可读传播信号的组合物、或者这些物质的组合。术语“数据处理单元”或者“数据处理装置”包括用于处理数据的所有装置、设备以及机器,示例性地包括可编程处理器、计算机、或者多处理器、多计算机。除硬件之外,这些装置可以包括为所讨论的计算机程序建立一个可执行环境的代码,例如,构成处理器防火墙、协议栈、数据库管理系统、操作系统的代码,或者这些代码的组合。
计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以通过任何一种编程语言来编写,包括编译或翻译语音;并且可以被以任何形式来部署,包括一个独立的程序或者一个模块、构件、子用例、或者其它适于计算环境的单元。一个计算机程序不必对应于一个文件系统中的一个文件。一个程序能够被存储在一个文件中的一部分,该文件还存储有其他的程序或者数据(例如,存储在一个标记语言文档中的一个或多个脚本),或者该程序被存储在一个专门针对于所讨论的程序的单独的文件中,或者被存储在一个相互协同的文件中(例如,存储有一个或多个模块、子程序或者代码部分的多个文件)。一个计算机程序可以被部署为被一个或多个计算机执行,这些计算机位于一个地址、或者分布在多个地址,并且通过一个通信网络进行互连。
本说明书描述的处理或者逻辑图可以被一个或者多个可编程处理器执行,以执行一个或多个计算机程序,并根据输入数据进行处理生成输出结果。处理或者逻辑图可以被专用逻辑电路执行,并且多种设备也可以被实现为专用逻辑电路,例如现场可编程门阵列(Field programmable gate array,FPGA)、或者专用集成电路(Application Specificintegrated circuit,ASIC)。
用于执行计算机程序的处理器,示例性地包括通用微处理器和专用微处理器,以及任何种类的数字计算机中的任何一种或者多种处理器。通常,一个处理器会从一个只读存储器和/或一个随机接入存储器中接收指令和数据。一个计算机的基本单元包括一个处理器以及一个或多个存储装置,处理器用于执行指令,存储装置用于存储指令和数据。通常,一个计算机还包括或者操作性地耦合到一个或多个大型存储设备,以接收数据和/或发送数据,该大型存储设备包括磁盘、磁光盘或者光盘。但是,一个计算机不是必须包括这些设备。用于存储指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储设备,示例性地包括半导体存储设备,例如EPROM、EEPROM以及闪存设备。处理器和存储器可以被专用逻辑电路所替代,或者结合到专用逻辑电路中。
虽然本申请文件包括了多种实施方式,但是这些实施方式不用于解释为本申请的保护范围的限定,只是特征的描述,这些特征可以被实施到特定发明的特定实施例中。本申请中独立的实施例中描述的一些特征也可以被结合实施到一个单独的实施例中。在一个单独的实施例中描述的多个特征也可被分别实施到多个实施例中,或者实施到任何适合的更细一步的结合中。并且,虽然上述在一个特定的组合中描述一些特征,也可以将所要求的一个或者多个组合中去掉一个或多个特征,所要求的组合可以被进一步地组合或者对进一步组合进行变形。
相类似地,虽然在附图中以一定的顺序描述了多种操作,但是不应被理解为必须要以这样的顺序来执行这些操作,以达到理想的结果。并且,实施例中多种系统构件的拆分也不应被理解为在所有的实施例中都需要这样的拆分。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (21)

1.一种多帧3D点云数据中物体的追踪标注方法,其特征在于,包括:
标注装置显示第N帧3D点云数据,接收输入的标注一个物体的3D标注框的标注数据;记录该物体的第N帧的标注数据;其中,该标注数据中至少包括以下的一种或多种:3D标注框的位置数据、3D标注框的尺寸数据、物体的类别数据;
在显示后续第N+i帧3D点云数据的过程中,在显示3D点云数据的3D坐标系空间中,生成并显示一个与记录的标注数据相符的3D标注框;接收输入的3D标注框的更新数据,根据更新数据对应更新生成的3D标注框,并得到更新后的标注数据;记录更新后的标注数据为该物体的第N+i帧的标注数据;其中,N和i均为大于等于1的自然数。
2.根据权利要求1所述的方法,其特征在于,在标注装置显示第N帧3D点云数据的过程中,在接收输入的标注一个物体的3D标注框的标注数据后,还包括:建立该物体的标识;
在记录完该物体的一帧的标注数据后,还包括:建立该物体的标识与该物体该帧的标注数据的关联关系。
3.根据权利要求1所述的方法,其特征在于,生成一个与记录的标注数据相符的3D标注框,包括以下之一:
生成一个与记录的第N帧的标注数据相符的3D标注框;
生成一个与记录的前一帧的标注数据相符的3D标注框;
生成一个与记录的此前任一帧的标注数据相符的3D标注框。
4.根据权利要求1所述的方法,其特征在于,在标注数据中包括3D标注框的位置数据的情况下,生成一个与标注数据相符的3D标注框,包括:
在标注数据包括的位置数据所指的位置上生成一个3D标注框。
5.根据权利要求1所述的方法,其特征在于,在标注数据中包括3D标注框的尺寸数据的情况下,生成一个与标注数据相符的3D标注框,包括:
生成一个尺寸与标注数据包括的尺寸数据一致的3D标注框。
6.根据权利要求1所述的方法,其特征在于,在标注数据中包括物体的类别数据的情况下,生成一个与标注数据相符的3D标注框,包括:
生成一个与物体类别对应的预设尺寸的3D标注框。
7.根据权利要求1所述的方法,其特征在于,在标注装置显示第N帧3D点云数据的过程中,在生成了一个与标注数据相符的3D标注框后,还包括:
接收输入的3D标注框的更新数据,根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据;
记录该物体的第N帧的标注数据,包括:记录该物体第N帧的更新后的标注数据。
8.根据权利要求1或7所述的方法,其特征在于,接收到的3D标注框的更新数据包括3D标注框的位置更新数据;
根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据,包括:根据3D标注框的位置更新数据确定3D标注框的更新后的位置,在更新后的位置上显示3D标注框;确定更新后的标注数据中包括3D标注框的更新后的位置数据。
9.根据权利要求8所述的方法,其特征在于,3D标注框的位置更新数据包括3D标注框的更新后的位置数据;
根据3D标注框的位置更新数据确定3D标注框的更新后的位置,包括:将3D标注框的更新后的位置数据所指的位置,确定为3D标注框的更新后的位置。
10.根据权利要求8所述的方法,其特征在于,3D标注框的位置更新数据包括3D标注框的位置更新方向和位置偏移量;
根据3D标注框的位置更新数据确定3D标注框的更新后的位置,包括:根据生成3D标注框的位置和位置更新数据包括的3D标注框的更新方向和位置偏移量,确定得到3D标注框更新后的位置。
11.根据权利要求1或7所述的方法,其特征在于,接收到的3D标注框的更新数据包括3D标注框的尺寸更新数据;
根据更新数据对应地更新生成的3D标注框,并得到更新后的标注数据,包括:根据尺寸更新数据确定3D标注框的更新后的尺寸,使用更新后的尺寸显示3D标注框;确定更新后的标注数据中包括3D标注框的更新后的尺寸数据。
12.根据权利要求11所述的方法,其特征在于,3D标注框的尺寸更新数据包括3D标注框的更新后的尺寸数据;
根据尺寸更新数据确定3D标注框的更新后的尺寸,包括:将3D标注框的更新后的尺寸数据所指的尺寸,确定为3D标注框更新后的尺寸。
13.根据权利要求11所述的方法,其特征在于,3D标注框的尺寸更新数据包括3D标注框的调整数据;
根据尺寸更新数据确定3D标注框的更新后的尺寸,包括:根据生成3D标注框的尺寸和更新数据包括的3D标注框的调整数据,确定3D标注框更新后的尺寸。
14.根据权利要求1所述的方法,其特征在于,在标注装置接收到输入的标注一个物体的3D标注框的标注数据之后,还包括:
在显示3D点云数据的3D坐标系空间中,生成并显示一个与标注数据相符的3D标注框。
15.根据权利要求1所述的方法,其特征在于,还包括:在记录完一帧的标注数据后,显示下一帧3D点云数据。
16.根据权利要求1所述的方法,其特征在于,还包括:
在显示第N+x帧3D点云数据时,接收到针对该物体的第一指令的情况下,取消显示标注该物体的3D标注框,停止对该物体的标记数据的操作;
在显示第N+k帧3D点云数据时,跳过在该帧数据中对该物体的标注操作;
在显示第N+y帧3D点云数据时,接收到针对该物体的第二指令的情况下,重新对该帧数据中的该物体生成一个与记录的标注数据相符的3D标注框,以及执行对该物体的标注数据的操作;
其中,x、k和y均为大于等于1的自然数,且x≤k≤y。
17.根据权利要求1所述的方法,其特征在于,标注装置包括人机界面;标注装置通过人机界面显示一帧3D点云数据;通过人机界面接收输入的标注数据和更新数据;或者,
标注装置接收来自客户端的标注数据和更新数据。
18.根据权利要求1所述的方法,其特征在于,标注装置显示一帧3D点云数据,包括:
根据预设的显示方向显示一帧3D点云数据;或者,
接收输入的显示方向,根据接收到的显示方向显示一帧3D点云数据。
19.根据权利要求1所述的方法,其特征在于,多帧3D点云数据包括以下之一:连续的多帧3D点云数据、具有相同时间间隔的多帧3D点云数据、具有不同时间间隔的多帧3D点云数据。
20.一种多帧3D点云数据中物体的追踪标注装置,其特征在于,包括:一个处理器和至少一个存储器,至少一个存储器中存储有至少一条机器可执行指令,处理器执行至少一条机器可执行指令以执行权利要求1~19中任一项所述的方法。
21.一种非易失性存储介质,其特征在于,存储有至少一条机器可执行指令,至少一条机器可执行指令被处理器执行后执行如权利要求1~19中任一项所述的方法。
CN202010759541.8A 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法和装置、存储介质 Pending CN112036442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010759541.8A CN112036442A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法和装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010759541.8A CN112036442A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法和装置、存储介质

Publications (1)

Publication Number Publication Date
CN112036442A true CN112036442A (zh) 2020-12-04

Family

ID=73583729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010759541.8A Pending CN112036442A (zh) 2020-07-31 2020-07-31 多帧3d点云数据中物体追踪标注的方法和装置、存储介质

Country Status (1)

Country Link
CN (1) CN112036442A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066007A (zh) * 2021-06-03 2021-07-02 潍坊幻视软件科技有限公司 指示3d空间中目标位置的方法
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN108986134A (zh) * 2018-08-17 2018-12-11 浙江捷尚视觉科技股份有限公司 一种基于相关滤波跟踪的视频目标半自动标注方法
CN109727312A (zh) * 2018-12-10 2019-05-07 广州景骐科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110858415A (zh) * 2018-08-24 2020-03-03 北京图森未来科技有限公司 一种3d点云数据中物体的标注方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN108986134A (zh) * 2018-08-17 2018-12-11 浙江捷尚视觉科技股份有限公司 一种基于相关滤波跟踪的视频目标半自动标注方法
CN110858415A (zh) * 2018-08-24 2020-03-03 北京图森未来科技有限公司 一种3d点云数据中物体的标注方法和装置
CN109727312A (zh) * 2018-12-10 2019-05-07 广州景骐科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110263652A (zh) * 2019-05-23 2019-09-20 杭州飞步科技有限公司 激光点云数据识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066007A (zh) * 2021-06-03 2021-07-02 潍坊幻视软件科技有限公司 指示3d空间中目标位置的方法
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
CN115097976B (zh) * 2022-07-13 2024-03-29 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109213078B (zh) 虚拟对象显示系统
Blaga et al. Augmented reality integration into MES for connected workers
US10964025B2 (en) Assembly monitoring method and device based on deep learning, and readable storage medium
CN110210328B (zh) 在图像序列中标注物体的方法、装置及电子设备
CN104346267B (zh) 生成程序缺陷定位信息的方法及装置
CN110176078B (zh) 一种训练集数据的标注方法及装置
US20190051049A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
CN112036442A (zh) 多帧3d点云数据中物体追踪标注的方法和装置、存储介质
CN113228039A (zh) 用于监督式机器学习的自动标记图像的系统和方法
CN105117514A (zh) 模块化自动出图方法及系统
CN113319859B (zh) 一种机器人示教方法、系统、装置及电子设备
CN113010162A (zh) 一种页面构建方法、装置及设备
CN110568818B (zh) 虚拟对象显示系统
CN103679817B (zh) 用于计算机图形标注的数据处理方法和装置
CN112053323A (zh) 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN110163580B (zh) 多任务vr培训场景的创建方法、vr培训系统以及存储介质
CN112859748A (zh) G代码加工文件的生成方法、生成装置和处理器
CN111695497A (zh) 基于运动信息的行人识别方法、介质、终端和装置
CN108021353B (zh) 软件产品的说明文档的生成装置、方法、设备及存储介质
US20220111515A1 (en) Method and Apparatus for Managing Robot Program
CN114092753A (zh) 多帧3d点云数据中物体追踪标注的方法、装置和存储介质
CN105607957B (zh) 一种基于opc da的数据采集与监控系统
CN110516864B (zh) 线路调整方法、装置、存储介质及电子装置
CN113672143B (zh) 图像标注方法、系统、设备和存储介质
CN113592981B (zh) 图片标注方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination