CN112818990A - 目标检测框的生成方法、图像数据自动标注方法及系统 - Google Patents

目标检测框的生成方法、图像数据自动标注方法及系统 Download PDF

Info

Publication number
CN112818990A
CN112818990A CN202110167822.9A CN202110167822A CN112818990A CN 112818990 A CN112818990 A CN 112818990A CN 202110167822 A CN202110167822 A CN 202110167822A CN 112818990 A CN112818990 A CN 112818990A
Authority
CN
China
Prior art keywords
image
target object
detection frame
target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110167822.9A
Other languages
English (en)
Other versions
CN112818990B (zh
Inventor
苏龙飞
王世雄
易晓东
管乃洋
沈天龙
王之元
凡遵林
黄强娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202110167822.9A priority Critical patent/CN112818990B/zh
Publication of CN112818990A publication Critical patent/CN112818990A/zh
Application granted granted Critical
Publication of CN112818990B publication Critical patent/CN112818990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种目标检测框的生成方法、图像数据自动标注方法及系统，其中生成方法通过采集带有目标物的实时图像，以及在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。该方法及系统能够在无需人为干预的前提下，不仅真正实现了目标检测数据的自动化生成，还简化操作流程。

Description

目标检测框的生成方法、图像数据自动标注方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种目标检测框的生成方法、图像数据自动标注方法及系统。
背景技术
现有技术中监督学习需要大量的标注数据，可以完全由人工标注，也可以由机器自动标注，也可以人机混合。这三种模式分别称为人工标注，自动标注和半自动标注。例如在自动驾驶中感知系统对标注需求很大，尤其是障碍物感知。其自动标注主要可利用不同传感器之间的相互标注。障碍物感知有三大主流传感器：激光雷达(LiDAR)，相机(Camera)，毫米波雷达(Radar)。从自动标注的数据流向来看，一般是依靠激光雷达和毫米波雷达给相机标注，这种自动标注方法需要额外激光雷达或者毫米波雷达的配合才能完成。
基于深度学习的目标检测需要大量的标注数据对深度神经网络进行训练。原始数据可以通过利用相机或者摄像头采集或者从网上公开下载图像，但是原始数据是不能直接用来训练的。原始数据只有经过标注之后才能用来训练目标检测模型。数据标注是一件非常繁琐且耗时的工作，这也使得进行深度学习研究的成本异常高。
现有科研人员对数据自动化标注的研究主要采用如下思路：1、以一个初步模型对小批量待标注数据进行检测，这里的初步模型可以是自己用少批量数据集训练出来的，也可以用网上公布的；2、对检测出来的结果进行人为干预纠正；3、把纠正后的数据训练新的模型；4、用新模型对中等批量待测数据进行检测；5、重复执行1～4。通过1～5 步骤的循环迭代，可以逐步求精。虽然可以极大减少工作量但是也需要人工参与，并且需要重复多次。先采取以上思路对小批量数据进行标注学习训练，然后以学习结果去标注剩下的数据集，最后进行人工纠正迭代求精。这种目标检测数据标注方法并不能完全脱离人工，仍是一种半自动化的数据标注方法，因此要想实现对目标检测数据进行准确的自动标注，首先需要能够自动生成准确的目标检测框，基于目标检测框再进一步实现对目标物类别的自动标注。
发明内容
为了克服现有技术的上述缺陷，本发明的目的在于提供一种目标检测框的生成方法、图像数据自动标注方法及系统，该方法及系统用于解决现有技术中需要人为干预，流程繁琐且耗时的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
为了实现上述发明目的，本发明提出了一种目标检测框的生成方法，其改进之处在于，包括下述步骤：
采集带有目标物的实时图像，以及在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
第二方面，本发明实施例还提出一种目标检测框的生成系统，其改进之处在于，包括如下部件：
图像采集器，用于采集带有目标物的实时图像；
传感器，用于在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
坐标变换器，用于根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
标注器，用于以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
第三方面，本发明实施例还提出一种图像数据自动标注方法，其改进之处在于，包括如下步骤：
采用如上任一生成方法生成用于标注图像中目标物的目标检测框；
获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据。
第四方面，本发明实施例还提出一种图像数据自动标注系统，其改进之处在于，包括如下部件：
生成装置，用于执行如上任一生成方法生成图像中目标物的目标检测框；
标注装置，用于获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据。
与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：
本发明提供的一种目标检测框生成方法及系统中，通过采集带有目标物的实时图像，以及在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。该方法及系统能够在无需人为干预的前提下，不仅真正实现了目标检测数据的自动化生成，还简化操作流程。
本发明提供的一种图像数据自动标注方法及系统中，先通过上述生成方法自动生成图像中目标检测框；再根据获取的目标物类别为图像中目标物中心点的像素坐标、目标检测倾斜框的边长和倾斜角度添加类别标签，以获得图像中目标物的最终标注数据。该方法及系统真正实现了目标检测数据的的自动化标注，无需人为干预。
本发明提供的一种目标检测框的生成方法、图像数据自动标注方法及系统中，除了采集带有目标物的图像外，仅仅需要获取世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，无需配置复杂的激光雷达和毫米波雷达，简化了前期配置工作、节约成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例中目标检测框生成方法的流程示意图；
图2是本发明实施例中世界坐标系到像素坐标系进行坐标变换的流程示意图；
图3是本发明实施例中世界坐标系到相机坐标系的坐标转换示意图；
图4是本发明实施例中相机坐标系到图像坐标系的坐标转换示意图；
图5是本发明实施例中图像坐标系到像素坐标系的坐标转换示意图；
图6是本发明实施例中在图像中生成的目标检测框示意图；
图7是本发明实施例中图像数据自动标注方法的流程示意图。
具体实施方式
下面结合附图，对本发明实施例提供的目标检测框的生成方法、图像数据自动标注方法及系统分别进行详细说明。
实施例一
本发明实施例一提供的目标检测框的生成方法，如图1所示，具体包括如下步骤：
S11、采集带有目标物的实时图像，以及在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
S12、根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
S13、以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
本实施例中的图像采集器可以选用本领域技术人员公知的图像采集器件，本实施例中以相机为例进行详细说明。
上述S11中的具体方案可以包括：
将相机朝向目标物的方向，使目标物出现在相机的画面中，采集含有目标物的实时图像数据；
在相机实时采集图像数据的同时，通过传感器实时采集在世界坐标系下目标物的世界坐标Pw的值、相机的世界坐标Oc的值和相机的姿态信息；
本实施例中的世界坐标系可以采用三维直角坐标系，优选为北东地坐标系；
其中，相机在世界坐标系下的姿态信息可以包括相机的偏航角θ、俯仰角
Figure BSA0000233178180000041
和滚转角ω，目标物的世界坐标Pw的值为[xw yw zw]T，相机的世界坐标Oc的值为[xo yo zo]T。
本发明实施例一的可选方案为，上述S12中，可以包括如下步骤：
S121、根据目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到图像采集器坐标系的坐标变换，获得在图像采集器坐标系下目标物中心点的坐标；
S122、根据相机的内部参数，通过图像采集器坐标系到图像坐标系的坐标变换，获得在图像坐标系下目标物中心点的坐标；
S123、根据在图像坐标系下目标物中心点的坐标，通过图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标；
其中，相机的内部参数可以包括相机的焦距。
示例性的，如图2中虚线框所示，获得在像素坐标系下目标物中心点的像素坐标可以包括如下步骤：
S121’、根据目标物的世界坐标Pw＝[xw yw zw]T、相机的世界坐标Oc＝[xo yo zo]T和姿态信息(偏航角θ、俯仰角
Figure BSA0000233178180000051
和滚转角ω)计算目标物在相机坐标系下的坐标 Px＝[xc yczc]T。世界坐标系到相机坐标系的变换是刚体变换，需要旋转和平移，如图3 所示。
Figure BSA0000233178180000052
其中R为旋转矩阵，T为平移向量。
绕Z轴旋转θ，旋转矩阵
Figure BSA0000233178180000053
绕Y轴旋转
Figure BSA0000233178180000054
旋转矩阵
Figure BSA0000233178180000055
绕X轴旋转ω，旋转矩阵
Figure BSA0000233178180000056
R＝RzRyRx，.................................................(5)
平移矩阵
Figure BSA0000233178180000061
综合(1)-(6)可得：
Figure BSA0000233178180000062
S122’、从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D。此时 P点已由上面经过世界坐标系转换成相机坐标系下表述P(xc，yc，zc)，如图4所示。
根据相似三角形原理，并通过公式(8)得到在图像坐标系下目标物中心点的坐标：
Figure BSA0000233178180000063
式中，f为相机的焦距。
本发明实施例中根据相似三角形原理从相机坐标系到图像坐标系的坐标变换可具有如上比例关系：
Figure BSA0000233178180000064
S123’、像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，如图5所示，图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：
Figure BSA0000233178180000065
式中，u0、v0分别表示图像的中心点(图像坐标原点)像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即分别为相机分辨率的1/2；dx和dy表示每一列和每一行分别代表多少mm，即1pixel＝dx mm。
最终，结合S121’至S123’，可得：
Figure BSA0000233178180000071
由此可得目标物中心像素坐标[u v]T。
本发明实施例一的可选方案为，上述S13中，目标检测框边长或直径的标定过程可以包括如下步骤：
S131、采集带有目标物的一张图像样本，并获取图像样本中目标物边界轮廓上位置最远的两点之间的第一距离l，以及实体目标物边界轮廓上位置最远的两点之间的第二距离Lo和实体目标物与图像采集器之间的第三距离Z；
S132、在采集带有目标物的实时图像时，测量实体目标物边界轮廓上位置最远的两点之间的第四距离L和实体目标物与图像采集器之间的第五距离z；
S133、基于第一距离l、第四距离L与第二距离Lo的比值以及第三距离Z与第五距离z 的比值，确定目标检测框的边长或直径。
本发明实施例一的可选方案为，上述S131中图像样本可以是预先存储在样本库中的历史图像，同时，样本库中还记录有与该历史图像对应的第一距离l，第二距离Lo和第三距离Z；图像样本也可以是在预先进行的试验过程中通过相机拍摄的图像，并通过测量得到与该图像对应的第一距离l，第二距离Lo和第三距离Z。
本发明实施例一的可选方案为，上述S133中，可以通过下式计算目标检测框的边长或直径E：
Figure BSA0000233178180000072
本发明实施例一的可选方案为，上述S13中，目标检测框的形状可以根据模型训练需求进行确定，即：
当目标检测框为方形框时，则以如图6所示的目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框的边长，生成目标检测框；
当目标检测框为圆形框时，则以如图6所示的目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框的直径，生成目标检测框。
一般地，如果目标检测框是方形框，其边长不小于一张或所有预先定义或实验过程中图像样本中目标物的最大长度(即为图像样本中目标物边界轮廓上位置最远的两点之间的第一距离l)，如果目标检测框是圆形框，其半径不小于图像中目标物最大长度的一半。
基于同一发明构思，本发明实施例一提供的目标检测框的生成系统(即目标检测倾斜框的生成系统)，该系统中各器件所解决问题的原理与前述方法相似，因此系统中各器件的功能、结构、参数可以参见前述方法的实施，重复之处不再赘述。下面对各个组成部分的功能进行分解说明：
图像采集器21，用于采集带有目标物的实时图像；
传感器22，用于在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
坐标变换器23，用于根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
标注器24，用于以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
优选地，标注器24可以包括如下部件：
标定模块241，用于对目标检测框边长或直径的标定；
标注模块242，用于以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
优选地，标注器中的标定模块241，具体用于：
采集带有目标物的一张图像样本，并获取图像样本中目标物边界轮廓上位置最远的两点之间的第一距离l，以及实体目标物边界轮廓上位置最远的两点之间的第二距离Lo和实体目标物与图像采集器之间的第三距离Z；
在采集带有目标物的实时图像时，测量实体目标物边界轮廓上位置最远的两点之间的第四距离L和实体目标物与图像采集器之间的第五距离z；
基于第一距离l、第四距离L与第二距离Lo的比值以及第三距离Z与第五距离z的比值，确定目标检测框的边长或直径。
优选地，通过下式计算所述目标检测框的边长或直径E：
Figure BSA0000233178180000081
优选地，标注器中的标注模块242，具体用于：
获取目标检测框的形状；
当目标检测框为方形框时，则以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框的边长，生成目标检测框；
当目标检测框为圆形框时，则以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框的直径，生成目标检测框。
其中，目标检测框的形状可以根据模型训练需求进行确定，或者根据实际工况需求进行预先设定。
目标物中心点的像素坐标位置如图6所示。
本发明提供的一种目标检测框的生成方法及系统，能够在无需人为干预的前提下真正实现了带有倾斜角度的目标检测框的自动化生成，可以简化数据标注流程，并为后续模型训练提供了强有力的支持；此外，无需配置复杂的激光雷达和毫米波雷达，简化了前期配置工作、节约成本。
实施例二
本发明实施例二还提供了一种图像数据自动标注方法，如图7所示，具体包括如下步骤：
S31、生成用于标注图像中目标物的目标检测框；
S32、获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据；
其中，采用实施例一中任一方法生成图像中的目标检测框。
基于同一发明构思，本发明实施例二还提出一种图像数据自动标注系统，具体包括如下部件：
生成装置41，用于执行如权利要求1-15任一所述的方法生成图像中目标物的目标检测框；
标注装置42，用于获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据；
其中，采用实施例一中任一方法生成图像中的目标检测框。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种目标检测框的生成方法，其特征在于，包括：
采集带有目标物的实时图像，以及在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
2.如权利要求1所述的方法，其特征在于，所述根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标，包括：
根据目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到图像采集器坐标系的坐标变换，获得在图像采集器坐标系下目标物中心点的坐标；
根据图像采集器的内部参数，通过图像采集器坐标系到图像坐标系的坐标变换，获得在图像坐标系下目标物中心点的坐标；
根据在图像坐标系下目标物中心点的坐标，通过图像坐标系到像素坐标系的坐标变换，获得在像素坐标系下目标物中心点的像素坐标。
3.如权利要求1所述的方法，其特征在于，所述目标检测框边长或直径的标定过程，包括：
采集带有目标物的一张图像样本，并获取图像样本中目标物边界轮廓上位置最远的两点之间的第一距离l，以及实体目标物边界轮廓上位置最远的两点之间的第二距离Lo和实体目标物与图像采集器之间的第三距离Z；
在采集带有目标物的实时图像时，测量实体目标物边界轮廓上位置最远的两点之间的第四距离L和实体目标物与图像采集器之间的第五距离z；
基于第一距离l、第四距离L与第二距离Lo的比值以及第三距离Z与第五距离z的比值，确定目标检测框的边长或直径。
4.如权利要求3所述的方法，其特征在于，所述基于第一距离l、第四距离L与第二距离Lo的比值以及第三距离Z与第五距离z的比值，确定目标检测框的边长或直径，包括：
通过下式计算目标检测框的边长或直径E：
Figure FSA0000233178170000021
5.如权利要求1、3或4所述的方法，其特征在于，当目标检测框为方形时，则以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长，生成目标检测框；
当目标检测框为圆形时，则以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框直径，生成目标检测框。
6.一种目标检测框的生成系统，其特征在于，包括：
图像采集器，用于采集带有目标物的实时图像；
传感器，用于在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息；
坐标变换器，用于根据在世界坐标系下目标物中心点的世界坐标、图像采集器的世界坐标和图像采集器的姿态信息，通过世界坐标系到像素坐标系的坐标变换，获得目标物中心点的像素坐标；
标注器，用于以目标物中心点的像素坐标作为目标检测框的中心点，结合标定的目标检测框边长或直径，生成目标检测框。
7.如权利要求6所述的系统，其特征在于，所述标注器中目标检测框边长或直径的标定过程，包括：
采集带有目标物的一张图像样本，并获取图像样本中目标物边界轮廓上位置最远的两点之间的第一距离l，以及实体目标物边界轮廓上位置最远的两点之间的第二距离Lo和实体目标物与图像采集器之间的第三距离Z；
在采集带有目标物的实时图像时，测量实体目标物边界轮廓上位置最远的两点之间的第四距离L和实体目标物与图像采集器之间的第五距离z；
基于第一距离l、第四距离L与第二距离Lo的比值以及第三距离Z与第五距离z的比值，确定目标检测框的边长或直径。
8.如权利要求7所述的系统，其特征在于，通过下式计算所述目标检测框的边长或直径E：
Figure FSA0000233178170000022
9.一种图像数据自动标注方法，其特征在于，包括：
采用权利要求1-5任一所述的方法，生成用于标注图像中目标物的目标检测框；
获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据。
10.一种图像数据自动标注系统，其特征在于，包括：
生成装置，用于执行如权利要求1-5任一所述的方法生成图像中目标物的目标检测框；
标注装置，用于获取图像中目标物的类别信息，并根据类别信息为目标检测框添加类别标签，以获得图像中目标物的最终标注数据。
CN202110167822.9A 2021-01-29 2021-01-29 目标检测框的生成方法、图像数据自动标注方法及系统 Active CN112818990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110167822.9A CN112818990B (zh) 2021-01-29 2021-01-29 目标检测框的生成方法、图像数据自动标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110167822.9A CN112818990B (zh) 2021-01-29 2021-01-29 目标检测框的生成方法、图像数据自动标注方法及系统

Publications (2)

Publication Number Publication Date
CN112818990A true CN112818990A (zh) 2021-05-18
CN112818990B CN112818990B (zh) 2023-08-22

Family

ID=75862179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110167822.9A Active CN112818990B (zh) 2021-01-29 2021-01-29 目标检测框的生成方法、图像数据自动标注方法及系统

Country Status (1)

Country Link
CN (1) CN112818990B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342914A (zh) * 2021-06-17 2021-09-03 重庆大学 一种用于地球仪区域检测的数据集获取及自动标注的方法
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法
CN115100423A (zh) * 2022-06-17 2022-09-23 四川省寰宇众恒科技有限公司 一种基于视图采集数据实现实时定位系统及方法
WO2022262332A1 (zh) * 2021-06-18 2022-12-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
WO2023087894A1 (zh) * 2021-11-18 2023-05-25 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074615A (ja) * 2012-10-03 2014-04-24 Stanley Electric Co Ltd 三次元情報生成装置および三次元情報生成方法
KR20180121259A (ko) * 2017-04-28 2018-11-07 (주)대우루컴즈 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법
CN111199560A (zh) * 2019-12-31 2020-05-26 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN111612760A (zh) * 2020-05-20 2020-09-01 北京百度网讯科技有限公司 用于检测障碍物的方法和装置
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN112232279A (zh) * 2020-11-04 2021-01-15 杭州海康威视数字技术股份有限公司 一种人员间距检测方法和装置
CN112270719A (zh) * 2020-12-21 2021-01-26 苏州挚途科技有限公司 相机标定方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074615A (ja) * 2012-10-03 2014-04-24 Stanley Electric Co Ltd 三次元情報生成装置および三次元情報生成方法
KR20180121259A (ko) * 2017-04-28 2018-11-07 (주)대우루컴즈 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법
CN111199560A (zh) * 2019-12-31 2020-05-26 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN111612760A (zh) * 2020-05-20 2020-09-01 北京百度网讯科技有限公司 用于检测障碍物的方法和装置
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN112232279A (zh) * 2020-11-04 2021-01-15 杭州海康威视数字技术股份有限公司 一种人员间距检测方法和装置
CN112270719A (zh) * 2020-12-21 2021-01-26 苏州挚途科技有限公司 相机标定方法、装置及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342914A (zh) * 2021-06-17 2021-09-03 重庆大学 一种用于地球仪区域检测的数据集获取及自动标注的方法
WO2022262332A1 (zh) * 2021-06-18 2022-12-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
WO2023087894A1 (zh) * 2021-11-18 2023-05-25 京东方科技集团股份有限公司 区域调整方法和装置、摄像头和存储介质
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法
CN115100423A (zh) * 2022-06-17 2022-09-23 四川省寰宇众恒科技有限公司 一种基于视图采集数据实现实时定位系统及方法
CN115100423B (zh) * 2022-06-17 2023-10-10 四川省寰宇众恒科技有限公司 一种基于视图采集数据实现实时定位系统及方法

Also Published As

Publication number Publication date
CN112818990B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112818990B (zh) 目标检测框的生成方法、图像数据自动标注方法及系统
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN107564069B (zh) 标定参数的确定方法、装置及计算机可读存储介质
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
EP1378790B1 (en) Method and device for correcting lens aberrations in a stereo camera system with zoom
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
US20230230312A1 (en) Digital twin modeling method and system for assembling a robotic teleoperation environment
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN110673107B (zh) 基于多线激光雷达的路沿检测方法及装置
CN106767913B (zh) 一种基于单led发光点和二维转台的复眼系统标定装置及标定方法
CN111076712B (zh) 一种空间三维模型的自动建立方法、系统及装置
CN102184563B (zh) 植物器官形态的三维扫描方法及扫描系统和装置
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN112037159A (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN109754428B (zh) 一种用于水下双目视觉定位误差的测量方法
CN111122621A (zh) 一种采用射线双壁透照技术检测工件缺陷位置的方法
CN111126161A (zh) 一种基于关键点回归的3d车辆检测方法
JPH06137840A (ja) 視覚センサの自動キャリブレーション装置
CN115690612A (zh) 一种无人机光电图像目标搜索量化指示方法、设备及介质
CN114485460B (zh) 一种基于激光雷达的地表三维形貌测量系统及方法
CN113327283A (zh) 图像数据目标检测矩形框自动标注方法及系统
WO2022209435A1 (ja) コンピュータプログラム、モデル生成方法、推定方法及び推定装置
CN115294313A (zh) 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置
CN116892944A (zh) 农机导航线生成方法及装置、导航方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant