CN111127551B - 一种目标检测的方法及装置 - Google Patents
一种目标检测的方法及装置 Download PDFInfo
- Publication number
- CN111127551B CN111127551B CN202010220718.7A CN202010220718A CN111127551B CN 111127551 B CN111127551 B CN 111127551B CN 202010220718 A CN202010220718 A CN 202010220718A CN 111127551 B CN111127551 B CN 111127551B
- Authority
- CN
- China
- Prior art keywords
- pose
- image data
- target object
- determining
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims description 49
- 238000003860 storage Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本说明书公开了一种目标检测的方法及装置,在该方法中在获取到图像数据后,可以针对图像数据中所包含的每个目标对象,确定该目标对象在该图像数据中的位置信息以及尺寸信息,将该目标对象在该图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,而后,根据该第一位姿以及该图像数据,确定针对该第一位姿的修正量,进而通过该修正量对该第一位姿进行修正,得到该目标对象对应的实际位姿。这样可以保证无人驾驶设备基于确定出的准确的目标对象的实际位姿进行安全行驶。
Description
技术领域
本申请涉及无人驾驶技术领域,尤其涉及一种目标检测的方法及装置。
背景技术
随着无人驾驶技术的不断发展,无人驾驶设备周围障碍物的检测变得愈加的重要。目前,在无人驾驶设备上所采用的障碍物检测技术主要分为两种,一种是通过激光雷达进行障碍物检测,另一种则是通过视觉图像分析来进行障碍物检测。
其中,基于激光雷达进行障碍物检测主要依赖于设置在无人驾驶设备上的激光雷达传感器,通过这种传感器可以准确的检测出无人驾驶设备周围的障碍物以及各障碍物的运动情况,但是,这种传感器的造价往往过高,则就增加了通过激光雷达进行障碍物检测的成本。
相比于激光雷达的方式,采用视觉图像分析来进行障碍物检测所消耗的成本较低,然而,通过视觉图像分析来检测无人驾驶设备周围的障碍物时,其检测的精度相比于通过激光雷达的方式也要低,尤其是在实际应用中,采用视觉图像分析的方式往往并不能准确的确定出无人驾驶设备周围障碍物的位姿,从而也将无法保证无人驾驶设备的安全行驶。
所以,如何能够通过视觉图像分析的方式更为准确的估计出无人驾驶设备周围障碍物的位姿,保证无人驾驶设备的安全行驶,则是一个亟待解决的问题。
发明内容
本申请实施例提供一种目标检测的方法及装置,用以部分解决现有技术中存在的上述问题。
本申请采用下述技术方案:
本申请提供了一种目标检测的方法,包括:
获取图像数据;
针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息;
将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,所述第一位姿估计模型是基于目标对象在二维图像数据中的位置信息以及尺寸信息进行位姿估计的;
根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量;
根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
可选地,针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息,具体包括:
将所述图像数据输入到预设的目标检测模型中,以确定该目标对象在所述图像数据中的位置信息以及尺寸信息。
可选地,根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量之前,所述方法还包括:
通过预设的图像数据转化方式将所述图像数据进行转化,得到所述图像数据对应的伪点云数据。
可选地,根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量,具体包括:
将所述伪点云数据输入到预设的第二位姿估计模型中,得到该目标对象对应的位姿信息作为第二位姿,所述第二位姿估计模型是基于三维的伪点云数据进行位姿估计的;
根据所述第二位姿,确定针对所述第一位姿的修正量。
可选地,根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量之前,所述方法还包括:
确定所述第一位姿估计模型针对所述第一位姿输出的置信度,作为第一置信度,以及确定所述第二位姿估计模型针对所述第二位姿输出的置信度,作为第二置信度。
可选地,根据所述第二位姿,确定针对所述第一位姿的修正量,具体包括:
根据所述第一位姿、所述第二位姿、所述第一置信度以及所述第二置信度,确定出针对所述第一位姿的修正量。
可选地,根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量,具体包括:
将所述伪点云数据、该目标对象在所述图像数据中的位置信息、尺寸信息以及所述第一位姿输入到预设的第三位姿估计模型中,以估计出针对所述第一位姿的修正量。
本申请提供了一种目标检测的装置,包括:
获取模块,用于获取图像数据;
确定模块,用于针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息;
位姿估计模块,用于将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,所述第一位姿估计模型是基于目标对象在二维图像数据中的位置信息以及尺寸信息进行位姿估计的;
修正量确定模块,用于根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量;
修正模块,用于根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
本申请提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述目标检测的方法。
本申请提供了一种无人驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述目标检测的方法。
本申请采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的位姿估计的方法中,在获取到图像数据后,可以针对图像数据中所包含的每个目标对象,确定该目标对象在该图像数据中的位置信息以及尺寸信息,将该目标对象在该图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,而后,根据该第一位姿以及该图像数据,确定针对该第一位姿的修正量,进而通过该修正量对该第一位姿进行修正,以检测到该目标对象对应的实际位姿。
从上述方法可以看出,在获取到图像数据后,可以通过该图像数据,确定出该图像数据中包含的目标对象所对应的第一位姿,并结合图像数据对该第一位姿进行修正,从而得到更为准确的该目标对象的实际位姿,这样可以保证无人驾驶设备基于确定出的准确的目标对象的实际位姿进行安全行驶。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1A、1B为本说明书提供的现有技术中无人驾驶设备通过伪点云数据进行位姿估计的示意图;
图2为本申请实施例中一种目标检测的方法的流程示意图;
图3为本申请提供的一种目标检测的装置示意图;
图4为本申请提供的对应于图2的无人驾驶设备示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在实际应用中,无人驾驶设备在行驶过程中可以进行图像采集,得到图像数据,而后,可以将该图像数据进行转化,得到伪点云数据。这里提到的伪点云数据并不是指通过激光雷达所采集到的实际点云数据,而是通过二维的图像数据进行转化得到的类似点云的数据。而通过该伪点云数据,无人驾驶设备可以从中确定出无人驾驶设备周围有哪些障碍物,并基于该伪点云数据,可以确定出这些障碍物的位姿,如图1A、1B所示。
图1A、1B为本说明书提供的现有技术中无人驾驶设备通过伪点云数据进行位姿估计的示意图。
图1A为无人驾驶设备在行驶过程中所采用的一帧图像数据,从该图像数据可以看出,无人驾驶设备的正前方有一辆汽车,而无人驾驶设备右侧的前方有一辆横向穿行的汽车。无人驾驶设备可以将采集到的该图像数据进行转化,得到该图像数据对应的伪点云数据,如图1B所示。
从图1B可以看出,无人驾驶设备通过转化该图像数据所得到的伪点云数据,清楚的标识出了图1A中存在的两个汽车,无人驾驶设备可以通过该伪点云数据,分别估计出这两个汽车的位姿,进而基于确定出的位姿来做出行驶决策。
而需要指出的是,在现有技术中,无人驾驶设备通过上述伪点云数据所估计出的障碍物的位姿与该障碍物的实际位姿往往存在较大的差异,例如,在图1B所示的伪点云数据中,实线框为无人驾驶设备标识出的前方汽车的位置,而虚线框表示的是前方汽车实际的位置。从该图1B中可以看出,对于无人驾驶设备正前方的汽车来说,无人驾驶设备通过伪点云数据所确定出的该正前方的汽车的位置与该正前方的汽车的实际位置相差不大,而对于右侧前方横向穿行的汽车来说,无人驾驶设备通过伪点云数据所确定出的该汽车的位置与该汽车的实际位置相差较大,所以,无人驾驶设备基于该伪点云数据所确定出的该汽车(右侧前方横向穿行的汽车)的位姿与实际的位姿将会出现较大的差异,这就导致无人驾驶设备基于伪点云数据所做出的行驶决策很可能存在较大的行驶风险。
为了能够保证无人驾驶设备通过图像数据能够准确的确定出各目标对象的位姿,进而做出正确的行驶决策,在本说明书中,在获取到图像数据后,可以通过该图像数据,确定出该图像数据中包含的目标对象所对应的第一位姿,并结合图像数据对该第一位姿进行修正,从而得到更为准确的该目标对象的实际位姿,这样可以保证无人驾驶设备基于确定出的准确的目标对象的实际位姿进行安全行驶。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图2为本申请实施例中一种目标检测的方法的流程示意图,具体包括以下步骤:
S201:获取图像数据。
无人驾驶设备在行驶的过程中,可以采集无人驾驶设备周围的图像数据。其中,无人驾驶设备上可以设置若干的图像采集器(如摄像头、相近等),无人驾驶设备可以通过这些图像采集器,进行图像采集,从而使得无人驾驶设备获取到采集到的图像数据。
在本说明书中,无人驾驶设备可以是指无人车、机器人、自动配送设备等能够实现自动驾驶的设备。基于此,本说明书提供的位姿估计的方法具体可应用于使用无人驾驶设备进行配送的领域,如,使用无人驾驶设备进行快递、物流、外卖等配送的业务场景。而为了保证无人驾驶设备能够在这些业务场景中安全的行驶,需要保证无人驾驶设备能够准确的估计出周围障碍物的位姿,从而做出正确的行驶决策。
在本说明书中,执行该位姿估计的方法的执行主体可以是指无人驾驶设备,即,无人驾驶设备通过设置的图像采集器,获取上述图像数据,进而在后续的过程中,通过采集到的图像数据来估计周围障碍物的位姿。当然,执行该位姿估计的方法的执行主体也可以是指服务器,即,无人驾驶设备将采集到的图像数据上传给服务器,服务器根据获取到图像数据确定出无人驾驶设备周围障碍物的位姿,并将确定出的位姿返回给无人驾驶设备,以使无人驾驶设备基于服务器返回的位姿做出行驶决策。而为了便于描述,下面将仅以无人驾驶设备是执行主体为例,对本说明书提供的位姿估计的方法进行说明。
S202:针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息。
在获取到上述图像数据后,无人驾驶设备可以将该图像数据输入到预设的目标检测网络中,以确定出该图像数据所包含的每个目标对象,以及确定出每个目标对象在该图像数据中的位置信息以及尺寸信息。
其中,这里提到的目标对象可以是指无人驾驶设备周围的机动车、行人等能够对无人驾驶设备的行进造成阻碍的物体。即,该图像数据中包含的目标对象可以理解无人驾驶设备周围的障碍物。
在本说明书中,该目标检测网络的作用在于检测图像数据中包含的目标对象,并且确定出每个目标对象的位置信息以及尺寸信息。这里提到的位置信息是指目标对象在该图像数据中的位置,具体可以通过目标对象在图像数据的像素位置来进行表示,而这里提到的尺寸信息可以是指目标对象在图像数据的尺寸,如在该图像数据中的长、宽等信息。
S203:将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿。
无人驾驶设备确定出每个目标对象在该图像数据的中的位置信息以及尺寸信息后,可以针对每个目标对象,将该目标对象在该图像数据中的位置信息以及尺寸信息输入到预先训练的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿。
其中,这里提到的第一位姿估计模型是基于目标对象在二维的图像数据中的位置信息以及尺寸信息进行位姿估计的。在本说明书中,该第一位姿估计模型可以通过有监督训练的方式进行训练。具体的,在对该第一位姿估计模型进行训练时,可以将获取到的目标对象的位置信息以及尺寸信息输入到该第一位姿估计模型中,得到相应的位姿数据,而后,可以最小化该位姿数据以及针对该目标对象标注出的真实位姿数据之间的差异为优化目标,对该第一位姿估计模型进行训练。
S204:根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量。
S205:根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
在确定出上述第一位姿后,无人驾驶设备可以基于获取到图像数据,来确定出针对该第一位姿的修正量。具体的,在确定该修正量之前,无人驾驶设备可以通过预设的图像数据转化方式,将该图像数据进行转化,得到该图像数据对应的伪点云数据。这里提到的伪点云数据即为上述提到的通过二维的图像数据进行转化得到的类似点云的数据。而通过预设的图像数据转化方式将该图像数据进行转化得到相应的伪点云数据,具体可以先通过该图像数据,得到相应的景深数据,而后,再通过采集该图像数据所使用的图像采集器的相关参数(如相机的焦距等),将该景深数据转化成伪点云数据。
在确定出该伪点云数据后,可以将该伪点云数据输入到预设的第二位姿估计模型中,得到该目标对象对应的位姿信息作为第二位姿,其中,这里提到的第二位姿估计模型即为现有技术中通过伪点云数据进行位姿估计所使用的位姿估计模型,也就是说,该第二位姿估计模型是基于三维的伪点云数据进行位姿估计的。
而后,无人驾驶设备可以通过该第二位姿,确定出针对该第一位姿的修正量。具体的,在本说明书中,无人驾驶设备将该目标对象在该图像数据中的位置信息以及尺寸信息输入到上述第一位姿估计模型中除了可以确定出上述第一位姿,还可以确定出该第一位姿估计模型针对该第一位姿所输出的置信度,作为第一置信度。这里提到的第一置信度主要用于衡量第一位姿估计模型输出的该第一位姿的可信程度。与此同时,无人驾驶设备将得到的该图像数据对应的伪点云数据输入到上述第二位姿估计模型中时,除了可以得到上述第二位姿外,还可以得到该第二位姿估计模型针对该第二位姿输出的置信度,作为第二置信度。
无人驾驶设备可以通过该第二位姿、该第一置信度以及该第二置信度,确定出针对该第一位姿的修正量,具体可以参考如下公式:
其中,为第一位姿,为对应第一位姿的第一置信度,为第二位姿,为第二
位姿对应的第二置信度,为修正后得到的实际位姿。
从上述公式中可以看出,无人驾驶设备通过该第二位姿、第一位姿、第一置信度以及第二置信度确定出的针对该第一位姿的修正量可以表示为:
其中,即为确定出的针对该第一位姿的修正量。
所以,上述用于确定该目标对象的实际位姿的公式可以转换成下面的公式:
所以,无人驾驶设备确定出第一位姿,以及针对第一位姿的修正量后,即可确定出该目标对象的实际位姿,进而基于该实际位姿,准确的进行行驶决策。
除了上述这种方式外,无人驾驶设备也可以通过另一种方式,来确定出针对该第一位姿的修正量。具体的,无人驾驶设备确定出上述图像数据对应的伪点云数据后,可以将该伪点云数据、该目标对象在该图像数据中的位置信息、尺寸信息以及该第一位姿输入到第三位姿估计模型中,以估计出针对该第一位姿的修正量。
其中,这里提到的第三位姿估计模型与上述提到的第二位姿估计模型是不同的,上述提到的第二位姿估计模型用于估计出上述第二位姿,而这里提到的第三位姿估计模型用于通过输入的伪点云数据、该目标对象在该图像数据中的位置信息、尺寸信息以及该第一位姿,确定出针对该第一位姿的修正量。所以,这里提到的第三位姿估计模型所采用的训练方式与上述提到的第二位姿估计模型的训练方式有所不同。
对于上述提到的第二位姿估计模型来说,可以通过将伪点云数据输入到的该第二位姿估计模型中得到位姿数据,并以最小化该位姿数据与标注出的该伪点云数据对应的实际位姿数据之间的差异为优化目标进行模型训练。
而对于这里提到的用于得到修正量的第三位姿估计模型来说,可以通过将确定出的训练样本(该训练样本中包含伪点云数据、目标对象在图像数据的位置信息、尺寸信息以及该目标对象对应的第一位姿)输入到该第三位姿估计模型中,得到相应的修正量,并以最小化该修正量与针对该训练样本所标注出的修正量之间的差异为优化目标进行模型训练。
通过第三位姿估计模型确定出针对该第一位姿的修正量后,可以通过该修正量以及该第一位姿,检测出该目标对象对应的实际位姿,进而无人驾驶设备可以通过确定出的该目标对象对应的实际位姿确定出行驶决策,并通过该行驶决策来保证该无人驾驶设备的正常行驶。
从上述方法可以看出,在获取到图像数据后,可以通过该图像数据,确定出该图像数据中包含的目标对象所对应的第一位姿,并结合图像数据对该第一位姿进行修正,从而得到更为准确的该目标对象的实际位姿,这样可以保证无人驾驶设备基于确定出的准确的目标对象的实际位姿进行安全行驶。
需要说明的是,在本说明书中,也可以将获取到的图像数据输入到上述第一位姿估计模型中,以直接得到该目标对象的第一位姿,该目标对象在该图像数据中的位置信息以及尺寸信息。换句话说,可以将上述提到的目标检测模型整合到第一位姿估计模型中,以使第一位姿估计模型不仅具备估计位姿的能力,同时也具备确定出图像数据所包含的每个目标对象在图像数据中的位置信息以及尺寸信息。
还需说明的是,在本说明书中,无人驾驶设备除了可以通过确定出的修正量,检测出目标对象的实际位姿外,还可以进一步地对该目标对象的一些其他信息进行修正以及检测。例如,对于上述提到的伪点云数据,无人驾驶设备可以基于检测出的该目标对象的实际位姿,对伪点云数据中该目标对象所涉及的伪点云数据进行调整,从而得到更为准确的伪点云数据,而更为准确的伪点云数据不仅可以使无人驾驶设备做出更为准确的行为决策,还可以作为一些识别模型或是路线规划模型的训练样本对其进行模型训练。
以上为本申请的一个或多个实施例提供的目标检测的方法,基于同样的思路,本申请还提供了相应的目标检测的装置,如图3所示。
图3为本申请提供的一种目标检测的装置示意图,具体包括:
获取模块301,用于获取图像数据;
确定模块302,用于针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息;
位姿估计模块303,用于将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,所述第一位姿估计模型是基于目标对象在二维图像数据中的位置信息以及尺寸信息进行位姿估计的;
修正量确定模块304,用于根据所述第一位姿以及所述图像数据,确定针对所述第一位姿的修正量;
修正模块305,用于根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
可选地,所述确定模块302具体用于,将所述图像数据输入到预设的目标检测模型中,以确定该目标对象在所述图像数据中的位置信息以及尺寸信息。
可选地,所述修正量确定模块304具体用于,通过预设的图像数据转化方式将所述图像数据进行转化,得到所述图像数据对应的伪点云数据。
可选地,所述修正量确定模块304具体用于,将所述伪点云数据输入到预设的第二位姿估计模型中,得到该目标对象对应的位姿信息作为第二位姿,所述第二位姿估计模型是基于三维的伪点云数据进行位姿估计的;根据所述第二位姿,确定针对所述第一位姿的修正量。
可选地,所述位姿估计模块303具体用于,确定所述第一位姿估计模型针对所述第一位姿输出的置信度,作为第一置信度,以及确定所述第二位姿估计模型针对所述第二位姿输出的置信度,作为第二置信度。
可选地,所述修正量确定模块304具体用于,根据所述第一位姿、所述第二位姿、所述第一置信度以及所述第二置信度,确定出针对所述第一位姿的修正量。
可选地,所述修正量确定模块304具体用于,将所述伪点云数据、该目标对象在所述图像数据中的位置信息、尺寸信息以及所述第一位姿输入到预设的第三位姿估计模型中,以估计出针对所述第一位姿的修正量。
本申请实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图2提供的目标检测的方法。
本申请实施例还提供了图4所示的无人驾驶设备的示意结构图。如图4所述,在硬件层面,该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图2所述的目标检测的方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种目标检测的方法,其特征在于,所述方法包括:
获取图像数据;
针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息;
将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,所述第一位姿估计模型是基于目标对象在二维图像数据中的位置信息以及尺寸信息进行位姿估计的;
通过预设的图像数据转化方式将所述图像数据进行转化,得到所述图像数据对应的伪点云数据;
根据所述第一位姿以及所述伪点云数据,确定针对所述第一位姿的修正量;
根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
2.如权利要求1所述的方法,其特征在于,针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息,具体包括:
将所述图像数据输入到预设的目标检测模型中,以确定该目标对象在所述图像数据中的位置信息以及尺寸信息。
3.如权利要求1所述的方法,其特征在于,根据所述第一位姿以及所述伪点云数据,确定针对所述第一位姿的修正量,具体包括:
将所述伪点云数据输入到预设的第二位姿估计模型中,得到该目标对象对应的位姿信息作为第二位姿,所述第二位姿估计模型是基于三维的伪点云数据进行位姿估计的;
根据所述第二位姿,确定针对所述第一位姿的修正量。
4.如权利要求3所述的方法,其特征在于,根据所述第一位姿以及所述伪点云数据,确定针对所述第一位姿的修正量之前,所述方法还包括:
确定所述第一位姿估计模型针对所述第一位姿输出的置信度,作为第一置信度,以及确定所述第二位姿估计模型针对所述第二位姿输出的置信度,作为第二置信度。
5.如权利要求4所述的方法,其特征在于,根据所述第二位姿,确定针对所述第一位姿的修正量,具体包括:
根据所述第一位姿、所述第二位姿、所述第一置信度以及所述第二置信度,确定出针对所述第一位姿的修正量。
6.如权利要求1所述的方法,其特征在于,根据所述第一位姿以及所述伪点云数据,确定针对所述第一位姿的修正量,具体包括:
将所述伪点云数据、该目标对象在所述图像数据中的位置信息、尺寸信息以及所述第一位姿输入到预设的第三位姿估计模型中,以估计出针对所述第一位姿的修正量。
7.一种目标检测的装置,其特征在于,所述装置包括:
获取模块,用于获取图像数据;
确定模块,用于针对所述图像数据中所包含的每个目标对象,确定该目标对象在所述图像数据中的位置信息以及尺寸信息;
位姿估计模块,用于将该目标对象在所述图像数据中的位置信息以及尺寸信息输入到预设的第一位姿估计模型中,以估计出该目标对象的位姿信息,作为第一位姿,所述第一位姿估计模型是基于目标对象在二维图像数据中的位置信息以及尺寸信息进行位姿估计的;
修正量确定模块,用于预设的图像数据转化方式将所述图像数据进行转化,得到所述图像数据对应的伪点云数据,根据所述第一位姿以及所述伪点云数据,确定针对所述第一位姿的修正量;
修正模块,用于根据所述修正量,对所述第一位姿进行修正,以检测到该目标对象对应的实际位姿。
8.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-6任一所述的方法。
9.一种无人驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010220718.7A CN111127551B (zh) | 2020-03-26 | 2020-03-26 | 一种目标检测的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010220718.7A CN111127551B (zh) | 2020-03-26 | 2020-03-26 | 一种目标检测的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111127551A CN111127551A (zh) | 2020-05-08 |
CN111127551B true CN111127551B (zh) | 2024-08-20 |
Family
ID=70493825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010220718.7A Active CN111127551B (zh) | 2020-03-26 | 2020-03-26 | 一种目标检测的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127551B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396657A (zh) * | 2020-11-25 | 2021-02-23 | 河北工程大学 | 一种基于神经网络的深度位姿估计方法、装置及终端设备 |
CN114758334A (zh) * | 2020-12-29 | 2022-07-15 | 华为技术有限公司 | 一种对象注册方法及装置 |
CN112902987B (zh) * | 2021-02-02 | 2022-07-15 | 北京三快在线科技有限公司 | 一种位姿修正的方法及装置 |
CN113205552A (zh) * | 2021-04-28 | 2021-08-03 | 北京亮道智能汽车技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921893A (zh) * | 2018-04-24 | 2018-11-30 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
CN109300143A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 运动向量场的确定方法、装置、设备、存储介质和车辆 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108871314B (zh) * | 2018-07-18 | 2021-08-17 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
CN109596078A (zh) * | 2019-01-28 | 2019-04-09 | 吉林大学 | 多信息融合路面谱实时测试系统和测试方法 |
CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及系统 |
CN110426051B (zh) * | 2019-08-05 | 2021-05-18 | 武汉中海庭数据技术有限公司 | 一种车道线绘制方法、装置及存储介质 |
-
2020
- 2020-03-26 CN CN202010220718.7A patent/CN111127551B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921893A (zh) * | 2018-04-24 | 2018-11-30 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
CN109300143A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 运动向量场的确定方法、装置、设备、存储介质和车辆 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111127551A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111127551B (zh) | 一种目标检测的方法及装置 | |
CN112036462B (zh) | 一种模型训练以及目标检测的方法及装置 | |
CN111508258B (zh) | 一种定位方法及装置 | |
CN110262486B (zh) | 一种无人驾驶设备运动控制方法及装置 | |
CN111238450B (zh) | 视觉定位方法及装置 | |
CN112001456B (zh) | 一种车辆定位方法、装置、存储介质及电子设备 | |
CN111077555A (zh) | 一种定位方法及装置 | |
CN111797906B (zh) | 基于视觉和惯性里程定位的方法及装置 | |
CN110942181A (zh) | 一种障碍物轨迹预测的方法及装置 | |
CN112327864A (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
CN111797711A (zh) | 一种模型训练的方法及装置 | |
CN115600157B (zh) | 一种数据处理的方法、装置、存储介质及电子设备 | |
CN111126362A (zh) | 一种预测障碍物轨迹的方法及装置 | |
CN111192303B (zh) | 一种点云数据处理方法及装置 | |
CN116309823A (zh) | 一种位姿的确定方法、装置、设备及存储介质 | |
CN112883871B (zh) | 一种模型训练以及确定无人车运动策略方法及装置 | |
CN111426299B (zh) | 一种基于目标物的景深进行测距的方法及装置 | |
CN114494381A (zh) | 模型训练及深度估计方法、装置、存储介质及电子设备 | |
CN112990099B (zh) | 一种车道线检测的方法以及装置 | |
CN112818968A (zh) | 一种目标物分类方法及装置 | |
CN111798489B (zh) | 一种特征点跟踪方法、设备、介质及无人设备 | |
CN112734851B (zh) | 一种位姿确定的方法以及装置 | |
CN116300842A (zh) | 一种无人设备控制方法、装置、存储介质及电子设备 | |
CN112712561A (zh) | 一种建图方法、装置、存储介质及电子设备 | |
CN112393723B (zh) | 一种定位方法、设备、介质及无人设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |