CN113011212A - 图像识别方法、装置及车辆 - Google Patents
图像识别方法、装置及车辆 Download PDFInfo
- Publication number
- CN113011212A CN113011212A CN201911316269.XA CN201911316269A CN113011212A CN 113011212 A CN113011212 A CN 113011212A CN 201911316269 A CN201911316269 A CN 201911316269A CN 113011212 A CN113011212 A CN 113011212A
- Authority
- CN
- China
- Prior art keywords
- image
- preset
- determining
- acquisition device
- environment image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 15
- 238000009434 installation Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 23
- 230000036544 posture Effects 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
本公开提供的图像识别方法、装置及车辆,包括:通过图像采集装置采集真实环境图像,并确定图像采集装置的位置、姿态;根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像;根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像;对目标影像进行识别,确定实际道路元素。本公开提供的图像识别方法、装置及车辆,结合高精地图预先对采集的真实环境图像进行处理,从而在其中确定出目标影像,再对目标影像进行识别,能够有效的降低图像识别过程的数据处理量,进而降低对处理装置算力的要求。
Description
技术领域
本公开涉及图像识别技术,尤其涉及一种图像识别方法、装置及车辆。
背景技术
目前,随着图像识别技术的成熟,越来越多车辆上设置有图像采集装置,并在车辆中设置车载电脑等处理装置,对采集的图像进行处理。
其中,可以通过预设的识别算法对采集的图像进行识别,从而使车辆能够通过图像识别的方式感知周围的环境。但是,若直接对采集的图像进行识别,对处理装置的算里要求较高。
因此,现有技术中对采集的图像进行像素缩减,再对缩减后的图像进行识别,然而,发明人发现,这种方式会损失图像信息,造成识别精度降低。
发明内容
本公开提供一种图像识别方法、装置及车辆,以解决现有技术中无法有效平衡设备算力与识别精度的问题。
本公开的第一个方面是提供一种图像识别方法,包括:
通过图像采集装置采集真实环境图像,并确定所述图像采集装置的位置、姿态;
根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
对所述目标影像进行识别,确定实际道路元素。
本公开的另一个方面是提供一种图像识别装置,包括:
采集模块,用于通过图像采集装置采集真实环境图像;
位姿确定模块,用于确定所述图像采集装置的位置、姿态;
投影模块,用于根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
目标影像确定模块,用于根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
识别模块,用于对所述目标影像进行识别,确定实际道路元素。
本公开的又一个方面是提供一种车辆,包括:
图像采集装置、定位装置、惯性测量组件、图像识别装置;
所述图像采集装置用于采集真实环境图像;
所述图像识别装置通过定位装置、惯性测量组件确定述图像采集装置的位置、姿态;
所述图像识别装置还用于:
根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
对所述目标影像进行识别,确定实际道路元素。
本公开提供的图像识别方法、装置及车辆的技术效果是:
本公开提供的图像识别方法、装置及车辆,包括:通过图像采集装置采集真实环境图像,并确定图像采集装置的位置、姿态;根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像;根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像;对目标影像进行识别,确定实际道路元素。本公开提供的图像识别方法、装置及车辆,结合高精地图预先对采集的真实环境图像进行处理,从而在其中确定出目标影像,再对目标影像进行识别,能够有效的降低图像识别过程的数据处理量,进而降低对处理装置算力的要求。
附图说明
图1为本发明一示例性实施例示出的应用场景示意图;
图2为本发明一示例性实施例示出的图像识别方法的流程图;
图3为本发明一示例性实施例示出的投影出预设环境图像的示意图;
图4为本发明一示例性实施例示出的预设环境图像与真实环境图像的示意图;
图5为本发明另一示例性实施例示出的图像识别方法的流程图;
图6为本发明又一示例性实施例示出的图像识别方法的流程图;
图7为本发明再一示例性实施例示出的图像识别方法的流程图;
图8为本发明一示例性实施例示出的图像识别装置的结构图;
图9为本发明另一示例性实施例示出的图像识别装置的结构图。
具体实施方式
图1为本发明一示例性实施例示出的应用场景示意图。
目前,在很多车辆上都安装有图像采集装置11,例如安装摄像头,尤其是具备辅助驾驶功能的车辆。
同时,在车辆中还设置有处理装置12。图像采集装置11可以将采集的图像发送到处理装置12中,由处理装置12对图像进行识别,从而感知车辆周围环境。
如图1所示,图像采集装置11与处理装置12可以分开设置。二者还可以一体设置,本申请的方案中不对此进行限制。
由于车辆行驶过程中采集的图像数量较多,且图像中包括的像素点也较多,这就需要在车辆中设置算力较高的处理装置12,才能够满足图像识别要求。设置有算力较高的处理装置12的车辆,会大大提高车辆生成成本。
为了解决这一问题,现有技术中存在一种方案,将图像采集装置11采集的图像进行像素缩减处理,使图像中包含数量较少的像素,从而降低处理装置在识别图像时的数据处理量,但是,这种方式会损失图像信息,进而影响识别的精准度。
本申请的方案中,结合高精地图在采集的图像中确定目标影像,例如可以通过裁切的方式在采集的图像中裁切出目标影像,再对目标影像进行识别,能够在不损失图像信息的情况下,降低图像识别过程的数据处理量。
图2为本发明一示例性实施例示出的图像识别方法的流程图。
如图2所示,本实施例提供的图像识别方法包括:
步骤201,通过图像采集装置采集真实环境图像,并确定图像采集装置的位置、姿态。
在一种可选的实施方式中,本实施例提供的方法可以由图像识别设备来执行,该图像识别设备例如可以包括如图1所示出的图像采集装置、处理装置。
其中,图像识别设备可以设置在车辆上,该车辆可以是普通车辆,也可以是具备辅助或自动驾驶功能的车辆。
具体的,图像采集装置可以设置在车辆的外部,可以根据需求设置图像采集装置的数量,例如可以设置3个图像采集装置。针对每个图像采集装置采集的图像,都可以执行本实施例提供的方法。
进一步的,图像采集装置能够拍摄车辆外部的真实环境图像。例如,若图像采集装置朝向车辆前方,则可以拍摄车辆前方的真实环境图像。
实际应用时,还可以确定图像采集装置的位置、姿态。图像采集装置是设置在车辆上的,因此,可以通过设置在车辆上的定位装置来确定第一位置,再根据图像采集装置、定位装置之间的相对位置,确定出图像采集装置的位置。例如,定位装置获取的第一位置是(x、y、z),图像采集装置相对于定位装置的位置偏差为(Δx,Δy,Δz),则图像采集装置的位置是(x+Δx,y+Δy,z+Δz)。
其中,图像采集装置在拍摄图像时,若姿态不同,则拍摄的图像也会不同。因此,还可以确定图像采集装置的姿态,具体可以包括其俯仰角,偏航角,翻滚角。可以结合车辆上设置的惯性测量组件输出的数据,以及图像采集装置的内参、外参等确定图像采集装置的姿态。
具体的,可以在图像采集装置采集真实环境图像的同时,确定图像采集装置的位置、姿态。即捕获图像采集装置在拍摄真实环境图像时的位姿。
步骤202,根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像。
进一步的,在图像识别设备中可以预先设置高精地图,例如可以在处理装置中设置该地图。
实际应用时,预设高精地图中记录的是与真实世界景物一致的三维空间。在该三维空间中有与现实世界相同的道路、路标、大厦、树木等物体。因此,若在预设高精地图中确定出图像采集装置所在的位置,以及图像采集装置拍摄图像的角度,就能够基于高精地图中的数据投影出图像采集装置拍摄的预设环境图像。
图3为本发明一示例性实施例示出的投影出预设环境图像的示意图。
如图3所示,假设确定了图像采集装置31在预设高精地图中的位置和朝向,则可以根据图像采集装置能够拍摄的区域范围内,根据预设高精地图中已有的景物,投影出预设环境图像。
其中,高精地图中为3D画面,可以在高精地图中确定一个位置以及方向,以该位置、方向的视角对高精地图中的3D画面进行投影,得到2D的预设环境图像,具体可以采用3D到2D的投影算法投影出预设环境图像。
具体的,可以通过车辆的定位装置来确定定位信息,再结合图像采集装置在车辆上的安装位置,确定图像采集装置在世界坐标系的坐标,进而可以根据该坐标在预设高精地图中确定相应位置。
进一步的,由于预设高精地图是根据世界空间中实际景物制作的,因此,若世界空间中的景物不发生变化,那么从相同位置、相同角度得到的实际环境图像,与预设环境图像中图像内容应当相同。
步骤203,根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像。
实际应用时,对车辆采集的图像进行识别时,主要目的是识别其中的一些道路元素,从而确定车辆的外部环境,例如可以进行定位、制作高精地图。同时,若实际环境未发生变化,则实际环境图像与预设环境图像中图像内容应当相同,因此,可以根据预设环境图像确定真实环境图像中道路元素所在的位置,并基于这一位置在真实环境图像中确定目标影像。
其中,道路元素例如可以是道路标牌、高架桥上设置的标牌等。可以根据预设高精地图中的数据,在预设环境图像中确定道路元素所在位置及范围,并在真实环境图像的相应位置确定目标影像。
具体的,可以根据在预设环境图像中确定的道路元素所在范围,在真实环境图像中裁切出目标影像,即目标影像是真实环境图像的部分图像。
图4为本发明一示例性实施例示出的预设环境图像与真实环境图像的示意图。
如图4所示,左侧为预设环境图像,可以在其中确定包括道路元素的区域范围,例如可以是41。则可以基于41在预设环境图像中的相对位置,在真实环境图像中确定对应的目标影像42。41在预设环境图像中的相对位置,与42在真实环境图像中的相对位置相同。
步骤204,对目标影像进行识别,确定实际道路元素。
进一步的,在进行图像识别过程中,仅需要对目标影像进行识别,确定目标影像中包括的实际道路元素,再基于实际道路元素执行后续步骤,例如车辆定位,再例如采集地图数据等。
实际应用时,对目标影像进行识别,相对于对整个实际环境图像进行识别,所产生的计算量要小很多,因此,本实施例提供的方法能够有效的降低图像识别过程的计算量。并且,识别的影像部分像素没有减少,不会影响识别的精准度。从而在不降低识别精准度的情况下,大幅降低识别过程的计算量。
其中,在真实环境图像中确定的目标影像可以是一个,也可以是多个,还可以没有目标影像。例如,车辆当前所处环境没有需要识别的道路元素,则可以不输出目标影像。
本实施例提供的方法用于识别图像,该方法由设置有本实施例提供的方法的设备执行,该设备通常以硬件和/或软件的方式来实现。
本实施例提供的图像识别方法,包括:通过图像采集装置采集真实环境图像,并确定图像采集装置的位置、姿态;根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像;根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像;对目标影像进行识别,确定实际道路元素。本实施例提供的图像识别方法,结合高精地图预先对采集的真实环境图像进行处理,从而在其中确定出目标影像,再对目标影像进行识别,能够有效的降低图像识别过程的数据处理量,进而降低对处理装置算力的要求。
图5为本发明另一示例性实施例示出的图像识别方法的流程图。
如图5所示,本实施例提供的图像识别方法,包括:
步骤501,通过图像采集装置采集真实环境图像。
步骤501与步骤201中采集真实环境图像的具体原理和实现方式类似,此处不再赘述。
步骤502,通过定位装置获取当前位置,并根据当前位置、定位装置的安装位置、图像采集装置的安装位置确定图像采集装置的位置;通过惯性测量组件确定图像采集装置的姿态。
其中,在车辆上可以设置定位装置,例如GNSS(Global Navigation SatelliteSystem,全球导航卫星系统)接收机。可以通过设置的定位装置获取车辆当前位置。例如,可以获取位置坐标。
具体的,此时获取的当前位置实质是定位装置在世界坐标系的位置,还可以根据定位装置的安装位置、图像采集装置的安装位置,确定图像采集装置的位置。
进一步的,可以根据定位装置的安装位置、图像采集装置的安装位置确定一偏差位置,再在当前位置、偏差位置的基础上,确定图像采集装置的位置。图像采集装置的位置实质图像采集装置在世界坐标系中的位置。
实际应用时,车辆中还可以设置惯性测量组件,通过该组件能够确定车辆的姿态,例如车辆的俯仰角、偏航角等。由于图像采集装置是安装在车辆上的,因此,车辆姿态会影响图像采集装置的姿态。可以结合车辆姿态来确定图像采集装置的姿态。
其中,图像采集装置的姿态具体可以包括俯仰角,偏航角,翻滚角等。
步骤503,根据图像采集装置的位置及姿态在预设高精地图中确定拍摄位置、拍摄视角。
其中,可以根据确定的图像采集装置的位置在预设高精地图中确定对应的拍摄位置。
具体的,预设高精地图中包括与现实世界一致的坐标系,因此,可以根据图像采集装置在现实世界中的位置,确定其在预设高精地图中的拍摄位置。例如,图像采集装置的位置是(x,y,z),则在预设高精地图中的拍摄位置也是(x,y,z)。
进一步的,图像采集装置的姿态限制了图像采集装置的拍摄视角,因此,可以根据图像采集装置的姿态确定其拍摄视角,该视角可以包括在x、y、z三个坐标轴的方向。
步骤504,将拍摄位置、拍摄视角对应的预设高精地图投影为预设环境图像。
实际应用时,当图像采集装置在预设高精地图中的位置、拍摄视角被限定后,其拍摄出的预设环境图像即为固定的。高精地图中为3D画面,可以在高精地图中确定一个位置以及方向,以该位置、方向的视角对高精地图中的3D画面进行投影,得到2D的预设环境图像,具体可以采用3D到2D的投影算法投影出预设环境图像。预设环境图像。
其中,3D到2D的投影算法可以是利用透视原理得到的算法,基于该算法,能够将3D空间的坐标转换到2D平面中,进而得到预设环境图像。
具体的,可以先根据拍摄位置、拍摄视角确定能够拍摄到的3D画面,在对其进行投影,得到2D画面。
步骤505,在预设环境图像中确定道路元素所在的区域范围。
进一步的,预设环境图像是基于预设高精地图投影得到的,而预设高精地图中包括道路元素,因此,可以在投影得到的预设环境图像中确定对应的道路元素所在区域范围。例如,在预设高精地图中存在一道路标牌,且该道路标牌属于图像采集装置的拍摄范围,则进行投影时可以将该标牌投影到预设环境图像中。
实际应用时,可以根据预设高精地图中道路元素的位置信息,以及预设高精地图与预设环境图像的对应关系,确定道路元素在预设环境图像中的区域范围。
其中,若图像采集装置能够拍摄到多个道路元素,则在预设环境图像中可以确定出多个对应的区域范围。
还可以根据以下任一种装置的置信度,在预设环境图像中确定道路元素所在的区域范围:
定位装置的置信度、惯性测量组件的置信度。
可以获取上述装置的置信度,若置信度较高,则可以确定较小的区域范围,例如,恰好框选道路元素所在位置的范围。若置信度较低,则可以确定较大的区域范围,例如,除确定的道路元素所在范围外,还框选该范围外的一部分区域作为最终的区域范围。
实际应用时,由于装置置信度不同,会导致采集的实际环境图像与预设环境图像之间存在偏差,因此,可以结合置信度确定道路元素所在区域范围,避免由于实际环境图像与预设环境图像之间存在偏差,导致无法得到包括完整道路元素的目标影像。
步骤506,根据预设环境图像中的区域范围,在真实环境图像中确定对应的目标影像,并从真实环境图像中裁切得到目标影像。
具体的,可以确定区域范围再预设环境图像中的相对位置,例如在左上角、中间区域、右下角等,并可以根据该相对位置,在真实环境图像中确定对应的目标影像。
进一步的,预设环境图像是根据图像采集装置在真实世界中的位置、姿态投影得到的,因此,预设环境图像与真实环境图像应当是拍摄同一区域范围得到的图像。二者中包括的道路元素位置也应当相同。
在真实环境图像中确定出目标影像后,还可以对真实环境图像进行裁切得到该目标影像,从而能够仅对目标影像进行处理。
步骤507,将目标影像输入预设神经网络模型,通过预设神经网络模型确定目标影像对应的实际道路元素。
实际应用时,还可以预先设置神经网络模型,该神经网络模型可以是通过训练得到的。
其中,可以将确定的目标影像输入预设神经网络模型,预设神经网络可以对其进行处理,并输出其中包括的实际道路元素。例如可以是XX路的路牌。
具体的,可以利用识别得到的实际道路元素进行不同的应用。
图6为本发明又一示例性实施例示出的图像识别方法的流程图。
如图6所示,本实施例提供的图像识别方法包括:
步骤601,通过图像采集装置采集真实环境图像,并确定图像采集装置的位置、姿态。
步骤602,根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像。
步骤603,根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像。
步骤604,对目标影像进行识别,确定实际道路元素。
步骤601-604的实现方式和原理与图2所实施例类似,不再赘述。
在步骤604之后,可以包括:
步骤605,将实际道路元素与预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息。
在一种实施方式中,可以根据实际道路元素来确定道路元素是否有变更,例如道路元素消失、新增道路元素、道路元素改变等等。
具体的,在预设环境图像中确定道路元素所在区域范围时,还可以确定该预设道路元素的信息,例如是道路标牌、限速标牌等,还可以具体到标牌内容。
进一步的,可以比对预设道路元素的信息与对应的实际道路元素信息,例如在预设环境图像的位置A处有一预设道路元素,则可以在实际环境图像的位置A处识别出对应的实际道路元素,可以比对二者。
实际应用时,若比对结果不一致,例如道路元素信息不一致,或在实际环境图像中没有识别到相应的道路元素,则可以向服务器反馈比对不一致的信息。
具体反馈的信息中可以包括以下任一种数据:
实际道路元素、目标影像、预设道路元素。
其中,服务器可以结合多个图像识别设备上报的信息,确定实际环境中是否确实发生了道路元素变更,并根据确定结果更新高精地图。
在步骤604之后,还可以包括:
步骤606,根据实际道路元素、预设高精地图确定图像采集装置的精确定位信息。
在另一种实施方式中,还可以根据实际道路元素反推定位信息。
具体的,图像识别设备确定出实际道路元素后,还可以根据图像采集装置的拍摄参数等数据,确定车辆与实际道路元素的距离。再根据预设高精地图中设置的该道路元素位置,确定采集装置的位置信息。
图7为本发明再一示例性实施例示出的图像识别方法的流程图。
步骤701,通过图像采集装置采集真实环境图像。
步骤702,根据车辆行驶信息在真实环境图像中确定侦测图像、定位图像。
在本实施例提供的方法中,还可以对真实环境图像进行分类,一部分真实环境图像被作为侦测图像,另一部分真实环境图像被作为定位图像。
其中,侦测图像可以用于侦测真实环境中的道路元素是否发生改变,还可以用于对车辆进行定位,定位图像可以用于对车辆实现定位。
具体的,可以根据车辆行驶信息对真实环境进行划分,车辆行驶信息包括以下任一种信息:
车辆速度、车辆航向角。
例如,车速较快时,可以在真实环境图像中划分多一些侦测图像,车速较慢时,在真实环境图像中划分少一些侦测图像。相似的,当车辆航向角较大时,例如车辆拐弯时,可以划分多一些侦测图像,车辆航向角较小时,在真实环境图像中划分少一些侦测图像。
由于车速快,或车辆导航角较大时,车辆的周围环境变化的也较快,因此,可以确定多一些的侦测图像,用于对真实环境进行侦测。具体可以每n帧图像确定一幅侦测图像,而n的数值则可以根据车辆速度、车辆航向角来确定。
若确定一幅真实环境图像是定位图像,则可以执行步骤703。若确定一幅真实环境图像是侦测图像,则可以执行步骤708A或步骤708B。
步骤703,确定图像采集装置的位置、姿态。
步骤704,根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像。
步骤705,根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像。
步骤706,对目标影像进行识别,确定实际道路元素。
步骤707,根据实际道路元素、预设高精地图确定精确定位信息。
步骤707与步骤606相似,不再赘述。
步骤708A,对侦测图像进行识别,确定实际道路元素,并将实际道路元素与预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息,和/或根据实际道路元素、所述预设高精地图确定精确定位信息。
其中,可以直接将侦测图像输入预设神经网络,并通过神经网络识别侦测图像中的实际道路元素。
具体的,还可以对侦测图像进行缩小处理,再将缩小后的图像输入预设神经网络,从而能够降低识别侦测图像过程的计算量。
此后具体的比对方式、发送方式与步骤605类似,确定精确定位信息的方式与步骤606类似,不再赘述。
步骤708B,根据与其相邻的定位图像中的实际道路元素,确定除去实际道路元素所在范围的待识别图像,并对待识别图像进行识别,确定其他实际道路元素,并将其他实际道路元素与预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息。
具体的,本实施例提供的方法中,还可以获取与该侦测图像相邻的定位图像中实际道路元素所在的范围。例如,当前的侦测图像是第30帧图像,此前确定的定位图像是第25帧图像,则可以再获取第25帧图像中,实际道路元素所在范围,并在当前的侦测图像中,去除该实际道路元素所在范围,得到待识别图像。
进一步的,可以根据与其相邻的定位图像中的实际道路元素在预设高精地图中的位置,确定其在当前侦测图像中的范围。具体的实现方式可以是根据车辆当前位置、预设高精地图进行投影的方式来确定,与在预设环境图像中确定道路元素类似,不再赘述。
实际应用时,可以将待识别图像输入到预设神经网络中进行识别,并输出其他实际道路元素,再与预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息。此处的实现方式与上述实施例类似,不再赘述。
下面将详细解释定位帧侦测帧功能,便于对对方案的理解:
定位帧作用:定位。通过裁切的方式,可以使得被识别的图像数据量变小,进而可以节约算力,可用于自动驾驶实时定位。
侦测帧作用:定位以及侦测新物体,可以用传统缩小方法,可节约算力但牺牲识别精度,可用于高精地图更新,也可以用于自动驾驶实时定位。
图8为本发明一示例性实施例示出的图像识别装置的结构图。
如图8所示,本实施例提供的图像识别装置,包括:
采集模块81,用于通过图像采集装置采集真实环境图像;
位姿确定模块82,用于确定所述图像采集装置的位置、姿态;
投影模块83,用于根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
目标影像确定模块84,用于根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
识别模块85,用于对所述目标影像进行识别,确定实际道路元素。
其中,图像采集装置例如可以是设置在车辆上的摄像头、单目相机、双目相机等。
本实施例提供的图像识别装置,包括采集模块,用于通过图像采集装置采集真实环境图像;位姿确定模块,用于确定图像采集装置的位置、姿态;投影模块,用于根据图像采集装置的位置、姿态及预设高精地图投影出预设环境图像;目标影像确定模块,用于根据预设环境图像在真实环境图像中确定出目标影像;其中,目标影像是真实环境图像的部分图像;识别模块,用于对目标影像进行识别,确定实际道路元素。本实施例提供的图像识别装置,结合高精地图预先对采集的真实环境图像进行处理,从而在其中确定出目标影像,再对目标影像进行识别,能够有效的降低图像识别过程的数据处理量,进而降低对处理装置算力的要求。
本实施例提供的图像识别装置的具体原理和实现方式均与图2所示的实施例类似,此处不再赘述。
图9为本发明另一示例性实施例示出的图像识别装置的结构图。
如图9所示,在上述实施例的基础上,本实施例提供的图像识别装置,可选的,所述位姿确定模块82,包括:
位置确定单元821,用于通过定位装置获取当前位置,并根据所述当前位置、所述定位装置的安装位置、所述图像采集装置的安装位置确定所述图像采集装置的位置;
其中,定位装置例如可以包括GNSS(Global Navigation Satellite System,全球导航卫星系统)接收机、GPS(Global Positioning System,全球定位系统)等。
姿态确定单元822,用于通过惯性测量组件确定所述图像采集装置的姿态。
惯性测量组件例如可以是集成有3轴加速度、3轴陀螺仪、3轴磁力计的复合检测的传感器。
可选的,所述投影模块83,包括:
确定单元831,用于根据所述图像采集装置的所述位置及姿态在所述预设高精地图中确定拍摄位置、拍摄视角;
投影单元832,将所述拍摄位置、拍摄视角对应的预设高精地图投影为所述预设环境图像。
可选的,所述目标影像确定模块84,包括:
范围确定单元841,用于在预设环境图像中确定道路元素所在的区域范围;
影像确定单元842,用于根据所述预设环境图像中的所述区域范围,在所述真实环境图像中确定对应的目标影像,并从所述真实环境图像中裁切得到所述目标影像。
可选的,所述范围确定单元841具体用于:
根据以下任一种装置的置信度,在预设环境图像中确定道路元素所在的区域范围:
所述定位装置的置信度、所述惯性测量组件的置信度。
可选的,所述识别模块85具体用于:
将所述目标影像输入预设神经网络模型,通过所述预设神经网络模型确定所述目标影像对应的实际道路元素。
可选的,所述装置还包括第一决策模块86,用于:
将所述实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息;
其中,所述信息中包括以下任一种数据:
所述实际道路元素、所述目标影像、所述预设道路元素。
可选的,所述装置还包括第二决策模块87,用于:
根据所述实际道路元素、所述预设高精地图确定所述图像采集装置的精确定位信息。
可选的,所述采集模块81在通过图像采集装置采集真实环境图像之后,还用于:
根据车辆行驶信息在所述真实环境图像中确定侦测图像、定位图像;
所述装置还包括第三决策模块88;
若所述真实环境图像是所述定位图像,则所述位姿确定模块82执行所述确定所述图像采集装置的位置、姿态的步骤;所述第三决策模块88在确定实际道路元素之后,根据所述实际道路元素、所述预设高精地图确定精确定位信息;
若所述真实环境图像是侦测图像,则所述识别模块85还用于对所述侦测图像进行识别,确定实际道路元素,所述第三决策模块88将所述实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息,和/或根据所述实际道路元素、所述预设高精地图确定精确定位信息;
或者,若所述真实环境图像是侦测图像,则裁切模块89根据与其相邻的定位图像中的实际道路元素,确定除去所述实际道路元素所在范围的待识别图像,所述识别模块85还用于对所述待识别图像进行识别,确定其他实际道路元素,所述第三决策模块88将所述其他实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息。
可选的,所述车辆行驶信息包括以下任一种信息:
车辆速度、车辆航向角。
本实施例提供的图像识别装置的具体原理和实现方式均与图5所示的实施例类似,此处不再赘述。
本实施例还提供一种车辆,包括:
图像采集装置、定位装置、惯性测量组件、图像识别装置;
所述图像采集装置用于采集真实环境图像;
所述图像识别装置通过定位装置、惯性测量组件确定述图像采集装置的位置、姿态;
所述图像识别装置还用于:
根据所述图像采集装置的所述位置及姿态、预设高精地图投影出预设环境图像;
根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
对所述目标影像进行识别,确定实际道路元素。
本实施例提供的装置的具体实现方式与上述实施例类似,不再赘述。
本实施例还提供一种计算机程序,包括程序代码,当计算机运行所述计算机程序时,所述程序代码执行如上所述的任一种图像识别方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种图像识别方法,其特征在于,包括:
通过图像采集装置采集真实环境图像,并确定所述图像采集装置的位置、姿态;
根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
对所述目标影像进行识别,确定实际道路元素。
2.根据权利要求1所述的方法,其特征在于,所述确定所述图像采集装置的位置、姿态,包括:
通过定位装置获取当前位置,并根据所述当前位置、所述定位装置的安装位置、所述图像采集装置的安装位置确定所述图像采集装置的位置;
通过惯性测量组件确定所述图像采集装置的姿态。
3.根据权利要求1所述的方法,其特征在于,所述根据所述图像采集装置的所述位置及姿态、预设高精地图投影出预设环境图像,包括:
根据所述图像采集装置的所述位置及姿态在所述预设高精地图中确定拍摄位置、拍摄视角;
将所述拍摄位置、拍摄视角对应的预设高精地图投影为所述预设环境图像。
4.根据权利要求2所述的方法,其特征在于,所述根据所述预设环境图像在所述真实环境图像中确定出目标影像,包括:
在预设环境图像中确定道路元素所在的区域范围;
根据所述预设环境图像中的所述区域范围,在所述真实环境图像中确定对应的目标影像,并从所述真实环境图像中裁切得到所述目标影像。
5.根据权利要求4所述的方法,其特征在于,所述在预设环境图像中确定道路元素所在的区域范围,包括:
根据以下任一种装置的置信度,在预设环境图像中确定道路元素所在的区域范围:
所述定位装置的置信度、所述惯性测量组件的置信度。
6.根据权利要求1所述的方法,其特征在于,所述对所述目标影像进行识别,确定实际道路元素,包括:
将所述目标影像输入预设神经网络模型,通过所述预设神经网络模型确定所述目标影像对应的实际道路元素。
7.根据权利要求1所述的方法,其特征在于,还包括:
将所述实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息;
其中,所述信息中包括以下任一种数据:
所述实际道路元素、所述目标影像、所述预设道路元素。
8.根据权利要求1所述的方法,其特征在于,还包括:
根据所述实际道路元素、所述预设高精地图确定所述图像采集装置的精确定位信息。
9.根据权利要求1所述的方法,其特征在于,所述通过图像采集装置采集真实环境图像之后,还包括:
根据车辆行驶信息在所述真实环境图像中确定侦测图像、定位图像;
若所述真实环境图像是所述定位图像,则执行所述确定所述图像采集装置的位置、姿态的步骤,并在确定实际道路元素之后,根据所述实际道路元素、所述预设高精地图确定精确定位信息;
若所述真实环境图像是侦测图像,则对所述侦测图像进行识别,确定实际道路元素,并将所述实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息,和/或根据所述实际道路元素、所述预设高精地图确定精确定位信息;
或者,若所述真实环境图像是侦测图像,则根据与其相邻的定位图像中的实际道路元素,确定除去所述实际道路元素所在范围的待识别图像,并对所述待识别图像进行识别,确定其他实际道路元素,并将所述其他实际道路元素与所述预设高精地图中相应的预设道路元素进行比对,若比对结果不一致,则向服务器发送比对不一致的信息。
10.根据权利要求9所述的方法,其特征在于,所述车辆行驶信息包括以下任一种信息:
车辆速度、车辆航向角。
11.一种图像识别装置,其特征在于,包括:
采集模块,用于通过图像采集装置采集真实环境图像;
位姿确定模块,用于确定所述图像采集装置的位置、姿态;
投影模块,用于根据所述图像采集装置的所述位置、姿态及预设高精地图投影出预设环境图像;
目标影像确定模块,用于根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
识别模块,用于对所述目标影像进行识别,确定实际道路元素。
12.一种车辆,其特征在于,包括:
图像采集装置、定位装置、惯性测量组件、图像识别装置;
所述图像采集装置用于采集真实环境图像;
所述图像识别装置通过定位装置、惯性测量组件确定述图像采集装置的位置、姿态;
所述图像识别装置还用于:
根据所述图像采集装置的所述位置及姿态、预设高精地图投影出预设环境图像;
根据所述预设环境图像在所述真实环境图像中确定出目标影像;其中,所述目标影像是所述真实环境图像的部分图像;
对所述目标影像进行识别,确定实际道路元素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911316269.XA CN113011212B (zh) | 2019-12-19 | 2019-12-19 | 图像识别方法、装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911316269.XA CN113011212B (zh) | 2019-12-19 | 2019-12-19 | 图像识别方法、装置及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113011212A true CN113011212A (zh) | 2021-06-22 |
CN113011212B CN113011212B (zh) | 2024-04-05 |
Family
ID=76381362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911316269.XA Active CN113011212B (zh) | 2019-12-19 | 2019-12-19 | 图像识别方法、装置及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113011212B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113902047A (zh) * | 2021-12-10 | 2022-01-07 | 腾讯科技(深圳)有限公司 | 图像元素匹配方法、装置、设备以及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090393A (ja) * | 1998-09-16 | 2000-03-31 | Sumitomo Electric Ind Ltd | 車載型走行路環境認識装置 |
KR20140099671A (ko) * | 2013-02-04 | 2014-08-13 | 서울시립대학교 산학협력단 | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 |
CN105718860A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 基于驾驶安全地图及双目交通标志识别的定位方法及系统 |
CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
CN109931945A (zh) * | 2019-04-02 | 2019-06-25 | 百度在线网络技术(北京)有限公司 | Ar导航方法、装置、设备和存储介质 |
CN110147705A (zh) * | 2018-08-28 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于视觉感知的车辆定位方法及电子设备 |
CN110388929A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 导航地图更新方法、装置及系统 |
CN110501018A (zh) * | 2019-08-13 | 2019-11-26 | 广东星舆科技有限公司 | 一种服务于高精度地图生产的交通标志牌信息采集方法 |
-
2019
- 2019-12-19 CN CN201911316269.XA patent/CN113011212B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090393A (ja) * | 1998-09-16 | 2000-03-31 | Sumitomo Electric Ind Ltd | 車載型走行路環境認識装置 |
KR20140099671A (ko) * | 2013-02-04 | 2014-08-13 | 서울시립대학교 산학협력단 | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 |
CN105718860A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 基于驾驶安全地图及双目交通标志识别的定位方法及系统 |
CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
CN110388929A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 导航地图更新方法、装置及系统 |
CN110147705A (zh) * | 2018-08-28 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于视觉感知的车辆定位方法及电子设备 |
CN109931945A (zh) * | 2019-04-02 | 2019-06-25 | 百度在线网络技术(北京)有限公司 | Ar导航方法、装置、设备和存储介质 |
CN110501018A (zh) * | 2019-08-13 | 2019-11-26 | 广东星舆科技有限公司 | 一种服务于高精度地图生产的交通标志牌信息采集方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113902047A (zh) * | 2021-12-10 | 2022-01-07 | 腾讯科技(深圳)有限公司 | 图像元素匹配方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113011212B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111983639B (zh) | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 | |
CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
CN111830953B (zh) | 车辆自定位方法、装置及系统 | |
CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
CN111337947A (zh) | 即时建图与定位方法、装置、系统及存储介质 | |
CN112444242B (zh) | 一种位姿优化方法及装置 | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
CN111986506A (zh) | 基于多视觉系统的机械式停车位泊车方法 | |
US8503730B2 (en) | System and method of extracting plane features | |
CN108520559B (zh) | 一种基于双目视觉的无人机定位导航的方法 | |
CN110033489A (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
CN113903011A (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
US12061252B2 (en) | Environment model using cross-sensor feature point referencing | |
CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
JP5086824B2 (ja) | 追尾装置及び追尾方法 | |
Bazin et al. | UAV attitude estimation by vanishing points in catadioptric images | |
CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
CN117727011A (zh) | 基于图像融合的目标识别方法、装置、设备及存储介质 | |
CN114662587A (zh) | 一种基于激光雷达的三维目标感知方法、装置及系统 | |
CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及系统 | |
CN116804553A (zh) | 基于事件相机/imu/自然路标的里程计系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |