CN116363631A - 三维目标检测方法、装置及车辆 - Google Patents
三维目标检测方法、装置及车辆 Download PDFInfo
- Publication number
- CN116363631A CN116363631A CN202310565718.4A CN202310565718A CN116363631A CN 116363631 A CN116363631 A CN 116363631A CN 202310565718 A CN202310565718 A CN 202310565718A CN 116363631 A CN116363631 A CN 116363631A
- Authority
- CN
- China
- Prior art keywords
- information
- target vehicle
- detection
- detection frame
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 439
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开关于一种三维目标检测方法、装置及车辆，涉及自动驾驶、智能感知技术领域，其中，该方法包括：获取待处理的车辆周边图像；将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息；对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息；针对每个目标车辆，根据目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，得到目标车辆的修正后三维检测框信息，从而能够结合目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，避免噪点抖动对三维检测框信息的准确度的影响，提高三维目标检测的准确度以及稳定性。
Description
技术领域
本公开涉及自动驾驶、智能感知技术领域，尤其涉及一种三维目标检测方法、装置及车辆。
背景技术
目前的三维目标检测方法主要为，将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的多个目标车辆的三维检测框信息。上述方案中，车辆周边图像由车辆上的图像传感器采集得到，其中的噪点存在抖动情况，而目标检测模型对噪点的抖动比较敏感，导致目标检测模型检测得到的三维检测框信息准确度低，稳定性差。
发明内容
本公开提供一种三维目标检测方法、装置及车辆。
根据本公开实施例的第一方面，提供一种三维目标检测方法，所述方法包括：获取待处理的车辆周边图像；将所述车辆周边图像输入预设的目标检测模型，获取所述目标检测模型输出的至少一个目标车辆的三维检测框信息；对所述车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个所述目标车辆的辅助检测信息；针对每个目标车辆，根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的接地线信息；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：获取所述目标车辆的三维检测框信息中的检测框位置信息；根据所述目标车辆的接地线信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述根据所述目标车辆的接地线信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：根据所述目标车辆的检测框位置信息，确定所述目标车辆的检测框区域；在所述接地线信息中存在未位于所述检测框区域中的第一接地点的情况下，根据所述第一接地点的位置信息，确定所述检测框区域的位置偏移信息；按照所述位置偏移信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后检测框位置信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的库位信息；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：获取所述目标车辆的三维检测框信息中的检测框方向信息以及检测框位置信息；根据所述目标车辆的库位信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述根据所述目标车辆的库位信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：根据所述目标车辆的库位信息，确定库位方向信息；在所述库位方向信息与所述检测框方向信息不一致的情况下，确定所述库位方向信息与所述检测框方向信息之间的方向偏移信息；按照所述方向偏移信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的遮挡率；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：获取所述目标车辆的三维检测框信息中的置信度信息；在所述目标车辆的遮挡率小于预设遮挡率阈值的情况下，对所述目标车辆的三维检测框信息中的置信度信息进行调低处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述车辆周边图像对应的场景为停车场场景；在所述目标车辆处于移动状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：接地线信息、遮挡率；在所述目标车辆处于静止状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：库位信息、遮挡率。
根据本公开实施例的第二方面，还提供一种三维目标检测装置，所述装置包括：第一获取模块，用于获取待处理的车辆周边图像；第二获取模块，用于将所述车辆周边图像输入预设的目标检测模型，获取所述目标检测模型输出的至少一个目标车辆的三维检测框信息；检测模块，用于对所述车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个所述目标车辆的辅助检测信息；修正处理模块，用于针对每个目标车辆，根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
根据本公开实施例的第三方面，还提供一种车辆，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：实现如上所述的三维目标检测方法的步骤。
根据本公开实施例的第四方面，还提供一种非临时性计算机可读存储介质，当存储介质中的指令由处理器执行时，使得处理器能够执行如上所述的三维目标检测方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取待处理的车辆周边图像；将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息；对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息；针对每个目标车辆，根据目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，得到目标车辆的修正后三维检测框信息，从而能够结合目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，避免噪点抖动对三维检测框信息的准确度的影响，提高三维检测框信息的准确度，提高三维目标检测的稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开一个实施例的三维目标检测方法的流程图；
图2为车辆周边图像的接地线信息示意图；
图3为本公开另一个实施例的三维目标检测方法的流程图；
图4为本公开一个实施例的三维目标检测装置的结构示意图；
图5为根据本公开一示例性实施例示出的一种车辆的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前的三维目标检测方法主要为，将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的多个目标车辆的三维检测框信息。上述方案中，车辆周边图像由车辆上的图像传感器采集得到，其中的噪点存在抖动情况，而目标检测模型对噪点的抖动比较敏感，导致目标检测模型检测得到的三维检测框信息准确度低，稳定性差。
图1为本公开一个实施例的三维目标检测方法的流程图。其中，需要说明的是，本实施例的三维目标检测方法可应用于三维目标检测装置，该装置可被配置于车辆的电子设备中，或者与车辆通信的电子设备中，以使该电子设备可以执行三维目标检测功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为图像采集设备、个人电脑（Personal Computer，简称PC）、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图1所示，该方法包括以下步骤：
步骤101，获取待处理的车辆周边图像。
在本公开实施例中，车辆周边图像，可以为车辆上图像传感器采集得到的2维图像。其中，车辆周边图像的数量可以为一个或者多个。例如，若采集区域为车辆前方的较小角度范围，则在车辆当前位置上，可以采用一个图像传感器对车辆前方进行图像采集处理，得到一个车辆周边图像。又例如，若采集区域为车辆周边的较大角度范围，例如全角度范围，则在车辆当前位置上，可以采用面向不同方向的多个图像传感器，进行图像采集处理，得到多个车辆周边图像。
步骤102，将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息。
在本公开实施例中，预设的目标检测模型，可以根据大量样本图像以及样本图像中目标的三维检测框信息，训练得到。
其中，目标车辆的三维检测框信息可以包括以下至少一种：检测框位置信息、检测框方向信息、检测框类别信息、置信度信息。其中，在三维检测框信息为车辆的三维检测框信息的情况下，检测框类别信息为车辆类别。
其中，检测框位置信息可以包括：检测框的长度信息、宽度信息、高度信息、检测框的中心点的三维坐标信息。其中，需要说明的是，本公开中提到的三维坐标信息或者位置信息等，指的是同一三维坐标系下的坐标信息或者位置信息，之后不再进行说明。其中，三维坐标系，例如，世界坐标系、车体坐标系等，可以根据实际需要进行设定。
其中，一种示例中，置信度信息的数量可以为一个，可以为三维检测框信息的置信度。另一种示例中，置信度信息的数量可以为两个，其中一个为检测框位置信息的置信度，另一个为检测框类别信息的置信度。
步骤103，对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息。
在本公开实施例中，接地线检测算法例如可以为可行驶区域（Free space）检测算法。结合Free space检测算法，可以得到车辆周边图像中的多个接地线段，以及每个接地线段对应的目标类别，即，得到车辆周边图像中各个目标的接地线段。其中，目标例如，车辆、柱子、雪糕筒、路沿、墙壁等。其中，以目标为车辆为例，车辆的接地线信息，可以包括：车辆的接地线段中各个点的坐标信息。其中，该坐标信息为三维坐标系下的坐标信息。其中，车辆周边图像的接地线信息示意图，可以如图2所示，在图2中显示有多个目标的接地线段连成的接地线，但未显示各个接地线段对应的目标类别。
在本公开实施例中，对车辆周边图像进行库位检测，可以获取车辆周边图像中各个车辆的库位角点信息。其中，库位角点信息，是指车辆所在库位的各个角的坐标信息。其中，该坐标信息为三维坐标系下的坐标信息。
在本公开实施例中，遮挡率检测的其中一种检测算法例如可以为，结合Freespace检测算法，确定车辆周边图像中各个目标的接地线段；针对每个目标，结合该目标的接地线段的长度以及该目标的地面投影边界的总长度，确定该目标的遮挡率。例如，针对一个车辆，将该车辆的接地线段的长度与该车辆的地面投影的边界总长度的比值，作为该车辆的遮挡率。
在本公开实施例中，不同场景下，对车辆周边图像可以进行不同的检测，获取目标车辆的辅助检测信息。其中，在车辆周边图像对应的场景为停车场场景的情况下，可以对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种。在车辆周边图像对应的场景为道路行驶场景的情况下，可以为车辆周边图像进行接地线检测以及遮挡率检测中的至少一种。
其中，车辆周边图像对应的场景，为采集车辆周边图像的车辆所处的场景。
其中，针对具体的场景，对车辆周边图像进行检测后得到的检测结果中，不同目标车辆具有不同的辅助检测信息。以停车场场景为例，针对处于移动状态的车辆，例如，库外的车辆以及处于泊入泊出状态的车辆，能够检测到该车辆的接地线信息以及遮挡率信息。针对处于静止状态的车辆，例如，位于库内的车辆，能够检测到该车辆的库位信息以及遮挡率信息。也就是说，针对同一个车辆周边图像，其中不同的目标车辆，可能检测得到不同的辅助检测信息。
步骤104，针对每个目标车辆，根据目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，得到目标车辆的修正后三维检测框信息。
在本公开实施例中，针对目标车辆，在目标车辆的辅助检测信息中包括多种信息的情况下，可以依次针对每种信息，结合该信息对目标车辆的三维检测框信息进行修正处理，结合多种信息修正完成后，得到目标车辆的修正后三维检测框信息。
本公开实施例的三维目标检测方法中，通过获取待处理的车辆周边图像；将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息；对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息；针对每个目标车辆，根据目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，得到目标车辆的修正后三维检测框信息，从而能够结合目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，避免噪点抖动对三维检测框信息的准确度的影响，提高三维检测框信息的准确度，提高三维目标检测的稳定性。
图3为本公开另一个实施例的三维目标检测方法的流程图。其中，需要说明的是，本实施例的三维目标检测方法可应用于三维目标检测装置，该装置可被配置于车辆的电子设备中，或者与车辆通信的电子设备中，以使该电子设备可以执行三维目标检测功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为图像采集设备、个人电脑（Personal Computer，简称PC）、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图3所示，该方法包括以下步骤：
步骤301，获取待处理的车辆周边图像。
步骤302，将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息。
步骤303，对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息。
步骤304，针对每个目标车辆，获取目标车辆的辅助检测信息中所包括的信息。
步骤305，在目标车辆的辅助检测信息包括目标车辆的接地线信息的情况下，获取目标车辆的三维检测框信息中的检测框位置信息。
步骤306，根据目标车辆的接地线信息，对目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到目标车辆的修正后三维检测框信息。
在本公开实施例中，电子设备执行步骤306的过程例如可以为，根据目标车辆的检测框位置信息，确定目标车辆的检测框区域；在接地线信息中存在未位于检测框区域中的第一接地点的情况下，根据第一接地点的位置信息，确定检测框区域的位置偏移信息；按照位置偏移信息，对目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到目标车辆的修正后检测框位置信息。
其中，检测框位置信息可以包括：检测框的长度信息、宽度信息、高度信息、检测框的中心点的三维坐标信息。根据检测框位置信息确定得到的检测框区域，可以三维坐标系下的立体区域。
其中，电子设备根据第一接地点的位置信息，确定检测框区域的位置偏移信息的过程例如可以为，根据第一接地点的位置信息，确定检测框区域中距离第一接地点最近的点与第一接地点之间的偏移信息；将该偏移信息，确定为检测框区域的位置偏移信息。其中，第一接地点的数量为多个的情况下，可以从确定得到的多个偏移信息中，选择最大的偏移信息，作为检测框区域的位置偏移信息。
步骤307，在目标车辆的辅助检测信息包括目标车辆的库位信息的情况下，获取目标车辆的三维检测框信息中的检测框方向信息以及检测框位置信息。
步骤308，根据目标车辆的库位信息，对目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到目标车辆的修正后三维检测框信息。
在本公开实施例中，电子设备执行步骤308的过程例如可以为，根据目标车辆的库位信息，确定库位方向信息；在库位方向信息与检测框方向信息不一致的情况下，确定库位方向信息与检测框方向信息之间的方向偏移信息；按照方向偏移信息，对目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到目标车辆的修正后三维检测框信息。
其中，电子设备按照方向偏移信息，对目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理的方式例如可以为，按照方向偏移信息，对目标车辆的三维检测框信息中的检测框方向信息进行修正处理；按照修正后检测框方向信息以及修改前检测框位置信息，确定修正后检测框位置信息。
步骤309，在目标车辆的辅助检测信息包括目标车辆的遮挡率的情况下，获取目标车辆的三维检测框信息中的置信度信息。
步骤310，在目标车辆的遮挡率小于预设遮挡率阈值的情况下，对目标车辆的三维检测框信息中的置信度信息进行调低处理，得到目标车辆的修正后三维检测框信息。
在本公开实施例中，目标车辆的辅助检测信息中可以包括多种检测信息。一种示例中，目标车辆的辅助检测信息可以包括接地线信息和库位信息。另一种示例中，目标车辆的辅助检测信息可以包括接地线信息和遮挡率。另一种示例中，目标车辆的辅助检测信息可以包括库位信息和遮挡率。另一种示例中，目标车辆的辅助检测信息可以包括接地线信息、库位信息和遮挡率。
其中，在目标车辆的辅助检测信息中包括多种检测信息的情况下，可以依次结合每种检测信息，对目标车辆的三维检测框信息进行修正处理。例如，在目标车辆的辅助检测信息包括接地线信息和遮挡率的情况下，可以先结合接地线信息对目标车辆的三维检测框信息进行修正处理；然后结合遮挡率对修正处理得到的目标车辆的三维检测框信息，再一次进行修正处理。
又例如，在目标车辆的辅助检测信息包括库位信息和遮挡率的情况下，可以先结合库位信息对目标车辆的三维检测框信息进行修正处理；然后结合遮挡率对修正处理得到的目标车辆的三维检测框信息，再一次进行修正处理。
其中，需要说明的是，步骤301至步骤303的详细内容，可以参考图1所示实施例中的步骤101至步骤103，此处不再进行详细说明。
本公开实施例的三维目标检测方法中，通过获取待处理的车辆周边图像；将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息；对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息；针对每个目标车辆，获取目标车辆的辅助检测信息中所包括的信息；在目标车辆的辅助检测信息包括目标车辆的接地线信息的情况下，获取目标车辆的三维检测框信息中的检测框位置信息；根据目标车辆的接地线信息，对目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到目标车辆的修正后三维检测框信息；在目标车辆的辅助检测信息包括目标车辆的库位信息的情况下，获取目标车辆的三维检测框信息中的检测框方向信息以及检测框位置信息；根据目标车辆的库位信息，对目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到目标车辆的修正后三维检测框信息；在目标车辆的辅助检测信息包括目标车辆的遮挡率的情况下，获取目标车辆的三维检测框信息中的置信度信息；在目标车辆的遮挡率小于预设遮挡率阈值的情况下，对目标车辆的三维检测框信息中的置信度信息进行调低处理，得到目标车辆的修正后三维检测框信息，从而能够结合目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，避免噪点抖动对三维检测框信息的准确度的影响，提高三维检测框信息的准确度，提高三维目标检测的稳定性。
图4为本公开一个实施例的三维目标检测装置的结构示意图。
如图4所示，该三维目标检测装置可以包括：第一获取模块401、第二获取模块402、检测模块403和修正处理模块404。
其中，第一获取模块401，用于获取待处理的车辆周边图像；
第二获取模块402，用于将所述车辆周边图像输入预设的目标检测模型，获取所述目标检测模型输出的至少一个目标车辆的三维检测框信息；
检测模块403，用于对所述车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个所述目标车辆的辅助检测信息；
修正处理模块404，用于针对每个目标车辆，根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的接地线信息；所述修正处理模块404具体用于，获取所述目标车辆的三维检测框信息中的检测框位置信息；根据所述目标车辆的接地线信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述修正处理模块404具体还用于，根据所述目标车辆的检测框位置信息，确定所述目标车辆的检测框区域；在所述接地线信息中存在未位于所述检测框区域中的第一接地点的情况下，根据所述第一接地点的位置信息，确定所述检测框区域的位置偏移信息；按照所述位置偏移信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后检测框位置信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的库位信息；所述修正处理模块404具体用于，获取所述目标车辆的三维检测框信息中的检测框方向信息以及检测框位置信息；根据所述目标车辆的库位信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述修正处理模块404具体还用于，根据所述目标车辆的库位信息，确定库位方向信息；在所述库位方向信息与所述检测框方向信息不一致的情况下，确定所述库位方向信息与所述检测框方向信息之间的方向偏移信息；按照所述方向偏移信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述目标车辆的辅助检测信息包括，所述目标车辆的遮挡率；所述修正处理模块404具体用于，获取所述目标车辆的三维检测框信息中的置信度信息；在所述目标车辆的遮挡率小于预设遮挡率阈值的情况下，对所述目标车辆的三维检测框信息中的置信度信息进行调低处理，得到所述目标车辆的修正后三维检测框信息。
在本公开的一个实施例中，所述车辆周边图像对应的场景为停车场场景；在所述目标车辆处于移动状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：接地线信息、遮挡率；在所述目标车辆处于静止状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：库位信息、遮挡率。
本公开实施例的三维目标检测装置中，通过获取待处理的车辆周边图像；将车辆周边图像输入预设的目标检测模型，获取目标检测模型输出的至少一个目标车辆的三维检测框信息；对车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个目标车辆的辅助检测信息；针对每个目标车辆，根据目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，得到目标车辆的修正后三维检测框信息，从而能够结合目标车辆的辅助检测信息对目标车辆的三维检测框信息进行修正处理，避免噪点抖动对三维检测框信息的准确度的影响，提高三维检测框信息的准确度，提高三维目标检测的稳定性。
根据本公开实施例的第三方面，还提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器被配置为：实现如上所述的三维目标检测方法。
为了实现上述实施例，本公开还提出了一种存储介质。
其中，当存储介质中的指令由处理器执行时，使得处理器能够执行如上所述的三维目标检测方法。
为了实现上述实施例，本公开还提供一种计算机程序产品。
其中，该计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行如上的方法。
图5为根据本公开一示例性实施例示出的一种车辆500的结构框图。例如，车辆500可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆500可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图5，车辆500可包括各种子系统，例如，信息娱乐系统510、感知系统520、决策控制系统530、驱动系统540以及计算平台550。其中，车辆500还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆500的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统510可以包括通信系统，娱乐系统以及导航系统等。
感知系统520可以包括若干种传感器，用于感测车辆500周边的环境的信息。例如，感知系统520可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统530可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统540可以包括为车辆500提供动力运动的组件。在一个实施例中，驱动系统540可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆500的部分或所有功能受计算平台550控制。计算平台550可包括至少一个处理器551和存储器552，处理器551可以执行存储在存储器552中的指令553。
处理器551可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器552可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令553以外，存储器552还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器552存储的数据可以被计算平台550使用。
在本公开实施例中，处理器551可以执行指令553，以完成上述的三维目标检测方法的全部或部分步骤。
此外，在本文中使用词语“示例性的”以表示充当示例、实例、示图。在本文中被描述为“示例性的”任何方面或设计都不一定理解为与其他方面或设计相比是有利的。相反，使用词语示例性的旨在以具体的方式呈现概念。如在本文中所使用的，术语“或”旨在表示包括性的“或”而不是排他性的“或”。即，除非另外指定，或者从上下文中清楚，否则“X应用A或B”旨在表示自然的包括性排列中的任何一种排列。即，如果X应用A；X应用B；或者X应用A和B两者，则“X应用A或B”在前述实例中的任何一个实例下都满足。另外，除非另外指定或者从上下文中清楚指向单数形式，否则如在该申请和所附权利要求中所使用的冠词“一”和“一个”通常被理解为表示“一个或多个”。
同样，尽管已经关于一个或多个实现示出并描述了本公开，但是在阅读并理解了该说明书和附图之后，本领域技术人员将想到等同的变型和修改。本公开包括所有这样的修改和变型，并且仅由权利要求的范围来限制。特别关于由上文所描述的组件（例如，元件、资源等）执行的各种功能，除非另外指出，否则用于描述这样的组件的术语旨在对应于执行所描述的组件的具体功能的任何组件（功能上等价的），即使结构上不等价于所公开的结构。另外，尽管可以已经关于几个实现中的仅仅一个而公开了本公开的特定的特征，但是如可以是期望的并且有利于任何给定的或特定的应用的那样，这样的特征可以与其它实现的一个或多个其它特征相结合。此外，就在具体实施方式或者权利要求中所使用的“包括”、“拥有”、“具有”、“有”、或其变型而言，这样的术语旨在作为类似于术语“包含”的方式是包括性的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种三维目标检测方法，其特征在于，所述方法包括：
获取待处理的车辆周边图像；
将所述车辆周边图像输入预设的目标检测模型，获取所述目标检测模型输出的至少一个目标车辆的三维检测框信息；
对所述车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个所述目标车辆的辅助检测信息；
针对每个目标车辆，根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
2.根据权利要求1所述的方法，其特征在于，所述目标车辆的辅助检测信息包括，所述目标车辆的接地线信息；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：
获取所述目标车辆的三维检测框信息中的检测框位置信息；
根据所述目标车辆的接地线信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标车辆的接地线信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：
根据所述目标车辆的检测框位置信息，确定所述目标车辆的检测框区域；
在所述接地线信息中存在未位于所述检测框区域中的第一接地点的情况下，根据所述第一接地点的位置信息，确定所述检测框区域的位置偏移信息；
按照所述位置偏移信息，对所述目标车辆的三维检测框信息中的检测框位置信息进行修正处理，得到所述目标车辆的修正后检测框位置信息。
4.根据权利要求1所述的方法，其特征在于，所述目标车辆的辅助检测信息包括，所述目标车辆的库位信息；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：
获取所述目标车辆的三维检测框信息中的检测框方向信息以及检测框位置信息；
根据所述目标车辆的库位信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标车辆的库位信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：
根据所述目标车辆的库位信息，确定库位方向信息；
在所述库位方向信息与所述检测框方向信息不一致的情况下，确定所述库位方向信息与所述检测框方向信息之间的方向偏移信息；
按照所述方向偏移信息，对所述目标车辆的三维检测框信息中的检测框方向信息和检测框位置信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
6.根据权利要求1所述的方法，其特征在于，所述目标车辆的辅助检测信息包括，所述目标车辆的遮挡率；所述根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息，包括：
获取所述目标车辆的三维检测框信息中的置信度信息；
在所述目标车辆的遮挡率小于预设遮挡率阈值的情况下，对所述目标车辆的三维检测框信息中的置信度信息进行调低处理，得到所述目标车辆的修正后三维检测框信息。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述车辆周边图像对应的场景为停车场场景；
在所述目标车辆处于移动状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：接地线信息、遮挡率；
在所述目标车辆处于静止状态的情况下，所述目标车辆的辅助检测信息包括以下至少一种：库位信息、遮挡率。
8.一种三维目标检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理的车辆周边图像；
第二获取模块，用于将所述车辆周边图像输入预设的目标检测模型，获取所述目标检测模型输出的至少一个目标车辆的三维检测框信息；
检测模块，用于对所述车辆周边图像进行接地线检测、库位检测以及遮挡率检测中的至少一种，得到至少一个所述目标车辆的辅助检测信息；
修正处理模块，用于针对每个目标车辆，根据所述目标车辆的辅助检测信息对所述目标车辆的三维检测框信息进行修正处理，得到所述目标车辆的修正后三维检测框信息。
9.一种车辆，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现如权利要求1至7中任一项所述的三维目标检测方法的步骤。
10.一种非临时性计算机可读存储介质，当存储介质中的指令由处理器执行时，使得处理器能够执行如权利要求1至7中任一项所述的三维目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310565718.4A CN116363631B (zh) | 2023-05-19 | 2023-05-19 | 三维目标检测方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310565718.4A CN116363631B (zh) | 2023-05-19 | 2023-05-19 | 三维目标检测方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363631A true CN116363631A (zh) | 2023-06-30 |
| CN116363631B CN116363631B (zh) | 2023-09-05 |
Family
ID=86939393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310565718.4A Active CN116363631B (zh) | 2023-05-19 | 2023-05-19 | 三维目标检测方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363631B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993066A (zh) * | 2019-03-06 | 2019-07-09 | 开易（北京）科技有限公司 | 面向边线的车辆定位方法和系统 |
| DE102018203590A1 (de) * | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
| CN111507145A (zh) * | 2019-01-31 | 2020-08-07 | 上海欧菲智能车联科技有限公司 | 嵌入式车载环视系统库位障碍物检测方法、系统及装置 |
| CN111553282A (zh) * | 2020-04-29 | 2020-08-18 | 北京百度网讯科技有限公司 | 用于检测车辆的方法和装置 |
| CN112036385A (zh) * | 2020-11-04 | 2020-12-04 | 天津天瞳威势电子科技有限公司 | 库位修正方法、装置、电子设备及可读存储介质 |
| CN113420682A (zh) * | 2021-06-28 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 车路协同中目标检测方法、装置和路侧设备 |
| CN114387498A (zh) * | 2021-12-31 | 2022-04-22 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN114511834A (zh) * | 2020-11-17 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 一种确定提示信息的方法、装置、电子设备及存储介质 |
| CN114972941A (zh) * | 2022-05-11 | 2022-08-30 | 燕山大学 | 被遮挡车辆三维检测的决策融合方法、装置及电子设备 |
| CN115984796A (zh) * | 2022-12-31 | 2023-04-18 | 武汉光庭信息技术股份有限公司 | 一种图像标注方法及系统 |
| CN115984151A (zh) * | 2022-12-14 | 2023-04-18 | 北京奇艺世纪科技有限公司 | 一种遮挡框修正方法、装置、电子设备及可读存储介质 |
-
2023
- 2023-05-19 CN CN202310565718.4A patent/CN116363631B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018203590A1 (de) * | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
| CN111507145A (zh) * | 2019-01-31 | 2020-08-07 | 上海欧菲智能车联科技有限公司 | 嵌入式车载环视系统库位障碍物检测方法、系统及装置 |
| CN109993066A (zh) * | 2019-03-06 | 2019-07-09 | 开易（北京）科技有限公司 | 面向边线的车辆定位方法和系统 |
| CN111553282A (zh) * | 2020-04-29 | 2020-08-18 | 北京百度网讯科技有限公司 | 用于检测车辆的方法和装置 |
| CN112036385A (zh) * | 2020-11-04 | 2020-12-04 | 天津天瞳威势电子科技有限公司 | 库位修正方法、装置、电子设备及可读存储介质 |
| CN114511834A (zh) * | 2020-11-17 | 2022-05-17 | 阿里巴巴集团控股有限公司 | 一种确定提示信息的方法、装置、电子设备及存储介质 |
| CN113420682A (zh) * | 2021-06-28 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 车路协同中目标检测方法、装置和路侧设备 |
| CN114387498A (zh) * | 2021-12-31 | 2022-04-22 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN114972941A (zh) * | 2022-05-11 | 2022-08-30 | 燕山大学 | 被遮挡车辆三维检测的决策融合方法、装置及电子设备 |
| CN115984151A (zh) * | 2022-12-14 | 2023-04-18 | 北京奇艺世纪科技有限公司 | 一种遮挡框修正方法、装置、电子设备及可读存储介质 |
| CN115984796A (zh) * | 2022-12-31 | 2023-04-18 | 武汉光庭信息技术股份有限公司 | 一种图像标注方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363631B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10996072B2 (en) | Systems and methods for updating a high-definition map | |
| AU2018286594A1 (en) | Methods and systems for color point cloud generation | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| CN116626670B (zh) | 自动驾驶模型的生成方法、装置、车辆及存储介质 | |
| CN116363631B (zh) | 三维目标检测方法、装置及车辆 | |
| CN115223015B (zh) | 模型训练方法、图像处理方法、装置和车辆 | |
| CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
| CN116168362A (zh) | 车辆感知模型的预训练方法、装置、电子设备及车辆 | |
| CN116359928A (zh) | 基于预置地图的终端定位方法和智能汽车 | |
| CN114694107A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN116659529B (zh) | 数据检测方法、装置、车辆及存储介质 | |
| CN112150553A (zh) | 一种车载相机的标定方法和装置 | |
| CN116740681B (zh) | 目标检测方法、装置、车辆和存储介质 | |
| CN115471513B (zh) | 点云分割方法及装置 | |
| CN115661798B (zh) | 确定目标区域的方法、装置、车辆及存储介质 | |
| CN118050010B (zh) | 车辆的定位方法、装置、车辆、存储介质和程序产品 | |
| CN114842458B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
| CN116385825B (zh) | 模型联合训练方法、装置及车辆 | |
| CN115900771B (zh) | 信息确定的方法、装置、车辆及存储介质 | |
| CN116563812B (zh) | 目标检测方法、装置、存储介质及车辆 | |
| CN116863429B (zh) | 检测模型的训练方法、可行使区域的确定方法和装置 | |
| CN117128976B (zh) | 道路中心线的获取方法、装置、车辆和存储介质 | |
| CN116503482B (zh) | 车辆位置的获取方法、装置及电子设备 | |
| CN118314334A (zh) | 障碍物接地框确定方法、控制器、车辆、存储介质及程序 | |
| CN116758504A (zh) | 图像处理方法、装置、车辆与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |