CN114565889B - 车辆压线状态的确定方法、装置、电子设备和介质 - Google Patents

车辆压线状态的确定方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN114565889B
CN114565889B CN202210179342.9A CN202210179342A CN114565889B CN 114565889 B CN114565889 B CN 114565889B CN 202210179342 A CN202210179342 A CN 202210179342A CN 114565889 B CN114565889 B CN 114565889B
Authority
CN
China
Prior art keywords
wheel
determining
image
area
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210179342.9A
Other languages
English (en)
Other versions
CN114565889A (zh
Inventor
刘高生
刘少耿
车文耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202210179342.9A priority Critical patent/CN114565889B/zh
Publication of CN114565889A publication Critical patent/CN114565889A/zh
Priority to US18/174,581 priority patent/US20230274557A1/en
Application granted granted Critical
Publication of CN114565889B publication Critical patent/CN114565889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开提供了一种车辆压线状态的确定方法、装置、电子设备和介质，涉及图像处理技术领域，尤其涉及智能交通、云计算技术领域。具体实现方案为：确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；根据所述可见车轮区域以及所述遮挡车轮区域，确定所述目标车辆的压线状态。本公开实现了提升确定车辆压线状态的准确率的效果。

Description

车辆压线状态的确定方法、装置、电子设备和介质
技术领域
本公开涉及图像处理技术领域，尤其涉及智能交通、云计算及云服务技术领域，特别涉及一种车辆压线状态的确定方法、装置、电子设备和介质。
背景技术
随着人民生活水平的提高，私家车保有量越来越大，道路上行驶的车辆数量也随之增加。而在智能交通领域，如何根据采集图像确定车辆是否存在压线违章，成为了一个非常重要的论题。
目前主要依赖于人工审核的方式确定车辆的车轮位置来判断车辆是否压线。
发明内容
本公开提供了一种用于更准确的确定车辆压线状态的方法、装置、电子设备和介质。
根据本公开的一方面，提供了一种车辆压线状态的确定方法，包括：
确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；
根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；
根据所述可见车轮区域以及所述遮挡车轮区域，确定所述目标车辆的压线状态。
根据本公开的另一方面，提供了一种车辆压线状态的确定装置，包括：
可见车轮区域确定模块，用于确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；
遮挡车轮区域确定模块，用于根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；
压线状态确定模块，用于根据所述可见车轮区域以及所述遮挡车轮区域，确定所述目标车辆的压线状态。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行本公开中任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例公开的一些车辆压线状态的确定方法的流程图；
图2是根据本公开实施例公开的另一些车辆压线状态的确定方法的流程图；
图3是根据本公开实施例公开的一些车辆压线状态的确定装置的结构示意图；
图4是用来实现本公开实施例公开的车辆压线状态的确定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前对于车辆压线状态的确定通常是通过人工方式来进行的，即审核人员对采集图像中车辆的车轮位置以及车道线位置来判定该车辆是否压线。然而用于采集图像的摄像头具有一定的拍摄角度，因此在采集图像中并不是所有车辆的车轮均可见，存在车轮遮挡的情况，而审核人员仅仅可以根据可见车轮的位置进行压线判定，目前的方法审核人员无法根据遮挡车轮进行压线判定，导致确定车辆压线状态的精准度较低。
图1是根据本公开实施例公开的一些车辆压线状态的确定方法的流程图，本实施例可以适用于确定目标车辆是否存在压线违章的情况。本实施例方法可以由本公开实施例公开的车辆压线状态的确定装置来执行，所述装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图1所示，本实施例公开的车辆压线状态的确定方法可以包括：
S101、确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域。
其中，待识别图像是通过设置在道路区域中的图像采集设备进行采集得到的，其中，道路区域包括但不限于高速道路、城市道路、快速路或者国道等等，本实施例并不对待识别图像所属的道路区域进行限定；图像采集设备包括但不限于摄像机或者照相机等，当图像采集设备为摄像机时，待识别图像即为视频序列中的视频帧，当图像采集设备为照相机时，待识别图像即为周期性抓拍的图像帧。
车辆类型表示目标车辆所属的类型。例如，目标车辆的车辆类型可以表示目标车辆所属的车辆大类，如轿车、SUV(sport utility vehicle，运动型多用途汽车)、MPV(Multi-Purpose Vehicles，多用途汽车)、货车或者客车等等；还可以进一步的细分，例如紧凑型轿车、中级轿车、中大级轿车、紧凑型SUV、中级SUV或中大级SUV等等。又例如，目标车辆的车辆类型还可以表示目标车辆的具体车型，例如品牌A在2010发布的车型B。车辆类型的具体内容可根据实际业务需求进行设置。
由于图像采集设备存在拍摄角度，因此目标车辆的车轮分为可见车轮和遮挡车轮，其中，可见车轮表示目标车辆在待识别图像中，通过识别算法可直接识别到的车轮，可见车轮的数量可以是一个也可以是多个。而遮挡车轮则表示目标车辆在待识别图像中，由于车身的遮挡，无法通过识别算法识别到的车轮。可见车轮区域表示可见车轮在待识别图像中占据的像素点集合。
在一种实施方式中，获取图像采集设备采集的视频流数据，并对视频流数据进行抽帧，获取至少一帧视频帧作为待识别图像。采用目标检测模型对待识别图像进行目标检测，识别待识别图像中包含的至少一个目标车辆，以及目标车辆的车辆类型，其中，目标检测模型包括深度学习模型，目标检测模型的生成方式为：对样本图像进行车辆位置以及车辆类型的人工标注，并将人工标注的样本图像作为训练数据集，并对训练数据集进行模型训练得到本实施例中的目标检测模型。
进一步采用车轮识别模型对待识别图像进行车轮区域识别，确定目标车辆的可见车轮在待识别图像中的可见车轮区域。其中，车轮识别模型的生成方式为：对样本图像中车辆的可见车轮区域进行人工标注，并将人工标注的样本图像作为训练数据集，并对训练数据集进行模型训练得到本实施例中的车轮识别模型。
通过确定待识别图像中目标车辆的车辆类型，以及目标车辆的可见车轮在待识别图像中的可见车轮区域，为后续根据车辆类型以及可见车轮区域确定遮挡车轮区域，奠定了数据基础，保证了方法的顺利执行。
S102、根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域。
其中，遮挡车轮的数量可以是一个也可以是多个。遮挡车轮区域表示预测得到的遮挡车轮在待识别图像中占据的像素点集合。
在一种实施方式中，各车辆类型与车辆属性在车辆属性数据库中进行KV键值对存储，即根据任一车辆类型Key即可匹配到其关联的车辆属性Value；车辆属性则包括车辆的物理属性信息，例如车长信息、车高信息、车重信息、车宽信息、车轮相对位置以及车轮相对姿态等等。
根据目标车辆的车辆类型在车辆属性数据库中进行匹配，确定与目标车辆的车辆类型相匹配的目标车辆属性，并从目标车辆属性中确定目标车辆的车轮相对位置以及车轮相对姿态。其中，车轮相对位置表示在世界坐标系下，目标车辆各车轮的车轮间距，而车轮相对姿态表示在世界坐标系下，目标车辆各车轮所形成的相对姿态。
根据在世界坐标系下车轮相对位置以及车轮相对姿态，以及采集待识别图像的目标相机的相机参数，确定在待识别图像中目标车辆的车轮相对位置以及车轮相对姿态。进而根据识别得到的可见车轮区域，以及在待识别图像中车轮相对位置以及车轮相对姿态，预测得到遮挡车轮在待识别图像中的遮挡车轮区域。
通过根据车辆类型以及可见车轮区域，确定目标车辆的遮挡车轮在待识别图像中的遮挡车轮区域，实现了对遮挡车轮区域的预测，避免了现有技术人工方式无法确定遮挡车轮区域的问题，进一步使得后续确定目标车辆的压线状态的准确度更高。
S103、根据所述可见车轮区域以及所述遮挡车轮区域，确定所述目标车辆的压线状态。
在一种实施方式中，对待识别图像进行车道线检测，确定待识别图像中的车道线区域。将可见车轮区域以及遮挡车轮区域分别与车道线区域进行坐标匹配，若坐标存在交集则确定目标车辆的压线状态为已压线状态；若坐标不存在交集则确定目标车辆的压线状态为未压线状态。
本公开通过确定待识别图像中目标车辆的车辆类型，以及待识别图像中目标车辆的可见车轮所在的可见车轮区域，根据车辆类型以及可见车轮区域，确定待识别图像中目标车辆的遮挡车轮所在的遮挡车轮区域，从而实现了预测遮挡车轮区域，且根据可见车轮区域和遮挡车轮区域共同进行压线判断的效果，避免了现有人工方式仅能依赖可见车轮区域进行压线判断的问题，从而大大提升了确定车辆压线状态的准确率；并且，本方法无需重新部署新的图像采集设备，节省了成本。
图2是根据本公开实施例公开的另一些车辆压线状态的确定方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。
如图2所示，本实施例公开的车辆压线状态的确定方法可以包括：
S201、确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域。
S202、根据所述车辆类型确定在世界坐标系下，所述可见车轮与所述待识别图像中所述目标车辆的遮挡车轮的第一相对位姿。
其中，第一相对位姿包括第一相对位置和第一相对姿态。
在一种实施方式中，根据目标车辆的车辆类型在车辆属性数据库中进行匹配，确定与目标车辆的车辆类型相匹配的目标车辆属性，并从目标车辆属性中确定目标车辆的车轮相对位置以及车轮相对姿态。进一步的，根据目标车辆的车轮相对位置确定可见车轮与遮挡车轮的第一相对位置，并根据目标车辆的车轮相对姿态确定可见车轮与遮挡车轮的第一相对姿态。
S203、根据所述可见车轮区域、所述第一相对位姿和目标相机的相机参数信息，确定所述遮挡车轮所在的遮挡车轮区域；其中，所述目标相机为采集所述待识别图像的相机。
其中，相机参数信息包括相机外参和相机内参，相机内参包括但不限于目标相机的焦距、成像主点坐标和畸变参数等等，相机外参包括目标相机在世界坐标系的位置和姿态等。相机参数信息可以预先通过对目标相机进行相机标定确定。
在一种实施方式中，根据第一相对位姿以及相机参数信息，进行相对位姿的转换，将世界坐标系下的第一相对位姿转化为图像坐标系下的第二相对位姿，进而根据第二相对位姿和可见车轮区域确定遮挡车轮区域。
可选的，S203包括以下步骤A和B：
A、根据所述相机参数信息以及所述第一相对位姿，确定在所述待识别图像中所述可见车轮与所述遮挡车轮的第二相对位姿。
其中，第二相对位姿表示在待识别图像的图像坐标系下，可见车轮与遮挡车轮的第二相对位置和第二相对姿态。
在一种实施方式中，根据相机参数信息、第一相对位姿以及第二相对位姿三者之间的等式关系，在相机参数信息以及第一相对位姿已知的情况下，确定第二相对位姿。
可选的，步骤A包括：
确定所述相机参数信息以及所述第一相对位姿之间的矩阵乘积，并根据所述矩阵乘积确定所述第二相对位姿。
在一种实施方式中，通过以下公式确定第二相对位姿：
[X2]＝[M][N][X1]
其中，[M]表示相机参数信息中相机内参的矩阵表示，[N]表示相机参数信息中相机外参的矩阵表示，[X1]表示第一相对位姿的矩阵表示，[X2]表示第二相对位姿的矩阵表示。
计算第一相对位姿分别与相机内参和相机外参的矩阵乘积，并将矩阵乘积作为第二相对位姿。
通过确定相机参数信息以及第一相对位姿之间的矩阵乘积，并根据矩阵乘积确定第二相对位姿，实现了将可见车轮与遮挡车轮之间，世界坐标系下的相对位姿，转化为图像坐标系下的相对位姿的效果，为后续从待识别图像中预测遮挡车轮区域，奠定了数据基础。
B、根据所述第二相对位姿和所述可见车轮区域确定所述遮挡车轮区域。
在一种实施方式中，将可见车轮区域按照第二相对位姿在待识别图像中进行区域平移，将平移后的可见车轮区域作为遮挡车轮区域。
通过根据相机参数信息以及第一相对位姿，确定在待识别图像中可见车轮与遮挡车轮的第二相对位姿，并根据第二相对位姿和可见车轮区域确定遮挡车轮区域，实现了预测遮挡车轮区域的效果，避免了现有人工方式仅能依赖可见车轮区域进行压线判断的问题。
S204、确定所述待识别图像中目标车道线的车道线区域，并根据所述可见车轮区域和所述遮挡车轮区域确定车轮集合区域。
在一种实施方式中，对待识别图像进行灰度变换生成待识别图像对应的灰度图像，对灰度图像进行高斯滤波生成灰度图像对应的滤波图像，进而对滤波图像进行边缘检测并根据边缘检测结果确定感兴趣区域，最终根据感兴趣区域确定待识别图像中的车道线区域。
确定可见车轮区域和遮挡车轮区域的区域并集，并将区域并集作为车轮集合区域。
S205、将所述车轮集合区域中的车轮像素点坐标，与所述车道线区域中的车道像素点坐标进行匹配，并根据匹配结果确定所述目标车辆的压线状态。
在一种实施方式中，将车轮集合区域中的像素点作为车轮像素点，且将车道线区域中的像素点作为车道像素点。将车轮像素点坐标与车道像素点坐标进行遍历匹配，确定是否存在相匹配的像素点坐标，进而根据匹配结果确定目标车辆的压线状态。
可选的，S205包括：
在至少一个车轮像素点坐标与所述车道像素点坐标相匹配的情况下，确定所述目标车辆的压线状态为已压线状态；在不存在车轮像素点坐标与所述车道像素点坐标相匹配的情况下，确定所述目标车辆的压线状态为未压线状态。
在一种实施方式中，若至少一个车轮像素点坐标与车道像素点坐标相匹配，则表示目标车辆的可见车轮或遮挡车轮侵占了车道线，进而确定目标车辆的压线状态为已压线状态。若不存在车轮像素点坐标与车道像素点坐标相匹配，则表示目标车辆的可见车轮或遮挡车轮没有侵占车道线，进而确定目标车辆的压线状态为未压线状态。
通过在至少一个车轮像素点坐标与车道像素点坐标相匹配的情况下，确定目标车辆的压线状态为已压线状态，实现了自动化确定车辆压线状态的效果，无需人工参与，减少了人工成本且提高了准确性。
本公开通过根据车辆类型确定在世界坐标系下，可见车轮与遮挡车轮的第一相对位姿，并根据可见车轮区域、第一相对位姿和目标相机的相机参数信息，确定遮挡车轮区域，实现了预测遮挡车轮区域的效果，避免了现有人工方式仅能依赖可见车轮区域进行压线判断的问题；通过确定待识别图像中目标车道线的车道线区域，并根据可见车轮区域和遮挡车轮区域确定车轮集合区域，进而将车轮集合区域中的车轮像素点坐标，与车道线区域中的车道像素点坐标进行匹配，并根据匹配结果确定目标车辆的压线状态，实现了根据可见车轮区域和遮挡车轮区域共同进行压线判断的效果，避免了现有人工方式仅能依赖可见车轮区域进行压线判断的问题；并且，实现了自动化确定车辆压线状态的效果，无需人工参与，减少了人工成本且提高了准确性。
图3是根据本公开实施例公开的一些车辆压线状态的确定装置的结构示意图，可以适用于确定目标车辆是否存在压线违章的情况。本实施例装置可采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图3所示，本实施例公开的车辆压线状态的确定装置30可以包括可见车轮区域确定模块31、遮挡车轮区域确定模块32和压线状态确定模块33，其中：
可见车轮区域确定模块31，用于确定待识别图像中目标车辆的车辆类型，以及所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；
遮挡车轮区域确定模块32，用于根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；
压线状态确定模块33，用于根据所述可见车轮区域以及所述遮挡车轮区域，确定所述目标车辆的压线状态。
可选的，所述遮挡车轮区域确定模块32，具体用于：
根据所述车辆类型确定在世界坐标系下，所述可见车轮与所述遮挡车轮的第一相对位姿；
根据所述可见车轮区域、所述第一相对位姿和目标相机的相机参数信息，确定所述遮挡车轮区域；其中，所述目标相机为采集所述待识别图像的相机。
可选的，所述遮挡车轮区域确定模块32，具体还用于：
根据所述相机参数信息以及所述第一相对位姿，确定在所述待识别图像中所述可见车轮与所述遮挡车轮的第二相对位姿；
根据所述第二相对位姿和所述可见车轮区域确定所述遮挡车轮区域。
可选的，所述遮挡车轮区域确定模块32，具体还用于：
确定所述相机参数信息以及所述第一相对位姿之间的矩阵乘积，并根据所述矩阵乘积确定所述第二相对位姿。
可选的，所述压线状态确定模块33，具体用于：
确定所述待识别图像中目标车道线的车道线区域，并根据所述可见车轮区域和所述遮挡车轮区域确定车轮集合区域；
将所述车轮集合区域中的车轮像素点坐标，与所述车道线区域中的车道像素点坐标进行匹配，并根据匹配结果确定所述目标车辆的压线状态。
可选的，所述压线状态确定模块33，具体还用于：
在至少一个车轮像素点坐标与所述车道像素点坐标相匹配的情况下，确定所述目标车辆的压线状态为已压线状态。
本公开实施例所公开的车辆压线状态的确定装置30可执行本公开实施例所公开的车辆压线状态的确定方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开方法实施例中的描述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如车辆压线状态的确定方法。例如，在一些实施例中，车辆压线状态的确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的车辆压线状态的确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车辆压线状态的确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种车辆压线状态的确定方法，包括：
确定待识别图像中目标车辆的车辆类型，根据所述车辆类型在车辆属性数据库中进行匹配，确定与所述车辆类型相匹配的目标车辆属性；
根据所述目标车辆属性确定目标车辆的车轮相对位置和车轮相对姿态；
根据所述车轮相对位置和所述车轮相对姿态，以及采集待识别图像的目标相机的相机参数信息，确定所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；
根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；
对所述待识别图像进行灰度变换，生成所述待识别图像对应的灰度图像，对所述灰度图像进行高斯滤波，生成所述灰度图像对应的滤波图像；
对所述滤波图像进行边缘检测，并根据边缘检测结果确定感兴趣区域；
根据所述感兴趣区域确定所述待识别图像中目标车道线的车道线区域；
确定所述可见车轮区域和所述遮挡车轮区域的区域并集，将所述区域并集作为车轮集合区域；
将所述车轮集合区域中的车轮像素点坐标，与所述车道线区域中的车道像素点坐标进行遍历匹配，并根据匹配结果确定所述目标车辆的压线状态。
2.根据权利要求1所述的方法，其中，所述根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域，包括：
根据所述车辆类型确定在世界坐标系下，所述可见车轮与所述遮挡车轮的第一相对位姿；
根据所述可见车轮区域、所述第一相对位姿和目标相机的相机参数信息，确定所述遮挡车轮区域；其中，所述目标相机为采集所述待识别图像的相机。
3.根据权利要求2所述的方法，其中，所述根据所述可见车轮区域、所述第一相对位姿和目标相机的相机参数信息，确定所述遮挡车轮区域，包括：
根据所述相机参数信息以及所述第一相对位姿，确定在所述待识别图像中所述可见车轮与所述遮挡车轮的第二相对位姿；
根据所述第二相对位姿和所述可见车轮区域确定所述遮挡车轮区域。
4.根据权利要求3所述的方法，其中，所述根据所述相机参数信息以及所述第一相对位姿，确定在所述待识别图像中所述可见车轮与所述遮挡车轮的第二相对位姿，包括：
确定所述相机参数信息以及所述第一相对位姿之间的矩阵乘积，并根据所述矩阵乘积确定所述第二相对位姿。
5.根据权利要求1所述的方法，其中，所述根据匹配结果确定所述目标车辆的压线状态，包括：
在至少一个车轮像素点坐标与所述车道像素点坐标相匹配的情况下，确定所述目标车辆的压线状态为已压线状态。
6.一种车辆压线状态的确定装置，包括：
目标车辆属性确定模块，用于确定待识别图像中目标车辆的车辆类型，根据所述车辆类型在车辆属性数据库中进行匹配，确定与所述车辆类型相匹配的目标车辆属性；
车轮位置姿态确定模块，用于根据所述目标车辆属性确定目标车辆的车轮相对位置和车轮相对姿态；
可见车轮区域确定模块，用于根据所述车轮相对位置和所述车轮相对姿态，以及采集待识别图像的目标相机的相机参数信息，确定所述待识别图像中所述目标车辆的可见车轮所在的可见车轮区域；
遮挡车轮区域确定模块，用于根据所述车辆类型以及所述可见车轮区域，确定所述待识别图像中所述目标车辆的遮挡车轮所在的遮挡车轮区域；
压线状态确定模块，用于对所述待识别图像进行灰度变换，生成所述待识别图像对应的灰度图像，对所述灰度图像进行高斯滤波，生成所述灰度图像对应的滤波图像；对所述滤波图像进行边缘检测，并根据边缘检测结果确定感兴趣区域；根据所述感兴趣区域确定所述待识别图像中目标车道线的车道线区域；确定所述可见车轮区域和所述遮挡车轮区域的区域并集，将所述区域并集作为车轮集合区域；将所述车轮集合区域中的车轮像素点坐标，与所述车道线区域中的车道像素点坐标进行遍历匹配，并根据匹配结果确定所述目标车辆的压线状态。
7.根据权利要求6所述的装置，其中，所述遮挡车轮区域确定模块，具体用于：
根据所述车辆类型确定在世界坐标系下，所述可见车轮与所述遮挡车轮的第一相对位姿；
根据所述可见车轮区域、所述第一相对位姿和目标相机的相机参数信息，确定所述遮挡车轮区域；其中，所述目标相机为采集所述待识别图像的相机。
8.根据权利要求7所述的装置，其中，所述遮挡车轮区域确定模块，具体还用于：
根据所述相机参数信息以及所述第一相对位姿，确定在所述待识别图像中所述可见车轮与所述遮挡车轮的第二相对位姿；
根据所述第二相对位姿和所述可见车轮区域确定所述遮挡车轮区域。
9.根据权利要求8所述的装置，其中，所述遮挡车轮区域确定模块，具体还用于：
确定所述相机参数信息以及所述第一相对位姿之间的矩阵乘积，并根据所述矩阵乘积确定所述第二相对位姿。
10.根据权利要求6所述的装置，其中，所述压线状态确定模块，具体还用于：
在至少一个车轮像素点坐标与所述车道像素点坐标相匹配的情况下，确定所述目标车辆的压线状态为已压线状态。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202210179342.9A 2022-02-25 2022-02-25 车辆压线状态的确定方法、装置、电子设备和介质 Active CN114565889B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210179342.9A CN114565889B (zh) 2022-02-25 2022-02-25 车辆压线状态的确定方法、装置、电子设备和介质
US18/174,581 US20230274557A1 (en) 2022-02-25 2023-02-24 Method for determining line pressing state of a vehicle, electronic device, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210179342.9A CN114565889B (zh) 2022-02-25 2022-02-25 车辆压线状态的确定方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN114565889A CN114565889A (zh) 2022-05-31
CN114565889B true CN114565889B (zh) 2023-11-14

Family

ID=81716647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210179342.9A Active CN114565889B (zh) 2022-02-25 2022-02-25 车辆压线状态的确定方法、装置、电子设备和介质

Country Status (2)

Country Link
US (1) US20230274557A1 (zh)
CN (1) CN114565889B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909626A (zh) * 2019-11-04 2020-03-24 上海眼控科技股份有限公司 车辆压线检测方法、装置、移动终端及存储介质
CN110991232A (zh) * 2019-10-28 2020-04-10 纵目科技（上海）股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN113392794A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 车辆跨线识别方法、装置、电子设备和存储介质
KR20220004608A (ko) * 2020-12-25 2022-01-11 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 차량 주행 제어 방법, 장치 및 전자 기기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991232A (zh) * 2019-10-28 2020-04-10 纵目科技（上海）股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN110909626A (zh) * 2019-11-04 2020-03-24 上海眼控科技股份有限公司 车辆压线检测方法、装置、移动终端及存储介质
KR20220004608A (ko) * 2020-12-25 2022-01-11 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 차량 주행 제어 방법, 장치 및 전자 기기
CN113392794A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 车辆跨线识别方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于车载图像的目标车辆压线检测方法;邱康等;《计算机系统应用》;第28卷(第11期);第188-194页 *

Also Published As

Publication number Publication date
US20230274557A1 (en) 2023-08-31
CN114565889A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN112581463B (zh) 图像缺陷的检测方法、装置、电子设备、存储介质及产品
CN113205037B (zh) 事件检测的方法、装置、电子设备以及可读存储介质
CN113205041B (zh) 结构化信息提取方法、装置、设备和存储介质
EP4170285A1 (en) Method and apparatus for constructing three-dimensional map in high-definition map, device and storage medium
CN114332977A (zh) 关键点检测方法、装置、电子设备及存储介质
CN116245193A (zh) 目标检测模型的训练方法、装置、电子设备及介质
CN112883236B (zh) 一种地图更新方法、装置、电子设备及存储介质
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN112507956A (zh) 信号灯识别方法、装置、电子设备、路侧设备和云控平台
CN114565889B (zh) 车辆压线状态的确定方法、装置、电子设备和介质
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN113011316B (zh) 一种镜头状态的检测方法、装置、电子设备和介质
CN115546764A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN113361371A (zh) 道路提取方法、装置、设备以及存储介质
CN114266879A (zh) 三维数据增强、模型训练检测方法、设备及自动驾驶车辆
CN113901903A (zh) 道路识别方法和装置
CN112630736A (zh) 路侧雷达的参数确定方法、装置、设备及存储介质
CN114581890B (zh) 确定车道线的方法、装置、电子设备和存储介质
CN117315406B (zh) 一种样本图像处理方法、装置及设备
CN113360688B (zh) 信息库的构建方法、装置及系统
CN114529768B (zh) 确定对象类别的方法、装置、电子设备和存储介质
CN114092874B (zh) 目标检测模型的训练方法、目标检测方法及其相关设备
CN116385952B (zh) 配网线路小目标缺陷检测方法、装置、设备及存储介质
CN114092739B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN114693777A (zh) 交通标志的空间位置确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant