CN114255351A - 一种图像处理方法、装置、介质、设备及驾驶系统 - Google Patents

一种图像处理方法、装置、介质、设备及驾驶系统 Download PDF

Info

Publication number
CN114255351A
CN114255351A CN202210185274.7A CN202210185274A CN114255351A CN 114255351 A CN114255351 A CN 114255351A CN 202210185274 A CN202210185274 A CN 202210185274A CN 114255351 A CN114255351 A CN 114255351A
Authority
CN
China
Prior art keywords
image
perception
current environment
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210185274.7A
Other languages
English (en)
Other versions
CN114255351B (zh
Inventor
龚骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202210185274.7A priority Critical patent/CN114255351B/zh
Publication of CN114255351A publication Critical patent/CN114255351A/zh
Application granted granted Critical
Publication of CN114255351B publication Critical patent/CN114255351B/zh
Priority to PCT/CN2022/100666 priority patent/WO2023159822A1/zh
Priority to EP22871157.8A priority patent/EP4258225A1/en
Priority to US18/462,579 priority patent/US20230419442A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种图像处理方法、装置、介质、设备及驾驶系统，属于数据处理技术领域。主要包括，根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像；利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果，以及，对多个感知结果进行融合，得到当前环境图像的感知结果数据。本申请能够提高感知的准确度。

Description

一种图像处理方法、装置、介质、设备及驾驶系统
技术领域
本申请涉及数据处理技术领域，特别涉及一种图像处理方法、装置、介质、设备及驾驶系统。
背景技术
当前对图像分析处理的应用越来越广泛，例如对实际场景中目标的定位、识别以及跟踪等。在对图像分析处理的过程中，需要通过对目标进行感知获取感知信息，再利用感知信息进行相应的分析处理，对图像中目标感知的准确度直接影响图像分析处理的结果的准确度。因此需要一套精确的图像目标感知方案。
发明内容
针对现有技术存在的问题，本申请主要提供一种图像处理方法、装置、介质、设备及驾驶系统，通过对原始环境图像根据不同感知目标类别的特性进行分割处理，利用相应的感知模型进行感知，然后将感知结果进行融合得到原始环境图像的感知结果，来提高感知的效率和准确度。
第一方面，本申请实施例提供一种图像处理方法，其包括：
根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像； 利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及，对多个感知结果进行融合，得到当前环境图像的感知结果数据，其中，多个感知目标特征分类与多个神经网络图像感知模型一一对应。
第二方面，本申请实施例提供一种图像处理装置，其包括：
图像调整模块，用于根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像； 感知模块，用于利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及融合模块，用于对多个感知结果进行融合，得到当前环境图像的感知结果数据，其中，多个感知目标特征分类与多个神经网络图像感知模型一一对应。
第三方面，本申请实施例提供一种驾驶系统，其包括上述方案中的图像处理装置。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被操作以执行上述方案中的图像处理方法。
第五方面，本申请实施例提供一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，该计算机指令被操作以执行上述方案中的图像处理方法。
本申请的技术方案可以达到的有益效果是：提供一种图像处理方法、装置、介质、设备及驾驶系统。本申请通过对原始环境图像根据不同感知目标类别的特性进行分割处理，利用相应的感知模型进行感知，然后将感知结果进行融合得到原始环境图像的感知结果，来提高感知的效率和准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图示例性的示出了本申请的一些实施例。
图1是本申请一种图像处理方法的一个具体实施方式流程示意图；
图2是本申请一种图像处理方法的一个具体实施例中的当前环境图像示意图；
图3是本申请一种图像处理装置的一个具体实施方式示意图；
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
近年来对图像分析处理的应用越来越广泛，例如对实际场景中目标的定位、识别以及跟踪等。在对图像分析处理的过程中，需要通过对目标进行感知获取感知信息，再利用感知信息进行相应的分析处理，对图像中目标感知的准确度直接影响图像分析处理的结果的准确度。例如自动驾驶中对获取的环境图像中包括障碍物以及车道线等的对象进行感知，并根据感知结果制定车辆运行策略，其对感知结果的准确度要求比较高，否则就会存在交通安全隐患。
本申请提供一种图像处理方法、装置、介质、设备及驾驶系统，通过对原始环境图像根据不同感知目标类别的特性进行分割处理，利用相应的感知模型进行感知，然后将感知结果进行融合得到原始环境图像的感知结果，来提高感知的效率和准确度。
下面以具体地实施例结合附图对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示出了本申请一种图像处理方法的一个具体实施方式。
在图1示出的本申请图像处理方法的具体实施方式中，包括过程S101，根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像；过程S102，利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及过程S103，对多个感知结果进行融合，得到当前环境图像的感知结果数据，其中，多个感知目标特征分类与多个神经网络图像感知模型一一对应。
通过对原始环境图像根据不同感知目标类别的特性进行分割处理，利用相应的感知模型进行感知，然后将感知结果进行融合得到原始环境图像的感知结果，来提高感知的效率和准确度。
过程S101表示的根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像的过程，能够便于利用相应神经网络感知模型，对相应的当前环境特征图像进行感知。
在本申请的可选具体实施例中，上述当前环境图像为图像采集设备实时采集到的包括多个感知特征分类的环境图像。具体的，可以是自动驾驶车辆上设置的摄像机实时采集到的包括多个感知特征分类的环境图像。
在本申请的一个具体实施例中，上述预定的多个感知目标特征分类为根据与当前环境图像相似的场景中，感知目标的特征进行分类得到的。
在本申请的一个具体实施例中，当前环境图像如图2所示，上述感知目标特征分类包括第一感知目标特征分类以及第二感知目标特征分类，其中第一感知目标特征分类中的感知目标包括障碍物，例如移动障碍物人、车等，以及固定障碍物路灯、指示标牌等，需要较高清晰度能够利于感知的。第二感知目标特征分类包括车道线，对清晰度的要求较低，但是对图像完整性的要求比较高。
可选的，上述第一感知目标特征分类还包括地面标志线，例如转向线。
可选的，将自动驾驶车辆在道路上运行时，通过相机拍摄的图片一般会包括行人、车、路灯、指示标牌、以及车道线等需要感知的目标，将行人、车、路灯以及指示标牌等划入障碍物类；将车道线划入车道线类。
在本申请的一个具体实施例中，根据上述多个感知目标特征分类中每个感知目标特征分类的感知目标特征，选用合适的神经网络图像感知模型。
在本申请的一个具体实施例中，上述根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像的过程包括：
根据所述每个感知目标特征分类在所述当前环境图像中的方位，以及所述每个感知目标特征分类的清晰度确定相应所述当前环境特征图像的特征类画幅； 根据与所述每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限以及所述当前环境图像的像素，确定相应所述当前环境特征图像的特征类像素；以及，根据所述特征类画幅以及所述特征类像素对所述当前环境图像进行调整得到所述当前环境特征图像，有利于保证感知的准确度。
具体的，对图像中的感知目标进行感知，自然有保留相应感知目标所在方位的画幅，因此，例如图2所示的车辆图像采集设备采集到的图像中，包括行人、车、指示标牌以及路灯等障碍物类位于图像的中上部，因此在本申请的一个优选实例中，会将图像的中上部确定为障碍物类的当前特征环境图像的特征类画幅。
并且对于清晰度较低的感知目标特征分类，比如道路标识，需要在确定相应特征类画幅时尽量保持清晰度以保证感知的准确性。因此，在本申请的优选实施例中，对于清晰度较低的感知目标特征分类，会尽量使特征类画幅最小。
而根据当前环境图像的像素以及相应神经网络图像感知模型的感知像素上限来确定当前环境特征图像的特征类像素，能够尽量使当前环境特征图像的像素最大以提高感知的准确度。
在本申请的一个具体实例中，车辆图像采集设备采集的图像的像素为1920×1080，对障碍物类所选用的神经网络图像感知模型能够感知的图像的最大像素为1792×896，对车道线类所选用的神经网络图像感知模型能够感知的图像的最大像素为1024×384，因此将障碍物类相应当前环境特征图像的特征类像素确定为1792×896，将车道线类当前环境特征图像的特征类像素确定1024×384。
在本申请的一个具体实施例中，上述根据特征类画幅以及特征类像素对当前环境图像进行调整得到当前环境特征图像的过程包括，对像素大于与所述每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限的所述当前环境图像，进行裁剪和/或缩放得到所述当前环境特征图像的当前环境特征图像。
具体的，进行裁剪和缩放都是减小图像像素的有效手段。因此可以根据感知目标特征分类的画幅所占当前环境图像画幅的比例选择进行裁剪还是缩放，或者既进行裁剪又进行缩放。
在本申请的一个具体实施例中，对像素大于与每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限的当前环境图像，进行裁剪和/或缩放得到当前环境特征图像的当前环境特征图像的过程包括，对当前环境图像进行裁剪以保留感知目标特征分类的清晰度，之后对裁剪后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于则对裁剪后的当前环境图像进行缩放，否则，将裁剪后的当前环境图像确定为当前环境特征图像。
具体的，在实际场景中，进行感知时对包括行人、车、指示标牌以及路灯等障碍物类的清晰度要求比较高。因此，优选的，对障碍物类的当前环境图像首先进行裁剪，之后对裁剪后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于则对裁剪后的当前环境图像进行缩放，否则，将裁剪后的当前环境图像确定为当前环境特征图像。
在本申请的一个具体实施例中，对像素大于与每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限的当前环境图像，进行裁剪和/或缩放得到当前环境特征图像的当前环境特征图像的过程包括，首先对当前环境图像进行缩放以保留感知目标特征分类的完整度，之后对缩放后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于，则对缩放后的当前环境图像进行裁剪，否则，将缩放后的当前环境图像确定为当前环境特征图像。
具体的，在实际场景中，进行感知时，对车道线类的清晰度要求比较低。因此，优选的，对车道线类的当前环境图像首先进行缩放，之后对缩放后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于，则对缩放后的当前环境图像进行裁剪，否则，将缩放后的当前环境图像确定为当前环境特征图像。
在本申请的一个具体实施例中，在每个所述神经网络图像感知模型完成执行上一个环境特征图像的感知过程后，对相应感知目标特征分类的当前环境特征图像中接收时间最接近当前时刻的所述相应当前环境特征图像进行感知。
具体的，本实施例适用于所选用的神经网络图像感知模型的处理速度比较慢，受限于神经网络图像感知模型的处理速度，如果对每个当前环境特征图像都进行感知的话，就不能保证感知的实时性。因此，通过被动丢帧的方式，只对每个感知目标特征分类的当前环境特征图像中，接收时间最接近当前时刻的当前环境特征图像进行感知，能够保证感知的实时性。
过程S102表示的利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果的过程，能够得到不同感知特征分类的准确度较高的感知结果。
在本申请的一个具体实施例中，上述利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果的过程包括，利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标同时进行感知，这样能够提高感知效率，节约时间。
在本申请的一个具体实施例中，上述当前环境图像如图2所示，当前环境特征图像中包括与第一感知目标特征分类对应的第一环境特征图像，以及与第二感知目标特征分类对应的第二环境特征图像，第一环境特征图像中包括了人、车、指示标牌以及路灯等障碍物类感知目标；第二环境特征图像中包括的感知目标为车道线；第一感知目标特征分类对应的障碍物感知模型，以及与所述第二感知目标特征分类对应的车道线感知模型。
本实施例中利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果的过程包括，先利用障碍物感知模型对第一环境特征图像进行感知后利用车道线感知模型对第二环境特征图像进行感知；先利用车道线感知模型对第二特征环境特征图像进行感知后利用障碍物感知模型对第一环境图像进行感知；或者，分别利用障碍物感知模型以及车道线感知模型对第一环境特征图像和第二环境特征图像进行同时感知。
过程S103表示的对多个感知结果进行融合，得到当前环境图像的感知结果数据的过程，能够将相同图像的感知目标信息与图像进行融合，将感知目标信息与相应图像对应起来，保证感知结果的准确性。
在本申请的可选具体实施例中，上述对多个感知结果进行融合，得到当前环境图像的感知结果数据的过程包括，将多个感知结果中的感知目标信息，与相应当前环境图像的像素位置进行关联，得到当前环境图像的感知结果数据，这样就能够明确感知目标在当前环境图像中的位置，从而据此进行分析判断。
在本申请的一个具体实施例中，本申请的图像处理方法还包括，将感知结果数据通过以太网实时传输至PC端，并在PC端根据感知结果数据对当前环境图像中的感知目标在当前环境图像中进行突出显示。能够对当前环境图像中的感知目标在当前环境图像中进行突出实时显示，从而实现对感知目标信息的感知结果是否准确进行实时直观的监控，从而进一步保证感知的准确度。
在本申请的可选具体实施例中，上述过程S101-S103均在嵌入式开发板上进行，在嵌入式开发板上以及PC上分别绑定一个端口（IP地址），嵌入板上的端口作为发送端，PC上的端口作为接收端，两个端口建立连接之后，PC端的端口就会进行监听。在得到上述感知结果数据之后，通过以太网将感知结果数据进行发送。PC端的端口监听并接收上述感知结果数据，这样就能够便于实时地根据上述结果数据在PC端上，对当前环境图像中的感知目标在当前环境图像中进行实时突出显示。
可选的，上述对所述当前环境图像中的感知目标在所述当前环境图像中进行突出显示的过程包括，在上述环境图像中的感知目标的图像四周用方框将感知目标框显示出来。
可选的，上述对所述当前环境图像中的感知目标在所述当前环境图像中进行突出显示的过程包括，在将上述环境图像中的感知目标轮廓加粗凸显。
在本申请的一个具体实例中，上述PC端在接收到上述感知结果数据之后，将上述感知结果数据以Json文档的格式进行保存。
图3示出了本申请一种图像处理装置的一个具体实施方式。
在图3示出的本申请图像处理装置的具体实施方式中，包括，
图像调整模块301，用于根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像； 感知模块302，用于利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及融合模块303，用于对多个感知结果进行融合，得到当前环境图像的感知结果数据，其中，多个感知目标特征分类与多个神经网络图像感知模型一一对应。
本申请装置能够通过对原始环境图像根据不同感知目标类别的特性进行分割处理，利用相应的感知模型进行感知，然后将感知结果进行融合得到原始环境图像的感知结果，来提高感知的效率和准确度。
用于根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像的图像调整模块301，能够获取当前环境特征图像，便于利用相应神经网络感知模型，对相应的当前环境特征图像进行感知。
用于利用相应神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果的感知模块302，能够得到不同感知特征分类的准确度较高的感知结果。
用于对多个感知结果进行融合，得到当前环境图像的感知结果数据的融合模块303，能够将相同图像的感知目标信息与图像进行融合，将感知目标信息与相应图像对应起来，保证感知结果的准确性。
在本申请的一个具体实施例中，本申请的图像处理装置，还包括传输显示模块，用于将感知结果数据通过以太网实时传输至PC端，并在PC端根据感知结果数据对当前环境图像中的感知目标在当前环境图像中进行突出显示的模块，能够对当前环境图像中的感知目标在当前环境图像中进行突出实时显示，从而实现对感知目标信息的感知结果是否准确进行实时直观的监控，从而保证感知的准确度。
本申请提供的图像处理装置，可用于执行上述任一实施例描述的图像处理方法，其实现原理和技术效果类似，在此不再赘述。
在本申请的一个具体实施例中，本申请一种图像处理装置中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROOM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列（英文：Field Programmable Gate Array，简称：FPGA）或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
本申请采用的另一个技术方案是：提供一种驾驶系统，其中驾驶系统包括图像处理装置。可选的，该图像处理装置包括处理器和存储器，处理器和存储器耦合；该图像处理装置用于执行上述方案中的图像处理方法。
在本申请的另一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行上述方案中的图像处理方法。
在本申请的另一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，该计算机指令被操作以执行上述方案中的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与所述每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像；
利用相应所述神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及
对所述多个感知结果进行融合，得到所述当前环境图像的感知结果数据；
其中，所述多个感知目标特征分类与所述多个神经网络图像感知模型一一对应。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与所述每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像的过程包括，
根据所述每个感知目标特征分类在所述当前环境图像中的方位，以及所述每个感知目标特征分类的清晰度确定相应所述当前环境特征图像的特征类画幅；
根据与所述每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限以及所述当前环境图像的像素，确定相应所述当前环境特征图像的特征类像素；以及
根据所述特征类画幅以及所述特征类像素对所述当前环境图像进行调整得到所述当前环境特征图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述特征类画幅以及所述特征类像素对所述当前环境图像进行调整得到所述当前环境特征图像的过程包括，
对像素大于与所述每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限的所述当前环境图像，进行裁剪和/或缩放得到所述当前环境特征图像的当前环境特征图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述对像素大于与所述每个感知目标特征分类相应的神经网络图像感知模型的感知像素上限的所述当前环境图像，进行裁剪和/或缩放得到所述当前环境特征图像的当前环境特征图像的过程包括，
对所述当前环境图像进行裁剪以保留所述感知目标特征分类的清晰度，之后对裁剪后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于则对所述裁剪后的当前环境图像进行缩放，否则，将所述裁剪后的当前环境图像确定为所述当前环境特征图像；或者，
首先对所述当前环境图像进行缩放以保留所述感知目标特征分类的完整度，之后对缩放后的当前环境图像的像素是否大于相应神经网络图像感知模型的感知像素上限进行判断，若大于，则对所述缩放后的当前环境图像进行裁剪，否则，将所述缩放后的当前环境图像确定为所述当前环境特征图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述多个感知结果进行融合，得到所述当前环境图像的感知结果数据的过程包括，
将所述多个感知结果中的感知目标信息，与相应所述当前环境图像的像素位置进行关联，得到所述当前环境图像的感知结果数据。
6.根据权利要求1所述的图像处理方法，其特征在于，
所述多个感知目标特征分类包括第一感知目标特征分类以及第二感知目标特征分类，所述第一感知目标特征分类中的感知目标包括障碍物，所述第二感知目标特征包括车道线；
所述多个神经网络图像感知模型包括与所述第一感知目标特征分类对应的障碍物感知模型，以及与所述第二感知目标特征分类对应的车道线感知模型。
7.一种图像处理装置，其特征在于，包括，
图像调整模块，用于根据预定的多个感知目标特征分类中每个感知目标特征分类的感知目标特征，以及预定的多个神经网络图像感知模型中，与所述每个感知目标特征分类相应的神经网络图像感知模型的像素要求，对当前环境图像进行相应调整得到多个当前环境特征图像；
感知模块，用于利用相应所述神经网络图像感知模型对每个当前环境特征图像中的感知目标进行感知，得到多个感知结果；以及
融合模块，用于对所述多个感知结果进行融合，得到所述当前环境图像的感知结果数据；
其中，所述多个感知目标特征分类与所述多个神经网络图像感知模型一一对应。
8.一种驾驶系统，其特征在于，所述驾驶系统包括如权利要求7所述的图像处理装置。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，其特征在于，所述计算机指令被执行时，使得计算机执行权利要求1-6中任一项所述的图像处理方法。
10.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其特征在于，所述计算机指令被所述处理器执行时实现如权利要求1-6中任一项所述的图像处理方法。
CN202210185274.7A 2022-02-28 2022-02-28 一种图像处理方法、装置、介质、设备及驾驶系统 Active CN114255351B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210185274.7A CN114255351B (zh) 2022-02-28 2022-02-28 一种图像处理方法、装置、介质、设备及驾驶系统
PCT/CN2022/100666 WO2023159822A1 (zh) 2022-02-28 2022-06-23 一种图像处理方法、装置、介质、设备及驾驶系统
EP22871157.8A EP4258225A1 (en) 2022-02-28 2022-06-23 Image processing method and apparatus, and medium, device and driving system
US18/462,579 US20230419442A1 (en) 2022-02-28 2023-09-07 Image processing method and apparatus, medium, device and driving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210185274.7A CN114255351B (zh) 2022-02-28 2022-02-28 一种图像处理方法、装置、介质、设备及驾驶系统

Publications (2)

Publication Number Publication Date
CN114255351A true CN114255351A (zh) 2022-03-29
CN114255351B CN114255351B (zh) 2022-05-27

Family

ID=80800058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210185274.7A Active CN114255351B (zh) 2022-02-28 2022-02-28 一种图像处理方法、装置、介质、设备及驾驶系统

Country Status (4)

Country Link
US (1) US20230419442A1 (zh)
EP (1) EP4258225A1 (zh)
CN (1) CN114255351B (zh)
WO (1) WO2023159822A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115056784A (zh) * 2022-07-04 2022-09-16 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片
WO2023159822A1 (zh) * 2022-02-28 2023-08-31 魔门塔(苏州)科技有限公司 一种图像处理方法、装置、介质、设备及驾驶系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN111291650A (zh) * 2020-01-21 2020-06-16 北京百度网讯科技有限公司 自动泊车辅助的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178253B (zh) * 2019-12-27 2024-02-27 佑驾创新(北京)技术有限公司 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
US11861940B2 (en) * 2020-06-16 2024-01-02 University Of Maryland, College Park Human emotion recognition in images or video
CN113705375A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种船舶航行环境视觉感知设备及方法
CN114255351B (zh) * 2022-02-28 2022-05-27 魔门塔(苏州)科技有限公司 一种图像处理方法、装置、介质、设备及驾驶系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN111291650A (zh) * 2020-01-21 2020-06-16 北京百度网讯科技有限公司 自动泊车辅助的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023159822A1 (zh) * 2022-02-28 2023-08-31 魔门塔(苏州)科技有限公司 一种图像处理方法、装置、介质、设备及驾驶系统
CN115056784A (zh) * 2022-07-04 2022-09-16 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片
CN115056784B (zh) * 2022-07-04 2023-12-05 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片

Also Published As

Publication number Publication date
WO2023159822A1 (zh) 2023-08-31
CN114255351B (zh) 2022-05-27
US20230419442A1 (en) 2023-12-28
EP4258225A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
CN114255351B (zh) 一种图像处理方法、装置、介质、设备及驾驶系统
CN108647638B (zh) 一种车辆位置检测方法及装置
JP2020509466A (ja) 完全な畳み込みアーキテクチャを使用する運転者の視覚的注意のための計算フレームワークのシステム及び方法
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN113240939B (zh) 一种车辆预警方法、装置、设备及存储介质
CN111169381A (zh) 一种车辆影像显示方法、装置、车辆和存储介质
US20220414917A1 (en) Method and apparatus for obtaining 3d information of vehicle
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
CN115497076A (zh) 一种高精准度和高效率的信号标识检测方法、装置及介质
Olaverri-Monreal et al. Tailigator: Cooperative system for safety distance observance
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN112507887B (zh) 一种路口标志牌提取及关联的方法及装置
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
CN116958915B (zh) 目标检测方法、装置、电子设备及存储介质
CN116721325A (zh) 一种图像处理方法、装置、介质、设备及感知监控系统
WO2023213416A1 (en) Method and user device for detecting an environment of the user device
CN116958915A (zh) 目标检测方法、装置、电子设备及存储介质
CN111652062A (zh) 一种基于无人驾驶的样本图像处理方法、装置及介质
CN117953448A (zh) 车辆的行驶道路的检测的相关方法及相关设备
CN117746012A (zh) 基于bev架构的目标检测方法和系统
CN115188181A (zh) 一种多融合道路车辆感知、导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant