CN114092916B - 图像处理方法、装置、电子设备、自动驾驶车辆及介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品，涉及人工智能领域，尤其涉及自动驾驶、智能交通等技术领域。具体实现方案为：针对关于目标区域的待处理图像，从待处理图像中确定至少一个对象；确定关于目标区域的标定图像，标定图像是与待处理图像同时采集的，标定图像包括至少一个对象，标定图像指示了至少一个对象各自的图像位置与至少一个对象各自的地理位置之间的关系；以及基于标定图像，从至少一个对象中确定目标对象。

Description

图像处理方法、装置、电子设备、自动驾驶车辆及介质

技术领域

本公开涉及人工智能领域，尤其涉及自动驾驶、智能交通等技术领域，具体涉及图像处理方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

背景技术

“车路协同”可以指路侧感知系统与车辆的协同。在大力发展车路协同的背景下，路侧感知系统的路侧感知能力是一个重要研究方向。路侧感知能力是路侧感知系统的质量优劣的一个重要体现。高效精准地对路侧感知系统的路侧感知能力进行评估，至关重要。

发明内容

本公开提供了一种图像处理方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

根据本公开的一方面，提供了一种图像处理方法，可以包括：针对关于目标区域的待处理图像，从所述待处理图像中确定至少一个对象；确定关于所述目标区域的标定图像，其中，所述标定图像是与所述待处理图像同时采集的，所述标定图像包括所述至少一个对象，所述标定图像指示了所述至少一个对象各自的图像位置与所述至少一个对象各自的地理位置之间的关系；以及基于所述标定图像，从所述至少一个对象中确定目标对象。

根据本公开的另一方面，提供了一种图像处理装置，可以包括：第一确定模块，用于针对关于目标区域的待处理图像，从所述待处理图像中确定至少一个对象；第二确定模块，用于确定关于所述目标区域的标定图像，其中，所述标定图像是与所述待处理图像同时采集的，所述标定图像包括所述至少一个对象，所述标定图像指示了所述至少一个对象各自的图像位置与所述至少一个对象各自的地理位置之间的关系；以及第三确定模块，用于基于所述标定图像，从所述至少一个对象中确定目标对象。。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括如上所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的图像处理方法的流程图；

图3示意性示出了根据本公开实施例的目标区域的场景示意图；

图4A示意性示出了根据本公开实施例的自动驾驶车辆的行驶轨迹图；

图4B示意性示出了根据本公开另一实施例的自动驾驶车辆的行驶轨迹图；

图4C示意性示出了根据本公开另一实施例的自动驾驶车辆的行驶轨迹图；

图5示意性示出了根据本公开实施例的感知评估示意图；

图6示意性示出了根据本公开另一实施例的感知评估示意图；

图7示意性示出了根据本公开实施例的感知评估图像的示意图；

图8示意性示出了根据本公开实施例的图像处理装置的框图；以及

图9示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种图像处理方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

根据本公开的实施例，图像处理方法可以包括：针对关于目标区域的待处理图像，从待处理图像中确定至少一个对象；确定关于目标区域的标定图像，其中，标定图像是与待处理图像同时采集的，标定图像包括至少一个对象，标定图像指示了至少一个对象各自的图像位置与至少一个对象各自的地理位置之间的关系；以及基于标定图像，从至少一个对象中确定目标对象。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括自动驾驶车辆101，网络102和图像采集设备103。网络102用以在自动驾驶车辆101和图像采集设备103之间提供通信链路的介质。网络102可以包括各种连接类型，例如无线通信链路。

用户可以使用自动驾驶车辆101通过网络102与图像采集设备103交互，以接收或发送视频流数据等。

图像采集设备103可以部署在道路的周边，例如十字路口的周边。图像采集设备103可以包括摄像头。摄像头可以朝向道路用于采集道路以及道路上的车辆、行人等信息。

自动驾驶车辆101上可以安装有及时通信工具，可以获取图像采集设备103采集的待处理图像。自动驾驶车辆101上还可以安装有采集标定图像的相机，例如鱼眼相机、和/或枪机等。

需要说明的是，本公开实施例所提供的图像处理方法一般可以由自动驾驶车辆101执行。相应地，本公开实施例所提供的图像处理装置也可以设置于自动驾驶车辆101中。

例如，自动驾驶车辆101可以接收来自图像采集设备103的关于目标区域例如十字路口的视频流数据，从视频流数据中确定待处理图像，并识别待处理图像中的对象，确定至少一个对象。采集关于目标区域的视频信息，从视频信息中确定与待处理图像采集时刻相同的标定图像。基于标定图像，从至少一个对象中确定目标对象。

应该理解，图1中的自动驾驶车辆、网络和图像采集设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的图像处理方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，针对关于目标区域的待处理图像，从待处理图像中确定至少一个对象。

在操作S220，确定关于目标区域的标定图像，其中，标定图像是与待处理图像同时采集的，标定图像包括至少一个对象，标定图像指示了至少一个对象各自的图像位置与至少一个对象各自的地理位置之间的关系。

在操作S230，基于标定图像，从至少一个对象中确定目标对象。

根据本公开的实施例，目标区域可以是人流量或者车流量比较大的区域。例如，目标区域可以指道路的十字路口区域，也可以指商场、电影院等公共场所附近的区域。对目标区域的类型不做限定。

根据本公开的实施例，可以在目标区域内或者目标区域外围设置图像采集设备以采集关于目标区域的待处理图像或者关于目标区域的视频流。可以从视频流中提取视频帧作为待处理图像。待处理图像可以包括例如行人、车辆等运动的对象，也可以包括指示牌、雕像等静态的对象。可以通过采集待处理图像来获取关于目标区域的对象的信息。

根据本公开的实施例，标定图像可以指对目标区域实现全覆盖的图像。利用标定图像的全覆盖特点，可以实现关于目标区域的待处理图像中涉及的至少一个对象，也在关于目标区域全覆盖的标定图像中出现。

根据本公开的实施例，标定图像的采集时刻与待处理图像的采集时刻相同，或者满足预定时间间隔阈值。由此可以保证待处理图像中的至少一个对象各自的动作信息、位置信息与标定图像中的至少一个对象各自的动作信息、位置信息一致。

根据本公开的实施例，标定图像可以是利用已进行过标定的相机采集的图像。已进行过标定的相机可以是指已经确定了相机参数的相机。相机参数可以是指变换矩阵，可以包括旋转矩阵和平移向量。可以利用相机参数将图像位置的二维坐标映射至地理位置的三维坐标。图像位置可以利用例如像素坐标来表示，地理位置可以利用例如世界坐标来表示。可以利用本领域已知的标定方式对相机进行标定，只要是采集的标定图像指示了对象的图像位置与对象的地理位置之间的关系即可。

根据本公开的实施例，可以基于标定图像，确定待处理图像的至少一个对象各自的图像位置。基于标定图像来确定至少一个对象各自的图像位置与至少一个对象各自的地理位置之间的关系，进而确定至少一个对象各自的地理位置。在获知至少一个对象各自的地理位置的情况下，可以确定至少一个对象各自与基准位置之间的间距，可以基于间距，从至少一个对象中确定与基准位置相距最近的对象，作为目标对象。也可以从至少一个对象中确定与基准位置相距最远的对象，作为目标对象。还可以基于至少一个对象各自的地理位置，从至少一个对象中确定位于预定区域内的对象，作为目标对象。

可以将本公开实施例提供的图像处理方法应用于标定场景中，例如可以利用目标对象在待处理图像中的图像位置和由标定图像确定的目标对象的地理位置，来对采集待处理图像的图像采集设备进行标定，确定关于图像采集设备的将图像位置映射至地理位置的标定参数。也可以将本公开实施例提供的图像处理方法应用于评估场景中，例如将与图像采集设备相距最远的对象确定为目标对象。利用目标对象的地理位置，来评估采集待处理图像的图像采集设备的有效感知距离。

利用本公开实施例提供的图像处理方法，可以解放人力、提高图像处理效率。

图3示意性示出了根据本公开实施例的目标区域的场景示意图。

如图3所示，目标区域310可以是指十字路口区域。在十字路口区域出现例如行人320、汽车330以及公共汽车340等多个对象。多个对象的大小、运动速度等均不相同。

如图3所示，图像采集设备可以是路侧感知设备350，可以设置在目标区域310的边缘位置或者目标区域的中心位置。被采集对象的大小、运动速度以及相对位置等参数，成为图像采集设备采集待处理图像的影响因素。影响因素例如有效感知距离、感知覆盖范围、分辨率等。

根据本公开的实施例，可以按照对象的大小，对至少一个对象进行分类，确定与至少一个目标类型各自对应的至少一个分类后对象。目标类型可以是关于行人的目标类型、关于机动车的目标类型、关于非机动车的目标类型、以及关于其他(例如动物、静态物体等)的目标类型中的一项或多项。可以针对至少一个目标类型中的每个目标类型，基于标定图像，从至少一个分类后对象中确定与目标类型对应的目标对象。例如，从分类后的多个行人中确定一个行人作为目标对象，从分类后的多个机动车中确定一个机动车作为目标对象。

根据本公开的实施例，对多个对象进行分类，确定与至少一个目标类型一一对应的多个目标对象，能够使得处理结果粒度更细。

根据本公开的实施例，可以利用已进行过标定的相机来采集标定图像。已进行过标定的相机，已经确定用于将标定图像的对象的图像位置例如像素坐标转换为对象的地理位置例如世界坐标的变换矩阵。利用该变换矩阵，可以对标定图像的对象的像素坐标转换为对象的世界坐标。但是并不局限于此，也可以采用其他表征图像位置的坐标来代替像素坐标，采用其他表征地理位置的坐标来代替世界坐标，只要能够将图像位置的二维坐标映射为地理位置的三维坐标即可。

根据本公开的实施例，标定图像的采集时刻与待处理图像的采集时刻相同，并且，标定图像和待处理图像均是针对目标区域进行的信息采集。因此，可以保证待处理图像中涉及的对象，也同样出现在标定图像中，且待处理图像中的对象的地理位置例如世界坐标与标定图像中的对象的地理位置相同。此外，可以利用多组相机结合的方式来采集标定图像，以保证标定图像的覆盖区域的范围大于待处理图像的覆盖区域范围。进而由此保证能够在标定图像中匹配到待处理图像中涉及的至少一个对象。

根据本公开的实施例，可以将待处理图像中的至少一个对象与标定图像中的至少一个对象进行匹配，建立待处理图像中的至少一个对象各自与标定图像中的对象的匹配关系。由此，利用标定图像来确定待处理图像中至少一个对象各自的世界坐标。例如，针对至少一个对象中的每个对象，将标定图像中对象的像素坐标转换为对象的世界坐标。基于至少一个对象各自的世界坐标，从至少一个对象中确定与至少一个目标类型一一对应的多个目标对象。

根据本公开的实施例，可以利用目标检测模型来分别处理待处理图像和标定图像，确定待处理图像的至少一个对象，以及确定标定图像的至少一个待匹配对象。针对待处理图像的至少一个对象中的每个对象，提取待处理图像的对象的特征向量。也可以提取标定图像的至少一个待匹配对象各自的特征向量。可以利用待处理图像的对象的特征向量，和与标定图像的至少一个待匹配对象一一对应的多个特征向量进行匹配，确定多个相似度结果。基于多个相似度结果，从标定图像的至少一个待匹配对象中确定与待处理图像的对象相匹配的待匹配对象，作为匹配对象。匹配对象与待处理图像的对象对应。

但是并不局限于此。还可以直接利用匹配模型来处理待处理图像和标定图像，输出待处理图像的每个对象与标定图像的至少一个待匹配对象各自的匹配关系。基于匹配关系，从至少一个待匹配对象中确定与对象匹配的匹配对象。

根据本公开的实施例，对目标检测模型和匹配模型的网络架构不做限定，可以利用卷积神经网络、循环神经网络等网络在内的各种深度学习方法来进行目标检测，但是并不局限于此，还可以利用本领域其他已知的图像处理模型来确定待处理图像的对象与标定图像的待匹配对象的匹配关系。

根据本公开的实施例，该标定图像中的对象，即，待处理图像中的对象，也即，标定图像中已经与待处理图像中的对象确定匹配关系的匹配对象。

根据本公开的实施例，可以利用针对标定图像和待处理图像的一组关联数据来确定目标对象。利用目标对象进行关于图像采集设备的标定，或者利用目标对象来进行图像采集设备的有效感知距离的评估。但是并不局限于此。还可以利用不同时刻采集的针对标定图像和待处理图像的多组关联数据来确定与多组关联数据一一对应的多个目标对象。利用多个目标对象来进行图像采集设备的标定，或者利用多个目标对象来进行图像采集设备的有效感知距离的评估。

根据本公开的实施例，利用的关联数据的组合数量越多，越有利于使得确定的评估数据接近真实值。使得数据准确有效，提高处理精度。

图4A示意性示出了根据本公开实施例的自动驾驶车辆的行驶轨迹图。

图4B示意性示出了根据本公开另一实施例的自动驾驶车辆的行驶轨迹图。

图4C示意性示出了根据本公开另一实施例的自动驾驶车辆的行驶轨迹图。

如图4A、4B、4C所示，待处理图像可以是由设置在目标区域410例如十字路口外围的图像采集设备路例如侧感知设备420采集得到的，标定图像可以是由行驶在目标区域例如十字路口道路上的自动驾驶车辆430采集得到的。可以采用车路协同技术，将路侧感知设备420与自动驾驶车辆430之间建立通信连接。自动驾驶车辆430可以实时采集路侧感知设备420采集的关于待处理图像的视频流。

如图4A所示，自动驾驶车辆430可以在十字路口的道路上，沿着南北方向道路往复行驶，以及沿着东西方向道路往复行驶。如图4B、4C所示，自动驾驶车辆430也可以在十字路口的道路上，按照弧形拐弯加直行的方式沿着十字路口中心行驶，可以是环绕方式，也可以是交叉方式。可以按照三种行驶轨迹441、442、443分别进行行驶，以使得对目标区域的全路径覆盖。

可以利用自动驾驶车辆上安装的高精定位设备来获取高精度定位信息，以高精度定位信息作为依据，实时计算十字路口的中心点与自动驾驶车辆之间的距离。当自动驾驶车辆驶入到距中心点满足第一预定距离阈值，例如150m范围内，自动驾驶车辆与路侧感知设备之间的通信连接良好，可以实时获得由路侧感知设备发送的关于待处理图像的视频流。

可以在行驶过程中，在接收路侧感知设备发送的关于待处理图像的视频流的情况下，利用自动驾驶车辆上安装的已进行过标定的相机来实时采集关于目标区域的视频流，提取视频流中的视频帧，作为标定图像。可以利用实时获取的高精度定位信息来确定自动驾驶车辆与十字路口中心之间的距离，在两者之间的距离满足第二预定距离阈值，例如120m范围内，进行关于标定图像的视频流的采集，可以保证图像信息的分辨率，进而使得图像有效。此外，进行全路径覆盖的行驶方案，可以保证在该目标区域有充足的逗留时间来采集信息，而且能够保证采集方位的全覆盖性，避免出现盲区的问题。

根据本公开的实施例，自动驾驶车辆可以在采集关于目标区域的视频的情况下，同时接收来自路侧感知设备发送的关于目标区域的视频流。可以将两组数据进行存储时，为两组数据标记时间戳。以便在读取各自数据时，根据时间戳能够快速获得采集时刻对齐的两组数据，使得数据保持一致性。

根据本公开的实施例，自动驾驶车辆可以依序行驶至多个目标区域，可以为每个目标区域和与目标区域相关联的目标图像、待处理图像添加具有映射关系的标识，例如编码标识。以方便将目标区域和与目标区域相关联的目标图像、待处理图像形成一一对应的映射关系。

根据本公开的实施例，可以从与待处理图像相关的视频流中抽取多个视频帧，将多个视频帧作为多个待处理图像。可以基于采集时刻，例如时间戳，从与标定图像相关的视频流中提取与待处理图像采集时刻相同的视频帧，作为标定图像。进而确定与多个待处理图像一一对应的多个标定图像。可以利用本公开实施例提供的图像处理方法，来针对多个待处理图像中的每个待处理图像，基于与待处理图像相对应的标定图像，确定待处理图像的目标对象，得到多个目标对象。从多个目标对象中确定目标评估对象。

根据本公开的实施例，从多个对象中确定目标对象，以及从多个目标对象中确定目标评估对象的确定条件可以相同，也可以不同。确定条件可以是对象或者目标对象处于的位置例如世界坐标与参照位置例如图像采集设备的位置相距最远，但是并不局限于此，还可以是对象或者目标对象处于的位置处于预定区域范围内。

根据本公开的实施例，从多个对象中确定目标对象，以及从多个目标对象中确定目标评估对象的确定条件可以是：对象或者目标对象处于的位置例如世界坐标与参照位置例如图像采集设备的位置相距最远。可以根据多个对象各自的世界坐标，来确定多个对象各自与参照位置之间的距离。对多个距离按照距离由大到小的顺序进行排序，得到第一排序结果，选取排在首位的作为目标对象。基于距离，将各个目标对象按照距离由大到小的顺序进行排序，得到第二排序结果，选取排在首位的作为目标评估对象。可以将利用上述确定条件来确定的目标评估对象应用于评估图像采集设备的感知覆盖范围或者有效感知距离的场景中。

例如，执行如图2所示的操作S210～S230。以及，基于与目标评估对象相对应的标定图像，确定图像采集设备的第一位置和目标评估对象的第二位置。基于图像采集设备的第一位置和目标评估对象的第二位置，来确定图像采集设备的感知评估数据。

但是并不局限于此。还可以执行如图2所示的操作S210～S230。以及，基于标定图像，确定图像采集设备的第一位置和目标对象的第三位置。基于图像采集设备的第一位置和目标对象的第三位置，来确定图像采集设备的感知评估数据。

根据本公开的实施例，感知评估数据可以包括感知覆盖范围、或者有效感知距离等评估数据。图像采集设备的有效感知距离，即可理解为图像采集设备与目标对象或者目标评估对象之间的距离，或者是在该距离的基础上再结合可调节阈值来确定最终的有效感知距离。图像采集设备的感知覆盖范围可以指能够采集到图像信息的区域范围。每个图像采集设备的感知数据不同，在实际应用过程中，准确评估图像采集设备，得到感知评估数据，可以利用感知评估数据来利用图像采集设备。例如，准确获知图像采集设备的感知覆盖范围，可以合理的在路口布局图像采集设备以进行路侧感知数据的采集。

图5示意性示出了根据本公开实施例的感知评估示意图。

图6示意性示出了根据本公开另一实施例的感知评估示意图。

可以基于标定图像，可以将待处理图像中的至少一个对象由像素坐标映射至世界坐标中，确定每个对象在世界坐标系中的位置。将待处理图像的对象和图像采集设备的位置映射在世界坐标系中，得到感知评估示意图。

如图5所示，待处理图像的对象包括汽车A 510、汽车B 520、行人A 530和行人B540。可以计算多个对象各自与图像采集设备550之间的距离，通过距离确定汽车A 510为目标对象。可以计算汽车A 510置与图像采集设备550之间的距离，将该距离确定为有效感知距离。

也可以按照目标类型对多个对象进行分类，确定关于机动车的目标类型的目标对象为汽车A 510，确定关于行人的目标类型的目标对象为行人A 530。可以基于汽车A 510与图像采集设备550之间的距离，将该距离确定为关于机动车的目标类型的有效感知距离。基于行人A 530与图像采集设备550之间的距离，将该距离确定为关于行人的目标类型的有效感知距离。

还可以将不同采集时刻采集的多个待处理图像进行如上方式的距离确定，确定多个待处理图像各自的目标对象。

如图5和图6所示，分别确定不同采集时刻的待处理图像，关于机动车的目标类型的目标对象为汽车A 510和汽车C 610。可以基于汽车A 510与图像采集设备550之间的距离、以及汽车C 610与图像采集设备550之间的距离，来确定汽车C 610为目标评估对象。

可以根据图像采集设备的设备参数例如θ角度，确定图像采集设备的朝向数据，如图6所示的箭头示意方向620。可以以朝向数据作为基准，来确定图像采集设备550的预定感知角度630，例如针对箭头示意的直线的正偏转10度以及负偏转10度而形成的夹角。可以基于图像采集设备550的第一位置和汽车C 610的第二位置，确定图像采集设备550的感知半径640。以图像采集设备550为圆心，由预定感知角度630和感知半径640，来确定图像采集设备550的扇形的感知覆盖范围，作为感知评估数据。

但是并不局限于此，还可以根据实际情况，确定关于图像采集设备的预定感知角度。并结合通过标定图像确定的感知半径，来确定图像采集设备的感知覆盖范围。

图7示意性示出了根据本公开实施例的感知评估图像的示意图。

如图7所示，可以基于matplotlib(绘图)库绘制一张关于目标区域710的基础地图。该基础地图可以包括目标区域例如十字路口的各个方向的车道线、停止线等信息。可以根据图像采集设备的最远感知距离来初步估计基础地图的边界720。例如，可以以目标区域710的中心点为圆心，以半径为150米为圆作为基础地图的边界720。

可以将标定图像投影至基础地图上，例如将标定图像中的待匹配对象的像素坐标映射为世界坐标，标示在基础地图上，得到世界坐标热力图。可以根据对象的三维数据，确定在世界坐标系中的图形面积，将图像面积绘制到基础地图上。可以基于待处理图像的至少一个对象，确定世界坐标热量图中显示的对象，例如将标定图像中出现的且在待处理图像中未出现的待匹配对象，从世界坐标热量图中删除，生成感知评估图像。

可以将不同采集时刻采集的多个待处理图像通过叠加图层的方式，生成层叠感知评估图像，用于通过多组数据来更为准确的确定感知评估数据。

还可以将不同目标类型的感知评估数据通过叠加图层的方式，生成全量感知评估图像，用于确定关于目标区域的感知覆盖盲区。可以基于图像采集设备的感知覆盖范围以及目标区域的范围，来确定图像采集设备的感知覆盖盲区。可以针对不同目标类型的对象按照不同颜色进行标示。例如，将关于机动车的目标类型的对象标识为绿色，关于行人的目标类型的对象标示为红色，将关于非机动车的目标类型的对象标示为黄色，将关于其他的目标类型的对象标示为蓝色。该感知覆盖盲区可以指目标区域内图像采集设备不能感知到的区域。可以不局限于确定单个图像采集设备的感知覆盖盲区，还可以将同时用于采集关于目标区域信息的多个图像采集设备，例如图7所示的camera1、camera2、camera3、camera4结合，确定多个图像采集设备针对目标区域的感知覆盖盲区。例如可以将全量感知评估图像中未显示颜色的区域确定为感知覆盖盲区。通过颜色进行标示，更为直观。

图8示意性示出了根据本公开实施例的图像处理装置的框图。

如图8所示，图像处理装置800可以包括第一确定模块810、第二确定模块820、第三确定模块830。

第一确定模块810，用于针对关于目标区域的待处理图像，从待处理图像中确定至少一个对象。

第二确定模块820，用于确定关于目标区域的标定图像，其中，标定图像是与待处理图像同时采集的，标定图像包括至少一个对象，标定图像指示了至少一个对象各自的图像位置与至少一个对象各自的地理位置之间的关系。

第三确定模块830，用于基于标定图像，从至少一个对象中确定目标对象。

根据本公开的实施例，第一确定模块可以包括转换单元、第一对象确定单元。

转换单元，用于针对至少一个对象中的每个对象，将标定图像中对象的像素坐标转换为对象的世界坐标。

第一对象确定单元，用于基于至少一个对象各自的世界坐标，从至少一个对象中确定目标对象。

根据本公开的实施例，第一确定模块可以包括分类单元、第二对象确定单元。

分类单元，用于对至少一个对象进行分类，确定与至少一个目标类型各自对应的至少一个分类后对象。

第二对象确定单元，用于针对至少一个目标类型中的每个目标类型，基于标定图像，从至少一个分类后对象中确定与目标类型对应的目标对象。

根据本公开的实施例，图像处理装置还可以包括获取模块、第四确定模块、第五确定模块、第六确定模块。

获取模块，用于获取多个待处理图像，其中，多个待处理图像各自的采集时刻不同。

第四确定模块，用于按照采集时刻，确定与多个待处理图像一一对应的多个标定图像。

第五确定模块，用于针对多个待处理图像中的每个待处理图像，基于与待处理图像相对应的标定图像，确定待处理图像的目标对象，得到多个目标对象。

第六确定模块，用于从多个目标对象中确定目标评估对象。

根据本公开的实施例，待处理图像是由图像采集设备采集的。

根据本公开的实施例，图像处理装置还可以包括第七确定模块、第八确定模块。

第七确定模块，用于基于与目标评估对象相对应的标定图像，确定图像采集设备的第一位置和目标评估对象的第二位置。

第八确定模块，用于基于图像采集设备的第一位置和目标评估对象的第二位置，确定图像采集设备的感知评估数据。

根据本公开的实施例，第八确定模块可以包括朝向确定单元、角度确定单元、半径确定单元、覆盖范围确定单元。

朝向确定单元，用于确定图像采集设备的朝向数据。

角度确定单元，用于基于图像采集设备的朝向数据，确定图像采集设备的预定感知角度。

半径确定单元，用于基于图像采集设备的第一位置和目标评估对象的第二位置，确定图像采集设备的感知半径。

覆盖范围确定单元，用于基于预定感知角度和感知半径，确定图像采集设备的感知覆盖范围，作为感知评估数据。

根据本公开的实施例，图像处理装置还可以包括获取模块、投影模块、生成模块。

获取模块，用于获取关于目标区域的基础地图。

投影模块，用于将标定图像投影至基础地图上，得到世界坐标热力图。

生成模块，用于基于待处理图像和世界坐标热力图，生成感知评估图像。

根据本公开的实施例，图像处理装置还可以包括盲区确定模块。

盲区确定模块，用于基于图像采集设备的感知覆盖范围以及目标区域的范围，确定图像采集设备的感知覆盖盲区。

根据本公开的实施例，本公开还提供了一种电子设备、一种自动驾驶车辆、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

根据本公开的实施例，本公开还提供了一种自动驾驶车辆，可以包括电子设备，还可以包括通信设备、高精定位设备以及已进行过标定的相机等。

根据本公开的实施例，通信设备可以是车载通信设备例如车载电子标签(OBU)设备。可以利用通信设备与路侧感知设备建立通信连接，获取路侧感知设备传送的视频流，也可以利用通信设备与电子设备建立通信连接，将来自路侧感知设备的视频流传送给电子设备，以便电子设备基于视频流获取待处理图像，并基于待处理图像执行图像处理方法。

根据本公开的实施例，高精定位设备以及已进行过标定的相机分别与电子设备建立通信连接。高精定位设备可以向电子设备实时发送定位信息。已进行过标定的相机可以将采集的标定图像传送给电子设备。

根据本公开的实施例，电子设备可以与通信设备、高精定位设备以及已进行过标定的相机等一体集成，也可以与通信设备、高精定位设备以及已进行过标定的相机等分体设置。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像处理方法，包括：

针对关于目标区域的待处理图像，从所述待处理图像中确定至少一个对象；

确定关于所述目标区域的标定图像，其中，所述标定图像是与所述待处理图像同时采集的，所述标定图像包括所述至少一个对象，所述标定图像指示了所述至少一个对象各自的图像位置与所述至少一个对象各自的地理位置之间的关系；以及

基于所述标定图像，从所述至少一个对象中确定目标对象；

其中，标定图像是对目标区域实现全覆盖的图像，标定图像由行驶在目标区域的自动驾驶车辆按照全路径覆盖的行驶方案采集得到的，待处理图像由图像采集设备采集，利用目标对象的地理位置进行图像采集设备的有效感知距离的评估。

2.根据权利要求1所述的方法，所述基于所述标定图像，从所述至少一个对象中确定目标对象包括：

针对所述至少一个对象中的每个对象，将所述标定图像中所述对象的像素坐标转换为所述对象的世界坐标；

基于所述至少一个对象各自的世界坐标，从所述至少一个对象中确定目标对象。

3. 根据权利要求1所述的方法，其中，所述基于所述标定图像，从所述至少一个对象中确定目标对象包括：

对所述至少一个对象进行分类，确定与至少一个目标类型各自对应的至少一个分类后对象；以及

针对所述至少一个目标类型中的每个目标类型，基于所述标定图像，从所述至少一个分类后对象中确定与所述目标类型对应的目标对象。

4.根据权利要求1至3中任一项所述的方法，还包括：

获取多个待处理图像，其中，所述多个待处理图像各自的采集时刻不同；

按照采集时刻，确定与所述多个待处理图像一一对应的多个标定图像；

针对所述多个待处理图像中的每个待处理图像，基于与所述待处理图像相对应的标定图像，确定所述待处理图像的目标对象，得到多个目标对象；以及

从所述多个目标对象中确定目标评估对象。

5. 根据权利要求4所述的方法，其中，所述待处理图像是由图像采集设备采集的，所述方法还包括：

基于与所述目标评估对象相对应的标定图像，确定所述图像采集设备的第一位置和所述目标评估对象的第二位置；以及

基于所述图像采集设备的第一位置和所述目标评估对象的第二位置，确定所述图像采集设备的感知评估数据。

6.根据权利要求5所述的方法，其中，所述基于所述图像采集设备的第一位置和所述目标评估对象的第二位置，确定所述图像采集设备的感知评估数据包括：

确定所述图像采集设备的朝向数据；

基于所述图像采集设备的朝向数据，确定所述图像采集设备的预定感知角度；

基于所述图像采集设备的第一位置和所述目标评估对象的第二位置，确定所述图像采集设备的感知半径；以及

基于所述预定感知角度和所述感知半径，确定所述图像采集设备的感知覆盖范围，作为所述感知评估数据。

7.根据权利要求5所述的方法，还包括：

获取关于目标区域的基础地图；

将所述标定图像投影至所述基础地图上，得到世界坐标热力图；以及

基于所述待处理图像和所述世界坐标热力图，生成感知评估图像。

8.根据权利要求6所述的方法，还包括：

基于所述图像采集设备的感知覆盖范围以及所述目标区域的范围，确定所述图像采集设备的感知覆盖盲区。

9.一种图像处理装置，包括：

第一确定模块，用于针对关于目标区域的待处理图像，从所述待处理图像中确定至少一个对象，待处理图像由图像采集设备采集；

第二确定模块，用于确定关于所述目标区域的标定图像，其中，所述标定图像是与所述待处理图像同时采集的，所述标定图像包括所述至少一个对象，所述标定图像指示了所述至少一个对象各自的图像位置与所述至少一个对象各自的地理位置之间的关系，标定图像是对目标区域实现全覆盖的图像，标定图像由行驶在目标区域的自动驾驶车辆按照全路径覆盖的行驶方案采集得到的；以及

第三确定模块，用于基于所述标定图像，从所述至少一个对象中确定目标对象，其中，利用目标对象的地理位置进行图像采集设备的有效感知距离的评估。

10.根据权利要求9所述的装置，所述第一确定模块包括：

转换单元，用于针对所述至少一个对象中的每个对象，将所述标定图像中所述对象的像素坐标转换为所述对象的世界坐标；

第一对象确定单元，用于基于所述至少一个对象各自的世界坐标，从所述至少一个对象中确定目标对象。

11. 根据权利要求9所述的装置，其中，所述第一确定模块包括：

分类单元，用于对所述至少一个对象进行分类，确定与至少一个目标类型各自对应的至少一个分类后对象；以及

第二对象确定单元，用于针对所述至少一个目标类型中的每个目标类型，基于所述标定图像，从所述至少一个分类后对象中确定与所述目标类型对应的目标对象。

12.根据权利要求9至11中任一项所述的装置，还包括：

获取模块，用于获取多个待处理图像，其中，所述多个待处理图像各自的采集时刻不同；

第四确定模块，用于按照采集时刻，确定与所述多个待处理图像一一对应的多个标定图像；

第五确定模块，用于针对所述多个待处理图像中的每个待处理图像，基于与所述待处理图像相对应的标定图像，确定所述待处理图像的目标对象，得到多个目标对象；以及

第六确定模块，用于从所述多个目标对象中确定目标评估对象。

13. 根据权利要求12所述的装置，其中，所述待处理图像是由图像采集设备采集的，所述装置还包括：

第七确定模块，用于基于与所述目标评估对象相对应的标定图像，确定所述图像采集设备的第一位置和所述目标评估对象的第二位置；以及

第八确定模块，用于基于所述图像采集设备的第一位置和所述目标评估对象的第二位置，确定所述图像采集设备的感知评估数据。

14.根据权利要求13所述的装置，其中，所述第八确定模块包括：

朝向确定单元，用于确定所述图像采集设备的朝向数据；

角度确定单元，用于基于所述图像采集设备的朝向数据，确定所述图像采集设备的预定感知角度；

半径确定单元，用于基于所述图像采集设备的第一位置和所述目标评估对象的第二位置，确定所述图像采集设备的感知半径；以及

覆盖范围确定单元，用于基于所述预定感知角度和所述感知半径，确定所述图像采集设备的感知覆盖范围，作为所述感知评估数据。

15.根据权利要求13所述的装置，还包括：

获取模块，用于获取关于目标区域的基础地图；

投影模块，用于将所述标定图像投影至所述基础地图上，得到世界坐标热力图；以及

生成模块，用于基于所述待处理图像和所述世界坐标热力图，生成感知评估图像。

16.根据权利要求14所述的装置，还包括：

盲区确定模块，用于基于所述图像采集设备的感知覆盖范围以及所述目标区域的范围，确定所述图像采集设备的感知覆盖盲区。

17. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至8中任一项所述的方法。

19.一种自动驾驶车辆，包括如权利要求17所述的电子设备。