CN109271924A - 图像处理方法及图像处理装置 - Google Patents

图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN109271924A
CN109271924A CN201811073448.0A CN201811073448A CN109271924A CN 109271924 A CN109271924 A CN 109271924A CN 201811073448 A CN201811073448 A CN 201811073448A CN 109271924 A CN109271924 A CN 109271924A
Authority
CN
China
Prior art keywords
information
vehicle
road
map
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811073448.0A
Other languages
English (en)
Inventor
黄臻
黄德波
余熙平
苏迎
陈弈丞
胡文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Original Assignee
Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eye-To-Eye (shenzhen) Cloud Technology Co Ltd filed Critical Eye-To-Eye (shenzhen) Cloud Technology Co Ltd
Priority to CN201811073448.0A priority Critical patent/CN109271924A/zh
Publication of CN109271924A publication Critical patent/CN109271924A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Abstract

本申请提供图像处理方法及图像处理装置，方法包括：基于地图数据构建地图环境；通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面；根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景；提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，根据物体单元的信息对应图像画面进行标注；将标注处理后的测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。本申请能够免去了购买大量图像数据以及进行人工标注图片的所产生的巨大成本，提高了标注效率和准确度，使得训练的神经网络更为准确。

Description

图像处理方法及图像处理装置
技术领域
本申请涉及图像处理领域，尤其涉及图像处理方法以及图像处理装置。
背景技术
自动驾驶系统的感知训练需要对原图片进行标注，标注出图片中的各种物体单元，然后将标注好的图片以及原图片一起发送给神经网络训练模型进行训练。而现有技术中，一般图片标注是通过人工的方式进行标注的，具体是，由工作人员在图片上划分好各个物体单元，并且给每个物体单元标记好的名称。这种方式存在的问题是，首先购买图像数据需要花费不少的费用，并且每对一张图像进行人工标注需要花费几美金至十几美金，而感知训练是需要大量的图片的，这样就需要大量的人力和物力，从而导致成本巨大，并且效率低下，更可能会出现标注错误而影响后面的神经网络训练。
发明内容
本申请提供一种图像处理方法及图像处理装置，能够免去现有技术中自动驾驶系统的感知训练需要购买大量图像数据以及人工对原图片进行信息标注从而导致效率低下、成本高以及标注容易出错的问题。
根据本申请的第一方面，本申请提供一种图像处理方法，方法包括：基于地图数据构建地图环境，其中，地图数据包括：建筑物信息以及道路信息；通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面，行驶数据包括：车辆的地理位置信息、速度以及加速度，交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息；根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景；提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，根据物体单元的信息对应图像画面进行标注；将标注处理后的测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
优选地，在构建测试场景的步骤中，包括：根据本车行驶过程中的周边车辆的视频画面以及车辆的行驶数据，计算得出周边车辆的行驶数据；根据周边车辆的行驶数据以及周边车辆的视频画面在地图环境中构建周边车辆的行驶状态；根据交通环境的视频画面在地图环境中构建交通环境的变化状态。
优选地，在基于地图数据构建地图环境的步骤中，包括：获取地图数据中建筑物的轮廓信息以及特征信息，其中，建筑物的轮廓信息为建筑物在地图数据中的坐标点，建筑物的特征信息包括建筑物的层数；获取地图数据中道路的轮廓信息以及特征信息，其中，道路的轮廓信息为道路在地图数据中的坐标点，道路的特征信息包括道路的宽度信息；根据建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息和道路的特征信息将地图数据进行立体模拟以构建形成地图环境。
优选地，在通过摄像装置拍摄车辆行驶过程中的视频画面以及记录车辆的行驶数据的步骤中，还包括：通过传感器收集本车行驶过程中的路况信息，其中，传感器包括：天气传感器和/或胎压传感器；在构建测试场景的步骤中，还包括：根据传感器收集的路况信息，在地图环境中构建天气状况和/或路面平整度状况。
优选地，在根据所述物体单元的信息对应图像画面进行标注的步骤中，还包括：将物体单元在图像画面中以设定颜色表示。
根据申请的第二方面，本申请提供一种图像处理装置，装置包括：地图构建模块，用于基于地图数据构建地图环境，其中，地图数据包括：建筑物信息以及道路信息；摄像模块，用于通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面，行驶数据包括：车辆的地理位置信息、速度以及加速度，其中，交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息；场景模拟模块，用于根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景；标注模块，用于提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，根据物体单元的信息对应图像画面进行标注；保存模块，用于将标注处理后的测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
优选地，在构建测试场景的步骤中，包括：根据本车行驶过程中的周边车辆的视频画面以及车辆的行驶数据，计算得出周边车辆的行驶数据；根据周边车辆的行驶数据以及周边车辆的视频画面在地图环境中构建周边车辆的行驶状态；根据交通环境的视频画面在地图环境中构建交通环境的变化状态。
优选地，在基于地图数据构建地图环境的步骤中，包括：获取地图数据中建筑物的轮廓信息以及特征信息，其中，建筑物的轮廓信息为建筑物在地图数据中的坐标点，建筑物的特征信息包括建筑物的层数；获取地图数据中道路的轮廓信息以及特征信息，其中，道路的轮廓信息为道路在地图数据中的坐标点，道路的特征信息包括道路的宽度信息；根据建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息和道路的特征信息将地图数据进行立体模拟以构建形成地图环境。
优选地，图像处理装置还包括：传感器检测模块，用于通过传感器收集本车行驶过程中的路况信息，其中，传感器包括：天气传感器和/或胎压传感器；地图构建模块还用以：根据传感器收集的路况信息，在地图环境中构建天气状况和/或路面平整度状况。
优选地，标注模块还用于将物体单元在所述图像画面中以设定颜色表示。。
本申请的有益效果在于：基于地图数据构建测试环境，并通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，根据拍摄到本车行驶过车中的周边车辆、交通环境变化的视频画面以及记录到本车的行驶数据，在地图环境内模拟本车行驶过程中的周边车辆的行驶状态和交通环境的变化状态以构建测试场景，提取测试场景的图像画面以及图像画面中的物体单元信息，并对提取后的测试场景的图像画面进行标注作为自动驾驶系统的感知训练的训练素材，免去了购买大量图像数据以及进行人工标注图片的所产生的巨大成本，提高了标注效率和准确度，使得训练的神经网络更为准确。
附图说明
图1是本申请一实施例的图像处理方法的流程图；
图2是本申请另一实施例的图像处理装置的原理图；以及
图3是本申请的经过标注处理后的测试图像的示意图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步地描述，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是
指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
请参阅图1，本申请的应用于摄像设备的图像处理方法，方法包括：
步骤S101：基于地图数据构建地图环境。其中，地图数据包括：建筑物信息以及道路信息。本实施例中，步骤S101包括：
步骤S1011：获取地图数据中建筑物的轮廓信息以及特征信息，其中，所述建筑物的轮廓信息为所述建筑物在地图数据中的坐标点，所述建筑物的特征信息包括所述建筑物的层数。
本实施例中，建筑物的轮廓信息是通过坐标点的形式在地图数据中显示的，比如，某栋大厦的轮廓在平面的投影是正方形，通过其在地图上的坐标点是(0，0)、(0，1)、(1，0)、(1，1)来表示其轮廓。
步骤S1012：获取地图数据中道路的轮廓信息以及特征信息，其中，道路的轮廓信息为道路在地图数据中的坐标点，道路的特征信息包括道路的宽度信息。
本实施例中，道路也可以通过其在地图上的坐标点来表示其道路的形状，再结合道路的宽度信息，就可以绘制出道路的真实情况。
步骤S1013：根据建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息和道路的特征信息将地图数据进行立体模拟以构建形成地图环境。
本实施例中，根据建筑物的轮廓信息以及建筑的层数，能够建立建筑物的三维模型，根据道路的形状以及宽度信息能够绘制道路的真实情况，因为绘制的是三维模型，使得地图环境与实际的环境有相似的效果。
步骤S102：通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面，行驶数据包括：车辆的地理位置信息、速度以及加速度，其中，交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息。
本实施例中，可以通过在车辆上按照前、后、左、右方向上的摄像装置来获取周边车辆以及交通环境变化的视频画面，可以通过GPS定位来获取车辆的地理位置信息以及行驶轨迹，可以通过重力传感器来获取车辆的速度以及加速度。
步骤S103：根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景。
本实施例中，步骤S103具体包括：
步骤S1031：根据本车行驶过程中的周边车辆的视频画面以及车辆的行驶数据，计算得出周边车辆的行驶数据。本实施例中，通过本车车辆的行驶数据以及周边车辆的视频画面换算得出周边车辆的行驶数据。
步骤S1032：根据周边车辆的行驶数据以及周边车辆的视频画面在地图环境中构建周边车辆的行驶状态。本实施例中，行驶状态包括：周边车辆的行驶速度、周边车辆相对于本车的位置以及周边车辆的行驶方向。
步骤S1033：根据交通环境的视频画面在地图环境中构建交通环境的变化状态。本实施例中，交通环境的变化状态包括：交通标志的信息的变化、周边路面的信息的变化以及道路两侧的视频信息的变化。
比如，用户在学府路拍摄了一段视频，所拍摄的视频画面中包含有周边车辆以及周边交通环境的视频画面。根据本车车辆的行驶数据，比如速度信息等，计算得到周边车辆的行驶数据，根据视频画面的图像比例计算周边车辆与本车车辆的位置距离，根据视频画面中交通环境的变化例如交通标志的变化、路面的变化在地图环境上进行模拟。
本实施例中，还可以通过传感器收集本车行驶过程中的路况信息，其中，传感器包括：天气传感器和/或胎压传感器。
进一步地，在构建测试场景的步骤中，还包括：根据传感器收集的路况信息，在地图环境中构建天气状况和/或路面平整度状况。天气对路面的湿滑程度也是有影响的，路面的湿滑程度以及路面的平整度都会对车辆行驶造成影响，通过模拟路面的湿滑程度以及路面的平整度能够更进一步地模拟路面的状况，使得车辆的行驶环境更加真实。
通过上述的模拟，能够将所拍摄的视频画面中的周边车辆的行驶状态、交通环境的变化融入到前面构建的三维地图环境中，真实地模拟了车辆的真实驾驶环境，这样就无须再购买大量的图片数据，大大降低了成本。
步骤S104：提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，根据所述物体单元的信息对应所述图像画面进行标注。
本实施例中，提取测试场景的图像画面时，因为测试场景的图像画面中的各种物体单元的信息都是已经被系统所知悉的，比如测试场景中的道路信息，在系统构建地图环境时已经知悉，又比如道路上的车辆信息，在构建测试场景时也被系统所知悉，因此，只要调出系统的数据即可知悉测试场景中的图像画面中的各个物体单元的信息。将提取到的图像画面、图像画面中的各个物体单元的信息以及拍摄装置拍摄的图像，即可供给神经网络进行神经网络方面的训练。
请参阅图3，在步骤S104中，还包括：将物体单元在图像画面中以设定颜色表示。亦既是，将测试场景的图像画面按照物体单元的信息以不同的颜色显示，比如，图3中前方的警察车辆，在下方的小图中用白色显示，图3中的道路用粉红色来表示，道路两旁的大厦用青绿色表示。
进一步地，本实施例中，当地图环境的设定位置存在至少两测试场景时，用户可选择其中一测试场景以供自动驾驶系统性能测试。因为同一个地方的视频画面可能是不同用户上传的，这就导致同一个地段可能会对应多个测试场景的情况，用户只需要选择其中一个测试场景即可。
进一步地，步骤S104之后，还包括步骤：在构建的测试场景中测试自动驾驶系统性能。因为通过上述的模拟，能够将所拍摄的视频画面中的车辆、交通场景的变化融入到前面构建的三维地图环境中，这样就能够真实地模拟了车辆的驾驶环境，就可以应用在自动驾驶系统性能测试的场景中。
步骤S105：将标注处理后的测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
本实施例中，进行自动驾驶系统的感知训练需要将模拟得到的测试场景的图像画面以及标注后的图像画面作为自动驾驶系统的感知训练的训练素材。自动驾驶系统的感知训练通过深度学习算法实现，以后能够直接将图像画面进行标注。
相应的，依据计算机软件的功能模块化思维，请参阅图2，本申请提出一种图像处理装置，装置包括：
地图构建模块201，用于基于地图数据构建地图环境，其中，地图数据包括：建筑物信息以及道路信息。
地图构建模块201，包括：
计算单元，用于获取地图数据中建筑物的轮廓信息以及特征信息，其中，建筑物的轮廓信息为建筑物在地图数据中的坐标点，建筑物的特征信息包括建筑物的层数。
本实施例中，建筑物的轮廓信息是通过坐标点的形式在地图数据中显示的，比如，某栋大厦的轮廓在平面的投影是正方形，通过其在地图上的坐标点是(0，0)、(0，1)、(1，0)、(1，1)来表示其轮廓。
车辆模拟单元，用于获取地图数据中道路的轮廓信息以及特征信息，其中，道路的轮廓信息为道路在地图数据中的坐标点，道路的特征信息包括道路的宽度信息。
本实施例中，道路也可以通过其在地图上的坐标点来表示其道路的形状，再结合道路的宽度信息，就可以绘制出道路的真实情况。
交通场景单元，用于根据建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息和道路的特征信息将地图数据进行立体模拟以构建形成地图环境。
本实施例中，根据建筑物的轮廓信息以及建筑的层数，能够建立建筑物的三维模型，根据道路的形状以及宽度信息能够绘制道路的真实情况，因为绘制的是三维模型，使得地图环境与实际的环境有相似的效果。
摄像模块202，用于通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面，行驶数据包括：车辆的地理位置信息、速度以及加速度，其中，交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息。
本实施例中，可以通过在车辆上按照前、后、左、右方向上的摄像装置来获取周边车辆以及交通环境变化的视频画面，可以通过GPS定位来获取车辆的地理位置信息以及行驶轨迹，可以通过重力传感器来获取车辆的速度以及加速度。
场景模拟模块203，用于根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景。
具体地，场景模拟模块203，包括：
建筑物构建单元，用于根据本车行驶过程中的周边车辆的视频画面以及车辆的行驶数据，计算得出周边车辆的行驶数据；
道路构建单元，用于根据周边车辆的行驶数据以及周边车辆的视频画面在地图环境中构建周边车辆的行驶状态；
地图构建单元，用于根据交通环境的视频画面在地图环境中构建交通环境的变化状态。
比如，用户在学府路拍摄了一段视频，所拍摄的视频画面中包含有周边车辆以及周边交通环境的视频画面。根据本车车辆的行驶数据，比如速度信息等，计算得到周边车辆的行驶数据，根据视频画面的图像比例计算周边车辆与本车车辆的位置距离，根据视频画面中交通环境的变化例如交通标志的变化、路面的变化在地图环境上进行模拟。
本实施例中，图像处理装置还包括：传感器检测模块，用于通过传感器收集本车行驶过程中的路况信息，其中，传感器包括：天气传感器和/或胎压传感器。
进一步地，地图构建模块203还用以：根据传感器收集的路况信息，在地图环境中构建天气状况和/或路面平整度状况。天气对路面的湿滑程度也是有影响的，路面的湿滑程度以及路面的平整度都会对车辆行驶造成影响，通过模拟路面的湿滑程度以及路面的平整度能够更进一步地模拟路面的状况，使得车辆的行驶环境更加真实。
通过上述的模拟，能够将所拍摄的视频画面中的周边车辆的行驶状态、交通环境的变化融入到前面构建的三维地图环境中，这样就能够真实地模拟了车辆的驾驶环境，使得能够更加适用于自动驾驶系统性能测试。
标注模块204，用于提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，根据物体单元的信息对应图像画面进行标注。
本实施例中，提取测试场景的图像画面时，因为测试场景的图像画面中的各种物体单元的信息都是已经被系统所知悉的，比如测试场景中的道路信息，在系统构建地图环境时已经知悉，又比如道路上的车辆信息，在构建测试场景时也被系统所知悉，因此，只要调出系统的数据即可知悉测试场景中的图像画面中的各个物体单元的信息。将提取到的图像画面、图像画面中的各个物体单元的信息以及拍摄装置拍摄的图像，即可供给神经网络进行神经网络方面的训练。
请参阅图3，标注模块204还用以：将物体单元在图像画面中以设定颜色表示。亦既是，将测试场景的图像画面按照物体单元的信息以不同的颜色显示，比如，图3中前方的警察车辆，在下方的小图中用白色显示，图3中的道路用粉红色来表示，道路两旁的大厦用青绿色表示。
进一步地，本实施例中，当地图环境的设定位置存在至少两测试场景时，用户可选择其中一测试场景以供自动驾驶系统性能测试。因为同一个地方的视频画面可能是不同用户上传的，这就导致同一个地段可能会对应多个测试场景的情况，用户只需要选择其中一个测试场景即可。
进一步地，图像处理装置还包括性能测试模块，性能测试模块还用于：在构建的所述测试场景中测试所述自动驾驶系统性能。因为通过上述的模拟，能够将所拍摄的视频画面中的车辆、交通场景的变化融入到前面构建的三维地图环境中，这样就能够真实地模拟了车辆的驾驶环境，就可以应用在自动驾驶系统性能测试的场景中。
保存模块205，用于将标注处理后的测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
本实施例中，进行自动驾驶系统的感知训练需要将模拟得到的测试场景的图像画面以及标注后的图像画面作为自动驾驶系统的感知训练的训练素材。自动驾驶系统的感知训练通过深度学习算法实现，以后能够直接将图像画面进行标注。
下面结合图1至图3来对本申请的工作原理进行详细说明。
基于地图数据构建地图环境，具体是，获取地图数据中建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息以及道路的特征信息，然后根据建筑物的轮廓信息、建筑物的特征信息、道路的轮廓信息和道路的特征信息将地图数据进行立体模拟以构建形成地图环境。
通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，视频画面包括：本车行驶过程中的周边车辆以及交通环境变化的视频画面，行驶数据包括：车辆的地理位置信息、速度以及加速度，其中，交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息。
比如，通过行车记录仪拍摄在行驶过程中的视频画面，能够行驶时周边车辆的行驶状况以及交通环境的变化状况，然后通过行车记录仪记录到的本车的行驶数据推到出周边车辆与本车的相对位置以及行驶数据。
根据视频画面以及本车的行驶数据，模拟在地图环境内周边车辆的行驶状态以及交通环境变化，构建测试场景。具体是，将所拍摄的视频画面中的车辆、交通场景的变化融入到前面构建的三维地图环境中，这样就能够真实地模拟了车辆的驾驶环境，就可以应用在自动驾驶系统性能测试的场景中。
提取测试场景的图像画面以及测试场景的图像画面中的物体单元的信息，并将测试场景的图像画面对应的拍摄装置拍摄的图像画面进行保存以用作神经网络训练。
因为在构建测试场景的时候，已经知道场景中各个物体单元的信息，亦既是，实际上已经对各个物体单元进行了标注，则将测试场景中的画面进行截图，即可获得该画面的各个物体单元的信息。将提取到的图像画面、图像画面中的各个物体单元的信息以及拍摄装置拍摄的图像，即可供给神经网络进行神经网络方面的训练。
进一步地，可以在构建的测试场景中测试自动驾驶系统性能。
本公开提出一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述图像处理方法的步骤。
所述设备的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请的有益效果在于：基于地图数据构建测试环境，并通过摄像装置拍摄本车行驶过程中的视频画面以及记录本车的行驶数据，根据拍摄到本车行驶过车中的周边车辆、交通环境变化的视频画面以及记录到本车的行驶数据，在地图环境内模拟本车行驶过程中的周边车辆的行驶状态和交通环境的变化状态以构建测试场景，提取测试场景的图像画面以及图像画面中的物体单元信息，并对提取后的测试场景的图像画面进行标注作为自动驾驶系统的感知训练的训练素材，免去了购买大量图像数据以及进行人工标注图片的所产生的巨大成本，提高了标注效率和准确度，使得训练的神经网络更为准确。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
基于地图数据构建地图环境，其中，所述地图数据包括：建筑物信息以及道路信息；
通过摄像装置拍摄本车行驶过程中的视频画面以及记录所述本车的行驶数据，所述视频画面包括：所述本车行驶过程中的周边车辆以及交通环境变化的视频画面，所述行驶数据包括：车辆的地理位置信息、速度以及加速度，所述交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息；
根据所述视频画面以及本车的行驶数据，模拟在所述地图环境内所述周边车辆的行驶状态以及交通环境变化，构建测试场景；
提取所述测试场景的图像画面以及所述测试场景的图像画面中的物体单元的信息，根据所述物体单元的信息对应所述图像画面进行标注；
将标注处理后的所述测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
2.如权利要求1所述的图像处理方法，其特征在于，在所述构建测试场景的步骤中，包括：
根据所述本车行驶过程中的周边车辆的视频画面以及所述车辆的行驶数据，计算得出所述周边车辆的行驶数据；
根据所述周边车辆的行驶数据以及周边车辆的视频画面在所述地图环境中构建所述周边车辆的行驶状态；
根据所述交通环境的视频画面在所述地图环境中构建所述交通环境的变化状态。
3.如权利要求1所述的图像处理方法，其特征在于，在所述基于地图数据构建地图环境的步骤中，包括：
获取地图数据中建筑物的轮廓信息以及特征信息，其中，所述建筑物的轮廓信息为所述建筑物在地图数据中的坐标点，所述建筑物的特征信息包括所述建筑物的层数；
获取地图数据中道路的轮廓信息以及特征信息，其中，所述道路的轮廓信息为所述道路在地图数据中的坐标点，所述道路的特征信息包括所述道路的宽度信息；
根据所述建筑物的轮廓信息、建筑物的特征信息、所述道路的轮廓信息和所述道路的特征信息将所述地图数据进行立体模拟以构建形成所述地图环境。
4.如权利要求1所述的图像处理方法，其特征在于，在所述通过摄像装置拍摄车辆行驶过程中的视频画面以及记录车辆的行驶数据的步骤中，还包括：
通过传感器收集所述本车行驶过程中的路况信息，其中，所述传感器包括：天气传感器和/或胎压传感器；
在所述构建测试场景的步骤中，还包括：
根据所述传感器收集的路况信息，在所述地图环境中构建所述天气状况和/或路面平整度状况。
5.如权利要求1所述的图像处理方法，其特征在于，在所述根据所述物体单元的信息对应所述图像画面进行标注的步骤中，还包括：
将所述物体单元在所述图像画面中以设定颜色表示。
6.一种图像处理装置，其特征在于，所述装置包括：
地图构建模块，用于基于地图数据构建地图环境，其中，所述地图数据包括：建筑物信息以及道路信息；
摄像模块，用于通过摄像装置拍摄本车行驶过程中的视频画面以及记录所述本车的行驶数据，所述视频画面包括：所述本车行驶过程中的周边车辆以及交通环境变化的视频画面，所述行驶数据包括：车辆的地理位置信息、速度以及加速度，其中，所述交通环境变化的视频画面包括：交通标志的信息、周边路面的信息以及道路两侧的视频信息；
场景模拟模块，用于根据所述视频画面以及本车的行驶数据，模拟在所述地图环境内所述周边车辆的行驶状态以及交通环境变化，构建所述测试场景；
标注模块，用于提取所述测试场景的图像画面以及所述测试场景的图像画面中的物体单元的信息，根据所述物体单元的信息对应所述图像画面进行标注；以及
保存模块，用于将标注处理后的所述测试场景的图像画面进行保存以作为自动驾驶系统的感知训练的训练素材。
7.如权利要求6所述的图像处理装置，其特征在于，在所述构建测试场景的步骤中，包括：
计算单元，用于根据所述本车行驶过程中的周边车辆的视频画面以及所述车辆的行驶数据，计算得出所述周边车辆的行驶数据；
车辆模拟单元，用于根据所述周边车辆的行驶数据以及周边车辆的视频画面在所述地图环境中构建所述周边车辆的行驶状态；
交通场景单元，用于根据所述交通环境的视频画面在所述地图环境中构建所述交通环境的变化状态。
8.如权利要求6所述的图像处理装置，其特征在于，在所述基于地图数据构建地图环境的步骤中，包括：
建筑物构建单元，用于获取地图数据中建筑物的轮廓信息以及特征信息，其中，所述建筑物的轮廓信息为所述建筑物在地图数据中的坐标点，所述建筑物的特征信息包括所述建筑物的层数；
道路构建单元，用于获取地图数据中道路的轮廓信息以及特征信息，其中，所述道路的轮廓信息为所述道路在地图数据中的坐标点，所述道路的特征信息包括所述道路的宽度信息；
地图构建单元，用于根据所述建筑物的轮廓信息、建筑物的特征信息、所述道路的轮廓信息和所述道路的特征信息将所述地图数据进行立体模拟以构建形成所述地图环境。
9.如权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：传感器检测模块，用于通过传感器收集所述本车行驶过程中的路况信息，其中，所述传感器包括：天气传感器和/或胎压传感器；
所述地图构建模块还用以：根据所述传感器收集的路况信息，在所述地图环境中构建所述天气状况和/或路面平整度状况。
10.如权利要求6所述的图像处理装置，其特征在于，所述标注模块还用于将所述物体单元在所述图像画面中以设定颜色表示。
CN201811073448.0A 2018-09-14 2018-09-14 图像处理方法及图像处理装置 Withdrawn CN109271924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811073448.0A CN109271924A (zh) 2018-09-14 2018-09-14 图像处理方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811073448.0A CN109271924A (zh) 2018-09-14 2018-09-14 图像处理方法及图像处理装置

Publications (1)

Publication Number Publication Date
CN109271924A true CN109271924A (zh) 2019-01-25

Family

ID=65188940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811073448.0A Withdrawn CN109271924A (zh) 2018-09-14 2018-09-14 图像处理方法及图像处理装置

Country Status (1)

Country Link
CN (1) CN109271924A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886338A (zh) * 2019-02-25 2019-06-14 苏州清研精准汽车科技有限公司 一种智能汽车测试图像标注方法、装置、系统及存储介质
CN110059393A (zh) * 2019-04-11 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种车辆的仿真测试方法、装置及系统
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110262283A (zh) * 2019-06-11 2019-09-20 远形时空科技（北京）有限公司 一种多场景的视觉机器人仿真平台及方法
CN111325136A (zh) * 2020-02-17 2020-06-23 北京小马智行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111597986A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
CN112712098A (zh) * 2019-10-25 2021-04-27 北京四维图新科技股份有限公司 图像数据处理方法及装置
CN113506196A (zh) * 2021-07-20 2021-10-15 广州星锐传媒信息科技有限公司 一种基于单向视频交互的模拟驾驶训练课程制作方法
CN114740759A (zh) * 2022-04-18 2022-07-12 中国第一汽车股份有限公司 自动驾驶系统的测试方法、装置、存储介质及电子装置
TWI795752B (zh) * 2021-03-30 2023-03-11 歐特明電子股份有限公司 行車智能系統學習的開發裝置及其開發方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN107766872A (zh) * 2017-09-05 2018-03-06 百度在线网络技术（北京）有限公司 一种识别光照驾驶场景的方法和装置
US20180067966A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Map building with sensor measurements
CN107784826A (zh) * 2016-08-26 2018-03-09 丰田自动车株式会社 信息处理装置以及信息处理方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108267322A (zh) * 2017-01-03 2018-07-10 北京百度网讯科技有限公司 对自动驾驶性能进行测试的方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
CN105096386A (zh) * 2015-07-21 2015-11-25 中国民航大学 大范围复杂城市环境几何地图自动生成方法
CN107784826A (zh) * 2016-08-26 2018-03-09 丰田自动车株式会社 信息处理装置以及信息处理方法
US20180067966A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Map building with sensor measurements
CN108267322A (zh) * 2017-01-03 2018-07-10 北京百度网讯科技有限公司 对自动驾驶性能进行测试的方法和系统
CN107766872A (zh) * 2017-09-05 2018-03-06 百度在线网络技术（北京）有限公司 一种识别光照驾驶场景的方法和装置
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886338A (zh) * 2019-02-25 2019-06-14 苏州清研精准汽车科技有限公司 一种智能汽车测试图像标注方法、装置、系统及存储介质
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110059393A (zh) * 2019-04-11 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种车辆的仿真测试方法、装置及系统
CN110262283A (zh) * 2019-06-11 2019-09-20 远形时空科技（北京）有限公司 一种多场景的视觉机器人仿真平台及方法
CN112712098A (zh) * 2019-10-25 2021-04-27 北京四维图新科技股份有限公司 图像数据处理方法及装置
CN111325136A (zh) * 2020-02-17 2020-06-23 北京小马智行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111325136B (zh) * 2020-02-17 2024-03-19 北京小马慧行科技有限公司 智能车辆中物体对象的标注方法及装置、无人驾驶车辆
CN111597986A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
TWI795752B (zh) * 2021-03-30 2023-03-11 歐特明電子股份有限公司 行車智能系統學習的開發裝置及其開發方法
CN113506196A (zh) * 2021-07-20 2021-10-15 广州星锐传媒信息科技有限公司 一种基于单向视频交互的模拟驾驶训练课程制作方法
CN114740759A (zh) * 2022-04-18 2022-07-12 中国第一汽车股份有限公司 自动驾驶系统的测试方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN109271924A (zh) 图像处理方法及图像处理装置
CN109187048A (zh) 自动驾驶性能测试方法以及自动驾驶性能测试装置
US11314985B2 (en) System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
CN111566664A (zh) 用于生成用于机器学习的合成图像数据的方法、设备和系统
CN104331873A (zh) 一种从单幅图像检测道路的方法
CN106023622B (zh) 一种确定红绿灯识别系统识别性能的方法和装置
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN110348463B (zh) 用于识别车辆的方法和装置
CN111797526B (zh) 一种仿真测试场景构建方法及装置
CN109711285B (zh) 识别模型的训练、测试方法和装置
CN107128492A (zh) 一种基于人头检测的无人机跟踪方法、装置及无人机
CN109508579B (zh) 用于获取虚拟点云数据的方法及装置
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN111209880A (zh) 车辆行为识别方法、装置
CN109703465A (zh) 车载图像传感器的控制方法和装置
CN110705101A (zh) 网络训练方法、车辆行驶方法及相关产品
WO2024060529A1 (zh) 一种道路病害识别方法、系统、设备及存储介质
CN110395257A (zh) 一种车道线实例检测方法和装置、自动驾驶车辆
CN109389095B (zh) 一种路面标线图像识别方法和训练方法
CN109977862A (zh) 一种车位限位器的识别方法
US20230360246A1 (en) Method and System of Real-Timely Estimating Dimension of Signboards of Road-side Shops
CN116129318A (zh) 一种基于视频序列和预训练实例分割的无监督单目三维目标检测方法
CN106127800A (zh) 基于aer图像传感器的实时多物体追踪方法和装置
CN207197560U (zh) 一种交通标识识别测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190125