CN114537429A - 车辆控制方法、装置、车辆及存储介质 - Google Patents

车辆控制方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN114537429A
CN114537429A CN202110969507.8A CN202110969507A CN114537429A CN 114537429 A CN114537429 A CN 114537429A CN 202110969507 A CN202110969507 A CN 202110969507A CN 114537429 A CN114537429 A CN 114537429A
Authority
CN
China
Prior art keywords
information
projection
vehicle
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110969507.8A
Other languages
English (en)
Inventor
蔡锐
张和
李志伟
刘颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110969507.8A priority Critical patent/CN114537429A/zh
Priority to US17/588,258 priority patent/US20230055978A1/en
Priority to EP22154189.9A priority patent/EP4141804A1/en
Publication of CN114537429A publication Critical patent/CN114537429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提出一种车辆控制方法、装置、车辆及存储介质，车辆包括：摄像装置，该方法包括：控制摄像装置采集车辆所处场景的图像；获取图像中投影图案的投影信息；根据投影信息，确定与投影图案对应的形变信息；根据形变信息，对车辆进行运动控制。通过本公开，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。

Description

车辆控制方法、装置、车辆及存储介质
技术领域
本公开涉及智能驾驶技术领域，尤其涉及一种车辆控制方法、装置、车辆及存储介质。
背景技术
随着智能驾驶技术的发展，对车辆所处场景信息进行识别具有较广泛的意义，场景信息识别(例如识别出场景中行驶路面的地势，障碍物信息等)，可以被辅助用于对车辆进行感知、避障、定位，以及控制。
相关技术中，通常是通过激光雷达、超声波传感器、深度学习算法，对车辆所处场景信息进行识别，以辅助对车辆进行感知、避障、定位，以及控制。
这种方式下，场景信息的识别方式较为繁琐，可能会影响车辆控制方法的鲁棒性，从而影响车辆运行的安全性。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的目的在于提出一种车辆控制方法、装置、车辆、电子设备及存储介质，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
本公开第一方面实施例提出的车辆控制方法，所述车辆包括：摄像装置，所述方法包括：控制所述摄像装置采集所述车辆所处场景的图像；获取所述图像中投影图案的投影信息；根据所述投影信息，确定与所述投影图案对应的形变信息；根据所述形变信息，对所述车辆进行运动控制。
在本公开的一些实施例中，所述摄像装置的数量是多个，所述获取所述图像中投影图案的投影信息，包括：
确定参考图像中的参考像素点的信息，所述参考图像属于多个所述图像；
对所述参考像素点的信息进行解析处理，以得到所述参考图像中投影图案的参考投影信息，所述参考投影信息是采集所述参考图像的摄像装置捕获所述投影图案得到的投影信息。
在本公开的一些实施例中，其中，所述根据所述投影信息，确定与所述投影图案对应的形变信息，包括：
根据所述参考投影信息，确定目标投影信息，所述目标投影信息，是采集目标图像的摄像装置捕获所述投影图案得到的投影信息，所述目标图像属于多个所述图像，所述参考图像和所述目标图像不相同；
根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，其中，所述根据所述参考投影信息，确定目标投影信息，包括：
根据所述参考投影信息和预设对应关系，确定所述目标投影信息；
其中，所述预设对应关系包括：与所述参考投影信息对应的目标投影信息，所述预设对应关系，是预先根据采集所述参考图像的摄像装置对应的参考摄像参数、以及采集所述目标图像的摄像装置的目标摄像参数，对所述投影图案标定得到的。
在本公开的一些实施例中，所述车辆还包括：投射装置，在所述控制所述摄像装置采集所述车辆所处场景的图像前，还包括：
控制所述投射装置向所述场景投射所述投影图案。
在本公开的一些实施例中，其中，
所述参考投影信息，是基于第一相机坐标系的参考像素坐标，所述第一相机坐标系，是采集所述参考图像的摄像装置的坐标系；
所述目标投影信息，是基于第二相机坐标系的目标像素坐标，所述第二相机坐标系，是采集所述目标图像的摄像装置的坐标系。
在本公开的一些实施例中，所述参考像素点和所述目标像素点分别对应场景空间中的位置点；
其中，所述根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息，包括：
根据所述参考摄像参数对所述参考像素坐标进行坐标转换，以得到所述位置点基于车辆坐标系的第一点坐标，所述车辆坐标系是所述车辆所在的坐标系；
根据所述目标摄像参数对所述目标像素坐标进行坐标转换，以得到所述位置点基于所述车辆坐标系的第二点坐标；
根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，所述根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息，包括：
根据所述第一点坐标和多个所述第二点坐标，生成与所述位置点对应的点云数据；
根据所述场景中多个位置点分别对应的多个点云数据，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，所述位置点，位于所述场景中的地面上；
其中，所述根据所述形变信息，对所述车辆进行运动控制，包括：
根据所述形变信息，确定所述地面的地势信息；
根据所述地势信息，对所述车辆进行运动控制。
在本公开的一些实施例中，所述根据所述形变信息，确定所述地面的地势信息，包括：
根据所述形变信息，确定所述地面的地面平整度；和/或
根据所述形变信息，确定所述地面的地面坡度；和/或
根据所述形变信息，确定所述地面中的交通标志信息，其中，所述地面平整度、和/或所述地面坡度、和/或所述交通标志信息，被作为所述地势信息。
在本公开的一些实施例中，所述位置点，位于所述场景中的目标物体上，
其中，所述根据所述形变信息，对所述车辆进行运动控制，包括：
根据所述形变信息，确定所述目标物体的形态信息和位置信息；
根据所述形态信息和位置信息，对所述车辆进行避障控制。
本公开第一方面实施例提出的车辆控制方法，通过控制摄像装置采集车辆所处场景的图像，并获取图像中投影图案的投影信息，根据投影信息，确定与投影图案对应的形变信息，以及根据形变信息，对车辆进行运动控制，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
本公开第二方面实施例提出的车辆控制装置，所述车辆包括：摄像装置，所述装置包括：采集模块，用于控制所述摄像装置采集所述车辆所处场景的图像；获取模块，用于获取所述图像中投影图案的投影信息；确定模块，用于根据所述投影信息，确定与所述投影图案对应的形变信息；控制模块，用于根据所述形变信息，对所述车辆进行运行控制。
在本公开的一些实施例中，所述摄像装置的数量是多个；
其中，所述获取模块，具体用于：
确定参考图像中的参考像素点的信息，所述参考图像属于多个所述图像；
对所述参考像素点的信息进行解析处理，以得到所述参考图像中投影图案的参考投影信息，所述参考投影信息，是采集所述参考图像的摄像装置捕获所述投影图案得到的投影信息。
在本公开的一些实施例中，其中，所述确定模块，包括：
第一确定子模块，用于根据所述参考投影信息，确定目标投影信息，所述目标投影信息，是采集目标图像的摄像装置捕获所述投影图案得到的投影信息，所述目标图像属于多个所述图像，所述参考图像和所述目标图像不相同；
第二确定子模块，用于根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，其中，所述第一确定子模块，具体用于：
根据所述参考投影信息和预设对应关系，确定所述目标投影信息；
其中，所述预设对应关系包括：与所述参考投影信息对应的目标投影信息，所述预设对应关系，是预先根据所述采集所述参考图像的摄像装置对应的参考摄像参数、以及所述采集所述目标图像的摄像装置的目标摄像参数，对所述投影图案标定得到的。
在本公开的一些实施例中，所述车辆还包括：投射装置，还包括：
投射模块，用于控制所述投射装置向所述场景投射所述投影图案。
在本公开的一些实施例中，其中，
所述参考投影信息，是基于第一相机坐标系的参考像素坐标，所述第一相机坐标系，是采集所述参考图像的摄像装置的坐标系；
所述目标投影信息，是基于第二相机坐标系的目标像素坐标，所述第二相机坐标系，是采集所述目标图像的摄像装置的坐标系。
在本公开的一些实施例中，所述参考像素点和所述目标像素点分别对应场景空间中的位置点；
其中，所述第二确定子模块，具体用于：
根据所述参考摄像参数对所述参考像素坐标进行坐标转换，以得到所述位置点基于车辆坐标系的第一点坐标，所述车辆坐标系是所述车辆所在的坐标系；
根据所述目标摄像参数对所述目标像素坐标进行坐标转换，以得到所述位置点基于所述车辆坐标系的第二点坐标；
根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，所述第二确定子模块，具体用于：
根据所述第一点坐标和多个所述第二点坐标，生成与所述位置点对应的点云数据；
根据所述场景中多个位置点分别对应的多个点云数据，确定与所述投影图案对应的形变信息。
在本公开的一些实施例中，所述位置点，位于所述场景中的地面上；
其中，所述控制模块，具体用于：
根据所述形变信息，确定所述地面的地势信息；
根据所述地势信息，对所述车辆进行避障控制。
在本公开的一些实施例中，所述控制模块，具体用于
根据所述形变信息，确定所述地面的地面平整度；和/或
根据所述形变信息，确定所述地面的地面坡度；和/或
根据所述形变信息，确定所述地面中的交通标志信息，其中，所述地面平整度、和/或所述地面坡度、和/或所述交通标志信息，被作为所述地势信息。
在本公开的一些实施例中，所述位置点，位于所述场景中的目标物体上，
其中，所述控制模块，具体用于：
根据所述形变信息，确定所述目标物体的形态信息和位置信息；
根据所述形态信息和位置信息，对所述车辆进行避障控制。
本公开第二方面实施例提出的车辆控制装置，通过控制摄像装置采集车辆所处场景的图像，并获取图像中投影图案的投影信息，根据投影信息，确定与投影图案对应的形变信息，以及根据形变信息，对车辆进行运动控制，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
本公开第三方面实施例提出的车辆，包括：本体；多个摄像装置，所述摄像装置用于采集所述场景的图像；与所述多个摄像装置分别相连接的控制装置，所述控制装置用于执行如上述任一项所述的车辆控制方法。
在本公开的一些实施例中，还包括：
与所述控制装置相连接的投射装置；
所述控制装置，还用于控制所述投射装置向所述场景投射投影图案，所述投影图案被用于对所述车辆进行运行控制。
在本公开的一些实施例中，还包括：
车灯，所述车灯用于照明；
所述投射装置与所述车灯集成设置。
本公开第三方面实施例提出的车辆，通过针对车辆配置本体、多个摄像装置，所述摄像装置用于采集所述场景的图像，以及与所述多个摄像装置分别相连接的控制装置，所述控制装置用于执行如上述的车辆控制方法，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
本公开第四方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开第一方面实施例提出的车辆控制方法。
本公开第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的车辆控制方法。
本公开第六方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的车辆控制方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本公开一实施例提出的车辆控制方法的流程示意图；
图2是本公开一实施例提出的随机图案的示意图；
图3是本公开一实施例提出的正弦波图案的示意图；
图4是本公开一实施例提出的二维码图案的示意图；
图5是本公开一实施例提出的网格图案的示意图；
图6是本公开另一实施例提出的车辆控制方法的流程示意图；
图7是本公开另一实施例提出的车辆控制方法的流程示意图；
图8是本公开实施例中车辆控制方法的应用场景示意图；
图9是本公开一实施例提出的车辆控制装置的结构示意图；
图10是本公开另一实施例提出的车辆控制装置的结构示意图；
图11是本公开一实施例提出的车辆的结构示意图；
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是根据本公开一实施例提出的车辆控制方法的流程示意图。
本实施例以车辆控制方法被配置为车辆控制装置中来举例说明。
本实施例中车辆控制方法可以被配置在车辆控制装置中，该车辆控制装置可以设置在服务器中，或者也可以设置在移动终端中，本公开实施例对此不作限制。
需要说明的是，本实施例的执行主体，在硬件上可以例如为服务器或者移动终端中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者移动终端中的相关的后台服务，对此不作限制。
如图1所示，该车辆控制方法，包括：
S101：控制摄像装置采集车辆所处场景的图像。
一些实施例中，在控制摄像装置采集车辆所处场景的图像之前，可以控制投射装置向场景投射投影图案。
其中，在本公开实施例中，投射装置可以具体例如为：车辆中配置的具有光学调制功能的光源(光源的数量可以根据实际业务场景的需求自适应配置，对此不做限制)，该光源还可以和车灯进行联合集成设计，光源的波段可以是可见光，也可以是红外光等不可见光，对此不做限制。
另外一些实施例中，也可以将投射装置集成在某一个摄像装置中，从而该摄像装置即可以实现投射功能，也可以实现图像捕获功能，或者，也可以将该投射装置与车辆分离设置，对此不做限制。
其中，投射装置可以向车辆所处场景投射相应的图案，该图案即可以被称为投影图案，投影图案可以是网格图案、随机编码图案、正弦波图案、三角波图案、二维码图案等(如图2、图3、图4、图5所示，图2是本公开一实施例提出的随机图案的示意图，图3是本公开一实施例提出的正弦波图案的示意图，图4是本公开一实施例提出的二维码图案的示意图，图5是本公开一实施例提出的网格图案的示意图)，对此不做限制。
本实施例中，车辆所处场景的图像可以是摄像装置捕获投射装置向场景投射的投影图案所得到的，也即是说，投射装置可以向场景中的投影区域中投影设定的投影图案，而后摄像装置捕获包含该投影区域的场景画面的图像，该图像即可以被称为车辆所处场景的图像。
其中，车辆所处场景的图像的数量可以是一张或者多张，对此不做限制。
一些实施例中，可以配置一个摄像装置采集多张场景的图像，或者，也可以配置多个摄像装置，由各个摄像装置分别捕获场景的图像，以得到多张图像，对此不做限制。
S102：获取图像中投影图案的投影信息。
上述在控制摄像装置采集车辆所处场景的图像后，可以获取图像中投影图案的投影信息。
其中，摄像装置所捕获的包含该投影区域的场景画面的图像中，可以包含与投影图案相关的信息，该信息即可以被称为投影信息，投影信息可以具体例如为：投影图案的像素信息、投影图案的形变信息、投影图案的明暗度信息等，对此不做限制。
一些实施例中，获取图像中投影图案的信息，可以是对图像进行图像解析，以得到图像中投影图案的投影信息，例如可以对图像中包含的投影图案进行图像解析，以得到投影图案的多个像素坐标，并将多个像素坐标作为投影信息，对此不做限制。
或者，还可以将图像输入预先训练好的深度学习模型中，以得到深度学习模型输出的图像中投影图案的多个像素坐标，并将多个像素坐标作为投影信息，或者也可以采用其它任意可能的方式获取图像中投影图案的投影信息，对此不做限制。
S103：根据投影信息，确定与投影图案对应的形变信息。
上述在对图像进行图像解析，以得到图像中投影图案的投影信息后，可以根据投影信息，确定与投影图案对应的形变信息。
本实施例中，在控制投射装置向车辆所处场景中投射投影图案时，由于车辆所处场景中可能会存在障碍物，由此，投射装置投射的投影图案在落到障碍物上时，会因为障碍物的影响，产生不同程度地形变，相应地，用于描述投影图案形变的信息，即可以被称为形变信息，而形变信息可以具体例如为投射图案的像素坐标的偏移，投射图案的偏移角度、投射图案的偏移尺寸等，对此不做限制。
一些实施例中，根据投影信息，确定与投影图案对应的形变信息，可以是将发生投影图案与投影装置所投射的未发生形变的投影图案进行对比，以得到投影图案相较与未发生形变的投影图案的变化信息，并将该变化信息作为形变信息。
举例而言，以投射装置投射的图案是网格图案为例，可以将发生形变的网格图案，和未发生形变的网格图案进行比对，判断网格的的偏移角度信息，网格的偏移尺寸信息，以及网格图案的明暗度信息，并把上述得到的多个信息作为形变信息，对此不做限制。
S104：根据形变信息，对车辆进行运动控制。
上述在根据投影信息，确定与投影图案对应的形变信息后，可以根据形变信息，对车辆进行运动控制。
也即是说，上述在得到投影图案对应的形变信息后，可以根据投影图案的形变信息，以及车辆所处的场景，对车辆进行不同类型的运动控制。比如，泊车场景、行驶场景等等，结合投影图案的形变信息，给出适配当前场景的控制策略。
在一些实施例中，对车辆的场景进行判断，例如可以判断出车辆所处的场景有无障碍物，以及障碍物的方位，进而可以对车辆进行运动控制，例如可以根据判断出的车辆所处场景中障碍物的的位置，控制车辆进行规避(例如：向左绕行、向右绕行、掉头、变道)，还可以根据判断出的车辆所处场景的地面平整度，控制车辆进行减速，以上根据形变信息，对车辆作出的相应控制，均可以被称为运动控制，对此不做限制。
一些实施例中，根据形变信息，对车辆进行运动控制，可以是根据图像的明暗度信息，对车辆进行运动控制，例如，如果车辆所处场景的地面是平整的情况下，图像中的投影图案的明暗度是一致的，如果车辆所处场景的地面不平整，图像中的投影图案的明暗度可以发生相应变化，此时可以分析投影图案对应的明暗度信息，对车辆进行运动控制。
举例而言，如果投影图案的形变信息指示，投影至路面的某一处的图案变暗，则可以认为该处可能存在凹陷，则可以控制车辆进行相应规避，如果投影图案的形变信息指示，投影至路面的某一处的图案变亮，则可以认为此处存在凸起障碍物，则可以控制车辆进行相应规避，对此不做限制。
本实施例中，通过控制摄像装置采集车辆所处场景的图像，并获取图像中投影图案的投影信息，再根据投影信息，确定与投影图案对应的形变信息，以及根据形变信息，对车辆进行运动控制，可以采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
图6是本公开另一实施例提出的车辆控制方法的流程示意图。
如图6所示，该车辆控制方法，包括：
S601：控制摄像装置采集车辆所处场景的图像。
S601的描述说明可以具体参见上述实施例，在此不再赘述。
S602：确定参考图像中的参考像素点的信息，参考图像属于多个图像。
其中，车辆可以包括多个摄像装置，多个摄像装置用于采集车辆所处场景的多个图像，多个摄像装置可以具体例如为第一相机(该第一相机是采集参考图像的摄像装置)和第二相机(该第二相机是采集目标图像的摄像装置)，第一相机和第二相机所采集的图像不相同，即可以将第一相机采集的图像记为参考图像，将第二相机采集的图像记为目标图像，参考图像和目标图像之间可以具有相应的关联关系，该关联关系可以用于辅助对车辆进行控制，对此不做限制。
本公开实施例中，可以针对至少部分摄像装置配置不相同的采集角度，从而当采用多个摄像装置分别采集相应的图像时，可以是分别控制多个摄像装置以对应的多个采集角度采集图像(本公开实施例中的多个图像，可以包括各个摄像装置采集到的场景的图像)，或者，针对至少部分摄像装置也可以配置其它不相同的摄像参数(例如相机内参或者相机外参)，从而分别控制多个摄像装置以对应的多个摄像参数采集图像，实现基于不同的摄像参数来捕获得到车辆所处场景的多个图像，从而可以基于车辆所处场景的图像有效地提升车辆的控制效果。
其中，上述第一相机(该第一相机是采集参考图像的摄像装置)采集得到的图像，即可以被称为参考图像，参考图像的数量可以是一张或者多张，对此不做限制。
本实施例中，参考图像可以是摄像装置捕获投射装置向场景投射的投影图案所得到的，也即是说，投射装置可以向场景中的投影区域中投影设定的投影图案，而后摄像装置捕获包含该投影区域的场景画面的图案，该场景画面的图案中即可以包含投影图像相关的信息。
其中，参考图像可以包含多个像素点，该像素点即可以被称为参考像素点，相应地，用于描述参考像素点的信息，即可以被称为参考像素点的信息，参考像素点的信息可以包括：像素点本身的信息，和像素点周围与投影图案相关的信息等，具体例如为：基于第一相机坐标系的参考像素点坐标等，对此不做限制。
一些实施例中，确定参考图像中的参考像素点的信息，可以是确定参考图像中的参考像素点，并确定该参考像素点基于第一相机坐标系的参考像素点坐标，将参考像素点坐标作为参考像素点的信息，对此不做限制。
S603：对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息，参考投影信息，是采集参考图像的摄像装置捕获投影图案得到的投影信息。
其中，参考投影信息，是基于第一相机坐标系的参考像素坐标，第一相机坐标系，是采集参考图像的摄像装置的坐标系。
上述在确定参考图像中的参考像素点的信息后，可以对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息，参考投影信息是采集参考图像的摄像装置捕获投影图案得到的投影信息，由此可以有效地提升参考投影信息的准确度和可靠度，从而可以基于参考投影信息更为准确的确定目标投影信息及形变信息。
也即是说，上述在确定参考图像中的参考像素点的信息后，可以对参考像素点的信息进行解析处理，以得到基于第一相机坐标系的参考像素坐标，并将该坐标作为参考投影信息，对此不做限制。
S604：根据参考投影信息，确定目标投影信息，目标投影信息，是采集目标图像的摄像装置捕获投影图案得到的投影信息，目标图像属于多个图像，参考图像和目标图像不相同。
上述在对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息后，可以根据参考投影信息，确定目标投影信息，从而可以基于参考投影信息有效地辅助提升目标像素信息确定的准确性，提升目标像素信息在车辆控制场景中的可参考性。
其中，目标投影信息，是采集目标图像的摄像装置捕获投影图案得到的投影信息，目标图像属于多个图像，参考图像和目标图像不相同。
其中，上述第二相机(该第二相机是采集目标图像的摄像装置)采集的图像即可以被称为目标图像，目标图像的数量可以是一张或者多张，对此不做限制。
其中，目标投影信息，是基于第二相机坐标系的目标像素坐标，第二相机坐标系，是采集目标图像的摄像装置的坐标系。
本实施例中，根据参考投影信息，确定目标投影信息，可以是根据第一相机坐标系的参考像素坐标，确定第一相机坐标系的参考像素坐标。
可选地，一些实施例中，一些实施例中，根据参考投影信息，确定目标投影信息，可以是根据参考投影信息和预设对应关系，确定目标投影信息，由于是根据预设对应关系，确定目标投影信息，能够有效地提高目标投影信息的准确性和可靠性，从而可以基于目标投影信息有效地辅助提升目标像素点的信息确定的准确性，提升目标像素点的信息在场景建模中的可参考性。
其中，预设对应关系包括：与参考投影信息对应的目标投影信息，预设对应关系，是预先根据采集参考图像的摄像装置对应的参考摄像参数、以及采集目标图像的摄像装置的目标摄像参数，对投影图案进行标定得到的。
举例而言，一些实施例中，可以对采集参考图像的摄像装置和采集目标图像的摄像装置进行标定，以得到相应的预设关系，该预设关系为：
Figure BDA0003225106610000151
其中，K_cam是摄像装置的内参矩阵，T_cam_vehicle是摄像装置的外参矩阵，P_i是车辆坐标系下的一点(即场景中的位置点基于车辆坐标系的主体坐标)，P-cam是该位置点在摄像装置坐标系下的坐标(在第一相机坐标系中P-cam对应于参考像素坐标，在第二相机坐标系下P-cam对应于目标像素坐标)，UV_i是投影图案的坐标(即，投影信息，当投影信息是由第一相机捕获得到，则可以被称为参考投影信息，当投影信息是由第二相机捕获得到，则可以被称为目标投影信息)。
另一些实施例中，也可以把投射装置视为是一个摄像装置，相应的可以对投射装置进行标定，以得到相应的预设关系，该预设关系为：
Figure BDA0003225106610000152
其中，K_proj是投射装置的内参矩阵，T_proj_vehicle是投射装置的外参矩阵，P_i是车辆坐标系下的一点，P_proj是该点在投射装置坐标系下的坐标，UV_i投影图案的坐标。
其中，在确定上述预设关系后，可以根据上述预设关系，得到由第二相机捕获得到投影图案的坐标UV_i，并将该坐标作为目标投影信息。
另一些实施例中，还可以采用对应点匹配的方式，根据目标投影信息，确定出基于第二相机坐标系的目标像素坐标，并将其作为目标投影信息，对此不做限制。
举例而言，对于第一相机坐标系下的一个参考像素坐标，由于UV_a周围被投射了投影图案的参考投影信息，可以通过模板匹配，强度匹配等综合方式，确定参考像素坐标UV_a在第二相机坐标系中的匹配的目标像素点坐标UV_b，此外，由于投射装置和相机的光学模型一致，可以把投射装置视为是一个相机，参与点对应点匹配中，由此，对所有的像素点进行匹配，以得到参考像素坐标UV_a在第二相机坐标系中的匹配的目标像素坐标UV_b，并将其作为目标投影信息。
上述在采用对应点匹配的方式，根据参考投影信息(基于第一相机坐标系的参考像素坐标)，确定出目标投影信息(基于第二相机坐标系的目标像素坐标)后，可以将匹配成功的匹配点组IR_i(UV_a,UV_b，UV_c，...)记录下来，其中a，b...表示不同的相机，一个点组应当至少包含2个点，对此不做限制。
S605：根据参考投影信息和目标投影信息，确定与投影图案对应的形变信息。
可选地，一些实施例中，如图7所示，图7是根据本公开另一实施例的示意图，根据参考投影信息和目标投影信息，确定与投影图案对应的形变信息，包括：
S701：根据参考摄像参数对参考像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第一点坐标，车辆坐标系是车辆所在的坐标系。
其中，在根据参考摄像参数对参考像素坐标进行转换后，可以得到位置点基于车辆坐标系的坐标，该坐标即可以被称为第一点坐标。
本实施例中，根据参考摄像参数对参考像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第一点坐标，可以是根据参考摄像参数，参考像素坐标及第一点坐标之间的关联关系确定的，关联关系如下：
uva＝Ka·Ta·Pi；
其中，Pi是位置点基于车辆坐标系的第一点坐标，Ta是第一相机的外参标定矩阵，Ka是第一相机的内参标定矩阵，则外参标定矩阵Ta和内参标定矩阵Ka均可以被称为上述的参考摄像参数，uva表示位置点基于第一相机坐标系的参考像素坐标。
S702：根据目标摄像参数对目标像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第二点坐标。
其中，在根据目标摄像参数对目标像素坐标进行转换后，可以得到位置点基于车辆坐标系的坐标，该坐标即可以被称为第二点坐标。
本实施例中，根据目标摄像参数对目标像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第二点坐标，可以是根据目标摄像参数，目标像素坐标及第二点坐标之间的关联关系确定的，关联关系如下：
uvb＝Kb·Tb·pi；
其中，Pi是位置点基于车辆坐标系的第二点坐标，Tb是第二相机的外参标定矩阵，Kb分别是第二相机的内参标定矩阵，则外参标定矩阵Tb和内参标定矩阵Kb均可以被称为上述的目标摄像参数，uvb表示位置点基于第二相机坐标系的参考像素坐标。
S703：根据第一点坐标和多个第二点坐标，确定与投影图案对应的形变信息。
可选地，一些实施例中，根据第一点坐标和多个第二点坐标，确定与投影图案对应的形变信息，可以是根据第一点坐标和多个第二点坐标，生成与位置点对应的点云数据，根据场景中多个位置点对应的多个点云数据，确定与投影图案对应的形变信息，由于是根据位置点对应的点云数据，确定与投影图案对应的形变信息，从而能够为形变信息的确定提供一个全新的维度，有效地提升形变信息的准确性和可靠性。
其中，多个点数据的集合即可以被称为点云数据。
一些实施例中，根据第一点坐标和多个第二点坐标，生成与位置点对应的点云数据，可以是根据第一主体坐标和多个第二主体坐标生成与位置点对应的点云图，并将该点云图作为与位置点对应的点云数据，对此不做限制。
上述在根据第一点坐标和多个第二点坐标，生成与位置点对应的点云数据后，可以根据场景中多个位置点对应的多个点云数据，确定与投影图案对应的形变信息。
本实施例中，可以根据场景中与多个位置点分别对应的多个点云数据，构建场景的三维模型，以通过场景的三维模型确定与投影图案对应的形变信息，对此不做限制。
当然，也可以采用其他任意可能的方式来实现根据第一点坐标和多个第二点坐标，确定与投影图案对应的形变信息，比如人工智能的方式、工程学方式、数学分析方式等等，对此不做限制。
本实施例中，通过根据参考摄像参数对参考像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第一点坐标，车辆坐标系是车辆所在的坐标系，并根据目标摄像参数对目标像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第二点坐标，以及根据第一点坐标和多个第二点坐标，确定与投影图案对应的形变信息，能够有效地提高形变信息的准确性，从而可以基于形变信息对车辆所处场景的障碍物进行判断，有效地提高车辆的控制效果。
S606：根据形变信息，确定地面的地势信息。
上述在确定投影图案对应的投影信息后，可以根据形变信息，确定地面的地势信息。
可选地，一些实施例中，根据形变信息，确定地面的地势信息，可以是根据形变信息，确定地面的地面平整度，和/或根据形变信息，确定地面的地面坡度，和/或根据形变信息，确定地面中的交通标志信息，其中，地面平整度、和/或地面坡度、和/或交通标志信息，被作为地势信息，由此，能够有效地提升地势信息确定的准确性，从而可以基于地势信息提升车辆驾驶各个环节的运动控制效果。
S607：根据地势信息，对车辆进行运动控制。
一些实施例中，根据地势信息，对车辆进行运动控制，包括：根据上述确定出的地面平整度，控制车辆的运动速度，以提高驾驶的舒适性；根据上述确定的地面坡度，为车辆运动中的加速度，扭矩控制提供参考；提供上述确定的交通标志信息(如车道线，停止线，箭头等)，为车辆的转弯、停止等驾驶决策提供支持。
本实施例中，通过根据所述形变信息，确定所述地面的地势信息，根据所述地势信息，对所述车辆进行运动控制，由于是根据地势信息，对车辆作出相应控制，可以使车辆在针对不同的地势信息时，能够作出更为准确的决策，有效地提升车辆运行的安全性，有效地提升车辆的控制效果。
可选地，另一些实施例中，对车辆进行运动控制，还可以是根据上述确定的形变信息，确定目标物体的形态信息和位置信息，再根据形态信息和位置信息，对车辆进行避障控制，由此可以对车辆的感知、避障、控制方面能够带来显著的提升，能够有效地提升车辆在不同运行场景的避障效果，从而能够有效地提升车辆驾驶的舒适性。
其中，目标物体是指车辆所处场景中的障碍物(例如：马路牙子、墙面、树干等)，相应地，可以反映目标物体形态的信息即可以被称为形态信息(形态信息可以具体例如为障碍物的高度、宽度、凹陷程度)，可以反映目标物体位置的信息即可以被称为位置信息(位置信息可以具体例如为，障碍物的方位，障碍物的距离)。
也即是说，可以根据形变信息，确定出障碍物的形态信息，及位置信息，进而可以根据形态信息和位置信息，在不同的车辆运行场景下，对车辆进行避障控制，例如：
(1)在泊车场景下，根据形变信息，确定障碍物的形态信息和位置信息包括：轮档、马路牙子、墙面、树干等，以帮助车辆在泊车时进行合理规避，实现精准泊车。
(2)在行车场景下，根据形变信息，确定障碍物的形态信息和位置信息包括：路沿、井盖、路面坑洼处、栅栏、近距离车辆等，以帮助车辆在行车时进行合理规避，提高驾驶舒适性。
本实施例中，通过控制摄像装置采集车辆所处场景的图像，在确定参考图像中的参考像素点的信息后，可以对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息，参考投影信息是采集参考图像的摄像装置捕获投影图案得到的投影信息，由此可以有效地提升参考投影信息的准确度和可靠度，从而可以基于参考投影信息更为准确的确定目标投影信息及形变信息，在对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息后，可以根据参考投影信息，确定目标投影信息，从而可以基于参考投影信息有效地辅助提升目标像素信息确定的准确性，提升目标像素信息在车辆控制场景中的可参考性，根据参考投影信息和目标投影信息，确定与投影图案对应的形变信息，根据所述形变信息，确定所述地面的地势信息，根据所述地势信息，对所述车辆进行运动控制，由于是根据地势信息，对车辆作出相应控制，可以使车辆在针对不同的地势信息时，能够作出更为准确的决策，有效地提升车辆运行的安全性，有效地提升车辆的控制效果
本实施例中，如图8所示，图8是本公开实施例中车辆控制方法的应用场景示意图，包括车辆(车辆所在坐标系，即可以被称为车辆坐标系，可以具体例如为，以车辆上的某一点为原点建立的坐标系)，投射装置，用于向车辆所处的环境投射投影图案(如图通过虚线所示投射角度向虚线框内所投射投影图案)，以及由第一相机(第一相机所在的坐标系即可以被称为第一相机坐标系，可以具体例如为，以第一相机的聚焦中心为原点建立的坐标系)，第二相机(第二相机所在的坐标即可以被称为第二相机坐标系，可以具体例如为以第二相机的聚焦中心为原点建立的坐标系)等多个相机组成的摄像装置，摄像装置用于捕获投射装置所投影图案的多个图像，进而可以通过对多个图像的分析处理，以实现对车辆的运动控制。
图9是本公开一实施例提出的车辆控制装置的结构示意图。
车辆包括：摄像装置。
如图9所示，该车辆控制装置90，包括：
采集模块901，用于控制摄像装置采集车辆所处场景的图像；
获取模块902，用于获取图像中投影图案的投影信息；
确定模块903，用于根据投影信息，确定与投影图案对应的形变信息；
控制模块904，用于根据形变信息，对车辆进行运行控制。
在本公开的一些实施例中，摄像装置的数量是多个；
其中，获取模块902，具体用于：
确定参考图像中的参考像素点的信息，参考图像属于多个图像；
对参考像素点的信息进行解析处理，以得到参考图像中投影图案的参考投影信息，参考投影信息，是采集参考图像的摄像装置捕获投影图案得到的投影信息。
在本公开的一些实施例中，如图10所示，图10是本公开另一实施例提出的车辆控制装置的结构示意图，其中，确定模块903，包括：
第一确定子模块9031，用于根据参考投影信息，确定目标投影信息，目标投影信息，是采集目标图像的摄像装置捕获投影图案得到的投影信息，目标图像属于多个图像，参考图像和目标图像不相同；
第二确定子模块9032，用于根据参考投影信息和目标投影信息，确定与投影图案对应的形变信息。
在本公开的一些实施例中，其中，第一确定子模块9031，具体用于：
根据参考投影信息和预设对应关系，确定目标投影信息；
其中，预设对应关系包括：与参考投影信息对应的目标投影信息，预设对应关系，是预先根据采集参考图像的摄像装置对应的参考摄像参数、以及采集目标图像的摄像装置的目标摄像参数，对投影图案标定得到的。
在本公开的一些实施例中，车辆还包括：投射装置，如图10所示，该装置90还包括：
投射模块905，用于控制投射装置向场景投射投影图案。
在本公开的一些实施例中，其中，
参考投影信息，是基于第一相机坐标系的参考像素坐标，第一相机坐标系，是采集参考图像的摄像装置的坐标系；
目标投影信息，是基于第二相机坐标系的目标像素坐标，第二相机坐标系，是采集目标图像的摄像装置的坐标系。
在本公开的一些实施例中，参考像素点和目标像素点分别对应场景空间中的位置点；
其中，第二确定子模块9032，具体用于：
根据参考摄像参数对参考像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第一点坐标，车辆坐标系是车辆所在的坐标系；
根据目标摄像参数对目标像素坐标进行坐标转换，以得到位置点基于车辆坐标系的第二点坐标；
根据第一点坐标和多个第二点坐标，确定与投影图案对应的形变信息。
在本公开的一些实施例中，第二确定子模块9032，具体用于：
根据第一点坐标和多个第二点坐标，生成与位置点对应的点云数据；
根据场景中多个位置点分别对应的多个点云数据，确定与投影图案对应的形变信息。
在本公开的一些实施例中，位置点，位于场景中的地面上；
其中，控制模块904，具体用于：
根据形变信息，确定地面的地势信息；
根据地势信息，对车辆进行避障控制。
在本公开的一些实施例中，控制模块904，具体用于
根据形变信息，确定地面的地面平整度；和/或
根据形变信息，确定地面的地面坡度；和/或
根据形变信息，确定地面中的交通标志信息，其中，地面平整度、和/或地面坡度、和/或交通标志信息，被作为地势信息。
在本公开的一些实施例中，位置点，位于场景中的目标物体上，
其中，控制模块904，具体用于：
根据形变信息，确定目标物体的形态信息和位置信息；
根据形态信息和位置信息，对车辆进行避障控制。
需要说明的是，前述对车辆控制方法实施例的解释说明也适用于该实施例的车辆控制装置，此处不再赘述。
本实施例中，通过控制摄像装置采集车辆所处场景的图像，并获取图像中投影图案的投影信息，根据投影信息，确定与投影图案对应的形变信息，以及根据形变信息，对车辆进行运动控制，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
图11是本公开一实施例提出的车辆的结构示意图，包括。
如图11所示，该车辆110，包括：
本体1101；
多个摄像装置1102，用于采集场景的图像；
与多个摄像装置分别相连接的控制装置1103，用于执行如上述任一项的车辆控制方法。
在本公开的一些实施例中，该车辆110，还包括：
与控制装置1103相连接的投射装置1104；
控制装置1103，还用于控制投射装置1104向场景投射投影图案，投影图案被用于对车辆110进行运行控制。
在本公开的一些实施例中，车辆110，还包括：
车灯1105，用于照明；
投射装置1104与车灯1105集成设置。
需要说明的是，前述对车辆控制方法实施例的解释说明也适用于该实施例的车辆110，此处不再赘述。
本实施例中，通过针对车辆配置本体、多个摄像装置，摄像装置用于采集场景的图像，以及与多个摄像装置分别相连接的控制装置，控制装置用于执行如上述的车辆控制方法，可以实现采用识别到的投影信息来辅助确定出场景信息，从而能够有效地辅助识别出车辆所处场景中相关的场景信息，有效地提升车辆运动控制的准确性，提升车辆运行的安全性，提升车辆控制方法的鲁棒性和适用性。
图12为本公开实施例提供的一种电子设备的结构示意图。
该电子设备包括：
存储器1201、处理器1202及存储在存储器1201上并可在处理器1202上运行的计算机程序。
处理器1202执行程序时实现上述实施例中提供的车辆控制方法。
在一种可能的实现方式中，电子设备还包括：
通信接口1203，用于存储器1201和处理器1202之间的通信。
存储器1201，用于存放可在处理器1202上运行的计算机程序。
存储器1201可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1202，用于执行程序时实现上述实施例的车辆控制方法。
如果存储器1201、处理器1202和通信接口1203独立实现，则通信接口1203、存储器1201和处理器1202可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1201、处理器1202及通信接口1203，集成在一块芯片上实现，则存储器1201、处理器1202及通信接口1203可以通过内部接口完成相互间的通信。
处理器1202可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本公开实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的车辆控制方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行上述实施例示出的车辆控制方法。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (26)

1.一种车辆控制方法，其特征在于，所述车辆包括：摄像装置，所述方法包括：
控制所述摄像装置采集所述车辆所处场景的图像；
获取所述图像中投影图案的投影信息；
根据所述投影信息，确定与所述投影图案对应的形变信息；
根据所述形变信息，对所述车辆进行运动控制。
2.如权利要求1所述的方法，其特征在于，所述摄像装置的数量是多个，所述获取所述图像中投影图案的投影信息，包括：
确定参考图像中的参考像素点的信息，所述参考图像属于多个所述图像；
对所述参考像素点的信息进行解析处理，以得到所述参考图像中投影图案的参考投影信息，所述参考投影信息是采集所述参考图像的摄像装置捕获所述投影图案得到的投影信息。
3.如权利要求2所述的方法，其特征在于，其中，所述根据所述投影信息，确定与所述投影图案对应的形变信息，包括：
根据所述参考投影信息，确定目标投影信息，所述目标投影信息，是采集目标图像的摄像装置捕获所述投影图案得到的投影信息，所述目标图像属于多个所述图像，所述参考图像和所述目标图像不相同；
根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息。
4.如权利要求3所述的方法，其特征在于，其中，所述根据所述参考投影信息，确定目标投影信息，包括：
根据所述参考投影信息和预设对应关系，确定所述目标投影信息；
其中，所述预设对应关系包括：与所述参考投影信息对应的目标投影信息，所述预设对应关系，是预先根据采集所述参考图像的摄像装置对应的参考摄像参数、以及采集所述目标图像的摄像装置的目标摄像参数，对所述投影图案标定得到的。
5.如权利要求1所述的方法，其特征在于，所述车辆还包括：投射装置，在所述控制所述摄像装置采集所述车辆所处场景的图像前，还包括：
控制所述投射装置向所述场景投射所述投影图案。
6.如权利要求4所述的方法，其特征在于，其中，
所述参考投影信息，是基于第一相机坐标系的参考像素坐标，所述第一相机坐标系，是采集所述参考图像的摄像装置的坐标系；
所述目标投影信息，是基于第二相机坐标系的目标像素坐标，所述第二相机坐标系，是采集所述目标图像的摄像装置的坐标系。
7.如权利要求6所述的方法，其特征在于，所述参考像素点和所述目标像素点分别对应场景空间中的位置点；
其中，所述根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息，包括：
根据所述参考摄像参数对所述参考像素坐标进行坐标转换，以得到所述位置点基于车辆坐标系的第一点坐标，所述车辆坐标系是所述车辆所在的坐标系；
根据所述目标摄像参数对所述目标像素坐标进行坐标转换，以得到所述位置点基于所述车辆坐标系的第二点坐标；
根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息。
8.如权利要求7所述的方法，其特征在于，所述根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息，包括：
根据所述第一点坐标和多个所述第二点坐标，生成与所述位置点对应的点云数据；
根据所述场景中多个位置点分别对应的多个点云数据，确定与所述投影图案对应的形变信息。
9.如权利要求7或8所述的方法，其特征在于，所述位置点，位于所述场景中的地面上；
其中，所述根据所述形变信息，对所述车辆进行运动控制，包括：
根据所述形变信息，确定所述地面的地势信息；
根据所述地势信息，对所述车辆进行运动控制。
10.如权利要求9所述的方法，其特征在于，所述根据所述形变信息，确定所述地面的地势信息，包括：
根据所述形变信息，确定所述地面的地面平整度；和/或
根据所述形变信息，确定所述地面的地面坡度；和/或
根据所述形变信息，确定所述地面中的交通标志信息，其中，所述地面平整度、和/或所述地面坡度、和/或所述交通标志信息，被作为所述地势信息。
11.如权利要求7或8所述的方法，其特征在于，所述位置点，位于所述场景中的目标物体上，
其中，所述根据所述形变信息，对所述车辆进行运动控制，包括：
根据所述形变信息，确定所述目标物体的形态信息和位置信息；
根据所述形态信息和位置信息，对所述车辆进行避障控制。
12.一种车辆控制装置，其特征在于，所述车辆包括：摄像装置，所述装置包括：
采集模块，用于控制所述摄像装置采集所述车辆所处场景的图像；
获取模块，用于获取所述图像中投影图案的投影信息；
确定模块，用于根据所述投影信息，确定与所述投影图案对应的形变信息；
控制模块，用于根据所述形变信息，对所述车辆进行运行控制。
13.如权利要求12所述的装置，其特征在于，所述摄像装置的数量是多个；
其中，所述获取模块，具体用于：
确定参考图像中的参考像素点的信息，所述参考图像属于多个所述图像；
对所述参考像素点的信息进行解析处理，以得到所述参考图像中投影图案的参考投影信息，所述参考投影信息，是采集所述参考图像的摄像装置捕获所述投影图案得到的投影信息。
14.如权利要求13所述的装置，其特征在于，其中，所述确定模块，包括：
第一确定子模块，用于根据所述参考投影信息，确定目标投影信息，所述目标投影信息，是采集目标图像的摄像装置捕获所述投影图案得到的投影信息，所述目标图像属于多个所述图像，所述参考图像和所述目标图像不相同；
第二确定子模块，用于根据所述参考投影信息和所述目标投影信息，确定与所述投影图案对应的形变信息。
15.如权利要求14所述的装置，其特征在于，其中，所述第一确定子模块，具体用于：
根据所述参考投影信息和预设对应关系，确定所述目标投影信息；
其中，所述预设对应关系包括：与所述参考投影信息对应的目标投影信息，所述预设对应关系，是预先根据所述采集所述参考图像的摄像装置对应的参考摄像参数、以及所述采集所述目标图像的摄像装置的目标摄像参数，对所述投影图案标定得到的。
16.如权利要求12所述的装置，其特征在于，所述车辆还包括：投射装置，还包括：
投射模块，用于控制所述投射装置向所述场景投射所述投影图案。
17.如权利要求15所述的装置，其特征在于，其中，
所述参考投影信息，是基于第一相机坐标系的参考像素坐标，所述第一相机坐标系，是采集所述参考图像的摄像装置的坐标系；
所述目标投影信息，是基于第二相机坐标系的目标像素坐标，所述第二相机坐标系，是采集所述目标图像的摄像装置的坐标系。
18.如权利要求17所述的装置，其特征在于，所述参考像素点和所述目标像素点分别对应场景空间中的位置点；
其中，所述第二确定子模块，具体用于：
根据所述参考摄像参数对所述参考像素坐标进行坐标转换，以得到所述位置点基于车辆坐标系的第一点坐标，所述车辆坐标系是所述车辆所在的坐标系；
根据所述目标摄像参数对所述目标像素坐标进行坐标转换，以得到所述位置点基于所述车辆坐标系的第二点坐标；
根据所述第一点坐标和多个所述第二点坐标，确定与所述投影图案对应的形变信息。
19.如权利要求18所述的装置，其特征在于，所述第二确定子模块，具体用于：
根据所述第一点坐标和多个所述第二点坐标，生成与所述位置点对应的点云数据；
根据所述场景中多个位置点分别对应的多个点云数据，确定与所述投影图案对应的形变信息。
20.如权利要求18或19所述的装置，其特征在于，所述位置点，位于所述场景中的地面上；
其中，所述控制模块，具体用于：
根据所述形变信息，确定所述地面的地势信息；
根据所述地势信息，对所述车辆进行避障控制。
21.如权利要求20所述的装置，其特征在于，所述控制模块，具体用于
根据所述形变信息，确定所述地面的地面平整度；和/或
根据所述形变信息，确定所述地面的地面坡度；和/或
根据所述形变信息，确定所述地面中的交通标志信息，其中，所述地面平整度、和/或所述地面坡度、和/或所述交通标志信息，被作为所述地势信息。
22.如权利要求18或19所述的装置，其特征在于，所述位置点，位于所述场景中的目标物体上，
其中，所述控制模块，具体用于：
根据所述形变信息，确定所述目标物体的形态信息和位置信息；
根据所述形态信息和位置信息，对所述车辆进行避障控制。
23.一种车辆，其特征在于，包括：
本体；
多个摄像装置，所述摄像装置用于采集所述场景的图像；
与所述多个摄像装置分别相连接的控制装置，所述控制装置用于执行如上述权利要求1-11中任一项所述的车辆控制方法。
24.如权利要求23所述的车辆，其特征在于，还包括：
与所述控制装置相连接的投射装置；
所述控制装置，还用于控制所述投射装置向所述场景投射投影图案，所述投影图案被用于对所述车辆进行运行控制。
25.如权利要求24所述的车辆，其特征在于，还包括：
车灯，所述车灯用于照明；
所述投射装置与所述车灯集成设置。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一项所述的车辆控制方法。
CN202110969507.8A 2021-08-23 2021-08-23 车辆控制方法、装置、车辆及存储介质 Pending CN114537429A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110969507.8A CN114537429A (zh) 2021-08-23 2021-08-23 车辆控制方法、装置、车辆及存储介质
US17/588,258 US20230055978A1 (en) 2021-08-23 2022-01-29 Method for controlling vehicle, vehicle and electronic device
EP22154189.9A EP4141804A1 (en) 2021-08-23 2022-01-31 Method for controlling vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969507.8A CN114537429A (zh) 2021-08-23 2021-08-23 车辆控制方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN114537429A true CN114537429A (zh) 2022-05-27

Family

ID=80123225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969507.8A Pending CN114537429A (zh) 2021-08-23 2021-08-23 车辆控制方法、装置、车辆及存储介质

Country Status (3)

Country Link
US (1) US20230055978A1 (zh)
EP (1) EP4141804A1 (zh)
CN (1) CN114537429A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5544248B2 (ja) * 2010-08-24 2014-07-09 富士重工業株式会社 車両用前照灯
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering
EP3070641B1 (en) * 2015-03-11 2021-11-24 Ricoh Company, Ltd. Vehicle body with imaging system and object detection method
US10509127B2 (en) * 2017-12-13 2019-12-17 Luminar Technologies, Inc. Controlling vehicle sensors based on road configuration
US20190220677A1 (en) * 2018-01-17 2019-07-18 GM Global Technology Operations LLC Structured light illumination system for object detection
JP7251240B2 (ja) * 2019-03-20 2023-04-04 株式会社リコー 光学装置、検出装置及び電子機器

Also Published As

Publication number Publication date
EP4141804A1 (en) 2023-03-01
US20230055978A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
JP7056540B2 (ja) センサ校正方法およびセンサ校正装置
WO2021227645A1 (zh) 目标检测方法和装置
WO2014073322A1 (ja) 物体検出装置及び物体検出方法
Beyeler et al. Vision-based robust road lane detection in urban environments
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
JP7217741B2 (ja) 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
US20230399006A1 (en) Data integration from multiple sensors
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN112172797B (zh) 泊车控制方法、装置、设备和存储介质
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JPWO2020059448A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
US20200193184A1 (en) Image processing device and image processing method
JP2018073275A (ja) 画像認識装置
JP5587852B2 (ja) 画像処理装置及び画像処理方法
CN114537429A (zh) 车辆控制方法、装置、车辆及存储介质
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
Li et al. Lane detection and road surface reconstruction based on multiple vanishing point & symposia
CN116324887A (zh) Dvs与相机之间的统一校准
JP2020095630A (ja) 画像処理装置および画像処理方法
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
WO2024018909A1 (ja) 状態推定装置、状態推定方法及び状態推定プログラム
US20230191998A1 (en) Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination