CN114821544A - 感知信息生成方法、装置、车辆、电子设备及存储介质 - Google Patents

感知信息生成方法、装置、车辆、电子设备及存储介质 Download PDF

Info

Publication number
CN114821544A
CN114821544A CN202210749581.3A CN202210749581A CN114821544A CN 114821544 A CN114821544 A CN 114821544A CN 202210749581 A CN202210749581 A CN 202210749581A CN 114821544 A CN114821544 A CN 114821544A
Authority
CN
China
Prior art keywords
information
target object
pose
scene image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210749581.3A
Other languages
English (en)
Other versions
CN114821544B (zh
Inventor
张琼
杨奎元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210749581.3A priority Critical patent/CN114821544B/zh
Publication of CN114821544A publication Critical patent/CN114821544A/zh
Application granted granted Critical
Publication of CN114821544B publication Critical patent/CN114821544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开提出一种感知信息生成方法、装置、车辆、电子设备及存储介质，应用于车辆，车辆包括：摄像装置和后视镜，方法包括：检测车辆所处场景中目标对象的空间位置信息；获取摄像装置捕获的第一场景图像；获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到；根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息。通过本公开，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。

Description

感知信息生成方法、装置、车辆、电子设备及存储介质
技术领域
本公开涉及车辆技术领域，尤其涉及一种感知信息生成方法、装置、车辆、电子设备及存储介质。
背景技术
在车辆无人驾驶领域，目前不仅在提升软件能力，也在提升硬件能力，如何利用有限的硬件提升车辆的感知理解能力，成为无人驾驶厂商提升智能驾驶能力的一个挑战。
相关技术中，通过安装定制摄像装置和内置视频显示器，以优化车辆后方视野的智能后视野系统。该系统通过后向摄像装置采集视频，并将其流媒体传送并整合在内后视镜里的显示屏上播放，给驾驶员提供一览无余的车后全景。
这种方式下，额外增加了较多的硬件成本，感知信息获得方式较为繁琐复杂，感知信息生成效率不高。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的目的在于提出一种感知信息生成方法、装置、车辆、电子设备及存储介质，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
为达到上述目的，本公开第一方面实施例提出的感知信息生成方法，应用于车辆，车辆包括：摄像装置和后视镜，方法包括：检测车辆所处场景中目标对象的空间位置信息；获取摄像装置捕获的第一场景图像；获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到；根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息。
本公开第一方面实施例提出的感知信息生成方法，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
为达到上述目的，本公开第二方面实施例提出的感知信息生成装置，应用于车辆，车辆包括：摄像装置和后视镜，装置包括：检测模块，用于检测车辆所处场景中目标对象的空间位置信息；第一获取模块，用于获取摄像装置捕获的第一场景图像；第二获取模块，用于获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到；生成模块，用于根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息。
本公开第二方面实施例提出的感知信息生成装置，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
为达到上述目的，本公开第三方面实施例提出的车辆，包括：摄像装置和后视镜；以及如本公开第二方面实施例提出的感知信息生成装置。
本公开第四方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本公开第一方面实施例提出的感知信息生成方法。
本公开第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的感知信息生成方法。
本公开第六方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的感知信息生成方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本公开一实施例提出的感知信息生成方法的流程示意图；
图2是本公开实施例中后视镜所映射场景画面内容效果示意图；
图3是本公开另一实施例提出的感知信息生成方法的流程示意图；
图4是本公开另一实施例提出的感知信息生成方法的流程示意图；
图5是本公开一实施例提出的感知信息生成装置的结构示意图；
图6是本公开另一实施例提出的感知信息生成装置的结构示意图；
图7是本公开一实施例提出的车辆的结构示意图；
图8示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的感知信息生成方法的流程示意图。
其中，需要说明的是，本实施例的感知信息生成方法的执行主体为感知信息生成装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在终端设备中、或者也可以配置在车载设备中，对此不做限制。
本实施例中的感知信息生成方法可以应用于终端设备，终端设备，是一种经由通信设施向其他设备发送数据或接收其他设备数据的设备，也即是说，该终端设备可以例如为能够进行网络通信连接的智能手机、智能手表、便携式计算机等，对此不做限制。
本公开实施例的感知信息生成方法还可以应用于车辆，车辆包括：摄像装置和后视镜，其中，摄像装置可以布局在车辆外周，或者还可以布局在车辆内部，该摄像装置可以用于捕获车辆周围的场景图像，例如，车辆旁边的场景图像，或者车辆后方的场景图像，对此不做限制。
本公开实施例中，还可以将车辆内置后视镜替换为摄像装置，基于后视布局的摄像装置捕获车辆后方的场景图像，基于该场景图像生成感知信息，具体可以参见后续实施例。
如图1所示，该感知信息生成方法，包括：
S101：检测车辆所处场景中目标对象的空间位置信息。
其中，场景中的车道线、其他车辆、树木、道路、指示灯等等可以被称为目标对象，目标对象在实际场景中的空间位置相关的信息，可以被称为空间位置信息，例如，可以以自车为参考，确定场景中目标对象与自车之间的相对距离、相对方向等等，作为空间位置信息。
其中，该空间位置信息可以由车载全球定位系统（Global Positioning System，GPS）探测得到，或者，还可以由雷达探测设备探测得到，或者，还可以由云控制平台实时捕获空间位置信息，并将空间位置信息下发至车辆，由车辆接收得到，对此不做限制。
S102：获取摄像装置捕获的第一场景图像。
本公开实施例中，还可以将车辆内置后视镜替换为摄像装置，基于后视布局的摄像装置捕获车辆后方的场景图像，基于该场景图像生成感知信息，则该摄像装置捕获的场景图像，可以被称为第一场景图像。
可以理解的是，第一场景图像可以是一帧或者多帧，该一帧或多帧的第一场景图像可以由摄像装置采集的后方场景视频流，并由车载设备对该后方场景视频流进行图像帧解析得到，对此不做限制。
S103：获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到。
其中，后视镜，可以是车辆外部设置的左侧后视镜和右侧后视镜，且由于后视镜具有镜面可视功能，因此，可以直接捕获后视镜所映射场景画面内容成像得到第二场景图像。
本公开实施例中，可以配置图像采集装置实时采集左侧后视镜和右侧后视镜所映射场景画面内容得到第二场景图像。
如图2所示，图2是本公开实施例中后视镜所映射场景画面内容效果示意图。
举例而言，可以针对后视镜内置图像捕获及存储模块，经由该图像捕获模块捕获后视镜所映射场景画面内容的像面，而后将所得第二场景图像存储至存储模块中，由车载设备与该存储模块建立通信链接，以捕获该第二场景图像。
举例而言，还可以在后视镜内置摄像装置，经由该后视镜内部的摄像装置直接对车辆外周场景画面内容进行成像，得到第二场景图像，并实时地将该第二场景图像传输至车载设备。
举例而言，还可以采用其他任意可能的方式实现对后视镜所映射场景画面内容成像得到第二场景图像，具体例如可以配置上述摄像装置具有转换方向、伸缩的功能，控制上述摄像装置接近后视镜镜面，以对后视镜所映射场景画面内容的成像画面进行截取，得到第二场景图像，对此不做限制。
可以理解的是，第二场景图像可以是一帧或者多帧，该一帧或多帧的第二场景图像可以由后视镜所映射场景画面内容在不同时间点上成像得到，并传输至车载设备中，由车载设备组合各个渠道获取的场景图像和空间位置信息，以对多方图像信息、位置信息进行融合分析，对此不做限制。
S104：根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息。
其中，感知信息，可以用于描述目标对象在场景中的位置信息、朝向信息、姿态信息、形态信息、状态信息等等，也即是说，感知信息，可以用于描述目标对象在行车场景中全方位的、各个模态的信息，对此不做限制。
本公开实施例中，上述在获得空间位置信息、第一场景图像，以及第二场景图像之后，可以一并融合空间位置信息、第一场景图像，以及第二场景图像，以大范围覆盖车辆侧方和后方的场景感知范围，保障感知信息生成的全面性和准确性。
举例而言，可以将空间位置信息、第一场景图像，以及第二场景图像输入至感知信息生成模型中，由该感知结果生成模型分析空间位置信息、第一场景图像，以及第二场景图像，以得到感知信息。
举例而言，还可以根据空间位置信息，将第一场景图像和第二场景图像处理为全景图像，并根据空间位置信息和全景图像对场景中目标对象的位姿进行建模，由建模得到的结果确定感知信息。
当然，也可以采用其他任意可能的方式实现根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，比如工程学方式、人工智能方式等等，对此不做限制。
可选地，一些实施例中，根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，可以是根据第一场景图像和第二场景图像，确定与目标对象对应的目标对象信息，并根据空间位置信息和目标对象信息，生成与目标对象对应的感知信息，由于是先融合图像，以确定目标对象的图像维度的信息，而后，融合图像维度的信息和空间位置维度的信息，有助于实现高效的数据融合，并实现便捷地、快速地融合多维度数据信息以得到感知信息。
其中，目标对象信息，可以是用于描述目标图像的图像维度的信息，例如，目标对象在第一场景图像中所占据像素区域的位置、图像颜色、亮度、饱和度、形态、姿态等，或者，在第二场景图像中所占据像素区域的位置，图像颜色、亮度、饱和度、形态、姿态等，或者，在全景图像（全景图像可由第一场景图像和第二）中所占据像素区域的位置，图像颜色、亮度、饱和度、形态、姿态等，对此不做限制。
也即是说，本公开实施例中可以先基于图像维度分析第一场景图像和第二场景图像，得到目标对象的图像维度的信息作为目标对象信息，而后，融合分析空间位置信息和目标对象信息，生成与目标对象对应的感知信息。
举例而言，可以将空间位置信息和目标对象信息，并联合预先训练的人工智能模型，基于该人工智能模型对空间位置信息和目标对象信息进行建模标注，以生成与目标对象对应的感知信息。
本实施例中，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
图3是本公开另一实施例提出的感知信息生成方法的流程示意图。
如图3所示，该感知信息生成方法，包括：
S301：检测车辆所处场景中目标对象的空间位置信息。
S302：获取摄像装置捕获的第一场景图像。
S303：获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到。
针对S301- S303的描述可以具体参见上述实施例，在此不再赘述。
S304：获取摄像装置的第一标定信息。
其中，该第一标定信息，可以具体例如为摄像机标定所得的信息，摄像机标定，是指利用摄像机所拍摄到的图像来还原空间中的物体。假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]=M[物]，矩阵M可以看成是摄像机成像的几何模型。M中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。
S305：获取后视镜的第二标定信息。
其中，该第二标定信息，可以具体例如为对后视镜标定所得的信息，对后视镜标定，是指利用后视镜所映射场景画面成像的图像来还原空间中的物体。假设，后视镜所映射场景画面成像的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]=M[物]，矩阵M可以看成是后视镜所映射场景画面成像的几何模型。M中的参数就是后视镜的标定参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为对后视镜标定，而对对后视镜标定所得信息，即可以被称为第二标定信息。
上述获取摄像装置的第一标定信息和获取后视镜的第二标定信息，可以具体采用数学运算算法实现、模型建模实现等，在此不再赘述。
S306：根据第一场景图像和第二场景图像，确定目标对象在场景中的初始对象信息。
本实施例中，可以融合第一场景图像和第二场景图像得到全景图像，而后确定目标对象在场景中所占据像素区域的位置，图像颜色、亮度、饱和度、形态、姿态等作为初始对象信息，而后，可以触发后续基于第一标定信息和第二标定信息对初始对象进行校准、修改的处理逻辑，具体可以参见后续实施例。
可选地，一些实施例中，在根据第一场景图像和第二场景图像，确定目标对象在场景中的初始对象信息时，可以是根据第一场景图像，确定目标对象在场景中的第一位姿信息，并根据第二场景图像，确定目标对象在场景中的第二位姿信息，以及将第一位姿信息和第二位姿信息作为初始对象信息，从而实现对场景中目标对象的位姿信息进行有效的检测和识别，可以支持基于目标对象的位姿信息来生成感知信息，使得感知信息有效携带目标对象在场景中的位姿信息，便于在车辆的自动驾驶控制过程中，基于该携带位姿信息的感知信息来进行自动驾驶控制，有效提升感知信息的表达能力，提升感知信息的生成效果。
其中，基于第一场景图像所确定的目标对象在场景中的位姿信息，可以被称为第一位姿信息，基于第二场景图像所确定的目标对象在场景中的位姿信息，可以被称为第二位姿信息，位姿信息例如目标对象的运动方向、运动速度、形态、尺寸大小、位置，以及目标对象分类，目标对象所标识信息等等，对此不做限制。
S307：根据第一标定信息和第二标定信息处理初始对象信息，得到目标对象信息。
也即是说，本实施例中可以首先根据第一场景图像和第二场景图像，确定目标对象在场景中的初始对象信息，而后基于第一标定信息和第二标定信息对初始对象进行校准、修改的处理逻辑，以保证目标对象信息的准确性。
举例而言，假设第一标定信息是上述示例中摄像机的M中的参数，而第二标定信息是上述示例中后视镜的标定参数，摄像机的M中的参数可以被用于还原第一场景图像中目标对象，而后视镜的标定参数可以被用于还原第二场景图像中目标对象，由于摄像机和后视镜自身所处的位姿不相同，则基于第一场景图像所还原目标对象的信息，和基于第二场景图像所还原目标对象的信息也不相同，相应的，初始对象信息是直接基于第一场景图像和第二场景图像所确定得到的，则可以联合上述示例中摄像机的M中的参数以及上述示例中后视镜的标定参数，对初始对象信息进行优化处理，从而使得所得目标对象信息能够准确地表征出目标对象在场景中的真实信息。
可选地，一些实施例中，如果初始对象信息是目标对象在场景中的第一位姿信息，和目标对象在场景中的第二位姿信息，则本实施例中还可以支持基于第一标定信息和第二标定信息，对第一位姿信息和第二位姿信息进行优化处理，从而使得所得目标对象信息能够准确地表征出目标对象在场景中的真实位姿相关的信息。
可选地，一些实施例中，在根据第一标定信息和第二标定信息处理初始对象信息，得到目标对象信息时，可以是根据第一标定信息和第二标定信息融合第一位姿信息和第二位姿信息，得到融合后位姿信息，并将融合后位姿信息作为目标对象信息。
举例而言，可以根据第一标定信息确定第一融合权重值，并根据第二标定信息确定第二融合权重值，而后根据第一融合权重值和第二融合权重值融合第一位姿信息和第二位姿信息，得到融合后位姿信息。
举例而言，还可以将第一标定信息、第二标定信息、第一位姿信息，以及第二位姿信息输入至预训练的融合模型中，得到该融合模型输出的融合后位姿信息。
可选地，一些实施例中，还可以根据第一标定信息和第二标定信息，确定转换参考信息，并根据转换参考信息融合第一位姿信息和第二位姿信息，得到融合后位姿信息，通过处理第一标定信息和第二标定信息，得到一个整体的转换参考信息，而后基于该转换参考信息直接融合第一位姿信息和第二位姿信息，得到融合后位姿信息，能够有效提升融合处理的效率，便于车辆快速捕捉得到行车场景中的感知信息，以做出自动驾驶控制策略，提升自动驾驶控制的响应效率。
其中，转换参考信息，可以是在融合第一位姿信息和第二位姿信息时被作为转换参考的数据信息，例如，该转换参考信息，可以是基于上述摄像机的M中的参数以及上述后视镜的标定参数运算得到，在运算过程中，可以结合一些数学算法、工程学方法、人工智能技术、建模方法运算得到。
其中，转换参考信息的具体的运算方式，可以根据实际应用场景中摄像装置和后视镜的标定信息灵活选择配置，对此不做限制。
可选地，一些实施例中，为了提升目标对象的位姿建模效果，还可以将上述基于摄像机的M中的参数以及后视镜的标定参数运算得到的转换参考信息、第一位姿信息，以及第二位姿信息一并输入至预训练的位姿检测模型中，得到位姿检测模型输出的融合后位姿信息，该位姿检测模型可以预先基于人工智能中的模型训练方法训练得到。
可选地，一些实施例中，为了有效提升位姿建模的灵活性，使得位置建模方式能够有效适配于各种行车场景的个性化需求，在根据转换参考信息融合第一位姿信息和第二位姿信息，得到融合后位姿信息时，还可以根据转换参考信息确定与第一位姿信息对应的第一转换偏移量，根据转换参考信息确定与第二位姿信息对应的第二转换偏移量，并根据第一转换偏移量处理第一位姿信息，得到第一待融合位姿信息，以及根据第二转换偏移量处理第二位姿信息，得到第二待融合位姿信息，融合第一待融合位姿信息和第二待融合位姿信息，得到融合后位姿信息。
其中，根据转换参考信息确定待对第一位姿信息进行调整修正的量化信息，可以被称为第一转换偏移量，根据转换参考信息确定待对第二位姿信息进行调整修正的量化信息，可以被称为第二转换偏移量。
举例而言，该转换参考信息，可以是基于上述摄像机的M中的参数以及上述后视镜的标定参数运算得到，则第一转换偏移量，可以是基于转换参考信息所确定的待对第一位姿信息进行调整修正的位姿调整数据，而后对位姿调整数据进行相应的量化处理，得到第一转换偏移量。则第二转换偏移量，可以是基于转换参考信息所确定的待对第二位姿信息进行调整修正的位姿调整数据，而后对位姿调整数据进行相应的量化处理，得到第二转换偏移量。
其中，根据第一转换偏移量处理第一位姿信息所得位姿信息，可以被称为第一待融合位姿信息，根据第二转换偏移量处理第二位姿信息所得位姿信息，可以被称为第二待融合位姿信息，由于第一待融合位姿信息和第二待融合位姿信息分别是基于各自采集装置（摄像机或者后视镜）的标定信息确定得到的，则可以再次对第一待融合位姿信息和第二待融合位姿信息进行融合处理，得到融合后位姿信息。
S308：根据空间位置信息和目标对象信息，生成与目标对象对应的感知信息。
举例而言，可以将空间位置信息和目标对象信息，并联合预先训练的人工智能模型，基于该人工智能模型对空间位置信息和目标对象信息进行建模标注，以生成与目标对象对应的感知信息。
本实施例中，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。通过获取摄像装置的第一标定信息，获取后视镜的第二标定信息，并根据第一场景图像和第二场景图像，确定目标对象在场景中的初始对象信息，以及根据第一标定信息和第二标定信息处理初始对象信息，得到目标对象信息，根据空间位置信息和目标对象信息，生成与目标对象对应的感知信息，从而使得所得目标对象信息能够准确地表征出目标对象在场景中的真实信息，当感知信息有效携带目标对象在场景中的真实信息时，便于在车辆的自动驾驶控制过程中，基于该感知信息来进行自动驾驶控制，有效提升感知信息的表达能力，提升感知信息的生成效果。
图4是本公开另一实施例提出的感知信息生成方法的流程示意图。
如图4所示，该感知信息生成方法，包括：
S401：检测车辆所处场景中目标对象的空间位置信息。
S402：获取摄像装置捕获的第一场景图像。
S403：获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到。
针对S401- S403的描述可以具体参见上述实施例，在此不再赘述。
S404：根据第一场景图像和第二场景图像，确定与目标对象对应的目标对象信息，其中，目标对象信息是：目标对象在场景中的初始位姿信息，初始位姿信息由第一场景图像和第二场景图像分析得到。
其中，初始位姿信息可以是由第一场景图像和第二场景图像分析所得目标对象在场景中位姿相关的信息，初始位姿信息具体例如为目标对象的运动方向、运动速度、形态、尺寸大小、位置，以及目标对象分类，目标对象所标识信息等等，对此不做限制。
S405：根据空间位置信息和初始位姿信息，生成与目标对象对应的感知信息。
也即是说，上述在根据第一场景图像和第二场景图像，确定与目标对象对应的初始位姿信息，并检测车辆所处场景中目标对象的空间位置信息，可以处理空间位置信息和初始位姿信息，以生成与目标对象对应的感知信息，提升感知信息的多维度表征效果。
本实施例中，还为了提升感知信息的生成建模效率，还可以将空间位置信息和初始位姿信息输入至预训练的感知融合模型中，以得到感知融合模型输出的与目标对象对应的感知信息。
本实施例中，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。通过根据第一场景图像和第二场景图像，确定与目标对象对应的初始位姿信息，并检测车辆所处场景中目标对象的空间位置信息，可以处理空间位置信息和初始位姿信息，以生成与目标对象对应的感知信息，提升感知信息的多维度表征效果。
图5是本公开一实施例提出的感知信息生成装置的结构示意图。
本实施例中，该感知信息生成装置可以应用于车辆，车辆包括：摄像装置和后视镜。
如图5，该感知信息生成装置50，包括：
检测模块501，用于检测车辆所处场景中目标对象的空间位置信息；
第一获取模块502，用于获取摄像装置捕获的第一场景图像；
第二获取模块503，用于获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到；
生成模块504，用于根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息。
可选地，一些实施例中，如图6所示，图6是本公开另一实施例提出的感知信息生成装置的结构示意图，生成模块504，包括：
确定子模块5041，用于根据第一场景图像和第二场景图像，确定与目标对象对应的目标对象信息；
生成子模块5042，用于根据空间位置信息和目标对象信息，生成与目标对象对应的感知信息。
可选地，一些实施例中，确定子模块5041，具体用于：
获取摄像装置的第一标定信息；
获取后视镜的第二标定信息；
根据第一场景图像和第二场景图像，确定目标对象在场景中的初始对象信息；
根据第一标定信息和第二标定信息处理初始对象信息，得到目标对象信息。
可选地，一些实施例中，确定子模块5041，具体用于：
根据第一场景图像，确定目标对象在场景中的第一位姿信息；
根据第二场景图像，确定目标对象在场景中的第二位姿信息；
将第一位姿信息和第二位姿信息作为初始对象信息。
可选地，一些实施例中，确定子模块5041，具体用于：
根据第一标定信息和第二标定信息融合第一位姿信息和第二位姿信息，得到融合后位姿信息；
将融合后位姿信息作为目标对象信息。
可选地，一些实施例中，确定子模块5041，具体用于：
根据第一标定信息和第二标定信息，确定转换参考信息；
根据转换参考信息融合第一位姿信息和第二位姿信息，得到融合后位姿信息。
可选地，一些实施例中，确定子模块5041，具体用于：
将转换参考信息、第一位姿信息，以及第二位姿信息输入至预训练的位姿检测模型中，得到位姿检测模型输出的融合后位姿信息。
可选地，一些实施例中，确定子模块5041，具体用于：
根据转换参考信息确定与第一位姿信息对应的第一转换偏移量；
根据转换参考信息确定与第二位姿信息对应的第二转换偏移量；
根据第一转换偏移量处理第一位姿信息，得到第一待融合位姿信息；
根据第二转换偏移量处理第二位姿信息，得到第二待融合位姿信息；
融合第一待融合位姿信息和第二待融合位姿信息，得到融合后位姿信息。
可选地，一些实施例中，目标对象信息是：目标对象在场景中的初始位姿信息，初始位姿信息由第一场景图像和第二场景图像分析得到；
其中，生成子模块5042，具体用于：
根据空间位置信息和初始位姿信息，生成与目标对象对应的感知信息。
可选地，一些实施例中，生成子模块5042，具体用于：
将空间位置信息和初始位姿信息输入至预训练的感知融合模型中，以得到感知融合模型输出的与目标对象对应的感知信息。
需要说明的是，前述对感知信息生成方法的解释说明也适用于本实施例的感知信息生成装置，此处不再赘述。
本实施例中，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
图7是本公开一实施例提出的车辆的结构示意图。
如图7所示，该车辆70，包括：
摄像装置701和后视镜702；以及
如上述实施例中的感知信息生成装置50。
需要说明的是，前述对感知信息生成方法的解释说明也适用于本实施例的车辆70，此处不再赘述。
本实施例中，通过检测车辆所处场景中目标对象的空间位置信息，并获取摄像装置捕获的第一场景图像，获取第二场景图像，其中，第二场景图像是根据后视镜所映射场景画面内容成像得到，以及根据空间位置信息、第一场景图像，以及第二场景图像生成与目标对象对应的感知信息，能够有效降低车辆获得感知信息所需的硬件成本，使得感知信息的获得更为便捷，提升感知信息的生成效率。
图8示出了适于用来实现本公开实施方式的示例性电子设备的框图。
图8显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。电子设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图8未显示，通常称为“硬盘驱动器”）。
尽管图8中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其他光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得人体能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其他计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与电子设备12的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及感知信息生成，例如实现前述实施例中提及的感知信息生成方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的感知信息生成方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的感知信息生成方法。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (24)

1.一种感知信息生成方法，其特征在于，应用于车辆，所述车辆包括：摄像装置和后视镜，所述方法包括：
检测所述车辆所处场景中目标对象的空间位置信息；
获取所述摄像装置捕获的第一场景图像；
获取第二场景图像，其中，所述第二场景图像是根据所述后视镜所映射场景画面内容成像得到；
根据所述空间位置信息、所述第一场景图像，以及所述第二场景图像生成与所述目标对象对应的感知信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述空间位置信息、所述第一场景图像，以及所述第二场景图像生成与所述目标对象对应的感知信息，包括：
根据所述第一场景图像和所述第二场景图像，确定与所述目标对象对应的目标对象信息；
根据所述空间位置信息和所述目标对象信息，生成与所述目标对象对应的感知信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述第一场景图像和所述第二场景图像，确定与所述目标对象对应的目标对象信息，包括：
获取所述摄像装置的第一标定信息；
获取所述后视镜的第二标定信息；
根据所述第一场景图像和所述第二场景图像，确定所述目标对象在场景中的初始对象信息；
根据所述第一标定信息和所述第二标定信息处理所述初始对象信息，得到所述目标对象信息。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一场景图像和所述第二场景图像，确定所述目标对象在场景中的初始对象信息，包括：
根据所述第一场景图像，确定所述目标对象在场景中的第一位姿信息；
根据所述第二场景图像，确定所述目标对象在场景中的第二位姿信息；
将所述第一位姿信息和所述第二位姿信息作为所述初始对象信息。
5.如权利要求4所述的方法，其特征在于，所述根据所述第一标定信息和所述第二标定信息处理所述初始对象信息，得到所述目标对象信息，包括：
根据所述第一标定信息和所述第二标定信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息；
将所述融合后位姿信息作为所述目标对象信息。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一标定信息和所述第二标定信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息，包括：
根据所述第一标定信息和所述第二标定信息，确定转换参考信息；
根据所述转换参考信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息。
7.如权利要求6所述的方法，其特征在于，所述根据所述转换参考信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息，包括：
将所述转换参考信息、所述第一位姿信息，以及所述第二位姿信息输入至预训练的位姿检测模型中，得到所述位姿检测模型输出的所述融合后位姿信息。
8.如权利要求6所述的方法，其特征在于，所述根据所述转换参考信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息，包括：
根据所述转换参考信息确定与所述第一位姿信息对应的第一转换偏移量；
根据所述转换参考信息确定与所述第二位姿信息对应的第二转换偏移量；
根据所述第一转换偏移量处理所述第一位姿信息，得到第一待融合位姿信息；
根据所述第二转换偏移量处理所述第二位姿信息，得到第二待融合位姿信息；
融合所述第一待融合位姿信息和所述第二待融合位姿信息，得到所述融合后位姿信息。
9.如权利要求2所述的方法，其特征在于，所述目标对象信息是：所述目标对象在场景中的初始位姿信息，所述初始位姿信息由所述第一场景图像和所述第二场景图像分析得到，
其中，所述根据所述空间位置信息和所述目标对象信息，生成与所述目标对象对应的感知信息，包括：
根据所述空间位置信息和所述初始位姿信息，生成与所述目标对象对应的感知信息。
10.如权利要求9所述的方法，其特征在于，所述根据所述空间位置信息和所述初始位姿信息，生成与所述目标对象对应的感知信息，包括：
将所述空间位置信息和所述初始位姿信息输入至预训练的感知融合模型中，以得到所述感知融合模型输出的与所述目标对象对应的感知信息。
11.一种感知信息生成装置，其特征在于，应用于车辆，所述车辆包括：摄像装置和后视镜，所述装置包括：
检测模块，用于检测所述车辆所处场景中目标对象的空间位置信息；
第一获取模块，用于获取所述摄像装置捕获的第一场景图像；
第二获取模块，用于获取第二场景图像，其中，所述第二场景图像是根据所述后视镜所映射场景画面内容成像得到；
生成模块，用于根据所述空间位置信息、所述第一场景图像，以及所述第二场景图像生成与所述目标对象对应的感知信息。
12.如权利要求11所述的装置，其特征在于，所述生成模块，包括：
确定子模块，用于根据所述第一场景图像和所述第二场景图像，确定与所述目标对象对应的目标对象信息；
生成子模块，用于根据所述空间位置信息和所述目标对象信息，生成与所述目标对象对应的感知信息。
13.如权利要求12所述的装置，其特征在于，所述确定子模块，具体用于：
获取所述摄像装置的第一标定信息；
获取所述后视镜的第二标定信息；
根据所述第一场景图像和所述第二场景图像，确定所述目标对象在场景中的初始对象信息；
根据所述第一标定信息和所述第二标定信息处理所述初始对象信息，得到所述目标对象信息。
14.如权利要求13所述的装置，其特征在于，所述确定子模块，具体用于：
根据所述第一场景图像，确定所述目标对象在场景中的第一位姿信息；
根据所述第二场景图像，确定所述目标对象在场景中的第二位姿信息；
将所述第一位姿信息和所述第二位姿信息作为所述初始对象信息。
15.如权利要求14所述的装置，其特征在于，所述确定子模块，具体用于：
根据所述第一标定信息和所述第二标定信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息；
将所述融合后位姿信息作为所述目标对象信息。
16.如权利要求15所述的装置，其特征在于，所述确定子模块，具体用于：
根据所述第一标定信息和所述第二标定信息，确定转换参考信息；
根据所述转换参考信息融合所述第一位姿信息和所述第二位姿信息，得到融合后位姿信息。
17.如权利要求16所述的装置，其特征在于，所述确定子模块，具体用于：
将所述转换参考信息、所述第一位姿信息，以及所述第二位姿信息输入至预训练的位姿检测模型中，得到所述位姿检测模型输出的所述融合后位姿信息。
18.如权利要求16所述的装置，其特征在于，所述确定子模块，具体用于：
根据所述转换参考信息确定与所述第一位姿信息对应的第一转换偏移量；
根据所述转换参考信息确定与所述第二位姿信息对应的第二转换偏移量；
根据所述第一转换偏移量处理所述第一位姿信息，得到第一待融合位姿信息；
根据所述第二转换偏移量处理所述第二位姿信息，得到第二待融合位姿信息；
融合所述第一待融合位姿信息和所述第二待融合位姿信息，得到所述融合后位姿信息。
19.如权利要求12所述的装置，其特征在于，所述目标对象信息是：所述目标对象在场景中的初始位姿信息，所述初始位姿信息由所述第一场景图像和所述第二场景图像分析得到；
其中，所述生成子模块，具体用于：
根据所述空间位置信息和所述初始位姿信息，生成与所述目标对象对应的感知信息。
20.如权利要求19所述的装置，其特征在于，所述生成子模块，具体用于：
将所述空间位置信息和所述初始位姿信息输入至预训练的感知融合模型中，以得到所述感知融合模型输出的与所述目标对象对应的感知信息。
21.一种车辆，其特征在于，包括：
摄像装置和后视镜；
以及如上述权利要求11-20任一项所述的感知信息生成装置。
22.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
23.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
24.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述方法的步骤。
CN202210749581.3A 2022-06-29 2022-06-29 感知信息生成方法、装置、车辆、电子设备及存储介质 Active CN114821544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210749581.3A CN114821544B (zh) 2022-06-29 2022-06-29 感知信息生成方法、装置、车辆、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210749581.3A CN114821544B (zh) 2022-06-29 2022-06-29 感知信息生成方法、装置、车辆、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114821544A true CN114821544A (zh) 2022-07-29
CN114821544B CN114821544B (zh) 2023-04-11

Family

ID=82522368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210749581.3A Active CN114821544B (zh) 2022-06-29 2022-06-29 感知信息生成方法、装置、车辆、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114821544B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091894A (zh) * 2023-03-03 2023-05-09 小米汽车科技有限公司 模型训练方法、车辆控制方法、装置、设备、车辆及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及系统
US20180196127A1 (en) * 2017-01-11 2018-07-12 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a lidar using information from a secondary vehicle
CN109285120A (zh) * 2018-11-21 2019-01-29 北京汽车研究总院有限公司 一种图像拼接、图像标定方法、车辆及标定设备
CN110379002A (zh) * 2019-07-09 2019-10-25 电子科技大学 一种基于红外与可见光图像融合的三维重建表面温度显示方法
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法
CN110796102A (zh) * 2019-10-31 2020-02-14 重庆长安汽车股份有限公司 一种车辆目标感知系统及方法
CN110926417A (zh) * 2019-12-03 2020-03-27 西北工业大学 基于机器视觉的车载铁路隧道检测系统
CN111664856A (zh) * 2019-03-08 2020-09-15 上海蔚来汽车有限公司 车辆初始定位系统及车辆初始定位方法
CN111753696A (zh) * 2020-06-17 2020-10-09 济南大学 一种感知场景信息的方法、仿真装置、机器人
CN113470116A (zh) * 2021-06-16 2021-10-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN113879214A (zh) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 电子后视镜的显示方法、电子后视镜显示系统及相关设备
CN114240769A (zh) * 2021-11-18 2022-03-25 华为技术有限公司 一种图像处理方法以及装置
CN216331763U (zh) * 2021-08-30 2022-04-19 鹰驾科技（深圳）有限公司 一种集成全景功能和bsd功能的智能汽车电子后视镜设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及系统
US20180196127A1 (en) * 2017-01-11 2018-07-12 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a lidar using information from a secondary vehicle
CN109285120A (zh) * 2018-11-21 2019-01-29 北京汽车研究总院有限公司 一种图像拼接、图像标定方法、车辆及标定设备
CN111664856A (zh) * 2019-03-08 2020-09-15 上海蔚来汽车有限公司 车辆初始定位系统及车辆初始定位方法
CN110379002A (zh) * 2019-07-09 2019-10-25 电子科技大学 一种基于红外与可见光图像融合的三维重建表面温度显示方法
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法
CN110796102A (zh) * 2019-10-31 2020-02-14 重庆长安汽车股份有限公司 一种车辆目标感知系统及方法
CN110926417A (zh) * 2019-12-03 2020-03-27 西北工业大学 基于机器视觉的车载铁路隧道检测系统
CN111753696A (zh) * 2020-06-17 2020-10-09 济南大学 一种感知场景信息的方法、仿真装置、机器人
CN113470116A (zh) * 2021-06-16 2021-10-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN216331763U (zh) * 2021-08-30 2022-04-19 鹰驾科技（深圳）有限公司 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
CN113879214A (zh) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 电子后视镜的显示方法、电子后视镜显示系统及相关设备
CN114240769A (zh) * 2021-11-18 2022-03-25 华为技术有限公司 一种图像处理方法以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091894A (zh) * 2023-03-03 2023-05-09 小米汽车科技有限公司 模型训练方法、车辆控制方法、装置、设备、车辆及介质

Also Published As

Publication number Publication date
CN114821544B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP6633216B2 (ja) 撮像装置、及び、電子機器
US11023788B2 (en) Systems and methods for estimating future paths
CN110874817B (zh) 图像拼接方法和装置、车载图像处理装置、设备、介质
US10990836B2 (en) Method and apparatus for recognizing object, device, vehicle and medium
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
CN109005334B (zh) 一种成像方法、装置、终端和存储介质
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
JP2004354257A (ja) キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2003256874A (ja) 画像合成変換装置
GB2593335A (en) Method and apparatus for 3-D auto tagging
US11587259B2 (en) Fixed pattern calibration for multi-view stitching
US20180070074A1 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
JP2017022574A (ja) 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム
JP6803570B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
US11380111B2 (en) Image colorization for vehicular camera images
JP2004354256A (ja) キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
EP4156125A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant