CN114550281A - 行人信息确定方法、装置、车辆、电子设备及存储介质 - Google Patents

行人信息确定方法、装置、车辆、电子设备及存储介质 Download PDF

Info

Publication number
CN114550281A
CN114550281A CN202111295495.1A CN202111295495A CN114550281A CN 114550281 A CN114550281 A CN 114550281A CN 202111295495 A CN202111295495 A CN 202111295495A CN 114550281 A CN114550281 A CN 114550281A
Authority
CN
China
Prior art keywords
pedestrian
image
target
sensors
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111295495.1A
Other languages
English (en)
Inventor
俞昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202111295495.1A priority Critical patent/CN114550281A/zh
Priority to PCT/CN2022/090694 priority patent/WO2023077755A1/zh
Publication of CN114550281A publication Critical patent/CN114550281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于行人信息确定方法、装置、车辆、电子设备及存储介质，方法包括：获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置。确定多个传感器对应的多个当前图像中的目标图像。向预设模型输入目标图像，并输出目标图像中目标行人的三维特征信息。采用本公开的方法，通过多个传感器进行图像采集，并能够筛选确定其中质量较好的目标图像。从而能够提升输入数据的准确性，进而获得更准确真实的行人三维特征信息。

Description

行人信息确定方法、装置、车辆、电子设备及存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种行人信息确定方法、装置、车辆、电子设备及存储介质。
背景技术
随着计算机视觉技术的发展，人体关键点的应用越来越广泛。例如在自动驾驶过程或者体感游戏、短视频交互过程中，需要获知人体3d关键点以便于获知人体行为姿态。
相关技术中，确定人体3d关键点主要包括自上而下(top-down)和自下而上(bottom-up)两种方式。在相关技术中，存在因模型输入的图像质量不好，而导致的3d关键点确定不准确的问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种行人信息确定方法、装置、车辆、电子设备及存储介质。
根据本公开实施例的第一方面，提出了一种行人信息确定方法，方法包括：
获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置；
确定多个传感器对应的多个当前图像中的目标图像；
向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息。
在一些实施例中，所述获取多个传感器中每个传感器采集的当前图像，包括：
将多个传感器的时间进行同步；
获取当前时刻多个传感器中每个传感器采集的当前图像。
在一些实施例中，所述确定多个传感器对应的多个当前图像中的目标图像，包括：
分别对多个当前图像进行行人检测，以识别每个当前图像中的行人；
对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像；
确定所述至少一个当前图像中目标行人满足预设条件的为目标图像，其中，所述预设条件包括：当前图像中目标行人的深度不小于深度阈值或所述预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
在一些实施例中，所述预设模型包括神经网络模型和函数模型；
所述向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息，包括：
向所述神经网络模型输入所述目标图像，输出所述目标行人的三维姿态参数；其中，所述三维姿态参数包括第一参数和第二参数，所述第一参数用于表征所述目标行人的外形特征，所述第二参数用于表征所述目标行人的关节特征；
向所述函数模型输入所述三维姿态参数，输出所述目标行人的三维特征信息。
在一些实施例中，所述方法还包括，训练所述神经网络模型：
获取训练样本，其中，所述训练样本包括标注有行人二维特征信息的多个图像，所述多个图像为多个传感器采集获得；
将训练样本输入至所述神经网络模型，输出对应的三维参数样本；
根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值；
调整模型参数以调整所述损失函数的值，至所述神经网络模型收敛。
在一些实施例中，所述获取训练样本，包括：
获取不同场景下每个传感器采集的图像集；
识别所述图像集中每个图像的行人，并标注人体边界框以及二维特征信息。
根据本公开实施例的第二方面，提出了一种行人信息确定装置，装置包括：
获取模块，用于获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置；
确定模块，用于确定多个传感器对应的多个当前图像中的目标图像；
处理模块，用于向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息。
在一些实施例中，所述获取模块用于：
将多个传感器的时间进行同步；
获取当前时刻多个传感器中每个传感器采集的当前图像。
在一些实施例中，所述确定模块用于：
分别对多个当前图像进行行人检测，以识别每个当前图像中的行人；
对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像；
确定所述至少一个当前图像中目标行人满足预设条件的为目标图像，其中，所述预设条件包括：当前图像中目标行人的深度不小于深度阈值或所述预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
在一些实施例中，所述预设模型包括神经网络模型和函数模型；
所述处理模块用于：
向所述神经网络模型输入所述目标图像，输出所述目标行人的三维姿态参数；其中，所述三维姿态参数包括第一参数和第二参数，所述第一参数用于表征所述目标行人的外形特征，所述第二参数用于表征所述目标行人的关节特征；
向所述函数模型输入所述三维姿态参数，输出所述目标行人的三维特征信息。
在一些实施例中，所述装置还包括训练模块，所述训练模块用于训练所述神经网络模型；所述训练模块具体用于：
获取训练样本，其中，所述训练样本包括标注有行人二维特征信息的多个图像，所述多个图像为多个传感器采集获得；
将训练样本输入至所述神经网络模型，输出对应的三维参数样本；
根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值；
调整模型参数以调整所述损失函数的值，至所述神经网络模型收敛。
在一些实施例中，所述训练模块还用于：
获取不同场景下每个传感器采集的图像集；
识别所述图像集中每个图像的行人，并标注人体边界框以及二维特征信息。
根据本公开实施例的第三方面，提出了车辆，包括上述任一项所述的行人信息确定装置。
根据本公开实施例的第四方面，提出了一种电子设备，包括：
处理器；
用于存储处理器的可执行指令的存储器；
其中，所述处理器被配置为执行如上任一项所述的行人信息确定方法。
根据本公开实施例的第五方面，提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上任一项所述的行人信息确定方法。
本公开的实施例提供的技术方案可以包括以下有益效果：采用本公开的方法，通过多个传感器进行图像采集，并能够筛选确定其中质量较好的目标图像。从而能够提升输入数据的准确性，进而获得更准确真实的行人三维特征信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的方法的流程图。
图2是根据一示例性实施例示出的方法的流程图。
图3是根据一示例性实施例示出的带标注的图像的示意图。
图4是根据另一示例性实施例示出的带标注的图像的示意图。
图5是根据另一示例性实施例示出的带标注的图像的示意图。
图6是根据一示例性实施例示出的神经网络模型的结构示意图。
图7是根据一示例性实施例示出的方法的流程图。
图8是根据一示例性实施例示出的装置的框图。
图9是根据一示例性实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
相关技术中，模型输入的图像数据存在人像拍摄较远、人像存在遮挡等效果不好的问题，因此在缺少较优的图像数据的前提下，相关技术中获得3d关键点的准确性较差、模型鲁棒性低。
相关技术中存在上述问题的原因包括：相关技术中着重于在模型的结构上进行优化，并采用单传感器进行采集数据。而真实场景中场景变化多、行人姿态复杂，单传感器采集的图像数据缺乏质量保障(如存在遮挡或行人较远)。在此基础上，对模型进行训练时，单传感器的训练样本的质量也较差，且较难重建训练样本。
本公开实施例提出了一种行人信息确定方法，方法包括：获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置。确定多个传感器对应的多个当前图像中的目标图像。向预设模型输入目标图像，并输出目标图像中目标行人的三维特征信息。采用本公开的方法，通过多个传感器进行图像采集，并能够筛选确定其中质量较好的目标图像。从而能够提升输入数据的准确性，进而获得更准确真实的行人三维特征信息。
在一个示例性的实施例中，如图1所示，本实施例的方法可以包括如下步骤：
S110、获取多个传感器中每个传感器采集的当前图像。
S120、确定多个传感器对应的多个当前图像中的目标图像。
S130、向预设模型输入目标图像，并输出目标图像中目标行人的三维特征信息。
其中，本实施例中的方法可以应用于电子设备，电子设备可以是车辆、手机等终端，或者是服务器。
在步骤S110，以应用于车辆自动行驶场景为例，多个传感器位于车辆的不同位置，每个传感器在车辆前侧的视场范围可不同，用以采集车辆前侧不同角度下的图像。传感器可以是摄像模组或者集成有tof(飞行时间测距)传感器的摄像头。
本步骤中获取的可以是：每个传感器在相同场景下采集的当前图像，由此获得多个传感器一一对应的多个当前图像。
在步骤S120中，确定多个当前图像中的目标图像。本步骤中，可以根据图像质量、行人显示效果、是否存在遮挡物等指标，确定多个当前图像中最优的目标图像。例如，选取多个当前图像中，图像质量最好、行人显示最清晰且全面、无其他物体(如树木或人物间)遮挡的当前图像做为目标图像。
在步骤S130中，以目标图像作为输入，通过预设模型输出目标图像中目标行人的三维特征信息。三维特征信息包括3d关键点坐标，目标行人可以是目标图像中选定的行人，或者代指目标图像中待确定三维特征信息的行人。
本步骤中，根据目标图像确定行人3d特征点坐标的方法可以采用自上而下(top-down)方法，即根据目标图像中多个行人中的目标行人的二维特征信息(如2d关键点坐标)，确定目标行人的3d关键点坐标。
top-down方法中，可以通过2d关键点坐标与3d关键点坐标的回归影射关系确定目标图像的3d关键点坐标。或者，通过模型拟合(model-fitting)方法根据2d关键点坐标重建3d关键点坐标。
在一个示例性的实施例中，本实施例中的方法包括步骤S110及步骤S130，步骤S110可以包括如下步骤：
S1101、将多个传感器的时间进行同步。
S1102、获取当前时刻多个传感器中每个传感器采集的图像。
其中，在步骤S1101中，多个传感器进行时间同步的方式比如是：以其中的一个基准传感器的时间为准，其他传感器的时间调节至基准传感器的时间。
在步骤S1102中，获取的多个传感器在同一时刻采集的当前图像。
本实施例中，多个传感器会进行时间同步，从而在同一时刻获取的多个传感器采集的图像中，可以体现出相同行人在不同传感器图像中的位置。
在一个示例性的实施例中，如图2所示，本实施例中的方法包括步骤S110及步骤S130，步骤S120可以包括如下步骤：
S1201、分别对多个当前图像进行行人检测，以识别每个当前图像中的行人。
S1202、对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像。
S1203、确定至少一个当前图像中目标行人满足预设条件的为目标图像。
其中，在步骤S1201中，对多个当前图像行人检测，即检测每个当前图像中人体的边界框，确定每个当前图像中的行人。
在步骤S1202中，基于步骤S1201的识别结果，本步骤中识别多个当前图像中是否包含相同的行人，如目标行人。不包含目标行人的图像、或者目标行人被遮挡较为严重的图像可以剔除。在确定目标行人后，多个当前图像可以反映出目标行人在不同传感器图像中的位置。
在步骤S1203中，预设条件包括：当前图像中目标行人的深度不小于深度阈值或预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
本步骤中，深度阈值可以是预先设置并存储的优选条件，当深度不小于深度阈值表明在图像中目标行人显示全面。深度信息最优是指：在多个当前图像中，获知每个当前图像中目标行人的深度，并将多个深度进行对比时深度最大的；深度信息最优时表明当前图像中目标行人显示的最为全面。
当满足预设条件，表明目标图像中的目标行人显示的最为全面。在至少一个当前图像中，判断每个当前图像中目标行人的深度是否满足预设条件，满足预设条件的图像为目标图像。当满足预设条件的图像有多个，可以选取其中图像质量最好(如清晰度最好)的作为目标图像。
例如，如图3至图5所示，图3至图4所示的图像中目标行人的深度小于深度阈值，图5所示的图像中目标行人的深度大于或等于深度阈值、显示的最为全面。或者说，图3至图5中，图5为目标行人的深度信息最优的图像。
在一个示例性的实施例中，本实施例中的方法包括步骤S110至步骤S130。本实施例中，预设模型包括神经网络模型和函数模型，步骤S130可以包括如下步骤：
S1301、向神经网络模型输入目标图像，输出目标行人的三维姿态参数。
S1302、向函数模型输入三维姿态参数，输出目标行人的三维特征信息。
其中，在步骤S1301中，三维姿态参数包括第一参数和第二参数，第一参数β用于表征目标行人的外形特征，第二参数θ用于表征目标行人的关节特征。
本步骤中，第一参数β比如是表征人体高矮胖瘦、头身比等比例的10个参数。第二参数θ比如是表征人体整体运动位姿和24个关节点相对角度的72个参数，24关节点中每个关节点可以为3个自由度。可以理解的，关键点包括人体关节点。
本步骤中，输入的目标图像可以是224*224*3图像。如图6所示，神经网络模型(backbone)可以包括：依次连接的深度残差网络(resnet)层、特征图金字塔网络(FeaturePyramid Networks，FPN)层和全连接层。神经网络模型输出的为目标图像中目标行人的第一参数和第二参数。
在步骤S1302中，函数模型与神经网络模型连接。经过神经网络模型输出的三维姿态参数：第一参数β和第二参数θ，输入至函数模型。
本步骤中，函数模型为：Mesh＝M(θ，β)∈R6890*3，其中，β∈R10，θ∈R72，R为自然数。如上所述，第一参数β可以是表征人体高矮胖瘦、头身比等比例的10个参数构成的一维向量，第二参数θ可以是表征人体运动位姿和24个关节点相对角度的72个参数所构成的一维向量。
在一个示例性的实施例中，本实施例中的方法还包括如下步骤：S100、训练神经网络模型。本步骤可以是在执行步骤S110之前进行的，在模型训练好之后执行步骤S110至步骤S130。
如图7所示，本实施例中步骤S100可以包括如下步骤：
S101、获取训练样本。
S102、将训练样本输入至神经网络模型，输出对应的三维参数样本。
S103、根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值。
S104、调整模型参数以调整损失函数，至神经网络模型收敛。
其中，在步骤S101中，训练样本包括标注有行人二维特征信息的多个图像，多个图像为多个传感器采集获得。本步骤中可以包括如下步骤：
S1011、获取不同场景下每个传感器采集的图像集。此步骤中，多个传感器可以获得多个图像集。每个相同场景下对应有多个传感器所采集的图像。
S1012、识别图像集中每个图像的行人，并标注人体边界框以及二维特征信息。此步骤中，对图像集中的图像进行数据预处理和标注。预处理比如可以是对图像进行矫正或裁切。预处理之后，对图像中的行人进行标注，如对识别到的行人进行人体边界框标识，以及二维特征信息(如2d关键点坐标)标注，参照图3至图5所示。
由此，本步骤中，可以得到标识有人体边界框以及标注有2d关键点坐标的图像集，即训练样本。
在步骤S102中，将步骤S101中获得的训练样本输入至神经网络模型，训练样本中的每个图像均可以获得对应的三维参数样本。三维参数样本仍包含前述的第一参数和第二参数。
在步骤S103中，神经网络模型输出的三维参数样本，可投影得到二维参数预测值。本步骤中，训练样本中标注的二维特征信息为真实值，根据二维参数预测值与标注的二维特征信息，确定损失函数的值。
本实施例中，结合图6所示，损失函数层可设置在全连接层之后。
损失函数比如可以是：
Figure BDA0003336447520000081
其中，K代表关键点个数，J2D为标注的二维特征信息即真实值，
Figure BDA0003336447520000082
为二维参数预测值，proj表示投影。
在步骤S104中，训练样本中每输入一个图像，即可输出一个三维参数样本，获得一个损失函数。结合反向传播机制，每获得一次损失函数均可以对神经网络模型中各层模型参数进行调节，直至损失函数的值符合要求、神经网络模型收敛。
本公开实施例中，基于多传感器采集的训练样本，训练的神经网络模型鲁棒性更好。
在一个示例性的实施例中，本公开实施例中还提出了一种行人信息确定装置。如图8所示，本实施例的装置包括：获取模块110、确定模块120及处理模块130。本实施例的装置用于实现如图1所示的方法。其中，获取模块110用于获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置。确定模块120用于确定多个传感器对应的多个当前图像中的目标图像。处理模块130用于向预设模型输入目标图像，并输出目标图像中目标行人的三维特征信息。
本实施例中，获取模块110用于：将多个传感器的时间进行同步；获取当前时刻多个传感器中每个传感器采集的当前图像。
在一个示例性的实施例中，依旧参照图8所示，本实施例中确定模块120用于：分别对多个当前图像进行行人检测，以识别每个当前图像中的行人；对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像；确定至少一个当前图像中目标行人满足预设条件的为目标图像，其中，预设条件包括：当前图像中目标行人的深度不小于深度阈值或预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
在一个示例性的实施例中，依旧参照图8所示，本实施例中预设模型包括神经网络模型和函数模型。处理模块130用于：向神经网络模型输入目标图像，输出目标行人的三维姿态参数；其中，三维姿态参数包括第一参数和第二参数，第一参数用于表征目标行人的外形特征，第二参数用于表征目标行人的关节特征；向函数模型输入三维姿态参数，输出目标行人的三维特征信息。
在一个示例性的实施例中，本实施例的装置还包括训练模块，训练模块用于训练神经网络模型。本实施例的装置用于实现如图7所示的方法。其中，训练模块具体用于：获取训练样本，其中，训练样本包括标注有行人二维特征信息的多个图像，多个图像为多个传感器采集获得；将训练样本输入至神经网络模型，输出对应的三维参数样本；根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值；调整模型参数以调整损失函数的值，至神经网络模型收敛。
本实施例中，训练模块还用于：获取不同场景下每个传感器采集的图像集；识别图像集中每个图像的行人，并标注人体边界框以及二维特征信息。
在一个示例性的实施例中，本公开实施例还提出了一种车辆，包括前述实施例涉及的行人信息确定装置。
如图9所示是一种电子设备的框图。本公开还提供了一种电子设备，例如，设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如组件为设备500的显示器和小键盘，传感器组件514还可以检测设备500或设备500一个组件的位置改变，用户与设备500接触的存在或不存在，设备500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。
本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由设备500的处理器520执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种行人信息确定方法，其特征在于，方法包括：
获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置；
确定多个传感器对应的多个当前图像中的目标图像；
向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息。
2.根据权利要求1所述的方法，其特征在于，所述获取多个传感器中每个传感器采集的当前图像，包括：
将多个传感器的时间进行同步；
获取当前时刻多个传感器中每个传感器采集的当前图像。
3.根据权利要求1或2所述的方法，其特征在于，所述确定多个传感器对应的多个当前图像中的目标图像，包括：
分别对多个当前图像进行行人检测，以识别每个当前图像中的行人；
对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像；
确定所述至少一个当前图像中目标行人满足预设条件的为目标图像，其中，所述预设条件包括：当前图像中目标行人的深度不小于深度阈值或所述预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
4.根据权利要求1所述的方法，其特征在于，所述预设模型包括神经网络模型和函数模型；
所述向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息，包括：
向所述神经网络模型输入所述目标图像，输出所述目标行人的三维姿态参数；其中，所述三维姿态参数包括第一参数和第二参数，所述第一参数用于表征所述目标行人的外形特征，所述第二参数用于表征所述目标行人的关节特征；
向所述函数模型输入所述三维姿态参数，输出所述目标行人的三维特征信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括，训练所述神经网络模型：
获取训练样本，其中，所述训练样本包括标注有行人二维特征信息的多个图像，所述多个图像为多个传感器采集获得；
将训练样本输入至所述神经网络模型，输出对应的三维参数样本；
根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值；
调整模型参数以调整所述损失函数的值，至所述神经网络模型收敛。
6.根据权利要求5所述的方法，其特征在于，所述获取训练样本，包括：
获取不同场景下每个传感器采集的图像集；
识别所述图像集中每个图像的行人，并标注人体边界框以及二维特征信息。
7.一种行人信息确定装置，其特征在于，装置包括：
获取模块，用于获取多个传感器中每个传感器采集的当前图像；其中，多个传感器位于车辆的不同位置；
确定模块，用于确定多个传感器对应的多个当前图像中的目标图像；
处理模块，用于向预设模型输入所述目标图像，并输出所述目标图像中目标行人的三维特征信息。
8.根据权利要求7所述的装置，其特征在于，所述获取模块用于：
将多个传感器的时间进行同步；
获取当前时刻多个传感器中每个传感器采集的当前图像。
9.根据权利要求7或8所述的装置，其特征在于，所述确定模块用于：
分别对多个当前图像进行行人检测，以识别每个当前图像中的行人；
对多个当前图像进行行人重识别，以确定含有目标行人的至少一个当前图像；
确定所述至少一个当前图像中目标行人满足预设条件的为目标图像，其中，所述预设条件包括：当前图像中目标行人的深度不小于深度阈值或所述预设条件包括选取目标行人深度信息最优的当前图像为目标图像。
10.根据权利要求7所述的装置，其特征在于，所述预设模型包括神经网络模型和函数模型；
所述处理模块用于：
向所述神经网络模型输入所述目标图像，输出所述目标行人的三维姿态参数；其中，所述三维姿态参数包括第一参数和第二参数，所述第一参数用于表征所述目标行人的外形特征，所述第二参数用于表征所述目标行人的关节特征；
向所述函数模型输入所述三维姿态参数，输出所述目标行人的三维特征信息。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于训练所述神经网络模型；所述训练模块具体用于：
获取训练样本，其中，所述训练样本包括标注有行人二维特征信息的多个图像，所述多个图像为多个传感器采集获得；
将训练样本输入至所述神经网络模型，输出对应的三维参数样本；
根据三维参数样本以及训练样本中对应的二维特征信息，确定损失函数的值；
调整模型参数以调整所述损失函数的值，至所述神经网络模型收敛。
12.根据权利要求11所述的装置，其特征在于，所述训练模块还用于：
获取不同场景下每个传感器采集的图像集；
识别所述图像集中每个图像的行人，并标注人体边界框以及二维特征信息。
13.一种车辆，其特征在于，包括权利要求7至12任一项所述的行人信息确定装置。
14.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器的可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至6任一项所述的行人信息确定方法。
15.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6任一项所述的行人信息确定方法。
CN202111295495.1A 2021-11-03 2021-11-03 行人信息确定方法、装置、车辆、电子设备及存储介质 Pending CN114550281A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111295495.1A CN114550281A (zh) 2021-11-03 2021-11-03 行人信息确定方法、装置、车辆、电子设备及存储介质
PCT/CN2022/090694 WO2023077755A1 (zh) 2021-11-03 2022-04-29 行人信息确定方法、装置、车辆、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111295495.1A CN114550281A (zh) 2021-11-03 2021-11-03 行人信息确定方法、装置、车辆、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114550281A true CN114550281A (zh) 2022-05-27

Family

ID=81668483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295495.1A Pending CN114550281A (zh) 2021-11-03 2021-11-03 行人信息确定方法、装置、车辆、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114550281A (zh)
WO (1) WO2023077755A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及系统
CN111968217B (zh) * 2020-05-18 2021-08-20 北京邮电大学 基于图片的smpl参数预测以及人体模型生成方法
CN112819951A (zh) * 2021-02-09 2021-05-18 北京工业大学 一种基于深度图修复的带遮挡三维人体重建方法

Also Published As

Publication number Publication date
WO2023077755A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
CN106651955B (zh) 图片中目标物的定位方法及装置
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN105488527B (zh) 图像分类方法及装置
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
US20170287188A1 (en) Method and apparatus for intelligently capturing image
CN106778773B (zh) 图片中目标物的定位方法及装置
CN108668080B (zh) 提示镜头脏污程度的方法及装置、电子设备
CN111105454B (zh) 一种获取定位信息的方法、装置及介质
CN107992848B (zh) 获取深度图像的方法、装置及计算机可读存储介质
EP3312702B1 (en) Method and device for identifying gesture
CN110751659B (zh) 图像分割方法及装置、终端、存储介质
CN107944367B (zh) 人脸关键点检测方法及装置
CN110853095B (zh) 相机定位方法、装置、电子设备及存储介质
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN110969120B (zh) 图像处理方法及装置、电子设备、可读存储介质
CN110796012B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
US11252341B2 (en) Method and device for shooting image, and storage medium
CN117412169A (zh) 追焦方法、装置、电子设备及存储介质
CN114550281A (zh) 行人信息确定方法、装置、车辆、电子设备及存储介质
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
CN112883791A (zh) 对象识别方法、对象识别装置及存储介质
CN114418865A (zh) 图像处理方法、装置、设备及存储介质
CN111726531A (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
CN113315904A (zh) 拍摄方法、拍摄装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination