CN111401321A - 对象识别模型训练方法、装置、电子设备和可读存储介质 - Google Patents

对象识别模型训练方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111401321A
CN111401321A CN202010303464.5A CN202010303464A CN111401321A CN 111401321 A CN111401321 A CN 111401321A CN 202010303464 A CN202010303464 A CN 202010303464A CN 111401321 A CN111401321 A CN 111401321A
Authority
CN
China
Prior art keywords
sample
millimeter wave
data set
point cloud
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010303464.5A
Other languages
English (en)
Inventor
姬帅强
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010303464.5A priority Critical patent/CN111401321A/zh
Publication of CN111401321A publication Critical patent/CN111401321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请中的对象识别模型训练方法、装置、电子设备和可读存储介质,每个样本对象均有对应的至少两种毫米波频段中每种毫米波频段的样本毫米波响应信号,从而能够得到每个对象的样本点云数据集,提升了训练数据的数量,依赖数据集的扩充进行模型训练,从而解决了单一频段下采集的数据量较少而导致的过拟合的问题;由于不同的毫米波频段具备不同的对象识别能力,那么将每个样本点云数据集输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。

Description

对象识别模型训练方法、装置、电子设备和可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种对象识别模型训练方法、装置、电子设备和计算机可读存储介质。
背景技术
目前常用的对象识别技术都是基于视觉相机的解决方案,即通过神经网络进行图像特征的提取,进而得到对象识别结果。那么,在神经网络的训练过程中,通常采用某一对象的图像和标注进行训练。然而,目前的对象识别模型训练方法,存在过拟合的问题。
发明内容
本申请实施例提供了一种对象识别模型训练方法、装置、电子设备、计算机可读存储介质,可以解决过拟合的问题。
一种对象识别模型训练方法,所述方法包括:
对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号样本;
获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集中包括每个所述样本对象对应的样本点云数据集,所述样本点云数据集是对每个所述毫米波频段对应的所述样本毫米波响应信号进行处理得到的,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;
获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
一种对象识别方法,应用于电子设备,所述电子设备包括毫米波收发器,所述毫米波收发器用于发射毫米波发射信号,以及接收对所述毫米波发射信号所产生的毫米波响应信号,所述方法包括:
接收待识别对象对应的目标毫米波响应信号;
获取目标待识别数据,其中,所述目标待识别数据包括目标点云数据,所述目标点云数据是对所述目标毫米波响应信号进行处理得到的;将所述目标待识别数据中的所述输入至目标对象识别模型中,得到目标对象识别结果,其中,所述目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,所述类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,所述类别标注值与所述样本点云数据集相对应,所述样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种毫米波频段对应的样本点云数据,所述样本点云数据集是对至少两种毫米波频段中,每种所述毫米波频段所对应的样本毫米波响应信号进行处理得到的,所述样本毫米波响应信号是经每个样本对象返回的信号。
一种对象识别模型训练装置,包括:
样本信号获取模块,用于对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号样本;
数据集获取模块,用于获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集中包括每个所述样本对象对应的样本点云数据集,所述样本点云数据集是对每个所述毫米波频段对应的所述样本毫米波响应信号进行处理得到的,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;
样本标注获取模块,用于获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
样本对象识别模块,用于将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
参数值调整模块,用于根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
一种对象识别装置,应用于电子设备,所述电子设备包括毫米波收发器,所述毫米波收发器用于发射毫米波发射信号,以及接收对所述毫米波发射信号所产生的毫米波响应信号,所述装置包括:
目标信号接收模块,用于接收待识别对象对应的目标毫米波响应信号;
待识别数据获取模块,用于获取目标待识别数据,其中,所述目标待识别数据包括目标点云数据,所述目标点云数据是对所述目标毫米波响应信号进行处理得到的;
目标对象识别模块,用于将所述目标待识别数据中的所述目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,所述目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,所述类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,所述类别标注值与所述样本点云数据集相对应,所述样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种毫米波频段对应的样本点云数据,所述样本点云数据是集对至少两种毫米波频段中,每种所述毫米波频段所对应的样本毫米波响应信号进行处理得到的,所述样本毫米波响应信号是经每个样本对象返回的信号。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号样本;
获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集中包括每个所述样本对象对应的样本点云数据集,所述样本点云数据集是对每个所述毫米波频段对应的所述样本毫米波响应信号进行处理得到的,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;
获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
接收待识别对象对应的目标毫米波响应信号;
获取目标待识别数据,其中,所述目标待识别数据包括目标点云数据,所述目标点云数据是对所述目标毫米波响应信号进行处理得到的;将所述目标待识别数据中的所述目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,所述目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,所述类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,所述类别标注值与所述样本点云数据集相对应,所述样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种毫米波频段对应的样本点云数据,所述样本点云数据集是对至少两种毫米波频段中,每种所述毫米波频段所对应的样本毫米波响应信号进行处理得到的,所述样本毫米波响应信号是经每个样本对象返回的信号。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号样本;
获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集是对所述每个所述毫米波频段对应的样本毫米波响应信号进行处理得到的,所述毫米波样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
接收待识别对象对应的目标毫米波响应信号;
获取目标待识别数据,其中,所述目标待识别数据包括目标点云数据,所述目标点云数据是对所述目标毫米波响应信号进行处理得到的;将所述目标待识别数据中的所述目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,所述目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,所述类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,所述类别标注值与所述样本点云数据集相对应,所述样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种毫米波频段对应的样本点云数据,所述样本点云数据集是对至少两种毫米波频段中,每种所述毫米波频段所对应的样本毫米波响应信号进行处理得到的,所述样本毫米波响应信号是经每个样本对象返回的信号。
上述对象识别模型训练方法、装置、电子设备和计算机可读存储介质,每个样本对象均有对应的至少两种毫米波频段中每种毫米波频段的样本毫米波响应信号,从而能够得到每个对象的样本点云数据集,提升了训练数据的数量,依赖数据集的扩充进行模型训练,从而解决了单一频段下采集的数据量较少而导致的过拟合的问题;由于不同的毫米波频段具备不同的对象识别能力,那么将每个样本点云数据集输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中对象识别模型训练方法的流程图;
图2为一个实施例中得到样本点云数据集的流程示意图;
图3为一个实施例中对象识别方法的流程示意图;
图4为一个实施例中对象识别模型训练装置的结构框图;
图5为一个实施例中对象识别装置的结构框图;
图6为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中对象识别模型训练方法的流程图。本实施例中的对象识别模型训练方法,以运行于电子设备上为例进行描述。可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,电子设备可以是包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。服务器可以是用独立的服务器或者是多个服务器组成的服务器集群来实现。如图1所示,对象识别模型训练方法包括步骤102至步骤110。
步骤102,对于每个样本对象,获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号。
其中,样本对象是指用于训练对象识别模型的对象。样本对象可以是预先需要训练识别的对象,如人、动物、景物等。人例如可以是人脸、手势等不限于此。动物可以是猫、狗、等。景物例如可以是花、草、鱼、车、建筑、树木等不限于此。毫米波频段例如可以是24GHz(吉赫兹)、60GHz(吉赫兹)、77GHz(吉赫兹)等不限于此。样本毫米波响应信号是毫米波收发器向样本对象发射毫米波发射信号,经样本对象返回的信号。
具体地,不同的毫米波具备差异化的识别能力。如24GHz具有体积小、集成化程度高、感应灵敏等特点。60GHz具有传输速率高、抗干扰能力强、方向性好等优点。对于至少两个样本对象中每个样本对象,电子设备获取至少两种毫米波波段中每种毫米波频段对应的样本毫米波信号。那么,对于同一样本对象,不同频段的毫米波响应信号中包含的特征有所不同。
例如有样本对象A,毫米波频段为24GHz、60GHz和77GHz,那么样本对象A则对应三个毫米波响应信号,分别是24GHz毫米波响应信号、60GHz毫米波响应信号和77GHz毫米波响应信号。还可以有样本对象B,毫米波频段为24GHz、60GHz和77GHz,那么样本对象B则对应三个毫米波响应信号,分别是24GHz毫米波响应信号、60GHz毫米波响应信号和77GHz毫米波响应信号。
步骤104,获取样本对象数据集,其中,样本对象数据集包括毫米波样本对象数据集,毫米波样本对象数据集中包括每个样本对象对应的样本点云数据集,样本点云数据集是对每个毫米波频段对应的样本毫米波响应信号进行处理得到的,样本点云数据集包括每种毫米波频段对应的样本点云数据。
其中,样本对象数据集是指用于训练初始对象识别模型的数据集。样本对象数据集中包括毫米波样本对象数据集,即包括至少两个对象中每个对象所对应的样本点云数据集。样本对象数据集还可以包括其他的样本对象数据。例如样本对象数据集中还可以包括样本可见光图像、样本红外光图像中至少一种样本对象数据。每种毫米波频段对应的样本点云数据可以是经过预处理后的数据,例如可以是滤波、放大等预处理方式。点云数据是三维的数据,具有(x,y,z)坐标的数据以及对应的灰度值或深度值。样本点云数据集中包括至少两种毫米波频段对应的样本点云数据,即在原有点云维度上增加了频段维度的数据。
具体地,电子设备对至少两个毫米波频段中每个毫米波频段对应的样本毫米波信响应信号进行处理,得到每种毫米波频段对应的样本点云数据。每个样本对象的样本点云数据集,即组成毫米波样本对象数据集。例如毫米波样本对象数据集中可包含对象A、B、C、D、E、F…分别对应的样本点云数据集不限于此。那么A的样本点云数据集,即包括至少两种毫米波频段中每种毫米波频段经过A返回的样本毫米波响应信号,所处理得到的样本点云数据。
步骤106,获取样本对象数据集中每个样本点云数据集所对应的类别标注值。
其中,类别标注值是指样本点云数据集对应的正确的样本对象标注。例如,类别为车辆,对应的类别标注值为1;类别为行人,对应的类别标注值为2。样本点云数据集由经车辆(即样本对象)返回的样本毫米波响应信号所处理得到的,那么样本点云数据集所对应的类别标注值可以是车辆对应的值1。
具体地,每个样本点云数据集均有一个对应类别标注值。一个样本点云数据集对应一个类别标注值,也即对应一个样本对象。例如,样本点云数据集a所对应的样本对象为A,那么对应的类别标注值为A;样本点云数据集b所对应的样本对象为B,那么对应的类别标注值为B等不限于此。电子设备获取样本对象数据集中每个样本点云数据集所对应的类别标注值。
步骤108,将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值。
其中,初始对象识别模型是指未经过训练的对象识别模型。初始对象识别模型可用于识别出对象的类别,得到类别检测值。初始对象识别模型具体可以是卷积神经网络等不限于此。类别检测值是指经初始对象识别模型进行识别之后得到的。类别检测值不一定正确。
具体地,每次进行训练时,均是将同一对象的样本点云数据集输入至初始对象识别模型进行识别,从而得到每个样本对象的类别检测值。
步骤110,根据类别检测值和类别标注值得到损失值,根据损失值调整初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
其中,损失值用于表征类别检测值和类别标注值之间的差异。损失值可通过损失函数计算得到。损失函数具体可以是均方误差、平均绝对误差、交叉熵损失函数等不限于此。预设条件具体可以是训练达到预设次数、损失值小于预设损失值中至少一种但不限于此。目标对象识别模型是指训练完成的对象识别模型,可用于根据点云数据识别得到对象识别结果。
具体地,电子设备根据类别检测值和类别标注值计算得到损失值。电子设备根据损失值调整初始对象识别模型中的参数值,直到满足训练达到预设次数、损失值小于预设损失值中至少一种,得到训练完成的目标对象识别模型。
本实施例中的对象识别模型训练方法,每个样本对象均有对应的至少两种毫米波频段中每种毫米波频段的样本毫米波响应信号,从而能够得到每个对象的样本点云数据集,提升了训练数据的数量,依赖数据集的扩充进行模型训练,从而解决了单一频段下采集的数据量较少而导致的过拟合的问题;由于不同的毫米波频段具备不同的对象识别能力,那么将每个样本点云数据集输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,样本对象数据集中还包括每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,样本可见光图像是通过摄像头拍摄样本对象得到的,样本红外光图像是通过红外探测器对样本对象进行探测得到的。
获取样本对象数据集中的每个样本点云数据集所对应的类别标注值,包括:获取样本对象数据集中的可见光图像、红外光图像中至少一种、以及样本点云数据集,所对应的类别标注值;
将样本对象数据集中的样本点云数据集,输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值,包括:将样本对象数据集中每个样本对象的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集,输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值。
其中,样本可见光图像是通过摄像头拍摄样本对象得到的。样本红外光图像是通过红外探测器对样本对象进行探测得到的。通过样本可见光图像可以得到不同颜色的光的详细数据,例如频率和波长的数据。通过样本红外光图像可以额外获取样本对象的热量信息。即在样本对象数据集中,一个样本对象可对应样本可见光图像、样本红外光图像中至少一种,以及样本点云数据集。
具体地,对于每个样本对象,电子设备可获取每个样本对象对应的样本可见光图像、样本红外光图像中至少一种。而电子设备获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,对每个毫米波频段对应的样本毫米波响应信号进行处理,得到样本点云数据集。电子设备将样本可见光图像、样本红外光图像中至少一种,以及样本点云数据集组成样本对象数据集。电子设备获取样本对象数据集中的同一样本对象的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集,所对应的类别标注值。电子设备将样本对象数据集中同一样本对象的样本可见光图像、样本红外光图像中至少一种,以及样本点云数据集,一起输入至初始对象识别模型中进行识别,得到每个样本对象的类别检测值。
本实施例中的对象识别模型训练方法,样本对象数据集中还包括每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,进一步扩大了训练数据的数量,从而避免过拟合的问题;那么将每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,以及对应的样本点云数据集,一起输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,即可以结合样本对象的颜色信息、热量信息等进行训练,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,包括:从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个毫米波收发器对应一种毫米波频段。
其中,每个毫米波收发器对应一种毫米波频段。即每个毫米波频段的毫米波收发器的发射和接收相互独立。例如第一毫米波收发器对应的毫米波频段为24GHz,第二毫米波收发器对应的毫米波频段为60GHz,第三毫米波收发器对应的毫米波频段为77GHz。
具体地,通过至少两个毫米波收发器中每个毫米波收发器,向样本对象发射样本毫米波发射信号,并接收经样本对象返回的至少两种样本毫米波响应信号。对于每个样本对象,电子设备从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号。
本实施例中的对象识别模型训练方法,通过至少两个毫米波收发器获取每种毫米波频段对应的样本毫米波响应信号,能够得到多频段的训练数据,扩充数据集,避免过拟合,且采用至少两个毫米波收发器获取的方式结构简单,扩展性较好。
在一个实施例中,获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,包括:从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段。
具体地,毫米波收发器可包括毫米波信号产生模块、倍频模块、放大模块、滤波模块和射频模块。毫米波信号产生模块用于产生基带信号,倍频模块用于对基带信号进行调制得到不同毫米波波段的毫米波调制信号。放大模块用于对毫米波调制信号进行放大,得到样本毫米波发射信号。射频模块用于发送该样本毫米波发射信号,并接收对该样本毫米波发射信号所产生的样本毫米波响应信号。其中,基带信号的频段可以比毫米波调制信号的频段低。例如基带信号的频段为2~3GHz,毫米波调制信号的频段为24GHz等不限于此。毫米波收发器中还可以包括滤波模块,滤波模块用于对基带信号、毫米波调制信号、样本毫米波发射信号中至少一种进行滤波。电子设备从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号。
本实施例中的对象识别模型训练方法,从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段,能够提高信号的利用率。
在一个实施例中,将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值,包括:将样本对象数据集中的样本点云数据集输入至初始对象识别模型中,其中,初始对象识别模型用于提取样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值。
其中,样本点云数据是对样本毫米波响应信号进行处理得到的。
具体地,电子设备将样本对象数据集中的样本点云数据集输入至初始对象识别模型中,初始对象识别模型用于提取样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值。即,实际上样本点云数据集中的至少两个样本点云数据一起输入至初始对象识别模型中。
本实施例中的对象识别模型训练方法,将样本对象数据集中的样本点云数据集输入至初始对象识别模型中,其中,初始对象识别模型用于提取样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值,初始对象识别模型提取的每种毫米波频段对应的样本对象特征有所不同,而初始对象识别模型基于这些不同的样本对象特征,进行训练,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,如图2所示,为一个实施例中得到样本点云数据集的流程示意图。以三个毫米波频段为24GHz、60GHz和77GHz为例进行说明。采用三个毫米波收发器分别发送24GHz、60GHz和77GHz样本毫米波发射信号,或者采用一个毫米波收发器分别发送24GHz、60GHz和77GHz的样本毫米波发射信号,并分别接收24GHz、60GHz和77GHz的样本毫米波响应信号。电子设备分别对样本毫米波响应信号进行处理,得到每个频段对应的样本点云数据。即第一样本点云数据、第二样本点云数据和第三样本点云数据。将第一样本点云数据、第二样本点云数据和第三样本点云数据组合成该样本对象对应的样本点云数据集。电子设备还可以获取每个样本对象的样本可见光图像、样本红外光图像中至少一种,和该样本点云数据集,输入至初始对象识别模型中进行训练,得到目标对象识别模型。
在一个实施例中,一种对象识别模型训练方法,包括:
步骤(a1),对于每个样本对象,从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个毫米波收发器对应一种毫米波频段。
步骤(a2),获取样本对象数据集,其中,样本对象数据集包括毫米波样本对象数据集,毫米波样本对象数据集中包括每个样本对象对应的样本点云数据集,样本点云数据集是对每个毫米波频段对应的样本毫米波响应信号进行处理得到的,样本点云数据集包括每种毫米波频段对应的样本点云数据,样本对象数据集中还包括每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,样本可见光图像是通过摄像头拍摄样本对象得到的,样本红外光图像是通过红外探测器对样本对象进行探测得到的。
步骤(a3),获取样本对象数据集中的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集,所对应的类别标注值。
步骤(a4),将样本对象数据集中每个样本对象的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集,输入至初始对象识别模型进行识别,初始对象识别模型用于提取样本可见光图、样本红外光图中至少一种、以及样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值。
步骤(a5),根据类别检测值和类别标注值得到损失值,根据损失值调整初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
本实施例中的对象识别模型训练方法,每个样本对象均有对应的样本可见光图、样本红外光图中至少一种,以及至少两种毫米波频段中每种毫米波频段的样本毫米波响应信号,从而能够得到每个对象的样本对象数据集,提升了训练数据的数量,依赖数据集的扩充进行模型训练,从而解决了单一频段下采集的数据量较少而导致的过拟合的问题;由于不同的毫米波频段具备不同的对象识别能力,且可见光图中具有颜色信息,红外光图中具有热量信息,那么将每个样本点云数据集输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,即结合样本对象的颜色信息、热量信息等进行训练,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,如图3所示,为一个实施例中对象识别方法的流程示意图。一种对象识别方法,应用于电子设备,电子设备包括毫米波收发器,毫米波收发器用于发射毫米波发射信号,以及接收对毫米波发射信号所产生的毫米波响应信号。一种对象识别方法,包括:
步骤302,接收待识别对象对应的目标毫米波响应信号。
其中,本实施例中的毫米波信号处理方法,以运行于电子设备上为例进行描述。电子设备中包含毫米波收发器。该电子设备可以为包括手机、平板电脑、PDA(PersonalDigital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。毫米波是指波长为1~10毫米的电磁波。毫米波能测量较精确的距离,毫米波具体测距精度可达到5毫米。该毫米波收发器具有收发毫米波信号的功能,可用于发射毫米波发射信号,以及接收目标对象对毫米波发射信号所产生的毫米波响应信号。基于毫米波收发器接收的毫米波响应信号可进行对象识别。
具体地,电子设备通过毫米波收发器接收待识别对象对应的目标毫米波响应信号。目标毫米波响应信号的数量不限。该目标毫米波信号可以是单一频段的毫米波响应信号,也可以是至少两种频段中每种频段对应的目标毫米波响应信号。
步骤304,获取目标待识别数据,其中,目标待识别数据包括目标点云数据,目标点云数据是对目标毫米波响应信号进行处理得到的。
其中,在实际使用过程中所接收到的毫米波响应信号称为目标毫米波响应信号。
具体地,电子设备可对目标毫米波响应信号进行处理,得到目标点云数据,。目标待识别数据中包括目标点云数据,还可以包括其他待识别数据,例如目标可见光图像、目标红外光图像中至少一种。
步骤306,将目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,样本对象数据集中包括每个样本对象对应的样本点云数据集,样本点云数据集包括每种毫米波频段对应的样本点云数据,样本点云数据集是对至少两种毫米波频段中,每种毫米波频段所对应的样本毫米波响应信号进行处理得到的,样本毫米波响应信号是经每个样本待识别样本对象返回的信号。
其中,目标对象识别模型是已经训练完成的模型。目标对象识别结果用于表征对象的类别,例如车辆、行人、树木、建筑等不限于此。目标对象识别结果可以值的方式体现,也可以文字方式体现,还可以音频方式体现等不限于此。
具体地,电子设备将目标待识别数据输入至目标对象识别模型中,目标对象识别模型用于提取目标待识别数据中的特征,并基于特征进行识别得到目标对象识别结果。
本实施例中的对象识别方法,接收待识别对象对应的毫米波响应信号,获取目标待识别数据,目标待识别数据包括目标点云数据,目标点云数据是对目标毫米波响应信号进行处理得到的,将目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,能够使用具有识别多种特征的能力的目标对象识别模型进行对象识别,提高对象识别结果的准确性。
在一个实施例中,样本对象数据集中还包括每个样本对象对应的可见光图像、红外光图像中至少一种,类别标注值还与样本可见光图像、样本红外光图像中至少一种相对应,类别检测值是将样本对象数据集中的样本可见光图像、样本红外光图像中至少一种、以及每个样本点云数据集输入至初始对象识别模型中进行识别得到的。目标待识别数据中还包括待识别对象对应的目标可见光图像、目标红外光图像中至少一种。将目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果对目标毫米波响应信号进行处理,得到目标待识别数据,包括:将目标待识别数据中的目标可见光图像、目标红外光图像中至少一种以及目标点云数据输入至目标对象识别模型中,得到目标对象识别结果。
具体地,当样本对象数据集中还包括样本可见光图、样本红外光图中至少一种时,并将样本对象数据集输入至初始对象识别模型中进行训练,得到目标对象识别模型。那么该目标对象识别模型还具有识别目标可见光图、目标红外光图中至少一种样本对象数据的能力。电子设备对目标毫米波响应信号进行处理,得到目标点云数据。电子设备同时获取该待识别对象对应的目标可见光图、目标红外光图中至少一种,将目标可见光图像、目标红外光图像中至少一种,以及目标点云数据作为目标待识别数据。那么电子设备将目标待识别数据中的目标可见光图像、目标红外光图像中至少一种,以及目标点云数据输入至目标对象识别模型中,得到目标对象识别结果。
本实施例中的对象识别方法,获取待识别对象对应的目标可见光图像目标、红外光图像中至少一种,将目标可见光图像、目标红外光图像中至少一种,以及目标点云数据作为目标待识别数据,将待识别对象对应的目标可见光图像、目标红外光图像中至少一种以及目标点云数据,一起输入至目标对象识别模型中进行识别,能够使得目标对象识别模型提取到更多的特征进行识别,即可以结合待识别对象的颜色信息、热量信息等进行识别,从而使得识别结果准确性更高。
在一个实施例中,接收待识别对象对应的目标毫米波响应信号,包括:接收至少两种毫米波频段中每种毫米波频段对应的目标毫米波响应信号,其中,目标毫米波响应信号均是经待识别对象返回的信号。
具体地,电子设备可从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个毫米波收发器对应一种毫米波频段。
或者,从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段。
本实施例中的对象识别方法,由于每种毫米波频段具有差异化的识别能力,那么接收至少两种毫米波频段中每种毫米波频段对应的目标毫米波响应信号,其中,目标毫米波响应信号均是经待识别对象返回的信号,则可以得到不同的待识别对象的特征,基于这些特征进行识别,能够提高对象识别的准确性。
在一个实施例中,当该电子设备为车载设备时,本申请中的对象识别方法可用于车辆行驶过程中的对象识别。接收待识别对象对应的目标毫米波响应信号,包括:接收车辆行驶时的待识别对象对应的目标毫米波响应信号。该对象识别方法还包括:根据目标对象识别结果发出告警信号。具体地,每种目标对象识别结果可以对应一种告警信号。例如目标对象识别结果为一堵墙,对应的告警信号为“撞到墙啦”或者“亮红灯”等。目标对象识别结果为行人,对应的告警信号为“撞到行人啦”、“亮黄灯”等。本实施例中的对象识别方法,车辆行驶时的对象识别采用的目标对象识别模型的识别能力更强,可以提升车辆防撞雷达(即毫米波收发器)的性能,使汽车具备防撞警报和市内规避碰撞等功能。
应该理解的是,虽然图1至3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1至3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图4为一个实施例的对象识别模型训练装置的结构框图。如图4所示,一种对象识别模型训练装置,包括样本信号获取模块402、数据集获取模块404、样本标注获取模块406、样本对象识别模块408和参数值调整模块410,其中:
样本信号获取模块402,用于对于每个样本对象,获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号样本;
数据集获取模块404,用于获取样本对象数据集,其中,样本对象数据集包括毫米波样本对象数据集,毫米波样本对象数据集中包括每个样本对象对应的样本点云数据集,样本点云数据集是对每个毫米波频段对应的样本毫米波响应信号进行处理得到的,样本点云数据集包括每种毫米波频段对应的样本点云数据;
样本标注获取模块406,用于获取样本对象数据集中的每个样本点云数据集所对应的类别标注值;
样本对象识别模块408,用于将样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值;
参数值调整模块410,用于根据类别检测值和类别标注值得到损失值,根据损失值调整初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
本实施例中的对象识别模型训练装置,每个样本对象均有对应的至少两种毫米波频段中每种毫米波频段的样本毫米波响应信号,从而能够得到每个对象的样本点云数据集,提升了训练数据的数量,依赖数据集的扩充进行模型训练,从而解决了单一频段下采集的数据量较少而导致的过拟合的问题;由于不同的毫米波频段具备不同的对象识别能力,那么将每个样本点云数据集输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,样本对象数据集中还包括每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,样本可见光图像是通过摄像头拍摄样本对象得到的,样本红外光图像是通过红外探测器对样本对象进行探测得到的。样本标注获取模块406,用于获取样本对象数据集中的样本可见光图像样本、红外光图像中至少一种、以及样本点云数据集,所对应的类别标注值。样本对象识别模块408,用于将样本对象数据集中每个样本对象的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集,输入至初始对象识别模型进行识别,得到每个样本对象的类别检测值。
本实施例中的对象识别模型训练装置,样本对象数据集中还包括每个样本对象对应的可见光图像、红外光图像中至少一种,进一步扩大了训练数据的数量,从而避免过拟合的问题;那么将每个样本对象对应的样本可见光图像、样本红外光图像中至少一种,以及对应的样本点云数据集,一起输入到初始对象识别模型中进行训练,能够使得初始对象识别模型提取到更多的特征进行识别,即可以结合样本对象的颜色信息、热量信息等进行训练,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,样本信号获取模块402用于从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个毫米波收发器对应一种毫米波频段。
本实施例中的对象识别模型训练装置,通过至少两个毫米波收发器获取每种毫米波频段对应的样本毫米波响应信号,能够得到多频段的训练数据,扩充数据集,避免过拟合,且采用至少两个毫米波收发器获取的方式结构简单,扩展性较好。
在一个实施例中,样本信号获取模块402用于从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段。
本实施例中的对象识别模型训练装置,从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段,能够提高信号的利用率。
在一个实施例中,样本对象识别模块408用于将样本对象数据集中的样本点云数据集输入至初始对象识别模型中,其中,初始对象识别模型用于提取样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值。
本实施例中的对象识别模型训练装置,将样本对象数据集中的样本点云数据集输入至初始对象识别模型中,其中,初始对象识别模型用于提取样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据样本对象特征集识别得到每个样本对象的类别检测值,初始对象识别模型提取的每种毫米波频段对应的样本对象特征有所不同,而初始对象识别模型基于这些不同的样本对象特征,进行训练,训练得到的对象识别模型的识别能力更强,识别结果准确性更高。
在一个实施例中,如图5所示,为一个实施例中对象识别装置的结构框图,应用于电子设备,电子设备包括毫米波收发器,毫米波收发器用于发射毫米波发射信号,以及接收对毫米波发射信号所产生的毫米波响应信号,该装置包括目标信号接收模块502、待识别数据获取模块504和目标对象识别模块506,其中:
目标信号接收模块502,用于接收待识别对象对应的目标毫米波响应信号;
待识别数据获取模块504,用于获取目标待识别数据,其中,目标待识别数据包括目标点云数据,目标点云数据是对目标毫米波响应信号进行处理得到的;
目标对象识别模块506,用于将目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,类别标注值与样本点云数据集相对应,样本对象数据集中包括每个样本对象对应的样本点云数据集,样本点云数据集包括每种毫米波频段对应的样本点云数据,样本点云数据集是对至少两种毫米波频段中,每种毫米波频段所对应的样本毫米波响应信号进行处理得到的,样本毫米波响应信号是经每个样本对象返回的信号。
本实施例中的对象识别装置,接收待识别对象对应的毫米波响应信号,获取目标待识别数据,目标待识别数据包括目标点云数据,目标点云数据是对目标毫米波响应信号进行处理得到的对目标毫米波响应信号进行处理,得到目标待识别数据,将目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,能够使用具有识别多种特征的能力的目标对象识别模型进行对象识别,提高对象识别结果的准确性。
在一个实施例中,样本对象数据集中还包括每个样本对象对应的可见光图像、红外光图像中至少一种,类别标注值还与样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集相对应,类别检测值是将样本对象数据集中的样本可见光图像、样本红外光图像中至少一种、以及每个样本点云数据集输入至初始对象识别模型中进行识别得到的。待识别数据获取模块504用于对目标毫米波响应信号进行处理,得到目标点云数据;获取待识别对象对应的目标可见光图像、目标红外光图像中至少一种;目标将可见光图像、目标红外光图像中至少一种,以及目标点云数据作为目标待识别数据。
本实施例中的对象识别装置,获取待识别对象对应的目标可见光图像、目标红外光图像中至少一种,将目标可见光图像、目标红外光图像中至少一种,以及目标点云数据作为目标待识别数据,将待识别对象对应的目标可见光图像、目标红外光图像中至少一种以及目标点云数据,一起输入至目标对象识别模型中进行识别,能够使得目标对象识别模型提取到更多的特征进行识别,即可以结合待识别对象的颜色信息、热量信息等进行识别,从而使得识别结果准确性更高。
在一个实施例中,目标信号接收模块502用于接收至少两种毫米波频段中每种毫米波频段对应的目标毫米波响应信号,其中,目标毫米波响应信号均是经待识别对象返回的信号。
本实施例中的对象识别装置,由于每种毫米波频段具有差异化的识别能力,那么接收至少两种毫米波频段中每种毫米波频段对应的目标毫米波响应信号,其中,目标毫米波响应信号均是经待识别对象返回的信号,则可以得到不同的待识别对象的特征,基于这些特征进行识别,能够提高对象识别的准确性。
在一个实施例中,目标信号接收模块502用于从至少两个毫米波收发器中每个毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个毫米波收发器对应一种毫米波频段。
在一个实施例中,目标信号接收模块502用于从毫米波收发器获取至少两种毫米波频段中每种毫米波频段对应的样本毫米波响应信号,其中,毫米波收发器用于调制出至少两种毫米波频段。
上述对象识别模型训练装置、对象识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将对象识别模型训练装置、对象识别装置按照需要划分为不同的模块,以完成上述对象识别模型训练装置、对象识别装置的全部或部分功能。
关于对象识别模型训练装置、对象识别装置的具体限定可以参见上文中对于对象识别模型训练方法、对象识别方法的限定,在此不再赘述。上述对象识别模型训练装置、对象识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图6为一个实施例中电子设备的内部结构示意图。如图6所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的对象识别模型训练装置、对象识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种对象识别模型训练方法,其特征在于,所述方法包括:
对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号;
获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集中包括每个所述样本对象对应的样本点云数据集,所述样本点云数据集是对每个所述毫米波频段对应的所述样本毫米波响应信号进行处理得到的,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;
获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
2.根据权利要求1所述的方法,其特征在于,所述样本对象数据集中还包括每个所述样本对象对应的样本可见光图像、样本红外光图像中至少一种,所述样本可见光图像是通过摄像头拍摄所述样本对象得到的,所述样本红外光图像是通过红外探测器对所述样本对象进行探测得到的;
所述获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值,包括:
获取所述样本对象数据集中的样本可见光图像、样本红外光图像中至少一种、以及所述样本点云数据集,所对应的类别标注值;
所述将所述样本对象数据集中的每个所述样本点云数据集,输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值,包括:
将所述样本对象数据集中每个所述样本对象的样本可见光图像、样本红外光图像中至少一种、以及所述样本点云数据集,输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值。
3.根据权利要求1所述的方法,其特征在于,所述获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号,包括:
从至少两个毫米波收发器中每个所述毫米波收发器,获取每种毫米波频段对应的样本毫米波响应信号,其中,每个所述毫米波收发器对应一种毫米波频段。
4.根据权利要求1所述的方法,其特征在于,所述获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号,包括:
从毫米波收发器获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号,其中,所述毫米波收发器用于调制出至少两种所述毫米波频段。
5.根据权利要求1所述的方法,其特征在于,所述将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值,包括:
将所述样本对象数据集中的样本点云数据集输入至初始对象识别模型中,其中,所述初始对象识别模型用于提取所述样本点云数据集中每个样本点云数据所对应的样本对象特征,得到样本对象特征集,根据所述样本对象特征集得到每个所述样本对象的类别检测值。
6.一种对象识别方法,其特征在于,应用于电子设备,所述电子设备包括毫米波收发器,所述毫米波收发器用于发射毫米波发射信号,以及接收对所述毫米波发射信号所产生的毫米波响应信号,所述方法包括:
接收待识别对象对应的目标毫米波响应信号;
获取目标待识别数据,其中,所述目标待识别数据包括目标点云数据,所述目标点云数据是对所述目标毫米波响应信号进行处理得到的;
将所述目标待识别数据中的所述目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,其中,所述目标对象识别模型是根据类别检测值和对应的类别标注值训练得到的,所述类别检测值是将样本对象数据集中的每个样本点云数据集输入至初始对象识别模型中进行识别得到的,所述类别标注值与所述样本点云数据集相对应,所述样本对象数据集中包括每个样本对象对应的样本点云数据集,所述样本点云数据集包括每种毫米波频段对应的样本点云数据,所述样本点云数据集是对至少两种毫米波频段中,每种所述毫米波频段所对应的样本毫米波响应信号进行处理得到的,所述样本毫米波响应信号是经每个样本对象返回的信号。
7.根据权利要求6所述的方法,其特征在于,所述样本对象数据集中还包括每个所述样本对象对应的可见光图像、红外光图像中至少一种,所述类别标注值还与所述样本可见光图像、样本红外光图像中至少一种相对应,所述类别检测值是将样本对象数据集中的每个所述样本对象的样本可见光图像、样本红外光图像中至少一种、以及样本点云数据集输入至初始对象识别模型中进行识别得到的;所述目标待识别数据中还包括所述待识别对象对应的目标可见光图像、目标红外光图像中至少一种;
所述将所述目标待识别数据中的目标点云数据输入至目标对象识别模型中,得到目标对象识别结果,包括:
将所述目标待识别数据中的目标可见光图像、目标红外光图像中至少一种以及所述目标点云数据输入至目标对象识别模型中,得到目标对象识别结果。
8.根据权利要求6或7所述的方法,其特征在于,接收待识别对象对应的目标毫米波响应信号,包括:
接收至少两种毫米波频段中每种所述毫米波频段对应的目标毫米波响应信号,其中,所述目标毫米波响应信号均是经所述待识别对象返回的信号。
9.一种对象识别模型训练装置,其特征在于,包括:
样本信号获取模块,用于对于每个样本对象,获取至少两种毫米波频段中每种所述毫米波频段对应的样本毫米波响应信号样本;
数据集获取模块,用于获取样本对象数据集,其中,所述样本对象数据集包括毫米波样本对象数据集,所述毫米波样本对象数据集中包括每个所述样本对象对应的样本点云数据集,所述样本点云数据集是对每个所述毫米波频段对应的所述样本毫米波响应信号进行处理得到的,所述样本点云数据集包括每种所述毫米波频段对应的样本点云数据;
样本标注获取模块,用于获取所述样本对象数据集中的每个所述样本点云数据集所对应的类别标注值;
样本对象识别模块,用于将所述样本对象数据集中的每个所述样本点云数据集输入至初始对象识别模型进行识别,得到每个所述样本对象的类别检测值;
参数值调整模块,用于根据所述类别检测值和类别标注值得到损失值,根据所述损失值调整所述初始对象识别模型中的参数值,直到满足预设条件,得到目标对象识别模型。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN202010303464.5A 2020-04-17 2020-04-17 对象识别模型训练方法、装置、电子设备和可读存储介质 Pending CN111401321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010303464.5A CN111401321A (zh) 2020-04-17 2020-04-17 对象识别模型训练方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010303464.5A CN111401321A (zh) 2020-04-17 2020-04-17 对象识别模型训练方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111401321A true CN111401321A (zh) 2020-07-10

Family

ID=71414110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010303464.5A Pending CN111401321A (zh) 2020-04-17 2020-04-17 对象识别模型训练方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111401321A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505646A (zh) * 2020-11-18 2021-03-16 安洁无线科技(苏州)有限公司 基于毫米波雷达的异物遮挡判断方法及系统
CN113671849A (zh) * 2021-09-03 2021-11-19 珠海格力电器股份有限公司 一种智能家居设备控制方法及装置
CN116543091A (zh) * 2023-07-07 2023-08-04 长沙能川信息科技有限公司 输电线路的可视化方法、系统、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052976A (zh) * 2017-12-13 2018-05-18 中国兵器装备集团自动化研究所 一种多波段图像融合识别方法
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109191453A (zh) * 2018-09-14 2019-01-11 北京字节跳动网络技术有限公司 用于生成图像类别检测模型的方法和装置
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110176078A (zh) * 2019-05-26 2019-08-27 初速度(苏州)科技有限公司 一种训练集数据的标注方法及装置
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052976A (zh) * 2017-12-13 2018-05-18 中国兵器装备集团自动化研究所 一种多波段图像融合识别方法
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109191453A (zh) * 2018-09-14 2019-01-11 北京字节跳动网络技术有限公司 用于生成图像类别检测模型的方法和装置
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技(上海)股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN110176078A (zh) * 2019-05-26 2019-08-27 初速度(苏州)科技有限公司 一种训练集数据的标注方法及装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505646A (zh) * 2020-11-18 2021-03-16 安洁无线科技(苏州)有限公司 基于毫米波雷达的异物遮挡判断方法及系统
CN112505646B (zh) * 2020-11-18 2024-04-12 安洁无线科技(苏州)有限公司 基于毫米波雷达的异物遮挡判断方法及系统
CN113671849A (zh) * 2021-09-03 2021-11-19 珠海格力电器股份有限公司 一种智能家居设备控制方法及装置
CN116543091A (zh) * 2023-07-07 2023-08-04 长沙能川信息科技有限公司 输电线路的可视化方法、系统、计算机设备和存储介质
CN116543091B (zh) * 2023-07-07 2023-09-26 长沙能川信息科技有限公司 输电线路的可视化方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111401321A (zh) 对象识别模型训练方法、装置、电子设备和可读存储介质
US11054518B2 (en) Method and apparatus for determining obstacle speed
Xiao et al. Internet of things: A new application for intelligent traffic monitoring system
Ozturk et al. RF-based low-SNR classification of UAVs using convolutional neural networks
CN112088381B (zh) 使用雷达和机器学习的射频(rf)对象检测
CN111476099B (zh) 一种目标检测方法、目标检测装置及终端设备
CN108780048B (zh) 一种确定检测设备的方法、检测装置及可读存储介质
CN113536850B (zh) 基于77g毫米波雷达的目标物体大小测试方法和装置
CN111981910B (zh) 一种基于人工智能的低空防御系统
EP4254137A1 (en) Gesture recognition method and apparatus
US11429117B2 (en) Method and apparatus for acquiring data
CN112395941B (zh) 无线电信号辐射源个体识别方法、计算机设备和存储介质
CN112348006A (zh) 一种无人机信号识别方法、系统、介质及设备
WO2021057324A1 (zh) 数据处理方法、装置、芯片系统及介质
CN115147333A (zh) 一种目标检测方法及装置
CN110941003B (zh) 车辆识别方法,装置,存储介质及电子设备
CN116597371A (zh) 基于图像监控的危险物预警方法、系统、计算机设备
CN116129371A (zh) 一种交通目标检测方法、装置及电子设备
KR20220141748A (ko) 레이더 신호로부터 표적 정보를 추출하는 방법 및 컴퓨터 판독가능 저장 매체
CN111008671A (zh) 姿势识别方法和装置、电子设备、计算机可读存储介质
CN113900101A (zh) 障碍物检测方法、装置及电子设备
CN115633321B (zh) 一种无线通信网络监控方法及系统
Hyun et al. Multi-level Fusion Scheme for Target Classification using Camera and Radar Sensors
EP4083911A1 (en) Information processing device, sensing device, moving body, information processing method, and information processing system
CN114283361A (zh) 状态信息的确定方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200710

WD01 Invention patent application deemed withdrawn after publication