CN113095278B - 一种基于ucl的无人驾驶系统对象标识方法和装置 - Google Patents

一种基于ucl的无人驾驶系统对象标识方法和装置 Download PDF

Info

Publication number
CN113095278B
CN113095278B CN202110463658.6A CN202110463658A CN113095278B CN 113095278 B CN113095278 B CN 113095278B CN 202110463658 A CN202110463658 A CN 202110463658A CN 113095278 B CN113095278 B CN 113095278B
Authority
CN
China
Prior art keywords
ucl
unmanned
attribute
information
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110463658.6A
Other languages
English (en)
Other versions
CN113095278A (zh
Inventor
杨鹏
程昌虎
艾成铭
马卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110463658.6A priority Critical patent/CN113095278B/zh
Publication of CN113095278A publication Critical patent/CN113095278A/zh
Application granted granted Critical
Publication of CN113095278B publication Critical patent/CN113095278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明提供了一种基于UCL的无人驾驶系统对象标识方法和装置，首先利用深度学习目标检测模型对车载视频进行自动实时目标检测提取对象信息；其次扩展统一内容标签UCL，新增无人驾驶对象属性集合UOPS；然后依据扩展后的统一内容标签对车载视频中的对象进行UCL语义标引；接着上传利用UCL标引后的对象标识到知识库并利用知识库中的先验信息校准UCL对象信息包；最后将UCL对象信息包通过传输模块可靠传输至智慧路网的接收模块。本发明实现对象数据与处理软件分离解耦，提高车载视频信息提取的效率与准确度，确保无人驾驶环境中对象标识的统一性、兼容性、安全性和高效性，形成确保对象可监测、可控制、可审计的关键使能技术。

Description

一种基于UCL的无人驾驶系统对象标识方法和装置
技术领域
本发明涉及一种基于UCL的无人驾驶系统对象标识方法与装置，属于互联网技术领域。
背景技术
在无人驾驶环境下，道路情况复杂，行人、助力车、机动车、电动车、行车标志、路障、减速带等物体充斥在道路环境中。因此，如何对异构、多尺度、多源的对象进行统一标识非常富有挑战性。目前国内外均没有成型的解决方案。现有的解决方案一般是针对特定的对象进行专门识别，记录的属性通常是该对象自身的特征信息，对象数据与处理软件紧密耦合，具有局限性而缺乏普适性。另一方面，无人驾驶环境下对数据的安全性和可信性要求极高，确保对象信息从产生到传输到使用的全过程、全链条安全与可信，对确保无人驾驶系统的安全行驶至关重要。
统一内容标签(Uniform Content Label，UCL)是一种标引互联网资源语义信息的元数据，由国家标准《统一内容标签格式规范》(GB/T 35304-2017)所定义。它包含UCL代码部分和UCL属性部分，属性部分为被标引内容的语义信息和管理信息。UCL具有以下三个特点：第一，UCL具有规范性，被标引的各类、各级信息严格遵从UCL格式规范，存放在标引的指定位置中。第二，UCL具有结构灵活的特点，虽然代码部分为固定的32字节，但属性部分除了目前所定义的一些域之外，也可以根据具体的领域和应用场景自由地扩展。第三，UCL 能够标引丰富语义信息，包括被标引对象的关键词、属性等。UCL能够完善地标引互联网资源语义信息，但现有的UCL规范难以适应无人驾驶系统对象标引。本发明在统一内容标签基础上研究并扩展出一套普适的、统一的无人驾驶系统对象数据可信命名与标识方案，涵盖静态属性、动态属性和环境属性。
发明内容
针对现有技术中存在的问题与不足，本发明提出一种普适的、统一的基于UCL的无人驾驶系统对象数据可信命名与标识方法与装置，实现对象数据与处理软件分离解耦，提高车载视频信息提取的效率与准确度，确保无人驾驶环境中对象标识的统一性、兼容性、安全性和高效性，使得关键对象数据资源能够在完整生命周期中建立内容安全可信的环境并解决对象标识统一认证及授信使用，形成确保对象可监测、可控制、可审计的关键使能技术。
为了达到上述目的，本发明设计了一种基于UCL的无人驾驶系统对象标识方法和装置，首先利用深度学习目标检测模型对车载视频进行自动实时目标检测，提取对象信息，提高视频信息提取的效率与准确度；其次，为满足无人驾驶系统对象标识需要，扩展统一内容标签 UCL，新增无人驾驶对象属性集合UOPS；然后依据扩展后的统一内容标签对车载视频中的对象进行UCL语义标引；接着上传利用UCL标引后的对象标识到知识库并利用知识库中的先验信息校准UCL对象信息包；最后将UCL对象信息包通过传输模块可靠传输至智慧路网的接收模块，以实现无人驾驶环境的规范标准与对象标识的兼容。
具体的，本发明提供如下技术方案：
一种基于UCL的无人驾驶系统对象标识方法，包括如下步骤：
(1)利用深度学习目标检测模型对车载视频中的图像帧进行对象识别，从神经网络模型中提取对象特征送入卷积神经网络层进一步确定对象信息，并利用同一场景的连续帧之间的对象备选框位置接近的特性，对神经网络模型生成的备选框进行过滤，最后对输出数据进行格式化处理，以满足后续编码步骤的数据要求；
(2)设计无人驾驶系统实体对象标识规范，在统一内容标签UCL的基础上进行扩展，新增无人驾驶对象属性集合UOPS，确定UOPS头部和属性域各属性，制定UOPS扩展编码规范；使用无人驾驶系统实体对象标识规范标引步骤(1)中识别出来的无人驾驶系统对象标识的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展的无人驾驶对象属性集合UOPS，生成UCL对象信息包；
(3)上传经步骤(2)中无人驾驶系统实体对象标识规范标引后的UCL对象信息包到无人驾驶对象知识库，所述无人驾驶对象知识库以人工设计信息与上传对象信息为基础，利用无人驾驶对象知识库中的先验信息校准初次上传的UCL对象信息包并在校准之后回传；
(4)加密校准后的UCL对象信息包并通过传输模块传输到智慧路网的接收模块。
作为优选，所述步骤(1)包括如下子步骤：
(1-1)对视频数据进行图像数据采集；
(1-2)使用改进后的SSD目标检测框架，对数据集进行预处理后转化为目标检测模型可以训练的格式再进行训练，对图像帧中的对象进行识别，所述改进后的SSD神经网络将SSD 网络中特征提取层每一层中有目标的网格所对应的所有备选框去除，仅保留目标所对应的备选框；
(1-3)每张图像帧识别出一个实体对象后将该实体对象的格式化信息存入数据库。
作为优选，所述子步骤(1-3)包括如下过程：
i)利用改进后的SSD神经网络对车载视频进行对象识别；
ii)计算当前帧图片与上一帧图片中物体类别的重合度，若重合度小于设定的阈值则利用SSD神经网络对当前帧图片所有提案框再进行对象类别识别；
iii)在各个特征层提取出的实体对象特征池化后，拼接特征向量，再送入到卷积神经网络，进行对象特征提取，基于生成的特征向量与数据库中实体对象特征向量之间的距离确定对象信息。
作为优选，所述步骤ii)通过如下公式计算当前帧图片与上一帧图片中物体类别的重合度：
Figure BDA0003040310570000031
A＝{a1,a2,a3,…,an}为前一帧的识别的目标集合，D＝{d1,d2,d3,…,dn}为通过前一帧目标备选框生成的目标集合。
作为优选，所述步骤(2)包括如下子步骤：
(2-1)基于国家标准《统一内容标签格式规范》(GB/T 35304-2017)扩展无人驾驶系统实体对象标识规范，新增无人驾驶对象属性集合UOPS，其包括一个UCL属性集合头部域和紧接其后的多个连续存放的UCL属性元素域；无人驾驶对象属性集合UOPS的属性元素域分为三部分：静态属性、动态属性和环境属性，静态属性包含有对象名称、对象位置、时间信息、对象外形、物理特性、对象材质、通过程度和空间状况，动态属性包含有绝对运动属性、相对运动属性和运行轨迹，环境属性包含测绘信息和气象信息两部分环境信息；
(2-2)扩展UCL代码域；按照无人驾驶系统实体对象标识规范需求对UCL代码域进行补充说明和规定，主要有内容来源域、一级类别域、二级类别域、主题域、内容类型域；
(2-3)编码UCL内容描述属性集合CDPS和内容管理属性集合CGPS，创建新的属性集合对象，设置属性集合的类别，创建规范中已定义的属性和自定义属性；对CGPS的内容数字签名域的具体编码方案如下：属性类型域第一子分量为UCL属性元素类别子分量，第二子分量为解析规则子分量，指示该域所采用的数字签名算法标准信息，表示该域未对内容对象进行数字签名，或数字签名算法采用RSA、ECDSA、DSA、ECC、HMAC；属性长度域第一子分量为长度头部子分量，指示该域对内容对象进行数字摘要的算法标准，表示数字摘要算法采用CRC32、MD5、SHA-256或者SHA-512，第二子分量为长度值子分量，记录内容数字签名域的总长度，包括该域中属性类型分量、属性长度分量及属性净荷分量的总长度；
(2-4)编码无人驾驶对象属性集合UOPS的头部；UOPS属性域的头部分成三个子分量：第一子分量为长度头部字节，表示所包含的内容描述属性元素个数以及其后的长度值子分量所占字节数；第二子分量为长度值子分量，记录内容描述属性集合的总长度，包括被内容描述属性集合所包含的所有内容描述属性元素域的长度，以及内容描述属性集合域中属性类型分量和属性长度分量所占的字节数；第三子分量为速配信息子分量，速配信息子分量，快速指示该UOPS具体包含有哪些类别号的无人驾驶实体对象属性元素；
(2-5)编码无人驾驶对象属性集合UOPS的各属性元素；各属性具体编码规范为：对象名称取值为自由文本；对象位置第一子分量表示实体位置的描述形式，第二子分量存放位置信息；对象时间信息第一子分量表示时间描述形式，第二字分量存放时间信息；对象外形描述几何轮廓和投影边界两部分；对象物理特性分为电磁特性、声波特性、红外特性三部分；对象材质描述对象的具体材质；对象通过程度描述该无人驾驶对象的通过程度；对象空间状况第一子分量描述高度信息，在地面上或是在空中，第二子分量描述方位，通过四个方向的取值最终确定实体对象的具体方位；对象绝对运动由绝对速度和绝对加速度两部分描述形式组成；对象相对运动由相对速度和相对加速度两部分描述形式组成；对象运行轨迹第一子分量描述采用的坐标系，第二子分量存放实体对象运行位置集合；对象环境信息描述无人驾驶环境中测绘信息和气象信息两部分；
(2-6)生成UCL对象信息包；通过调用UCL的打包程序pack生成UCL对象信息包，pack程序使用当前选用的哈希和签名算法，对无人驾驶系统对象的UCL标识进行数字签名，最终输出签名后的二进制流UCL对象信息包。
作为优选，所述步骤(3)包括如下子步骤：
(3-1)提取UCL对象信息包中的关键词，将UCL对象信息包链接到无人驾驶对象知识库中，并根据关键词的重要程度得分赋予UCL对象信息包链接权重；
(3-2)利用如下公式计算UCL对象信息包之间的相关性：
sim(Ua,Ub)＝∑i∈Ioi×sib
其中，Ua和Ub表示两个不同的UCL对象信息包，集合W＝{w1,w2,w3，…,wn}表示提取的Ua中的关键词，oi为关键词wi在Ua中的重要程度得分，I表示集合W中与Ub相连的关键词的下标集合，sib表示关键词wi与Ub相连的权重；
(3-3)使用无人驾驶对象知识库中相关的人工设计信息与对象信息对初次上传的UCL 对象信息包进行校准，填充通过神经网络无法获取的属性，并将校准后的UCL对象信息包传回本地。
作为优选，所述步骤(4)中对象信息UCL-EO包的可信传输使用传输模块传输到智慧路网的接收模块，采用C/S通信架构，服务器端主要接收多个无人驾驶系统传输的UCL对象信息包；服务器端包含一个主程序和两个线程程序；主程序用于创建、绑定套接字，并监听请求；建立连接线程用于在监听到请求后，对请求进行处理；接收数据线程用于处理已经接受请求的客户端发送的数据信息。
基于UCL的无人驾驶系统对象标识装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现前述无人驾驶系统实体对象标识方法。
作为优选，所述计算机程序包括无人驾驶系统对象目标检测模块、无人驾驶系统对象编码规范、UCL标引模块、UCL对象信息包校准模块、UCL对象信息包传输模块和接收模块；所述无人驾驶系统对象目标检测模块用于利用深度学习目标检测模型实现对无人驾驶系统车载视频的对象进行检测并输出满足后续步骤的格式化数据；无人驾驶系统对象编码规范是在统一内容标签UCL的基础上进行扩展的，在其上新增无人驾驶对象属性集合UOPS，确定 UOPS头部和属性域各属性，制定UOPS扩展编码规范；UCL标引模块使用无人驾驶系统实体对象标识规范标引编码无人驾驶系统对象目标检测模块识别出来的无人驾驶系统对象标识的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展的无人驾驶对象属性集合UOPS，生成UCL对象信息包；UCL对象信息包校准模块上传经UCL标引模块标引后的UCL对象信息包到无人驾驶对象知识库，无人驾驶对象知识库以人工设计信息与上传对象信息为基础，利用无人驾驶对象知识库中的先验信息校准初次上传的UCL对象信息包并在校准之后回传；UCL对象信息包传输模块和接收模块用于传输和接收加密校准后的UCL对象信息包。
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明该方法利用神经网络模型对无人驾驶系统车载视频的对象进行提取，扩展UCL 国家标准GB/T 35304-2017对实体对象进行标引并做到UCL对象信息包的可靠传输。
2.本发明利用加密技术和数字签名技术保证无人驾驶对象标识编码的完整性、安全性和不可抵赖性，形成结构灵活、可扩展、可裁剪、安全可信的智能无人驾驶系统对象标识框架。
3.本发明利用无人驾驶系统实体对象标识规范对无人驾驶对象进行标引编码，无人驾驶对象属性集合UOPS中“静态属性UOSP+动态属性UODP+环境属素UOEP”的三段式定义结构使得对无人驾驶对象的多个关键属性的刻画更加全面具体。
4.本发明基于统一内容标签UCL对无人驾驶对象标识的结构和格式等进行了设计，为内容大数据的规范标引、高效共享与依法治理等提供了标准支持。
附图说明
图1为本发明实施例无人驾驶系统对象标识流程图。
图2为本发明实施例无人驾驶系统对象属性集合图。
图3为本发明实施例深度学习目标检测神经网络结构图。
图4为本发明实施例传输模块流程图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明实施例公开的一种基于UCL的无人驾驶系统对象标识方法，其实现流程如图1所示，具体实施步骤如下：
步骤1，训练与部署深度学习目标检测模型，利用深度学习目标检测模型对无人驾驶系统的车载视频进行自动实时对象检测。如图3所示，包括如下子步骤：
子步骤1-1，图像数据采集。使用100万像素的单目摄像头进行视频数据的实时采集，并每隔100ms提取车载视频中的一帧，将其存入图片文件夹中，作为目标识别部分的输入数据来源。
子步骤1-2，对象识别。对象识别基于SSD(Single Shot MultiBox Detector单步多框检测) 目标检测框架进行改进，对无人驾驶中权威的KITTI数据集进行预处理后转化为目标检测模型可以训练的格式再进行训练，以实现对图像帧中对象的识别。对于SSD神经网络的改进在于将SSD网络中特征提取层每一层中有目标的网格所对应的所有备选框去除，仅保留目标所对应的备选框。为了避免出现未知的错误，选择在Ubuntu16.04操作系统中安装配置SSD。本子步骤包括如下步骤：
(1)利用改进后的SSD神经网络对车载视频进行对象识别；
(2)计算当前帧图片与上一帧图片中物体类别的重合度，若重合度小于设定的阈值则利用SSD神经网络对当前帧图片所有提案框再进行对象类别识别；本步骤通过如下公式计算视频相邻两帧图片中实体对象的重合度：
Figure BDA0003040310570000061
A＝{a1，a2,a3,…，an}为前一帧的识别的目标集合，D＝{d1，d2，d3，…，dn}为通过前一帧目标备选框生成的目标集合。
(3)在各个特征层提取出的实体对象特征池化后，拼接特征向量，再送入到卷积神经网络，进行对象特征提取，基于生成的特征向量与数据库中实体对象特征向量之间的距离确定对象信息。
子步骤1-3，检测结果入库。由于目标检测识别模块对于每张图像帧识别出一个实体对象就会将该实体对象的格式化信息存入数据库，方便后续使用UCL标引编码步骤。为了防止 UCL标引程序在目标检测模块在还未识别出某张图片中的所有对象时，读取该图片包含的目标数据时出现数据读取不完整的情况发生，专门设置一个字段，用于标识目标识别模块是否已经完成对图片中所有对象的检测。
步骤2，设计无人驾驶系统实体对象标识规范，基于国家标准《统一内容标签格式规范》 (GB/T 35304-2017)在无人驾驶系统环境下进行扩展，新增无人驾驶对象属性集合UOPS，确定UOPS头部和属性域各属性，制定UOPS扩展编码规范。使用无人驾驶系统实体对象标识规范标引步骤1中识别出来的无人驾驶系统实体对象，生成UCL对象信息包。包括如下子步骤：
子步骤2-1，在国家标准《统一内容标签格式规范》(GB/T 35304-2017)的基础上做属性集合扩展，如图2所示，新增无人驾驶对象属性集合UOPS，其由一个UCL属性集合头部域和紧接其后的多个连续存放的UCL属性元素域组成，使得UCL编码规范满足无人驾驶系统的实体对象编码的完整性、安全性和不可抵赖性的要求。无人驾驶对象属性集合UOPS的属性域分为三部分：静态属性UOSP、动态属性UODP和环境属性UOEP。静态属性包含有对象名称、对象位置、时间信息、对象外形、物理特性、对象材质、通过程和空间状况，动态属性包含有绝对运动属性、相对运动属性和运行轨迹，环境属性包含有环境信息。UOPS 属性元域包含的属性元素如下：
UOPS＝{UOSP∪UODP∪UOEP}
UOSP＝{UO-name∪UO-pos∪UO-time∪UO-shape∪UO-physical∪UO-material∪UO-through∪UO-space}
UODP＝{UO-mov-abs∪UO-mov-rel∪UO-mov-track}
UOEP＝{UO-env-info}
子步骤2-2，调用编码程序编码扩展UCL代码域。按照无人驾驶系统实体对象标识规范需求对UCL代码域进行补充说明和规定。UCL代码域有内容来源域、一级类别域、二级类别域、主题域、内容类型域，具体编码规范如下：媒体类型域使用国家标准《统一内容标签格式规范》中该域的保留取值；内容来源域取值有无人驾驶系统、有人驾驶系统、交通监控系统；一级类别域取值有无人驾驶系统、有人驾驶系统、交通监控系统；二级类别域取值有道路实体对象采集指令、道路实体对象发送指令、道路拥堵管控指令、道路截断避险指令；主题域分成两个部分，第一部分指示第二部分记录的是常见主题还是罕见主题，第二部分则指定具体主题；内容类型域取值有智能无人驾驶系统实体对象转载命令和智能无人驾驶系统实体对象直达命令。如下所示：
Code-media＝{reserved-text}
Code-source＝{driverless-sys|driver-sys|traffic-monitor-sys}
Code-first-level＝{driverless-sys|driver-sys|traffic-monitor-sys}
Code-second-level＝{EO-collect-command|EO-send-command| congestion-control-command|break-hedge-command}
Code-topic＝{(common|rare)∪specific-topic}
Code-content-type＝{EO-forward|EO-direct}
子步骤2-3，调用编码程序编码内容描述属性集合CDPS和内容管理属性集合CGPS，创建新的属性集合对象，设置属性集合的类别，创建规范中已定义的属性和自定义属性。本实施例保留了UCL国家标准中定义的内容描述属性集合CDPS和内容管理属性集合CGPS，并对一些域的取值进行相应调整使之符合实体对象标识的需求。为了确保UCL对象信息包在传输链路的安全性与可靠性，对CGPS的内容数字签名域具体方案为：属性类型域第一子分量为UCL属性元素类别子分量，第二子分量为解析规则子分量，指示该域所采用的数字签名算法标准信息，表示该域未对内容对象进行数字签名只计算内容对象的数字摘要，或表示数字签名算法采用RSA、ECDSA、DSA、ECC、HMAC；属性长度域第一子分量为长度头部字节，指示该域对内容对象进行数字摘要的算法标准，可表示的数字摘要算法有CRC32、MD5、 SHA-256、SHA-512，第二子分量为长度值子分量，记录内容数字签名域的总长度，包括该域中属性类型分量、属性长度分量及属性净荷分量的总长度。
子步骤2-4，调用编码程序编码无人驾驶对象属性集合UOPS的头部。UOPS属性域的头部描述无人驾驶系统对象描述属性集合的辅助解析信息、长度信息和速配信息等。本发明指定UOPS属性域的头部分成三个子分量：第一子分量为长度头部字节，表示所包含的内容描述属性元素个数以及其后的长度值子分量所占字节数；第二子分量为长度值子分量，记录内容描述属性集合的总长度，包括被内容描述属性集合所包含的所有内容描述属性元素域的长度，以及内容描述属性集合域中属性类型分量和属性长度分量所占的字节数；第三子分量为速配信息子分量，速配信息子分量，快速指示该UOPS具体包含有哪些类别号的无人驾驶实体对象属性元素。
子步骤2-5，调用编码程序编码无人驾驶对象属性集合UOPS的各属性元素。本发明将实体对象属性分为静态属性、动态属性和环境属性。其中，静态属性用来反映实体对象的静态描述性信息，主要通过对象名称、对象位置、时间信息、对象外形、物理特性、对象材质、通过程度和空间状况等多个方面来刻画。动态属性用来反映实体对象的动态描述性信息，主要通过绝对运动属性、相对运动属性和运行轨迹等多个方面来刻画。此外还专门定义了一个环境属性，可以对测绘、气象领域数据进行编码封装，以此实现对无人驾驶环境编码的兼容性。对实体对象属性集合UOPS中个属性的具体编码方案如下表：
Figure BDA0003040310570000081
Figure BDA0003040310570000091
本实施例规定UOPS中，长度头部子分量取值依据属性，表示长度值子分量所占字节数，长度值子分量记录该属性域的总长度，包括该域中属性类型分量、属性长度分量及属性净荷分量的总长度。由上表可见，各属性具体编码规范为：对象名称取值为自由文本；对象位置第一子分量表示实体位置的描述形式，有中国北斗卫星导航系统BDS坐标体系描述位置信息、全球定位系统GPS坐标体系描述位置信息，第二子分量存放位置信息；对象时间信息第一子分量表示时间描述形式，有中国北斗卫星导航系统的BDS实时信息、POSIX时间标准时间，第二字分量存放时间信息；对象外形分为几何轮廓和投影边界两部分，几何轮廓分类有圆形、长方形、正方形、菱形、不规则图形、球体、长方体、正方体、圆锥体，投影边界由实体位置坐标集合组成；对象物理特性分为电磁特性、声波特性、红外特性三部分；对象材质取值有金属、塑料、木、水泥、石、无机非金属、有机高分子、合成橡胶、合成纤维；对象通过程度取值为是否可通过该实体对象；对象空间状况第一子分量描述高度信息，在地面上或是在空中，第二子分量描述方位，通过四个方向的取值最终确定实体对象的具体方位；对象绝对运动由绝对速度和绝对加速度两部分描述形式组成；对象相对运动由相对速度和相对加速度两部分描述形式组成；对象运行轨迹第一子分量描述采用的坐标系，取值有中国北斗卫星导航系统(BDS)坐标体系、采用全球定位系统(GPS)坐标体系，第二子分量存放实体对象运行位置集合；对象环境信息包括了测绘信息和气象信息两部分，测绘信息包括比例尺、等高线和方位，气象信息包括温度、湿度和风向，第一子分量指示该域对内容对象进行数字摘要的算法标准，数字摘要算法采用有CRC32、MD5、SHA-256、SHA-512。如下所示：
EO-name＝{free-text}
EO-pos＝{(BDS|GPS)∪pos}
EO-time＝{(BDS|POSIX)∪time}
EO-shape＝{(round|rectangle|square|diamond|irregular|sphere|cuboid|cube|cone)∪ coordinate-set}
EO-physical＝{electromagnetic∪soundwave∪infrared}
EO-material＝{metal|plastic|wood|cement|stone|inorganic|organic|rubber|fiber}
EO-through＝{yes|no}
EO-space＝{(ground|air)∪(forward|backward|left|right)}
EO-mov-abs＝{speed-abs∪acceleration-abs}＝{[cm/s,cm/s2]|[m/s,m/s2]|[km/ h,km/h2]|[mile/h,mile/h2]}
EO-mov-rel＝{speed-rel∪acceleration-rel}＝{[cm/s，cm/s2]|[m/s，m/s2]|[km/h，km/ h2]|[mile/h，mile/h2]}
EO-mov-track＝{(BDS|GPS)∪pos-set}
EO-env-info＝{digital-abstract-algorithm∪survey-info∪meteorology-info}＝{(CRC32| MD5|SHA-256|SHA-512)∪(scale∪contour∪orientation)∪(temperature∪humidity∪ wind-direction)}
子步骤2-6，生成UCL对象信息包。UCL对象信息包通过调用UCL的打包程序pack生成，pack程序使用当前选用的哈希和签名算法，对无人驾驶系统对象的UCL标识进行数字签名，最终输出签名后的二进制流UCL对象信息包。
步骤3，上传经步骤2编码后的无人驾驶对象标识到无人驾驶对象知识库，利用知识库中先验知识校准无人驾驶对象标识。无人驾驶对象知识库包含经人工设计的无人驾驶对象属性，用以对神经网络无法获取但根据对象类别可知的对象信息进行编码。上传的无人驾驶对象标识将与知识库中已有的实体对象标识进行比对，以达到校准上传信息的目的，避免错误信息被传输到智慧路网引起安全问题。包括如下子步骤：
子步骤3-1，提取UCL对象信息包中的关键词，将UCL对象信息包链接到无人驾驶对象知识库中，并根据关键词的重要程度得分赋予UCL对象信息包链接权重；
子步骤3-2，利用如下公式计算UCL对象信息包之间的相关性：
sim(Ua，Ub)＝Σi∈Ioi×sib
其中，Ua和Ub表示两个不同的UCL对象信息包，集合W＝{w1，w2，w3，…，wn}表示提取的Ua中的关键词，oi为关键词wi在Ua中的重要程度得分，I表示集合W中与Ub相连的关键词的下标集合，sib表示关键词wi与Ub相连的权重。
子步骤3-3，使用无人驾驶对象知识库中相关的人工设计信息与对象信息对初次上传的 UCL对象信息包进行校准，填充通过神经网络无法获取的属性，并将校准后的UCL对象信息包传回本地。
步骤4，如图4所示，将校准、加密后的UCL对象信息包通过传输模块传输到智慧路网的接收模块，以保证无人驾驶环境的安全性和可信传输等需求。对UCL对象信息包的可信传输使用传输模块传输到智慧路网的接收模块，采用C/S通信架构，服务器端主要接收多个无人驾驶系统传输的UCL对象信息包。服务器端包含一个主程序和两个线程程序，主程序创建、绑定套接字，并监听请求，建立连接线程为在监听到请求后，对请求的处理，接收数据线程为处理已经接受请求的客户端发送的数据信息。服务器只专注于高速的运算和及时的响应，给予无人驾驶系统更大的发挥空间。另外，根据流式套接字的特点，服务器先创建套接字并初始化，然后进入等待连接状态，直到客户机(无人驾驶系统)向服务器提出连接请求，此时服务器被唤醒，响应客户机请求，建立连接并为客户机提供服务。根据流式套接字和面向连接编程模型的特点，以及实现客户机向服务器进行单向传输功能，分别设计并实现了服务器端和无人驾驶系统端的核心功能。
综上，本发明首先利用深度学习目标检测模型实现对无人驾驶系统车载视频的对象进行检测并输出满足后续步骤的格式化数据；其次设计无人驾驶环境下的统一内容标签扩展，新增无人驾驶对象属性集合UOPS，制定无人驾驶系统对象编码规范，编码UCL对象信息包的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展无人驾驶对象属性集合UOPS；然后利用实体对象知识库的先验知识校准编码后的UCL对象信息包；最后将校准、加密后的UCL对象信息包通过传输模块传输到智慧路网的接收模块，以保证无人驾驶环境的安全性和可信传输等需求。本发明既能形成确保实体对象可监测、可控制、可审计的关键使能技术，又能提高无人驾驶环境中实体对象标识的统一性、兼容性、安全性和高效性。
基于相同的发明构思，本发明还提供了一种基于UCL的无人驾驶系统对象标识装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现所述的基于UCL的无人驾驶系统对象标识方法。如图1所示，计算机程序包括无人驾驶系统对象目标检测模块、无人驾驶系统对象编码规范、UCL标引模块、、UCL 对象信息包校准模块、UCL对象信息包传输模块和接收模块。其中，无人驾驶系统对象目标检测模块用于利用深度学习目标检测模型实现对无人驾驶系统车载视频的对象进行检测并输出满足后续步骤的格式化数据，即实现基于UCL的无人驾驶系统对象标识方法中步骤1内容；无人驾驶系统对象编码规范是在统一内容标签UCL的基础上进行扩展的，在其上新增无人驾驶对象属性集合UOPS，确定UOPS头部和属性域各属性，制定UOPS扩展编码规范，具体实现基于UCL的无人驾驶系统对象标识方法中步骤2-1内容。UCL标引模块使用无人驾驶系统实体对象标识规范标引编码无人驾驶系统对象目标检测模块识别出来的无人驾驶系统对象标识的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展的无人驾驶对象属性集合UOPS，生成UCL对象信息包，具体实现基于UCL的无人驾驶系统对象标识方法中步骤2-2～2-5中内容。UCL对象信息包校准模块上传经UCL标引模块标引后的UCL对象信息包到无人驾驶对象知识库，无人驾驶对象知识库以人工设计信息与上传对象信息为基础，利用无人驾驶对象知识库中的先验信息校准初次上传的UCL对象信息包并在校准之后回传，具体实现基于UCL的无人驾驶系统对象标识方法中步骤3中内容。UCL对象信息包传输模块和接收模块用于传输和接收加密校准后的UCL对象信息包。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于UCL的无人驾驶系统对象标识方法，其特征在于，包括如下步骤：
(1)利用深度学习目标检测模型对车载视频中的图像帧进行对象识别，从神经网络模型中提取对象特征送入卷积神经网络层进一步确定对象信息，并利用同一场景的连续帧之间的对象备选框位置接近的特性，对神经网络模型生成的备选框进行过滤，最后对输出数据进行格式化处理，以满足后续编码步骤的数据要求；
(2)设计无人驾驶系统实体对象标识规范，在统一内容标签UCL的基础上进行扩展，新增无人驾驶对象属性集合UOPS，确定UOPS头部和属性域各属性，制定UOPS扩展编码规范；使用无人驾驶系统实体对象标识规范标引步骤(1)中识别出来的无人驾驶系统对象标识的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展的无人驾驶对象属性集合UOPS，生成UCL对象信息包；
(3)上传经步骤(2)中无人驾驶系统实体对象标识规范标引后的UCL对象信息包到无人驾驶对象知识库，所述无人驾驶对象知识库以人工设计信息与上传对象信息为基础，利用无人驾驶对象知识库中的先验信息校准初次上传的UCL对象信息包并在校准之后回传；
(4)加密校准后的UCL对象信息包并通过传输模块传输到智慧路网的接收模块。
2.如权利要求1所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述步骤(1)包括如下子步骤：
(1-1)对视频数据进行图像数据采集；
(1-2)使用改进后的SSD目标检测框架，对数据集进行预处理后转化为目标检测模型可以训练的格式再进行训练，对图像帧中的对象进行识别，所述改进后的SSD神经网络将SSD网络中特征提取层每一层中有目标的网格所对应的所有备选框去除，仅保留目标所对应的备选框；
(1-3)每张图像帧识别出一个实体对象后将该实体对象的格式化信息存入数据库。
3.如权利要求2所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述子步骤(1-3)包括如下过程：
i)利用改进后的SSD神经网络对车载视频进行对象识别；
ii)计算当前帧图片与上一帧图片中物体类别的重合度，若重合度小于设定的阈值则利用SSD神经网络对当前帧图片所有提案框再进行对象类别识别；
iii)在各个特征层提取出的实体对象特征池化后，拼接特征向量，再送入到卷积神经网络，进行对象特征提取，基于生成的特征向量与数据库中实体对象特征向量之间的距离确定对象信息。
4.如权利要求3所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述步骤ii)通过如下公式计算当前帧图片与上一帧图片中物体类别的重合度：
Figure FDA0003040310560000021
A＝{a1，a2，a3，...，an}为前一帧的识别的目标集合，D＝{d1，d2，d3，...，dn}为通过前一帧目标备选框生成的目标集合。
5.如权利要求1所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述步骤(2)包括如下子步骤：
(2-1)基于国家标准《统一内容标签格式规范》(GB/T 35304-2017)扩展无人驾驶系统实体对象标识规范，新增无人驾驶对象属性集合UOPS，其包括一个UCL属性集合头部域和紧接其后的多个连续存放的UCL属性元素域；无人驾驶对象属性集合UOPS的属性元素域分为三部分：静态属性、动态属性和环境属性，静态属性包含有对象名称、对象位置、时间信息、对象外形、物理特性、对象材质、通过程度和空间状况，动态属性包含有绝对运动属性、相对运动属性和运行轨迹，环境属性包含测绘信息和气象信息两部分环境信息；
(2-2)扩展UCL代码域；按照无人驾驶系统实体对象标识规范需求对UCL代码域进行补充说明和规定，主要有内容来源域、一级类别域、二级类别域、主题域、内容类型域；
(2-3)编码UCL内容描述属性集合CDPS和内容管理属性集合CGPS，创建新的属性集合对象，设置属性集合的类别，创建规范中已定义的属性和自定义属性；对CGPS的内容数字签名域的具体编码方案如下：属性类型域第一子分量为UCL属性元素类别子分量，第二子分量为解析规则子分量，指示该域所采用的数字签名算法标准信息，表示该域未对内容对象进行数字签名，或数字签名算法采用RSA、ECDSA、DSA、ECC、HMAC；属性长度域第一子分量为长度头部子分量，指示该域对内容对象进行数字摘要的算法标准，表示数字摘要算法采用CRC32、MD5、SHA-256或者SHA-512，第二子分量为长度值子分量，记录内容数字签名域的总长度，包括该域中属性类型分量、属性长度分量及属性净荷分量的总长度；
(2-4)编码无人驾驶对象属性集合UOPS的头部；UOPS属性域的头部分成三个子分量：第一子分量为长度头部字节，表示所包含的内容描述属性元素个数以及其后的长度值子分量所占字节数；第二子分量为长度值子分量，记录内容描述属性集合的总长度，包括被内容描述属性集合所包含的所有内容描述属性元素域的长度，以及内容描述属性集合域中属性类型分量和属性长度分量所占的字节数；第三子分量为速配信息子分量，速配信息子分量，快速指示该UOPS具体包含有哪些类别号的无人驾驶实体对象属性元素；
(2-5)编码无人驾驶对象属性集合UOPS的各属性元素；各属性具体编码规范为：对象名称取值为自由文本；对象位置第一子分量表示实体位置的描述形式，第二子分量存放位置信息；对象时间信息第一子分量表示时间描述形式，第二字分量存放时间信息；对象外形描述几何轮廓和投影边界两部分；对象物理特性分为电磁特性、声波特性、红外特性三部分；对象材质描述对象的具体材质；对象通过程度描述该无人驾驶对象的通过程度；对象空间状况第一子分量描述高度信息，在地面上或是在空中，第二子分量描述方位，通过四个方向的取值最终确定实体对象的具体方位；对象绝对运动由绝对速度和绝对加速度两部分描述形式组成；对象相对运动由相对速度和相对加速度两部分描述形式组成；对象运行轨迹第一子分量描述采用的坐标系，第二子分量存放实体对象运行位置集合；对象环境信息描述无人驾驶环境中测绘信息和气象信息两部分；
(2-6)生成UCL对象信息包；通过调用UCL的打包程序pack生成UCL对象信息包，pack程序使用当前选用的哈希和签名算法，对无人驾驶系统对象的UCL标识进行数字签名，最终输出签名后的二进制流UCL对象信息包。
6.如权利要求1所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述步骤(3)包括如下子步骤：
(3-1)提取UCL对象信息包中的关键词，将UCL对象信息包链接到无人驾驶对象知识库中，并根据关键词的重要程度得分赋予UCL对象信息包链接权重；
(3-2)利用如下公式计算UCL对象信息包之间的相关性：
Figure FDA0003040310560000031
其中，Ua和Ub表示两个不同的UCL对象信息包，集合W＝{w1，w2，w3，...，wn}表示提取的Ua中的关键词，oi为关键词wi在Ua中的重要程度得分，I表示集合W中与Ub相连的关键词的下标集合，sib表示关键词wi与Ub相连的权重；
(3-3)使用无人驾驶对象知识库中相关的人工设计信息与对象信息对初次上传的UCL对象信息包进行校准，填充通过神经网络无法获取的属性，并将校准后的UCL对象信息包传回本地。
7.如权利要求1所述的基于UCL的无人驾驶系统对象标识方法，其特征在于，所述步骤(4)中对象信息UCL-EO包的可信传输使用传输模块传输到智慧路网的接收模块，采用C/S通信架构，服务器端主要接收多个无人驾驶系统传输的UCL对象信息包；服务器端包含一个主程序和两个线程程序；主程序用于创建、绑定套接字，并监听请求；建立连接线程用于在监听到请求后，对请求进行处理；接收数据线程用于处理已经接受请求的客户端发送的数据信息。
8.基于UCL的无人驾驶系统对象标识装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述计算机程序被加载至处理器时用于实现如权利要求1-7中任意一项所述的无人驾驶系统实体对象标识方法。
9.如权利要求8所述的基于UCL的无人驾驶系统对象标识装置，其特征在于：所述计算机程序包括无人驾驶系统对象目标检测模块、无人驾驶系统对象编码规范、UCL标引模块、UCL对象信息包校准模块、UCL对象信息包传输模块和接收模块；所述无人驾驶系统对象目标检测模块用于利用深度学习目标检测模型实现对无人驾驶系统车载视频的对象进行检测并输出满足后续步骤的格式化数据；无人驾驶系统对象编码规范是在统一内容标签UCL的基础上进行扩展的，在其上新增无人驾驶对象属性集合UOPS，确定UOPS头部和属性域各属性，制定UOPS扩展编码规范；UCL标引模块使用无人驾驶系统实体对象标识规范标引编码无人驾驶系统对象目标检测模块识别出来的无人驾驶系统对象标识的代码域、内容描述属性集合CDPS、内容管理属性集合CGPS，以及扩展的无人驾驶对象属性集合UOPS，生成UCL对象信息包；UCL对象信息包校准模块上传经UCL标引模块标引后的UCL对象信息包到无人驾驶对象知识库，无人驾驶对象知识库以人工设计信息与上传对象信息为基础，利用无人驾驶对象知识库中的先验信息校准初次上传的UCL对象信息包并在校准之后回传；UCL对象信息包传输模块和接收模块用于传输和接收加密校准后的UCL对象信息包。
CN202110463658.6A 2021-04-26 2021-04-26 一种基于ucl的无人驾驶系统对象标识方法和装置 Active CN113095278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463658.6A CN113095278B (zh) 2021-04-26 2021-04-26 一种基于ucl的无人驾驶系统对象标识方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463658.6A CN113095278B (zh) 2021-04-26 2021-04-26 一种基于ucl的无人驾驶系统对象标识方法和装置

Publications (2)

Publication Number Publication Date
CN113095278A CN113095278A (zh) 2021-07-09
CN113095278B true CN113095278B (zh) 2022-11-18

Family

ID=76680480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463658.6A Active CN113095278B (zh) 2021-04-26 2021-04-26 一种基于ucl的无人驾驶系统对象标识方法和装置

Country Status (1)

Country Link
CN (1) CN113095278B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871464B (zh) * 2019-01-17 2020-12-25 东南大学 一种基于ucl语义标引的视频推荐方法与装置
CN111428047B (zh) * 2020-03-19 2023-04-21 东南大学 一种基于ucl语义标引的知识图谱构建方法及装置
CN111523430B (zh) * 2020-04-16 2023-10-24 南京优慧信安科技有限公司 基于ucl的可定制交互式视频制作方法与装置

Also Published As

Publication number Publication date
CN113095278A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US11562020B2 (en) Short-term and long-term memory on an edge device
US10614310B2 (en) Behavior recognition
Ji et al. Location discriminative vocabulary coding for mobile landmark search
US8971641B2 (en) Spatial image index and associated updating functionality
WO2019052533A1 (zh) 地图数据的构建方法和设备
CN104899261B (zh) 一种构建结构化视频图像信息的设备和方法
US10397757B1 (en) Deriving signal location from signal content
US11062144B2 (en) Classifying video
US11023734B2 (en) Ingesting streaming signals
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
US11416542B1 (en) System and method for uploading still images of matching plates in response to an alert hit list using distributed LPR acquisition
CN107393308A (zh) 一种识别车牌的方法、装置及停车场管理系统
CN114418021B (zh) 模型优化方法、装置及计算机程序产品
CN113095278B (zh) 一种基于ucl的无人驾驶系统对象标识方法和装置
CN115002196B (zh) 一种数据处理方法、装置、车端采集设备
KR20190091214A (ko) 동영상으로부터 장소 정보를 추출하는 장치 및 방법
US20200380262A1 (en) Sampling streaming signals at elastic sampling rates
CN115203354A (zh) 一种车码轨迹预关联方法、装置、计算机设备及存储介质
Han et al. Traffic information service model considering personal driving trajectories
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质
CN113762040B (zh) 视频识别方法、装置、存储介质及计算机设备
CN113129393B (zh) 一种点云数据处理方法及系统
CN116069961A (zh) 一种数据请求方法、目标寻找方法、服务器和用户端
CN113766545B (zh) 无线网络的身份识别方法和装置
Jacob et al. An innovative approach for aerial video surveillance using video content analysis and indexing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant