CN109240123A - 一种面向智能物流车的在环仿真方法及系统 - Google Patents

Abstract

本发明的一种面向智能物流车的在环仿真方法及系统，所述的种面向智能物流车的在环仿真方法及系统包括实验环境设置模块、图像采集模块、图像感知模块、决策控制模块、驾驶控制模块、信息核实模块、无线自动接收模块和人车交互模块。本发明提供了一种面向智能物流车的在环仿真方法及系统，通过将用户自助在智能物流车操作、信息确认、存储快递等内容在实验平台实现，有效帮助研究人员在计算机仿真之后、智能物流车实物落地之前，在实验室开发或测试智能物流车和用户的交互内容和交互效果。

Description

一种面向智能物流车的在环仿真方法及系统

技术领域

本发明涉及数据采集相关技术领域，具体涉及一种面向智能物流车的在环仿真方法及系统。

背景技术

快递行业作为邮政业的重要组成部分，具有带动产业领域广、吸纳就业人数多、经济附加值高、技术特征显著等特点。它将信息传递、物品递送、资金流通和文化传播等多种功能融合在一起，关联生产、流通、消费、投资和金融等多个领域，是现代社会不可替代的基础产业。

2017年3月28日，国家邮政局发布2016年中国快递发展指数报告显示，我国快递业务量规模继续稳居世界首位，在全球占比超过四成，对世界快递业务量增长的贡献率达60％。报告统计，从2010年每十万人4.8个快递网点、增加至2016年每十万人15个快递网点；从2010年每千平方公里6.7个快递网点，增加至2016年每千平方公里19.1个快递网点。2018年1月8日，2018年全国邮政管理工作会议通报的数据显示，2017年全国完成快递业务量401亿件，同比增长28％；业务收入完成4950亿元，同比增长24.5％，消费者申诉处理满意率达到98.2％。

当前主流快递网点的工作模式是快递员将快递派件至用户所在的区域快递网点，快递网点工作人员以短信或电话方式通知用户取快递，实际生活中，很多用户距离快递网点路程较远，尤其是对于园区居住用户，所在的园区存在多个快递网点，用户往往奔走于好几个快递网点存取快递，造成一定的不便。因而当前急需一种智能快递物流运输车，能够在区域范围内智能运输快递，减轻用户出行压力。

发明内容

针对上述现有技术存在的问题，本发明提供了一种面向智能物流车的在环仿真方法及系统，通过将用户自助在智能物流车操作、信息确认、存储快递等内容在实验平台实现，基于全景感知技术、球形摄像头在环系统、智能驾驶在环系统等相关内容，建立面向智能物流车的在环仿真方法及系统，有效帮助研究人员在计算机仿真之后、智能物流车实物落地之前，在实验室基于核心实际硬件和系统，开发或测试智能物流车和用户的交互内容和交互效果。

为了实现上述目的，本发明提供了以下的技术方案：一种面向智能物流车的在环仿真方法，包括如下步骤：

(11)工控机内置Carsim软件，模拟实际场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接至后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

作为上述方案的进一步优化，所述智能物流车的在环仿真装置车厢内部装置包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；所述车厢内部装置由1:1球形显示屏包裹，所述球形显示屏延内部装置的顶面和底面截去形成类鼓形；所述智能物流车的在环仿真装置车厢外部的侧面安装一块1:1的快递柜面板。

作为上述方案的进一步优化，所述信息核实模块包括低质量QR二维码处理和对QR二维码的识别。

作为上述方案的进一步优化，所述的低质量QR二维码处理，即消除QR二维码在使用过程出现的复杂背景、噪声干扰、光照不均、阴影遮盖和图像畸变的影响，具体处理方法包括如下步骤：

(21)复杂背景QR二维码图像的分割处理，通过ITTI视觉注意模型，提取输入图像的特征参数；通过高斯金字塔和中央周边差对图像进行处理形成各个特征的关注图；再将各个关注图归一化、融合获取显著图像；通过神经网络相互竞争吸引注意焦点，提取最显著区域；最后通过返回抑制机制当前显著区域，将注意力引向下一个最突出区域，所述QR二维码图像分割处理流程包括如下：

(211)视觉预处理，计算输入图像强度I，如下式所述：

金字塔的每个像素构成颜色通道，红色通道R，绿色通道G，蓝色通道B，

式(1)、(2)、(3)和(4)中，r、g、b分别表示RGB色彩模式的红、绿、蓝三种颜色；

(212)中央周边差算子，通过计算各个特征的中央周边差确定显著图像，将获取的显著图像在空间尺寸通过插值到小尺度，逐点进行相减；

(213)归一化处理，通过将图像中的数值归一化到固定区域[0......M]，消除振幅差异；计算图像选择单元区域的最大值M和剩余区域的平均值m，再将图像乘以(M-m)²；

(214)获取关注图，以4为尺度把特征图像组成三个显著图像；

(215)获取最终显著图，将获取的显著图归一化，将处理结果相加得到最后的显著图；

(22)QR二维码图像的灰度化处理，通过将摄像头采集的QR二维码灰度处理，不仅不影响后续的有效识别，同时有助于减少存储设备的存储负担，采用加权平均值法进行灰度化，参见如下：

Gray＝0.3×R+0.59×G+0.11×B (5)

式(5)中，R、G、B的取值范围咋0-255；

(23)QR二维码图像的滤波处理，即消除噪声对QR二维码识别的干扰；由于加性噪声与信号无关，乘性噪声与信号有关，得下式：

g₁(t)＝S(t)+n(t) (6)

g₂(t)＝S(t)[1++n(t)] (7)

式(6)和(7)中，S(t)为信号，n(t)为噪声，g₁(t)为加性噪声，g₂(t)为乘性噪声；本发明选择维纳滤波法对脉冲噪声分析，设线性滤波器的冲击响应为h(t)，输入信号x(n)含有彼此统计独立的期望信号s(n)和噪声v(n)，

x(n)＝s(n)+v(n) (8)

y(n)＝∑_mh(m)x(n-m) (9)

y(n)无限接近期望信号s(n)，即y(n)是s(n)的估计值，得下式

y(n)＝s(n) (10)

期望值与估计值之间的误差用e(n)表示，其为随机量，用均方误差表示，如下所示：

ξ(n)＝E[e²(n)]＝min (12)

(24)QR二维码图像的二值化，即利用阈值将灰度值划分成大于阈值和小于阈值两类，消除光照不均匀对QR二维码识别的干扰，采用基于OTSU算法的QR二维码图像处理方法，通过划分16块分块分步处理完成目标工作，通过将扫描图像划分16块，对每一块分割后的图像应用OTSU算法经由二值化处理，设原始灰度图具有M个灰度级数，设定灰度级数为i的像素点个数为n_i，像素灰度值落在灰度级i内的概率如下：

设定分割阈值为t将原始灰度值图像划分成2类，灰度值小于或等于t的像素点归类为QR二维码类，灰度值大于t的像素点归类为背景类，QR二维码类出现的概率为ω₀，背景类出现的概率记为ω₁，，可知：

QR二维码类的平均灰度记为μ₀，背景类的平均灰度记为μ₁，可得下式：

QR二维码类与背景类之间的类间方差记为σ²，则：

σ²＝ω₀(μ₀-μ₁)²+ω₁(μ₀-μ₁)² (18)

最佳的分割阈值即为使类间方差σ²值最大的值；

(25)QR二维码的畸变校正处理，即消除畸变对QR二维码识别的影响，设原图像为f(x，y)，受到几何失真变成g(x′，y′)，上式表示为：

x′＝s(x，y) (19)

y′＝t(x，y) (20)

式(19)和(20)中s(x，y)和t(x，y)代表两个空间变换函数，对于线性仿真，表示如下：

s(x，y)＝k₁+k₂x+k₃y+k₄x²+k₅xy+k₆y² (21)

t(x，y)＝k₇+k₈x+k₉y+k₁₀x²+k₁₁xy+k₁₂y² (22)

复原图像需在失真图和校正图上找一些约束对应点，然后根据失真模型计算出失真函数中的系数，从而建立两幅图像间像素空间位置的对应关系，通过选取四个顶点作为失真四边形与校正四边形的对应点，设四边形内区域内的几何失真过程表示为一对双线性等式，即：

s(x，y)＝k₁x+k₂y+k₃xy+k₄ (23)

t(x，y)＝k₅x+k₆y+k₇xy+k₈ (24)

将式(23)和(24)代入式(19)和(20)，得失真前后两图坐标间的关系：

x′＝k₁x+k₂y+k₃xy+k₄ (23)

y′＝k₅x+k₆y+k₇xy+k₈ (24)

通过找出四组对应点解出上两式中的八个系数，在进行平面投影变换前先找到畸变校正点，在已经找到3个位置探测图形的基础上，再找到第四个顶点，结合QR二维码特性，选取其4个顶点作为控制点完成畸变校正，所述步骤包括如下：

(251)对QR二维码图像多次进行腐蚀和膨胀运算，腐蚀运算用于去除图像边界或两个图像间的连通部分，膨胀运算使像素点融合，使两图像连通，多次处理后图像变得锐利；

(252)利用边缘检测算法提取图像边缘信息；

(253)QR二维码图像边界两两的交点即为所寻找的畸变控制点；

根据畸变控制点的位置，对二值化后的QR二维码图像进行至少一次的空间变换进而完成由一般四边形到正方形的变换。

作为上述方案的进一步优化，所述的低质量QR二维码识别即QR二维码解码过程，包别QR二维码格式信息译码，版本信息译码，消除掩膜，恢复数据和纠错码字，通过纠错码字进行错误检查，存在错误则通过RS纠错进行纠错操作，完成纠错后进行数据码字编译后输出结果。

作为上述方案的进一步优化，所述RS纠错是基于BM算法的PS纠错译码，有效简化计算复杂度，RS纠错译码具体步骤包括如下：

(31)计算伴随式值，利用从二维码符号图像中还原出的数据构建码词多项式：

yR(x)＝r_n-1x^n-1+r_n-2x^n-2+…+r₁x¹+r₀ (25)

式(25)中，n个系数为从二维条码符号图像中还原的n个码词，r_n-1为第一个码词，即数据码词，r₀为最后一个码词，即纠错码词；QR二维码的有限域是GF(2^m)，之后计算i个伴随式S_j的数值，如下：

S_j＝R(α^k) (26)

式(26)中，m＝8；k＝m₀，m₀+1，m₀+2，...，m₀+i-1；j＝1，..，i；a＝x⁸+x⁴+x³+x²+1；m₀＝0；

(32)计算错误位置多项式，即利用求得的i个伴随式值列出包含由t个未知数的联立方程组：

式(27)中，t＝i/2，利用求出的t个未知数，l₁，l₂，...，l_t构建错误位置多项式：

L(x)＝l_tx^t+l_t-1x^t-1+…+l₁x+1 (28)

(33)求错误位置多项式的根，将有限阈GF(2^m)中所有非零元素逐个代入式(27)，若L(α^k)＝0(k＝1，...，2^m-1)，则找到一个错误，用e＝2^m-l-k标识错误位置；若错误位置的数目大于t，则错误数超过纠错能力，无法正确纠错；

(34)求错误值并对码词进行错误纠正，设步骤(33)得到γ个错误位置，x₁，x₂，...，x_γ，γ≤t，构建含有γ个未知数的方程组：

通过计算式(29)，得到γ个错误位置的错误值：e₁，e₂，...，e_γ，分别将γ个错误值与其错误位置对应的码词值相异或运算，得到纠错后的码词值，完成错误纠正；

(35)简化所述RS纠错译码的计算复杂度，通过BM算法迭代求错误位置多项式L(x)，L^(j)(x)为步骤j的错误位置多项式；ω^(j)(x)为第j步时S(x)与L(x)的乘积；D(j)为L^(j)(x)的次数；d_j为第(j+1)步与第j步乘积S(x)L(x)之间的差值；

s(x)＝1+s₁x+s₂x²+…+s_2jx^2j (30)

由初值L^(-1)(x)＝1，ω^(-1)(x)＝0，D(-1)＝0，d_-1＝1，ω⁽⁰⁾(x)＝1，D(0)＝0，d₀＝s₁，开始迭代运算；若d_j＝0，则L^(j+1)(x)＝L^(j)(x)，ω^(j+1)(x)＝ω^(j)(x)，D(j+1)＝D(j)，若d_j≠0，找出第j步之前的某一步i，其数值在第j步之前的各步中i-D(j)最大，按照下式计算：

D(j+1)＝max[D(j)，D(i)+j-i] (33)

无论d_i是否等于0，d_j+1均按照下式计算：

式(34)中，为中x_i项的系数，通过2t次数迭代后得L^2t(x)为所求的错误位置多项式L(x)。

作为上述方案的进一步优化，所述无线自动接收模块由软件和硬件部分组成，软件包括手机客户端软件和快递柜电路板控制软件；硬件包括手机、控制电路板、快递柜和电插锁；所述控制电路板通过互联网或蓝牙方式接收无线开启命令，通过驱动电路控制继电器打开快递箱电控锁，并检测电控锁是否打开。

本发明还公开一种面向智能物流车的在环仿真方法及系统，采用权利1-7任一所述的一种面向智能物流车的在环仿真方法及系统，包括：

(11)实验环境设置模块，工控机内置Carsim软件，模拟交通场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)图像采集模块，工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)图像感知模块，通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块，用于解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块，基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块，通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)人车交互模块，用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

本发明还公开了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法及系统。

本发明还公开了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法及系统。

本发明采用上述技术方案，与现有技术相比，本发明的一种面向智能物流车的在环仿真方法及系统，具有以下有益效果：

1、本发明的一种面向智能物流车的在环仿真方法及系统，工控机内置Carsim软件模拟交通场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；决策控制模块解析处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；驾驶控制模块根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；信息核实模块通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接后台数据库，核实用户信息；用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，快递柜控制电路开启箱门；用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

2、本发明的一种面向智能物流车的在环仿真方法及系统，通过将将用户自助在智能物流车操作、信息确认、存储快递等内容在实验平台实现，有效减少实验耗材，节约实验开发资金成本、时间成本和人力成本。

3、本发明的一种面向智能物流车的在环仿真方法及系统，通过建立系统模型，有效帮助实验人员在计算机仿真模拟实验之后且在智能物流车投产之前，利用现有资源测试当前状态智能物流车与用户的交互效果，方便后期对智能物流车存在的不足之处进行针对性改良作业。

附图说明

图1是一种面向智能物流车的在环仿真方法的流程图。

图2是一种面向智能物流车的在环仿真系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

参见图1，一种面向智能物流车的在环仿真方法及系统，包括如下步骤：

(11)工控机内置Carsim软件，模拟实际场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接至后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

作为上述方案的进一步优化，所述智能物流车的在环仿真装置车厢内部装置包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；所述车厢内部装置由1:1球形显示屏包裹，所述球形显示屏延内部装置的顶面和底面截去形成类鼓形；所述智能物流车的在环仿真装置车厢外部的侧面安装一块1:1的快递柜面板。

作为上述方案的进一步优化，所述信息模块包括低质量QR二维码处理和对QR二维码的识别。

作为上述方案的进一步优化，所述的低质量QR二维码处理，即消除QR二维码在使用过程出现的复杂背景、噪声干扰、光照不均、阴影遮盖和图像畸变的影响，具体处理方法包括如下步骤：

(21)复杂背景QR二维码图像的分割处理，通过ITTI视觉注意模型，提取输入图像的特征参数；通过高斯金字塔和中央周边差对图像进行处理形成各个特征的关注图；再将各个关注图归一化、融合获取显著图像；通过神经网络相互竞争吸引注意焦点，提取最显著区域；最后通过返回抑制机制当前显著区域，将注意力引向下一个最突出区域，所述QR二维码图像分割处理流程包括如下：

(211)视觉预处理，计算输入图像强度I，如下式所述：

金字塔的每个像素构成颜色通道，红色通道R，绿色通道G，蓝色通道B，

式(1)、(2)、(3)和(4)中，r、g、b分别表示RGB色彩模式的红、绿、蓝三种颜色；

(212)中央周边差算子，通过计算各个特征的中央周边差确定显著图像，将获取的显著图像在空间尺寸通过插值到小尺度，逐点进行相减；

(213)归一化处理，通过将图像中的数值归一化到固定区域[0......M]，消除振幅差异；计算图像选择单元区域的最大值M和剩余区域的平均值m，再将图像乘以(M-m)²；

(214)获取关注图，以4为尺度把特征图像组成三个显著图像；

(215)获取最终显著图，将获取的显著图归一化，将处理结果相加得到最后的显著图；

(22)QR二维码图像的灰度化处理，通过将摄像头采集的QR二维码灰度处理，不仅不影响后续的有效识别，同时有助于减少存储设备的存储负担，采用加权平均值法进行灰度化，参见如下：

Gray＝0.3×R+0.59×G+0.11×B (5)

式(5)中，R、G、B的取值范围咋0-255；

(23)QR二维码图像的滤波处理，即消除噪声对QR二维码识别的干扰；由于加性噪声与信号无关，乘性噪声与信号有关，得下式：

g₁(t)＝S(t)+n(t) (6)

g₂(t)＝S(t)[1++n(t)] (7)

式(6)和(7)中，S(t)为信号，n(t)为噪声，g₁(t)为加性噪声，g₂(t)为乘性噪声；本发明选择维纳滤波法对脉冲噪声分析，设线性滤波器的冲击响应为h(t)，输入信号x(n)含有彼此统计独立的期望信号s(n)和噪声v(n)，

x(n)＝s(n)+v(n) (8)

y(n)＝∑_mh(m)x(n-m) (9)

y(n)无限接近期望信号s(n)，即y(n)是s(n)的估计值，得下式

y(n)＝s(n) (10)

期望值与估计值之间的误差用e(n)表示，其为随机量，用均方误差表示，如下所示：

ξ(n)＝E[e²(n)]＝min (12)

(24)QR二维码图像的二值化，即利用阈值将灰度值划分成大于阈值和小于阈值两类，消除光照不均匀对QR二维码识别的干扰，采用基于OTSU算法的QR二维码图像处理方法，通过划分16块分块分步处理完成目标工作，通过将扫描图像划分16块，对每一块分割后的图像应用OTSU算法经由二值化处理，设原始灰度图具有M个灰度级数，设定灰度级数为i的像素点个数为n_i，像素灰度值落在灰度级i内的概率如下：

设定分割阈值为t将原始灰度值图像划分成2类，灰度值小于或等于t的像素点归类为QR二维码类，灰度值大于t的像素点归类为背景类，QR二维码类出现的概率为ω₀，背景类出现的概率记为ω₁，，可知：

QR二维码类的平均灰度记为μ₀，背景类的平均灰度记为μ₁，可得下式：

QR二维码类与背景类之间的类间方差记为σ²，则：

σ²＝ω₀(μ₀-μ₁)²+ω₁(μ₀-μ₁)² (18)

最佳的分割阈值即为使类间方差σ²值最大的值；

(25)QR二维码的畸变校正处理，即消除畸变对QR二维码识别的影响，设原图像为f(x，y)，受到几何失真变成g(x′，y′)，上式表示为：

x′＝s(x，y) (19)

y′＝t(x，y) (20)

式(19)和(20)中s(x，y)和t(x，y)代表两个空间变换函数，对于线性仿真，表示如下：

s(x，y)＝k₁+k₂x+k₃y+k₄x²+k₅xy+k₆y² (21)

t(x，y)＝k₇+k₈x+k₉y+k₁₀x²+k₁₁xy+k₁₂y² (22)

复原图像需在失真图和校正图上找一些约束对应点，然后根据失真模型计算出失真函数中的系数，从而建立两幅图像间像素空间位置的对应关系，通过选取四个顶点作为失真四边形与校正四边形的对应点，设四边形内区域内的几何失真过程表示为一对双线性等式，即：

s(x。y)＝k₁x+k₂y+k₃xy+k₄ (23)

t(x，y)＝k₅x+k₆y+k₇xy+k₈ (24)

将式(23)和(24)代入式(19)和(20)，得失真前后两图坐标间的关系：

x′＝k₁x+k₂y+k₃xy+k₄ (23)

y′＝k₅x+k₆y+k₇xy+k₈ (24)

通过找出四组对应点解出上两式中的八个系数，在进行平面投影变换前先找到畸变校正点，在已经找到3个位置探测图形的基础上，再找到第四个顶点，结合QR二维码特性，选取其4个顶点作为控制点完成畸变校正，所述步骤包括如下：

(251)对QR二维码图像多次进行腐蚀和膨胀运算，腐蚀运算用于去除图像边界或两个图像间的连通部分，膨胀运算使像素点融合，使两图像连通，多次处理后图像变得锐利；

(252)利用边缘检测算法提取图像边缘信息；

(253)QR二维码图像边界两两的交点即为所寻找的畸变控制点；

根据畸变控制点的位置，对二值化后的QR二维码图像进行至少一次的空间变换进而完成由一般四边形到正方形的变换。

作为上述方案的进一步优化，所述的低质量QR二维码识别即QR二维码解码过程，包别QR二维码格式信息译码，版本信息译码，消除掩膜，恢复数据和纠错码字，通过纠错码字进行错误检查，存在错误则通过RS纠错进行纠错操作，完成纠错后进行数据码字编译后输出结果。

作为上述方案的进一步优化，所述RS纠错是基于BM算法的PS纠错译码，有效简化计算复杂度，RS纠错译码具体步骤包括如下：

(31)计算伴随式值，利用从二维码符号图像中还原出的数据构建码词多项式：

yR(x)＝r_n-₁x^n-1+r_n-2x^n-2+…+r₁x¹+r₀ (25)

式(25)中，n个系数为从二维条码符号图像中还原的n个码词，r_n-1为第一个码词，即数据码词，r₀为最后一个码词，即纠错码词；QR二维码的有限域是GF(2^m)，之后计算i个伴随式S_j的数值，如下：

S_i＝R(α^k) (26)

式(26)中，m＝8；k＝m₀，m₀+1，m₀+2，...，m₀+i-1；j＝1，...，i；a＝x⁸+x⁴+x³+x²+1；m₀＝0；

(32)计算错误位置多项式，即利用求得的i个伴随式值列出包含由t个未知数的联立方程组：

式(27)中，t＝i/2，利用求出的t个未知数，l₁，l₂，...，l_t构建错误位置多项式：

L(x)＝l_tx^t+l_t-1x^t-1+…+l₁x+1 (28)

(33)求错误位置多项式的根，将有限阈GF(2^m)中所有非零元素逐个代入式(27)，若L(α^k)＝0(k＝1，...，2^m-1)，则找到一个错误，用e＝2^m-l-k标识错误位置；若错误位置的数目大于t，则错误数超过纠错能力，无法正确纠错；

(34)求错误值并对码词进行错误纠正，设步骤(33)得到γ个错误位置，x₁，x₂，...，x_γ，γ≤t，构建含有γ个未知数的方程组：

通过计算式(29)，得到γ个错误位置的错误值：e₁，e₂，...，e_γ，分别将γ个错误值与其错误位置对应的码词值相异或运算，得到纠错后的码词值，完成错误纠正；

(35)简化所述RS纠错译码的计算复杂度，通过BM算法迭代求错误位置多项式L(x)，L^(j)(x)为步骤j的错误位置多项式；ω^(j)(x)为第j步时S(x)与L(x)的乘积；D(j)为L^(j)(x)的次数；d_i为第(j+1)步与第j步乘积S(x)L(x)之间的差值；

S(x)＝1+s₁x+s₂x²+…+s_2jx^2j (30)

由初值L^(-1)(x)＝1，ω^(-1)(x)＝0，D(-1)＝0，d_-1＝1，ω⁽⁰⁾(x)＝1，D(0)＝0，d₀＝s₁，开始迭代运算；若d_j＝0，则L^(j+1)(x)＝L^(j)(x)，ω^(j+1)(x)＝ω^(j)(x)，D(j+1)＝D(j)，若d_j≠0，找出第j步之前的某一步i，其数值在第j步之前的各步中i-D(j)最大，按照下式计算：

D(j+1)＝max[D(j)，D(i)+j-i] (33)

无论d_j是否等于0，d_j+1均按照下式计算：

式(34)中，为中x_i项的系数，通过2t次数迭代后得L^2t(x)为所求的错误位置多项式L(x)。

作为上述方案的进一步优化，所述无线自动接收模块由软件和硬件部分组成，软件包括手机客户端软件和快递柜电路板控制软件；硬件包括手机、控制电路板、快递柜和电插锁；所述控制电路板通过互联网或蓝牙方式接收无线开启命令，通过驱动电路控制继电器打开快递箱电控锁，并检测电控锁是否打开。

本发明还公开一种面向智能物流车的在环仿真方法及系统，采用权利1-7任一所述的一种面向智能物流车的在环仿真方法及系统，包括：

(11)实验环境设置模块，工控机内置Carsim软件，模拟交通场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)图像采集模块，工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)图像感知模块，通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块，用于解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块，基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块，通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)人车交互模块，用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

本发明还公开了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法。

本发明还公开了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法。

此外，本实施例还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现本实施例的一种面向智能物流车的在环仿真方法及系统。该计算机可读存储介质可以是上述实施例中所述系统或设备中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质，如硬盘、光盘、SD卡等。

本发明的一种面向智能物流车的在环仿真方法及系统，工控机内置Carsim软件模拟交通场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；决策控制模块解析处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；驾驶控制模块根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；信息核实模块通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接后台数据库，核实用户信息；用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，快递柜控制电路开启箱门；用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。本发明提供了一种面向智能物流车的在环仿真方法及系统，通过将用户自助在智能物流车操作、信息确认、存储快递等内容在实验平台实现，基于全景感知技术、球形摄像头在环系统、智能驾驶在环系统等相关内容，建立面向智能物流车的在环仿真方法及系统，有效帮助研究人员在计算机仿真之后、智能物流车实物落地之前，在实验室基于核心实际硬件和系统，开发或测试智能物流车和用户的交互内容和交互效果。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种面向智能物流车的在环仿真方法，其特征在于，包括如下步骤：

(11)工控机内置Carsim软件，模拟实际场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接至后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

2.根据权利要求1所述的一种面向智能物流车的在环仿真方法，其特征在于:所述智能物流车的在环仿真装置车厢内部装置包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；所述车厢内部装置由1:1球形显示屏包裹，所述球形显示屏延内部装置的顶面和底面截去形成类鼓形；所述智能物流车的在环仿真装置车厢外部的侧面安装一块1:1的快递柜面板。

3.根据权利要求1所述的一种面向智能物流车的在环仿真方法，其特征在于:所述信息核实模块包括低质量QR二维码处理和对QR二维码的识别。

4.根据权利要求1或3所述的一种面向智能物流车的在环仿真方法，其特征在于:所述的低质量QR二维码处理，即消除QR二维码在使用过程出现的复杂背景、噪声干扰、光照不均、阴影遮盖和图像畸变的影响，具体处理方法包括如下步骤：

(21)复杂背景QR二维码图像的分割处理，通过ITTI视觉注意模型，提取输入图像的特征参数；通过高斯金字塔和中央周边差对图像进行处理形成各个特征的关注图；再将各个关注图归一化、融合获取显著图像；通过神经网络相互竞争吸引注意焦点，提取最显著区域；最后通过返回抑制机制当前显著区域，将注意力引向下一个最突出区域，所述QR二维码图像分割处理流程包括如下：

(211)视觉预处理，计算输入图像强度I，如下式所述：

金字塔的每个像素构成颜色通道，红色通道R，绿色通道G，蓝色通道B，

式(1)、(2)、(3)和(4)中，r、g、b分别表示RGB色彩模式的红、绿、蓝三种颜色；

(212)中央周边差算子，通过计算各个特征的中央周边差确定显著图像，将获取的显著图像在空间尺寸通过插值到小尺度，逐点进行相减；

(213)归一化处理，通过将图像中的数值归一化到固定区域[0 ...... M]，消除振幅差异；计算图像选择单元区域的最大值M和剩余区域的平均值m，再将图像乘以(M-m)²；

(214)获取关注图，以4为尺度把特征图像组成三个显著图像；

(215)获取最终显著图，将获取的显著图归一化，将处理结果相加得到最后的显著图；

(22)QR二维码图像的灰度化处理，通过将摄像头采集的QR二维码灰度处理，采用加权平均值法进行灰度化，参见如下：

Gray＝0.3×R+0.59×G+0.11×B (5)

式(5)中，R、G、B的取值范围咋0-255；

(23)QR二维码图像的滤波处理，即消除噪声对QR二维码识别的干扰；由于加性噪声与信号无关，乘性噪声与信号有关，得下式：

g₁(t)＝S(t)+n(t) (6)

g₂(t)＝S(t)[1++n(t)] (7)

式(6)和(7)中，S(t)为信号，n(t)为噪声，g1₍t)为加性噪声，g₂(t)为乘性噪声；本发明选择维纳滤波法对脉冲噪声分析，设线性滤波器的冲击响应为h(t)，输入信号x(n)含有彼此统计独立的期望信号s(n)和噪声v(n)，

x(n)＝s(n)+v(n) (8)

y(n)＝∑_mh(m)x(n-m) (9)

y(n)无限接近期望信号s(n)，即y(n)是s(n)的估计值，得下式

y(n)＝s(n) (10)

期望值与估计值之间的误差用e(n)表示，其为随机量，用均方误差表示，如下所示：

ξ(n)＝E[e²(n)]＝min (12)

(24)QR二维码图像的二值化，即利用阈值将灰度值划分成大于阈值和小于阈值两类，消除光照不均匀对QR二维码识别的干扰，采用基于OTSU算法的QR二维码图像处理方法，通过划分16块分块分步处理完成目标工作，通过将扫描图像划分16块，对每一块分割后的图像应用OTSU算法经由二值化处理，设原始灰度图具有M个灰度级数，设定灰度级数为i的像素点个数为n_i，像素灰度值落在灰度级i内的概率如下：

设定分割阈值为t将原始灰度值图像划分成2类，灰度值小于或等于t的像素点归类为QR二维码类，灰度值大于t的像素点归类为背景类，QR二维码类出现的概率为ω₀，背景类出现的概率记为ω₁,，可知：

QR二维码类的平均灰度记为μ₀，背景类的平均灰度记为μ₁，可得下式：

QR二维码类与背景类之间的类间方差记为σ²，则：

σ²＝ω₀(μ₀-μ₁)²+ω₁(μ₀-μ₁)² (18)

最佳的分割阈值即为使类间方差σ²值最大的值；

(25)QR二维码的畸变校正处理，即消除畸变对QR二维码识别的影响，设原图像为f(x，y)，受到几何失真变成g(x′，y′)，上式表示为：

x′＝s(x，y) (19)

y′＝t(x，y) (20)

式(19)和(20)中s(x，y)和t(x，y)代表两个空间变换函数，对于线性仿真，表示如下：

s(x，y)＝k₁+k₂x+k₃y+k₄x²+k₅xy+k₆y² (21)

t(x，y)＝k₇+k₈x+k₉y+k₁₀x²+k₁₁xy+k₁₂y² (22)

复原图像需在失真图和校正图上找一些约束对应点，然后根据失真模型计算出失真函数中的系数，从而建立两幅图像间像素空间位置的对应关系，通过选取四个顶点作为失真四边形与校正四边形的对应点，设四边形内区域内的几何失真过程表示为一对双线性等式，即：

s(x，y)＝k₁x+k₂y+k₃xy+k₄ (23)

t(x，y)＝k₅x+k₆y+k₇xy+k₈ (24)

将式(23)和(24)代入式(19)和(20)，得失真前后两图坐标间的关系：

x′＝k₁x+k₂y+k₃xy+k₄ (23)

y′＝k₅x+k₆y+k₇xy+k₈ (24)

通过找出四组对应点解出上两式中的八个系数，在进行平面投影变换前先找到畸变校正点，在已经找到3个位置探测图形的基础上，再找到第四个顶点，结合QR二维码特性，选取其4个顶点作为控制点完成畸变校正，所述步骤包括如下：

(251)对QR二维码图像多次进行腐蚀和膨胀运算，多次处理后图像变得锐利；

(252)利用边缘检测算法提取图像边缘信息；

(253)QR二维码图像边界两两的交点即为所寻找的畸变控制点；

根据畸变控制点的位置，对二值化后的QR二维码图像进行至少一次的空间变换进而完成由一般四边形到正方形的变换。

5.根据权利要求1或3所述的一种面向智能物流车的在环仿真方法，其特征在于:所述的低质量QR二维码识别即QR二维码解码过程，包别QR二维码格式信息译码，版本信息译码，消除掩膜，恢复数据和纠错码字，通过纠错码字进行错误检查，存在错误则通过RS纠错进行纠错操作，完成纠错后进行数据码字编译后输出结果。

6.根据权利要求5所述的一种面向智能物流车的在环仿真方法，其特征在于:所述RS纠错是基于BM算法的PS纠错译码，有效简化计算复杂度，RS纠错译码具体步骤包括如下：

(31)计算伴随式值，利用从二维码符号图像中还原出的数据构建码词多项式：

yR(x)＝r_n-1x^n-1+r_n-2x^n-2+…+r₁x₁+r₀ (25)

式(25)中，n个系数为从二维条码符号图像中还原的n个码词，r_n-1为第一个码词，即数据码词，r₀为最后一个码词，即纠错码词；QR二维码的有限域是GF(2^m)，之后计算i个伴随式S_j的数值，如下：

S_j＝R(α^k) (26)

式(26)中，m＝8；k＝m₀，m₀+1，m₀+2，...，m₀+i-1；j＝1，...，i；α＝x⁸+x⁴+x³+x²+1；m0＝0；

(32)计算错误位置多项式，即利用求得的i个伴随式值列出包含由t个未知数的联立方程组：

式(27)中，t＝i/2，利用求出的t个未知数，l₁，l₂，...，l_t构建错误位置多项式：

L(x)＝l_tx^t+l_t-1x^t-1+…+l₁x+1 (28)

(33)求错误位置多项式的根，将有限阈GF(2^m)中所有非零元素逐个代入式(27)，若L(α^k)＝0(k＝1，...，2^m-1)，则找到一个错误，用e＝2^m-l-k标识错误位置；若错误位置的数目大于t，则错误数超过纠错能力，无法正确纠错；

(34)求错误值并对码词进行错误纠正，设步骤(33)得到γ个错误位置，x₁，x₂，...，x_γ，γ≤t，构建含有γ个未知数的方程组：

通过计算式(29)，得到γ个错误位置的错误值：e₁，e₂，...，e_γ，分别将γ个错误值与其错误位置对应的码词值相异或运算，得到纠错后的码词值，完成错误纠正；

(35)简化所述RS纠错译码的计算复杂度，通过BM算法迭代求错误位置多项式L(x)，L^(j)(x)为步骤j的错误位置多项式；ω^(j)(x)为第j步时S(x)与L(x)的乘积；D(j)为L^(j)(x)的次数；d_j为第(j+1)步与第j步乘积S(x)L(x)之间的差值；

S(x)＝1+s₁x+s₂x²+…+s_2jx^2j (30)

由初值L^(-1)(x)＝1，ω^(-1)(x)＝0，D(-1)＝0，d_-1＝1，ω⁽⁰⁾(x)＝1，D(0)＝0，d₀＝s₁，开始迭代运算；若d_j＝0，则L^(j+1)(x)＝L^(j)(x)，ω^(j+1)(x)＝ω^(j)(x)，D(j+1)＝D(j)，若d_j≠0，找出第j步之前的某一步i，其数值在第j步之前的各步中i-D(j)最大，按照下式计算：

D(j+1)＝max[D(j)，D(i)+j-i] (33)

无论d_j是否等于0，d_j+1均按照下式计算：

式(34)中，为中x_i项的系数，通过2t次数迭代后得L^2t(x)为所求的错误位置多项式L(x)。

7.根据权利要求1所述的一种面向智能物流车的在环仿真方法，其特征在于:所述无线自动接收模块由软件和硬件部分组成，软件包括手机客户端软件和快递柜电路板控制软件；硬件包括手机、控制电路板、快递柜和电插锁；所述控制电路板通过互联网或蓝牙方式接收无线开启命令，通过驱动电路控制继电器打开快递箱电控锁，并检测电控锁是否打开。

8.基于权利要求1-7任一所述的一种面向智能物流车的在环仿真系统：其特征在于，包括：

(11)实验环境设置模块，工控机内置Carsim软件，模拟交通场景，球形显示屏显示面向快递存储用户的自动驾驶交通场景；

(12)图像采集模块，工控机开启实验采集摄像头，实时采集实验需求全景图像数据并上传至工控机用于数据分析；

(13)图像感知模块，通过目标全景感知算法程序对摄像头采集的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；

(14)决策控制模块，用于解析全景图像数据处理后的感知结果，完成驾驶决策工作，并输出决策控制信号；

(15)驾驶控制模块，基于Simulink和Carsim联合仿真的汽车控制和动力学模型根据收到的决策控制信号控制智能物流车在交通模拟环境中驾驶；

(16)信息核实模块，通过在后台数据库提前完成用户信息的存储，实验过程智能物流车完成用户二维码的检测识别，连接后台数据库，核实用户信息；

(17)无线自动接收模块，用户经过智能物流车核实信息后，通过在客户端发出开启箱门指令，无线自动接收模块接收信号，快递柜控制电路开启箱门；

(18)人车交互模块，用户在智能物流车打开箱门后，完成存储快递操作，箱门在用户操作结束后自动关闭，智能物流车完成当前交互后执行下一个交互任务。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向智能物流车的在环仿真方法。