CN109068096B - 远程可视快递系统及方法 - Google Patents

Abstract

远程可视快递系统及方法，实现如下快递场景：外置单元接收快递员输入的门铃识别信息，主控装置找到对应的多位联系人信息，获得对应的交互控制模块的用户识别信息；主控装置通过服务平台向门铃关联的多位用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；将外置单元当前采集到的音视频信息实时传输至指定用户，并接收该用户的指令打开对应的快递箱体，同时将内置装置当前采集到的视音频信息实时传输至该用户，该用户通过双视频通道同时播放外置和内置两路视音频信息。本发明研究的课题为货物主人和快递员远程可视沟通；利用实时视音频传输技术，实现在一方不在现场的情况下，保证快递物品的可靠交接。

Description

远程可视快递系统及方法

技术领域

本发明属于快递服务领域，尤其涉及一种远程可视快递方法及系统。

背景技术

随着国内网购的兴起，快递极大便利了人们的生活。然而快递的收、发环节始终是个问题。目前虽然有多种解决方案，比如小区集中的快递接收箱，门卫、小店代收，快鸟驿站代收等。但以上方式各有缺点，以常见的小区集中的快递接收箱为例，存在布点问题、需要支付一定的快递保管费、通常只能收不能发、快递员不再上门投递，快递收取不便等诸多问题。此外，以上所有方式中，缺少货物主人对物品的审查确认环节，容易引起纠纷。

目前的共享快递箱快递员和货物主人是没有直接交流的，快递箱只起到中介保管的作用。快递的收发过程是分离的，不可视的，无法保证货品是否完好。而且一般是单向，即快递员发，客户收，而不能实现反向的过程。

深圳市赛亿科技开发有限公司在申请号为201711111126.6，公开一种智能快递柜：“包括设有多个快递存放柜的柜体；还包括：控制装置，装设于所述柜体内，用于控制智能快递柜的运作；压力感应装置，装设于所述快递存放柜内且与所述控制装置连接，用于感应快递存放柜内是否有物品；通信装置，装设于所述柜体内且与所述控制装置连接，用于与外部装置进行通信；及计时装置，装设于所述柜体内且与所述控制装置连接，用于计算物品放置于快递存放柜内的时长。本发明实施例能及时通知用户领取快递存放柜里边的物品，而且还能起到二次提醒的作用，能有效提高智能快递柜的利用率和防止用户遗忘，避免给用户造成额外的损失。”

但是该智能快递柜同样没有实现货物主人和快递员之间远程的、可视化、可追溯的可靠交接。

发明内容

本发明的目的，是提供一种远程可视快递方法及系统，实现货物主人和快递员之间远程的、可视化、可追溯的可靠交接。

一种远程可视快递系统，包括属于快递箱一侧的：快递箱体、内置单元、外置单元、主控制器、通信单元，服务平台及安装在用户通信终端的交互控制模块，其中：

外置单元设置在箱体外，至少包括：第一视频采集器和交互装置，第一视频采集器用于采集快递箱体周围的视频信息和/或门铃周边的视频信息；交互装置用于快递员与用户之间的交互通信，包括门铃触发和语音交互；

内置单元设置在箱体内，至少包括：控制快递箱体开箱的触发装置，触发装置在主控制器的控制下完成开箱动作；

主控制器：和所述内置单元、外置单元、通信单元都保持连接；用于实现音/视频编解码、通信报文组织和解析、数据存储及通信控制；用于控制触发打开快递箱，并感知快递箱的开关状态；

通信单元：用于信息在互联网中的传递；

交互控制模块：通过服务平台建立与快递箱的主控制器的通信连接，用于在满足触发条件下完成与快递员之间的通信，包括和快递员的语音交互，遥控打开快递箱，接收并播放快递箱主控制器发来的视频信息；

服务平台，用于实现交互控制模块与快递箱主控制器的通信，为交互控制模块和快递箱的主控制器建立包括P2P对等连接在内的通信连接。

所述内置单元还包括第二视频采集器，用于采集快递箱体内的视频信息。

外置单元的交互装置还包括门铃解除器，当门铃被触发后，若超过预先设定时间内无应答，则在服务平台的协助下通过通信模块建立与用户交互控制模块之间的通信。

交互控制模块建立与快递箱的主控制器的通信连接中，交互控制模块和/或快递箱的主控制器还进一步包括：

第一级存储池：用于在发送数据时每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

第二级存储池，用于在接收数据数据包后，根据数据包的序列号存储到其指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

第三级存储池：用于将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧。

所述交互控制模块进一步包括：快递箱远程参数设置、发起对快递箱当前的内置和外置摄像头信息的查看、快递箱数据记录查看、接收门铃事件的提示和推送并作出响应、交互历史信息记录、用户注册登录和参数设置。

主控制器进一步包括：

VI模块：用于捕获视频图像，对其做剪切、缩放、镜像在内的处理，根据参数设置输出不同分辨率的图像数据；

VPSS模块：用于接收VI和解码模块发送过来的图像，对图像进行去噪、图像增强、锐化在内处理；

编码模块：用于接收VI捕获并经VPSS处理后输出的图像数据，叠加用户通过Region模块设置的OSD图像，然后按不同协议进行编码并输出相应码流；

AI模块：用于捕获音频数据，然后AENC模块支持按多种音频协议对其进行编码，最后输出音频码流；

接收到的音频码流直接送给ADEC模块，ADEC支持解码多种不同的音频格式码流，解码后数据送给AO模块即可播放声音；另外视频和音频数据的传输模块涉及到数据的分包、排序、时间戳、加密解密、丢包重新请求在内多个处理步骤。

一种远程可视快递方法，其特征在于，其快递系统包括属于快递箱一侧的：快递箱体、内置单元、外置单元、主控制器、通信单元，服务平台及安装在用户通信终端的交互控制模块，包括以下步骤：

外置单元接收到快递员输入的门铃识别信息，主控制器根据所设参数找到对应的多位联系人信息，获得对应的交互控制模块的用户识别信息；

主控制器通过服务平台向门铃关联的多位交互控制模块用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；

通过通信单元，主控制器将外置单元当前采集到的视音频信息实时传输至指定用户，并接收来自该用户的语音信息，双方进行可视通话；

待用户完成快递物品完好性的确认后，主控制器接收该用户的指令打开对应的快递箱体，同时将内置单元当前采集到的视音频信息实时传输至该用户；

指定交互控制模块用户通过双视频通道同时播放外置和内置两路视频信息，查看快递员的操作过程。

该方法还包括：快递箱体打开后，主控制器控制蜂鸣器间歇性鸣叫，提醒快递员操作结束后关闭箱体；主控制器感知到箱体关闭后，鸣叫停止，视音频连接继续维持若干秒后，触发整个快递通信过程的结束。

交互控制模块与快递箱的主控制器的通信连接中，交互控制模块和/或快递箱的主控制器分别做为发送方和接收方时，进一步包括：

发送方上设置第一级存储池，在接收方设置第二级存储池和第三级存储池；

发送方将每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

接收方接收到数据包后，根据数据包的序列号存储到第二级存储池指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

接收方将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧。

该方法还包括：

接收方设置一标志池，和第二级存储池的每个单元对应；

定时遍历标志池，查看是否有漏包，如果有向发送方请求重发指定序列号的数据包。

并且，该方法还包括：

接收方获取第一帧视音频数据时计算发送方和接收方的系统时间差；

第二级存储池的大小由缓存的时间决定，存储池越大，越有充分时间请求重发漏包，但同时实时通信的延时也大，缓存的时间设置为100-500ms；

接收方收到数据后，通过数据包的时间戳信息控制缓存时间。

较优地，快递过程中采集到的自定义格式视音频文件在快递箱的主控制器或服务平台中保存，用户通过交互控制模块远程查看；所述自定义视音频文件同时包括了外置单元和内置单元采集到的两路视频信息，以及一路快递员和用户交互的语音信息；所述自定义视音频文件的每一帧数据都加注数据来源和统一的时间戳，数据来源用于还原两路视频和一路音频，统一的时间戳用于同步两路视频和一路音频的播放，实现播放录像过程中随时切换主次画面。

本发明研究的课题为货物主人和快递员远程可视沟通；利用实时视音频传输技术，实现在一方不在现场的情况下，保证快递物品的可靠交接。专为远程物品交接设计，其流程设计、实体形态都和远程门铃不同；和其他智能快递箱的工作原理和流程也不一样，实现方案简单，可操作性强。

附图说明

图1为装置侧子系统安装示意图；

图2为装置侧子系统智能部件结构框图；

图3为用户手机APP功能结构框图；

图4为装置侧视频采集、音频采集和播放流程图；

图5为模式一的一种实现原理电路框图；

图6为模式二的一种实现原理电路框图；

图7为装置首次登陆及参数设置流程图；

图8为装置侧登录过程的流程图；

图9为APP用户登录过程的流程图；

图10为远程实时视/音频数据传输流程图

图11为远程录音/像播放功能的实现流程图。

图12A、图12B为门铃事件整体功能实现过程图；

图13为自定义远程实时视音频传输的原理示意图；

图14为自定义远程实时视音频传输的流程示意图；

图15A、图15B为现有实时视音频传输协议和自定义传输协议所传内容对比示意图.

具体实施方式

本发明结合了远程实时视音频数据传输、嵌入式操作系统、互联网通信和智能手机app等多项技术。要实现这样的一个场景：外出时快递人员上门送件或取件，按门铃，若无人应答，通知到手机，视频通话，告知快递人员将快递放到快递箱内，远程操作打开快递箱，快递人员的操作全程可查看，同时录像存档。

实施例

本实施例中，快递箱一侧(包括快递箱体、内置单元、外置单元、主控制器、通信单元)，统称为装置侧子系统，交互控制模块为安装在手机上的APP模块。

需要指出的是，快递箱一侧的主控制器和通信单元的安装位置比较灵活，可以可内置单元一起，安装在快递箱体内；也可以和外置单元一起，安装在快递箱体外；主控制器单元还可以根据需要，拆分成两个相对独立的部分，一部分和内置单元结合在一起，一部分和外置单元结合在一起。具体见图5和图6中对方案一和二的介绍。

远程可视快递系统包含装置侧子系统、服务平台和通信终端APP模块。装置侧子系统和通信终端APP模块主动发起和服务平台的连接；三方保持实时通信连接；在需要大数据通信时，服务平台帮助装置侧子系统和通信终端APP模块建立直接的通信连接。

下面结合装置侧子系统安装示意图(图1)描述系统实现的功能。

外置单元包含室内和室外两个部分，室外的部分为可视对讲面板，安装在合适的高度。包含外置摄像头(含红外夜视功能)、门铃、扬声器、麦克风。外置摄像头采用广角镜头，可以观察快递员在箱体外的操作。门铃按钮如果采用数字组合键，则可以小范围(例如同楼道)的共享；室内的部分是门铃解除按钮，当门内有人应答时，触发该按钮，则事件不会上报到手机APP。

箱体部分为金属防水结构，图中仅为示意，可以有不同种形式的外形结构。天线外置，采用电子锁，遥控打开后箱门会自动弹开。主控部分位于顶部一角，包含内置摄像头、MCU及配套电路、通信模块、照明、蜂鸣器、数据存储卡、电源(电池)。箱体底部用螺丝固定。

具体的操作过程是这样的：当快递员按门铃时，门铃响，此时如果门内有人应答，解除门铃，则过程结束，不会上报到手机APP；若超过若干时间门内无应答，将触发向多个家庭成员发送视频通话请求，以先应答者优先(其他成员会收到已应答提示)，此时门铃停止双方可视频通话。沟通并查看物品没有问题，手机APP触发开箱。箱门弹开，箱内照明打开，蜂鸣器开始间隙性鸣叫，内置摄像头开始工作。此时手机APP会显示画中画的效果，两个摄像头的画面同时显示，可以观察快递员的操作，如有取证需要手机侧也可录像(装置侧子系统会自动录像保存)。操作完毕，快递员关箱，蜂鸣器停止鸣叫，视频通话自动结束(如果操作人员忘记关箱，可语音提示对方)。

另外手机APP模块也可主动查看两个摄像头的实时图像，远程复查装置侧子系统的录像数据。

下面详细介绍装置侧子系统的智能部件及其电路实现。

装置侧子系统智能部件结构框图，如图2所示。

和前述对应的，在本实施例中，装置侧子系统的外置单元(箱体外)第一视频采集器为外置摄像头；交互装置为门铃按钮、门铃解除按钮、麦克风、扬声器。

和前述对应的，在本实施例中，装置侧子系统的内置单元(箱体内)第二视频采集器为内置摄像头；触发装置为电子门锁。

和前述对应的，在本实施例中主控制器包括：MCU及其配套电路、外置存储器，是装置侧子系统的核心部件，和子系统中其他部件都有连接，用于实现音/视频编解码、通信报文组织和解析、数据存储及通信控制、感知门铃触发、控制电子门锁打开快递箱、感知快递箱的开关状态等功能，除此之外还实现：箱体内的照明控制、蜂鸣器控制、电源管理(当箱体选配电池供电时)等功能。外置存储器采用大容量TF卡，存储视、音频历史数据和事件信息。

通信单元用于互联网通信，包括WIFI模块，选配手机公网，作为没有宽带接入环境下的备选通信方案。

根据外置单元和快递箱体安装距离的远近，装置侧子系统的主控制器和通信单元可以选择和外置单元或内置单元安装在一起，也可以根据需要，拆分成两个相对独立的部分，一部分和内置单元结合在一起，一部分和外置单元结合在一起，相应的电路也会有区别，这里举例常用的两种模式。

模式一：外置单元仅仅作为模拟信号的采集，音频部分直接以模拟信号的形式交给主控处理，视频部分仅包含镜头部分(视频信号的A/D变换)，数字处理部分由内置主控装置完成。此种模式仅适合外置单元安装在箱体附近的场景中。

模式二：外置单元是独立的单元，视频编码、音频的编解码直接在内部完成，和主控之间通过网络接口(或WIFI也可)以数据方式通信。

模式一的的电路实现框图如图5所示，装置子系统的主芯片(作为MCU)可以采用华为海思系列HI3518E，该芯片采用ARM9架构，内置DDR2内存，视频编码格式为H264(编码能力720P@25fps)，采用硬件编码，程序运行环境为linux操作系统；镜头芯片采用OV9712；外部存储器FLASH采用W25Q128(128Mbit)，通过SPI接口和HI3518E连接；参数存储器E2PROM通过I2C接口连接HI3518E；HI3518E通过SDIO接口连接大容量TF卡，存储视频和音频资料；HI3518E只有一个USB2.0(HOST)接口，所以当同时连接WIFI模块和手机模块时，需要用Hub芯片扩充USB接口；网络接口包括两个部分：以太网收发芯片采用SMSC8710，采用网络滤波器(HR601680)进行隔离；HI3518E通过功放芯片(HXJ8002)连接扬声器；夜视切换包括光敏电阻(感知光线强弱)、红外灯(夜视照明)、IRCUT驱动(红外滤镜切换)三部分组成；电子门锁部分有现成的产品(平常闭锁，通电开锁，有开关锁的状态触点)；其他的如按钮面板、照明、蜂鸣器都用GPIO进行控制。

模式二的电路实现框图如图6所示，HI3520采用ARM11构架，USB(Host，2.0)接口有两个，所以无需扩充，其他部分参见模式一。

装置侧视频采集、音频采集和播放流程如图4所示.

其中视频编码包括如下过程：

1)VI模块捕获视频图像，对其做剪切、缩放、镜像等处理，根据参数设置输出不同分辨率的图像数据。

2)VPSS模块接收VI和解码模块发送过来的图像，对图像进行去噪、图像增强、锐化等处理。

3)编码模块接收VI捕获并经VPSS处理后输出的图像数据，叠加用户通过Region模块设置的OSD图像(添加时间信息)，然后按不同协议进行编码并输出相应码流。

音频编码过程：

AI模块捕获音频数据，然后AENC模块支持按多种音频协议对其进行编码，最后输出音频码流。

音频解码过程：

接收到的音频码流直接送给ADEC模块，ADEC支持解码多种不同的音频格式码流，解码后数据送给AO模块即可播放声音。另外视频和音频数据的传输涉及到数据的分包、排序、时间戳、加密解密、丢包重新请求等多个处理环节。

下面详细介绍系统中用户手机APP实现的功能。

用户手机APP功能结构框图，如图3所示。包含：装置列表单元块；门铃通话请求提示及推送；APP用户和所有关联装置交互的历史信息记录；APP用户相关信息。

其中装置列表单元块除了显示各装置当前状态(在线或离线、锁开或关)、新装置的添加、装置删除操作外，还可以对每个装置做如下操作：

装置远程参数(参数保存在装置侧子系统)的设置(铃声设置、延迟设置(从门铃触发到远程请求的时长)、联系人清单设置、安全密码设置、程序远程升级、其他设置)；

装置本地参数(参数保存在手机APP中)的设置(包含装置图片设置、昵称设置、访问密码设置)；

外置摄像头和内置摄像头的主动查看；

装置侧子系统历史记录(录像、事件)的查看(有未读信息提示)。

其中门铃通话请求的提示及推送，是指当门铃事件发生时通过震动和铃声的提示，提醒APP用户注意查看，如果此时APP关闭，信息通过推送送达手机。其中的用户和所有关联装置交互的历史信息记录列表(有未读信息提示)，用来记录向该用户发送的所有门铃通话请求及其他事件，按照未读优先、最近发生的事件优先的排列顺序显示。点击可查看详情。例如点击某次通话请求，可直接调看装置侧子系统的录像资料。

其中的用户相关信息包括用户的注册、登录，用户参数设置和显示(包含APP用户头像设置、昵称设置、访问密码设置、注册信息修改)。

下面介绍系统中服务平台实现的功能

装置侧子系统和通信终端APP模块都主动和服务平台维持心跳连接，装置侧子系统上报锁状态，如果是电池供电，还需上报电池余量。于是服务平台维持一张所有在线装置的信息列表和一张所有在线APP用户的信息列表。当装置侧子系统和通信终端APP模块需要视频通话的时候，服务平台帮助装置侧子系统和通信终端APP模块建立P2P通道，让二者可以直接通信。当门铃触发视频通话的请求，装置侧子系统发送给服务平台的请求报文中指定目标APP用户清单(多个家庭成员)，服务平台通过在线APP用户的信息列表，找到每个APP用户的IP地址、端口号，并向这些APP用户同时发送视频通话请求；当某个APP用户向服务平台回送应答信号，服务平台便帮助装置侧子系统和该用户建立P2P通信连接。连接成功后，服务平台向其他APP用户发送取消命令，同时告知该呼叫已被应答。

另外服务平台会记录门铃事件，如果被叫一方因为不在线信息无法送达，服务平台会自动记录该信息，当被叫一方上线后，会第一时间以事件的方式通知对方，告知该次呼叫事件的结果(已被应答或未被应答)，用户可远程调取查看装置侧子系统的录像内容。

快递系统软件方面的具体实施方式将结合远程可视快递方法的说明做进一步的阐述。

一种远程可视快递方法，其快递系统包括属于快递箱一侧的：快递箱体、内置单元、外置单元、主控制器、通信单元，服务平台及安装在用户通信终端的交互控制模块，包括以下步骤：

外置单元接收到快递员输入的门铃识别信息，主控制器根据所设参数找到对应的多位联系人信息，获得对应的交互控制模块的用户识别信息；

主控制器通过服务平台向门铃关联的多位交互控制模块用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；

通过通信单元，主控制器将外置单元当前采集到的视音频信息实时传输至指定用户，并接收来自该用户的语音信息，双方进行可视通话；

待用户完成快递物品完好性的确认后，主控制器接收该用户的指令打开对应的快递箱体，同时将内置单元当前采集到的视音频信息实时传输至该用户；

指定交互控制模块用户通过双视频通道同时播放外置和内置两路视频信息，查看快递员的操作过程；

可视快递方法还包括：快递箱体打开后，主控制器控制蜂鸣器间歇性鸣叫，提醒快递员操作结束后关闭箱体；主控制器感知到箱体关闭后，鸣叫停止，视音频连接继续维持若干秒后，触发整个快递通信过程的结束。

具体地，远程可视快递方法分以下几个过程进行解析：

(一)、装置首次登陆及参数设置

(二)、上电后装置侧的登录过程

(三)、手机APP用户的登录过程

(四)、视频和音频的远距离实时传输过程

(五)、录像播放功能的实现

(六)、视频编码、音频编解码过程(装置侧)

(七)、门铃事件整体功能实现过程

(八)、开箱后箱体内各部件的联动过程

(一)、装置首次登陆及参数设置流程

流程如图7所示。基本内容在图中都有展示，

首先，在手机APP上添加新装置，给装置设置WIFI密码，使装置能连接网络。

随后，装置侧主动连接服务器，服务器核对装置ID和出厂密码，如果验证通过，则装置添加成功，APP继续为装置远程设置参数，其中，参数中最关键的是该装置关联的APP用户列表，参数设置完毕，发送给装置侧并保存。

随后，进入正常工作状态，用心跳和服务器保持连接，同时上报最新状态(包括锁状态、电池用电量等。)

补充说明如下：

1)流程中有一个子过程框：“手机APP给装置设置WIFI密码，使装置能连接网络”，新出厂的装置要连接网络，需要指定WIFI网络，并且设置WIFI密码，装置没有显示，只能通过手机APP给它设置参数。但矛盾的是装置既然没有连接网络，手机如何和它通信，给它设置参数。有两种方式可以做到：一种是装置初始启动时WIFI模块默认进入AP状态，手机APP在添加新装置的状态下，自动搜索该网络，成功连接后，就可以通信了，这时就可以给装置设置它需要登录的WIFI名称和密码；另一种方式是“一键WIFI设置”，通过手机APP发送广播命令，利用广播报文中的长度信息(由于报文内容全部被加密，只有该信息可以被解析)，发送信息，需要一组广播报文才能拼凑出一个完整的WIFI名称和密码信息，装置侧监听广播信息，从中解析出自己需要的信息。

2)装置参数中最关键的是用户列表，每一户可设置多个手机APP用户的ID，这样当门铃事件发生时，可以同时呼叫多个手机APP，提高接通率。

以上参数设置都是通过手机APP远程设置，确认更改后，按照通信规约，远程发送到装置侧保存，手机APP可以随时远程查看设置内容和更改设置内容。

3)手机APP和装置侧都通过心跳维持和服务平台的连接，因为如果一段时间没有通信，该链接将被运营商强行关闭。

(二)、上电后(或断开连接后)装置侧的登录过程

过程如图8所示。基本内容在图中都有展示，包括：

装置侧上电启动，上网建立通信，服务器核对装置侧的登录信息，登录成功后，在服务器的帮助下装置侧进行NAT类型判断。服务器则进一步在数据库中查询是否有该装置的离线信息，有则补发给装置侧，随后，进入正常通信状态。

补充说明如下：

1)PPP脚本的拨号上网，只有在通信使用手机模块(选配)时才会有此步骤，cpu采用linux操作系统，通过USB接口和手机模块进行连接，手机模块作为MODEM使用。

2)装置侧的NAT类型判断，为P2P防火墙的突破做准备

说明一下为什么需要P2P，即实现装置侧和手机APP的直接连接？因为视频和音频数据如果都通过服务平台转发的话，服务平台的负荷相当大，特别是系统中装置和手机APP数量较多时，服务平台不堪重负。所以在大数据量通信时(比如视频、音频、参数设置和读取)需要为装置侧和手机APP建立直接的P2P的连接。

3)离线信息是指当服务平台无法送达信息给装置或手机APP时，将该信息暂时保存到服务平台的数据库中，当收到对方的登录请求或心跳请求后，再补发，防止重要信息的遗漏。

(三)手机APP侧用户登录过程

过程如图9所示。基本内容在图中都有展示，包括：

手机APP启动后，登录服务器，手机向第三方推送服务器注册自己，获得当前手机APP的Token，在服务器的帮助下手机APP进行NAT类型判断，服务器则进一步在数据库中查询是否有该APP用户的离线信息，有则补发，随后手机APP进入正常通行状态。其补充说明如下：

1)APP的token的作用：手机APP一般只有在前台时才工作，当退出前台任务后，会被系统杀死(指APP不工作，手机仍然在工作)，无法再和服务平台通信。这时需要系统服务商(苹果或谷歌)提供推送通知，手机才能收到发给该APP的通知信息。token就是推送服务器推送给指定手机中指定APP的凭证。一般手机安装某个APP后，该APP的token不会改变，除非重新安装；但用户可能通过不同的手机登录，不同手机同一个APP的token是不一样的，所以每次登录都重新上报一次token。

2)当装置侧要通过服务平台给某个APP用户发送信息时，发现该APP用户不在线(APP没有工作，但手机可能仍然开机)，服务平台只能将该信息发送给推送服务器(根据记录，选择苹果或谷歌推送服务器之一)，并附上目标token，于是推送服务器根据该token，将信息发送给指定手机的指定APP。

(四)、视频编码、音频编解码过程(装置侧)

如图4所示，其中视频编码包括如下过程：

1)VI模块捕获视频图像，对其做剪切、缩放、镜像等处理，根据参数设置输出不同分辨率的图像数据。

2)VPSS模块接收VI和解码模块发送过来的图像，对图像进行去噪、图像增强、锐化等处理。

3)编码模块接收VI捕获并经VPSS处理后输出的图像数据，叠加用户通过Region模块设置的OSD图像(添加时间信息)，然后按不同协议进行编码并输出相应码流。

音频编码过程：AI模块捕获音频数据，然后AENC模块支持按多种音频协议对其进行编码，最后输出音频码流。

音频解码过程：

接收到的音频码流直接送给ADEC模块，ADEC支持解码多种不同的音频格式码流，解码后数据送给AO模块即可播放声音。

(五)、视频和音频的远距离实时传输过程

现有的实时视音频传输一般采用RTP+RTCP传输协议，录像的远程播放一般再增加一个RTSP协议(暂停、快进、后退的控制)。该技术方案实现比较简单，调用现有的库文件来实现，只需要输入端将编码后的数据流交给接口；输出端直接从接口取出，进行解码即可，过程就完全不用控制。但该协议的最大缺点是没有出错重传的机制，另外传输的数据流格式必须是标准的。不利于数据的保密和数据的自定义处理。

我们没有采用此种方式，而是在UDP这种最基础的通信方式下，用自定义的协议实现视频和音频数据的远距离实时传输，具体过程如图10示，包括：

装置侧的码流依次经过压缩、编码、加时间戳、同步信息、加密、打包、放入设备存储池的过程后，通过UDP通信方式传输到交互控制模块后先暂存在存储池，经过排序后，交互控制模块判断传输的码流是否有漏帧，若有，则请求装置补发，否则，将排序后的数据包经过解密、解码后，进入可播放状态。

自定义实时视音频传输协议的核心部分内容如图13、14所示，说明如下：

步骤一：发送方上设置第一级存储池，在接收方设置第二级存储池和第三级存储池；

步骤二：发送方将每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

步骤三：接收方接收到数据包后，根据数据包的序列号存储到第二级存储池指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

步骤四：接收方将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧。

视音频数据最终解码并播放，由于经过了接收方第二、三级的数据缓存，平滑了数据传输的峰谷，使画面和音质更加流畅。

上述的发送方一般可以指快递箱这一端的数据采集后的发送，接收方一般是指用户，比如可以接收在用户的APP上。

当数据传输过程中出现数据包丢失或次序混乱的问题时，可以在最短的时间内恢复数据，第二级存储池的大小由缓存的时间决定，存储池越大，越有充分时间请求重发漏包，但同时实时通信的延时也越大，缓存的时间设置为100-500ms。由于实现了出错重传机制，画面和声音基本不会有马赛克和卡顿现象。同时接收方的数据缓存，使播放效果更加流畅。

具体地：发送方将一帧数据拆分成长度固定的多个数据包(UDP协议在发送时遇到长数据，会自动拆分成多个数据包，在接收侧重新排序组合，如果中间错了一个数据包，则整帧数据全部丢掉，不吐给接收方。仅仅因为一个数据包而损失了整帧数据，为了避免这样的情况发生，拆分的工作还是由自己来完成)，并给每个数据包增加时间戳和序列号信息。在数据发送的同时将数据保存到第一级存储池中。

接收方收到数据包后，根据数据包的序号存储到第二级存储池的指定单元中(已经起到了排序的作用)。同时为加速遍历，另外设置一个标志池，和该存储池的每个单元一一对应。定时遍历标志池，查看是否有漏包，如果有向发送方请求重发漏包(指定序列号)；接收方收到该请求后查询第一级存储池，如果数据存在，则补发。

第二级存储池的大小由缓存的时间决定，存储池越大，则有充分的时间请求重发漏包；但同时实时通信的延时也会越大。所以一般以缓存300ms为宜，再大图像就会有明显的滞后感。缓存时间通过数据包中的时间戳信息控制，由于该信息是发送方提供的，而解析和使用是接收方，所以需要统一收发双方的时间系统，解决方法是在获取第一帧数据时计算两套系统的时间差值。

当第二级存储池溢出时(所存储的数据量大于300ms)，溢出的数据会转存到第三级存储池，进入到该存储池的数据没有再次修正和补发的机会。将该存储池中的数据包解包，根据规约重新组合成一帧帧的数据，进入解码和播放的环节。

从模块化的角度来说，用户建立与快递箱的主控制器的通信连接中，用户和/或快递箱的主控制器还进一步包括：

第一级存储池：用于在发送数据时每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

第二级存储池，用于在接收数据数据包后，根据数据包的序列号存储到其指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

第三级存储池：用于将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧。

前两级存储池是为了解决UDP通信的漏发和排序问题，最后一级存储池是为了将数据包重新装载成数据帧。三级存储池的类型为均为堆(FIFO)，储满后循环使用。

本发明所实现的自定义实时视音频传输协议，实现了传输过程中对错帧的重新排序，以及对漏帧的重发，解决了因错帧和漏帧导致画面出现马赛克、声音出现卡顿的问题。除此之外，自定义协议对所传视音频数据的格式并没有要求，可以实现对传输数据的加密以及自定义。

(六)、远程录像播放功能的实现

是指在手机APP侧播放存储在装置侧的录像文件，和实时视音频的传输过程一样，我们没有采用现有的协议，而是采用自定义的协议实现该过程，如图11所示。

和实时传输相比，录像文件的远程播放过程稍微简单一些，因为实时传输的漏码重发需要非常短的时间内完成，否则就会有明显的延时；而录像文件的播放对此要求不严格，于是存储池可以做的大些，有充分的时间请求漏码重发。但录像文件的播放也有自己的难点，就是暂停、快进、后退的处理。

本发明产生的自定义录像文件，其内置和外置摄像头采集的图像可以一起显示，方便互相印证，另外在录像的播放过程中还可以点击切换主次画面，便于进一步多角度观察快递员操作的细节，这个功能藉由本发明采用自定义传输协议，自定义录像文件格式并配合自定义的播放器才得以实现。

解释1：我们常见的微信在视频聊天时也有画中画功能，会有主次画面，但这个画面一个是来自对方，远程传输过来的画面，另一个是自己的摄像头拍摄出的本地画面(不是远程传输而来的画面)。当产生录像文件时，一般只会有一个画面；即使有的录像有画中画的效果(次画面已经嵌入到主画面，形成一个画面)，也不能点击切换主画面，因为其本质上仍是一路视频。

解释2：采用现有的实时视音频传输协议(RTP+RTCP)，其产生的录像文件为什么不能点击切换主次画面？具体参考图15A说明如下：

1、实时视音频传输协议(RTP+RTCP)对传输的码流格式有要求，必须是标准格式的，所以如果要传输两个画面的视频图像，必须在传输之前对图像处理，将一个画面嵌入另一个画面中，产生一个标准的视频图像的数据流。

2、标准格式的视频码流，这里以常用的h264为例，都是不带时间戳的，时间戳会在RTP+RTCP的传输过程中自动添加和删除，所以最终取出的数据仍然是不带时间戳的h264标准视频格式。

上述处理方式有以下问题：

1、根据过程的描述，可以看到这样产生的录像文件，其画中画图像的主次画面是固定的，无法切换主次画面。

2、也许有人会提出这样的解决方案：采用两路socket，分别独立传输两路视频。那么这样产生的两路视频能否用画中画的功能来播放？首先，标准播放器无法播放两路视频；其次即使采用自定义的播放器，也无法实现两路视频的同步功能，因为h264格式中不带时间戳，h264图像的播放是根据每秒若干帧的固定帧率来播放的，如果某一路图像因为传输过程损失几帧，两路图像就会马上不同步，无法进行对比。

所以采用现有的实时视音频传输协议(RTP+RTCP)，其产生的录像文件可以有画中画功能，但不能点击切换主次画面。

解释3：本发明为何能实现同时播放两路视频，实现画中画功能，并随时可点击切换主次画面功能？具体参考图15B说明如下：

如前述所述，本发明所实现的自定义实时视音频传输协议，对其传输的视音频数据格式是没有要求的，其内容也完全可以自定义：对来自两路摄像头和一路麦克风的视频和音频数据，添加标注数据来源，并添加统一的时间戳，数据如此处理后进入传输通道；接收方接收到数据后对此数据进行保留存储，即产生自定义的录像文件。该录像文件每一帧数据都标明了数据来源类型和统一的时间戳。数据来源类型用于还原两路视频和一路音频，统一的时间戳用于同步三路数据的播放。由此产生的自定义录像文件包含了完整的两路视频和一路音频，实现画中画功能，或切换主次画面当然没有问题。

(七)、门铃事件整体功能实现过程

过程如图12A、12B所示，

通信连接的建立过程：

当快递员在面板上输入对应房间号后，装置根据所设参数找到该房间号对应的多个联系人，获得对应的APP用户ID。装置随后给服务器发送视频通话连接请求，请求中包含多个APP联系人ID，服务器在APP在线用户的列表中遍历搜索这些APP用户ID，获取其对应的IP地址和端口号，向其发送连接请求，当有其中之一的APP用户进行了同意连接的应答，服务器根据双方的NAT类型，为装置和APP用户建立P2P连接。与此同时服务器向其他关联联系人的APP发送本次通话已被应答的事件通知，如果未对方为离线状态，服务器为该APP用户记录此次离线事件。

APP用户和快递员的视频通话过程：

装置侧将外置单元采集到的视频、音频数据经编码处理后远程传输到手机APP侧，手机APP侧将此视频、音频数据流进行解码和播放；与此同时，手机APP侧将音频数据编码处理后远程传输到装置侧，装置侧将此音频数据流进行解码和播放。如此实现了手机APP用户和快递员之间的语音通话，并通过远程视频检查了快递物品的完好性。

快递员将快递物品放入快递箱的过程：

APP用户远程操作打开快递箱，此时装置侧内置单元的视频采集功能开始有效，装置侧将此视频数据流进行编码处理后，远程传输到手机APP侧，手机APP侧将此视频进行解码和播放。此时手机APP侧用画中画功能同时播放装置的内置和外置两路视频，并且维持和装置侧的语音通话功能，APP用户可以根据需求切换主次画面。如此实现了APP用户通过两路视频查看快递员将物品放入快递箱的完整过程。

快递投递过程的结束：

快递员将箱门关闭，装置侧感知箱门的关闭动作，继续维持通信若干秒(记录快递员的离开，复查快递箱内的物品)，装置侧主动结束整个通信过程。

另外，装置侧会自动产生并保存一个记录快递投递全过程的录像文件，包含内置单元和外置单元记录的两路视频，以及语音的双向交互数据。手机APP侧如果有取证的需要，也可以手动录像，保存到手机APP中，录像的内容和装置侧一致。

图中省略了快递员按门铃，如果门内有人答，直接响应，解除门铃的过程。

另外，该流程同样适用快递员上门取快递的过程，所以区别于传统快递箱一般只适用快递员投递，用户取件的功能限制，本发明的快递收发过程是双向的。

(八)、开箱后箱体内各部件的联动过程

内置摄像头、照明、蜂鸣器的联动过程：箱门弹开，箱内照明打开，蜂鸣器开始间隙性鸣叫，内置摄像头开始工作；箱门关闭，装置感知箱门的关闭动作，蜂鸣器停止鸣叫，摄像头和照明延迟工作10s，整个过程结束。

箱体的开关和状态感知：采用电子锁，通过IO脚控制和感知箱体的状态。

本发明研究的课题为货物主人和快递员远程沟通；通过实时视音频技术的保障，实现在一方不在现场的情况下，保证快递物品的可靠交接。专为远程物品交接设计，其流程设计、实体形态都和远程门铃不同；和其他智能快递箱的工作流程也不一样，要解决的问题也不同。

本技术领域的技术人员应理解，本发明可以以许多其他具体形式实现而不脱离其本身的构思或范围。尽管已描述了本发明的实施案例，应理解本发明不应限制为这些实施例，本技术领域的技术人员可如所附权利要求书界定的本发明的构思和范围之内作出变化和修改。

Claims (11)

1.一种远程可视快递系统，包括属于快递箱一侧的：快递箱体、内置单元、外置单元、主控制器、通信单元，服务平台及安装在用户通信终端的交互控制模块，其特征在于，其中：

外置单元设置在箱体外，至少包括：第一视频采集器和交互装置，第一视频采集器用于采集快递箱体周围的视频信息和/或门铃周边的视频信息；交互装置用于快递员与用户之间的交互通信，包括门铃触发和语音交互；

内置单元设置在箱体内，至少包括：控制快递箱体开箱的触发装置，触发装置在主控制器的控制下完成开箱动作；所述内置单元还包括第二视频采集器，用于采集快递箱体内的视频信息；

主控制器：和所述内置单元、外置单元、通信单元都保持连接；用于实现音/视频编解码、通信报文组织和解析、数据存储及通信控制；用于控制触发打开快递箱，并感知快递箱的开关状态；

通信单元：用于信息在互联网中的传递；

交互控制模块：通过服务平台建立与快递箱的主控制器的通信连接，用于在满足触发条件下完成与快递员之间的通信，包括和快递员的语音交互，遥控打开快递箱，接收并播放快递箱主控制器发来的视频信息；通过画中画功能同时播放装置的内置单元和外置单元的两路视频，并且维持和装置侧的语音通话功能，所述用户通信终端可以根据需求切换主次画面；对两路视频和一路音频数据，添加标注数据来源，并添加统一的时间戳，数据处理后进入传输通道；接收方接收到数据后对此数据进行保留存储；通过数据来源类型还原两路视频和一路音频，并统一时间戳同步三路数据的播放；

主控制器通过服务平台向门铃关联的多位交互控制模块用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；

交互控制模块建立与快递箱的主控制器的通信连接中，交互控制模块和/或快递箱的主控制器还进一步包括：

第一级存储池：用于在发送数据时每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

第二级存储池，用于在接收数据数据包后，根据数据包的序列号存储到其指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

第三级存储池：用于将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧；

其中，发送方上设置第一级存储池，在接收方设置第二级存储池和第三级存储池；

服务平台，用于实现交互控制模块与快递箱主控制器的通信，为交互控制模块和快递箱的主控制器建立包括P2P对等连接在内的通信连接。

2.如权利要求1所述的系统，其特征在于，所述装置侧子系统和用户通信终端的交互控制模块视频通话时，所述服务平台帮助所述装置侧子系统和所述用户通信终端的交互控制模块建立P2P通道，让二者直接通信；当门铃触发视频通话的请求，装置侧子系统发送给服务平台的请求报文中指定目标用户通信终端的交互控制模块清单；所述服务平台通过在线用户通信终端的交互控制模块的信息列表，找到每个交互控制模块的IP地址、端口号，并向所述用户通信终端的交互控制模块同时发送视频通话请求；当某个交互控制模块向所述服务平台回送应答信号，所述服务平台便帮助装置侧子系统和该用户通信终端的交互控制模块建立P2P通信连接；连接成功后，所述服务平台向其他交互控制模块发送取消命令，同时告知该呼叫已被应答。

3.如权利要求1所述的系统，其特征在于，装置侧的码流依次经过压缩、编码、加时间戳、同步信息、加密、打包、放入设备存储池的过程后，通过UDP通信方式传输到交互控制模块后先暂存在存储池，经过排序后，交互控制模块判断传输的码流是否有漏帧，若有，则请求装置补发，否则，将排序后的数据包经过解密、解码后，进入可播放状态。

4.如权利要求1所述的系统，其特征在于，外置单元的交互装置还包括门铃解除器，当门铃被触发后，若超过预先设定时间内无应答，则在服务平台的协助下通过通信模块建立与用户交互控制模块之间的通信。

5.如权利要求1所述的系统，其特征在于，所述交互控制模块进一步包括：快递箱远程参数设置、发起对快递箱当前的内置和外置摄像头信息的查看、快递箱数据记录查看、接收门铃事件的提示和推送并作出响应、交互历史信息记录、用户注册登录和参数设置。

6.如权利要求1所述的系统，其特征在于，主控制器进一步包括：

视频和音频数据的传输模块涉及到数据的分包、排序、时间戳、加密解密、丢包重新请求在内多个处理步骤。

7.一种远程可视快递方法，其特征在于，其快递系统包括属于快递箱一侧的：快递箱体、内置单元、外置单元、主控制器、通信单元，服务平台及安装在用户通信终端的交互控制模块，包括以下步骤：

外置单元接收到快递员输入的门铃识别信息，主控制器根据所设参数找到对应的多位联系人信息，获得对应的交互控制模块的用户识别信息；

主控制器通过服务平台向门铃关联的多位交互控制模块用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；

通过通信单元，主控制器将外置单元当前采集到的视音频信息实时传输至指定用户，并接收来自该用户的语音信息，双方进行可视通话；

待用户完成快递物品完好性的确认后，主控制器接收该用户的指令打开对应的快递箱体，同时将内置单元当前采集到的视音频信息实时传输至该用户；

指定交互控制模块用户通过双视频通道同时播放外置和内置两路视频信息，查看快递员的操作过程；

交互控制模块与快递箱的主控制器的通信连接中，交互控制模块和/或快递箱的主控制器分别做为发送方和接收方时，进一步包括：

通过画中画功能同时播放装置的内置单元和外置单元的两路视频，并且维持和装置侧的语音通话功能，所述用户通信终端可以根据需求切换主次画面；对两路视频和一路音频数据，添加标注数据来源，并添加统一的时间戳，数据处理后进入传输通道；接收方接收到数据后对此数据进行保留存储；通过数据来源类型还原两路视频和一路音频，并统一时间戳同步三路数据的播放；

主控制器通过服务平台向门铃关联的多位交互控制模块用户同时发起呼叫，以先应答者优先原则建立其中之一指定用户的通信；

发送方上设置第一级存储池，在接收方设置第二级存储池和第三级存储池；

发送方将每一帧视/音频数据拆分成长度固定的多个数据包，并在每个数据包上增设包括时间戳和序列号在内的标记信息；

接收方接收到数据包后，根据数据包的序列号存储到第二级存储池指定排序位置；如果有漏包的，则请求发送方通过第一级存储池发送对应标识的数据包；

接收方将第二级存储池已排好序的数据包转存至第三级存储池，解包后重新装载组合成视/音频数据帧。

8.如权利要求7所述的远程可视快递方法，其特征在于，还包括：快递箱体打开后，主控制器控制蜂鸣器间歇性鸣叫，提醒快递员操作结束后关闭箱体；主控制器感知到箱体关闭后，鸣叫停止，视音频连接继续维持若干秒后，触发整个快递通信过程的结束。

9.如权利要求8所述的方法，其特征在于，还包括：

接收方设置一标志池，和第二级存储池的每个单元对应；

定时遍历标志池，查看是否有漏包，如果有向发送方请求重发指定序列号的数据包。

10.如权利要求7或9所述的方法，其特征在于，还包括：

接收方获取第一帧视音频数据时计算发送方和接收方的系统时间差；

第二级存储池的大小由缓存的时间决定，存储池越大，越有充分时间请求重发漏包，但同时实时通信的延时也大，缓存的时间设置为100-500ms；

接收方收到数据后，通过数据包的时间戳信息控制缓存时间。

11.如权利要求7所述的远程可视快递方法，其特征在于，快递过程中采集到的自定义格式视音频文件在快递箱的主控制器或服务平台中保存，用户通过交互控制模块远程查看；所述自定义视音频文件同时包括了外置单元和内置单元采集到的两路视频信息，以及一路快递员和用户交互的语音信息；所述自定义视音频文件的每一帧数据都加注数据来源和统一的时间戳，数据来源用于还原两路视频和一路音频，统一的时间戳用于同步两路视频和一路音频的播放，实现播放录像过程中随时切换主次画面。

Images