CN112770147A - 基于云安全认证的无人驾驶透视盒子及其实现方法 - Google Patents

基于云安全认证的无人驾驶透视盒子及其实现方法 Download PDF

Info

Publication number
CN112770147A
CN112770147A CN202110080243.0A CN202110080243A CN112770147A CN 112770147 A CN112770147 A CN 112770147A CN 202110080243 A CN202110080243 A CN 202110080243A CN 112770147 A CN112770147 A CN 112770147A
Authority
CN
China
Prior art keywords
video
perspective
module
box
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110080243.0A
Other languages
English (en)
Other versions
CN112770147B (zh
Inventor
毛书朋
李光顺
张星海
张雪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Normal University
Rizhao Polytechnic
Original Assignee
Qufu Normal University
Rizhao Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Normal University, Rizhao Polytechnic filed Critical Qufu Normal University
Priority to CN202110080243.0A priority Critical patent/CN112770147B/zh
Publication of CN112770147A publication Critical patent/CN112770147A/zh
Application granted granted Critical
Publication of CN112770147B publication Critical patent/CN112770147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623—Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明涉及一种基于云安全认证的无人驾驶透视盒子及其实现方法，属于无人驾驶安全管控技术领域。本发明包含视频采集模块、无线通信模块、数据处理与控制模块、数据输出模块和数据存储模块五部分，具体实现方法包括视频采集与存储、云端安全互任、视频流传输、视频透视合成、云端管控五部分。本发明实现实时影像的获取与存储、云端安全互认、视频流实时传输与视频透视合成，实现对未知或遮挡区域的透视功能，并通过云端安全互任和云端管控平台实现设备的安全互任与视频流信息的安全传输，不仅解决了对被遮挡区域的透视，还解决了遮挡区域的影像信息的安全传输问题，并可以实现云端安全管控；可以广泛应用在无人驾驶、高危生产环境等领域。

Description

基于云安全认证的无人驾驶透视盒子及其实现方法
技术领域
本发明涉及一种基于云安全认证的无人驾驶透视盒子及其实现方法，属于无人驾驶安全管控技术领域。
背景技术
无人驾驶已不是一个新鲜事物，从上个世纪七八十年代人们就开始进行研究，其交通效率和安全性随着时间的推移不断提升，现早已成为汽车发展的方向，但未被大规模推广，进入寻常百姓家，究其原因就是其安全性还无法得到完全保证，特别是对未知突发状况的预算能力还不足够强大，这主要因为其无法获取被遮挡区域的图像信息，确切地说如果无人驾驶汽车可以透视被遮挡区域，然后再对其进行综合处理分析，就可以极大地提升对周围环境及发展状况的预算准确度，进而进一步提升交通效率和安全性。
发明内容
为了从根本上实现无人驾驶中获取未知或遮挡区域实时影响，即实现透视功能，本发明以简单的硬件组合，实现实时影像的获取与存储、云端安全互认、视频流实时传输与视频透视合成，实现对未知或遮挡区域的透视功能，并通过云端安全互任和云端管控平台实现设备的安全互任与视频流信息的安全传输。
本发明所述的基于云安全认证的无人驾驶透视盒子，包括如下部件：
数据处理与控制模块：是对数据进行透视合成的数据处理和对其它模块进行控制；
视频采集模块：负责视频影像的实时采集；
无线通信模块：包括云端通信模块和近场通信模块，云端通信模块主要负责与云端安全互任信息的通信，近场通信模块主要负责视频流传输的通信，其中：
云端通信模块：通过该模块直接接入互联网的通信模块，可以是GPRS单元、4G单元、5G单元、Wifi单元；
近场通信模块：为近距离传送的通信模块，可以是含射频识别单元、蓝牙单元、ZIGBEE单元、红外单元、Wifi单元；
视频输出模块：负责对已经合成的影像数据进行输出；
数据存储模块：包括采集视频存储模块和合成视频存储模块，视频存储模块依据时间戳采用固定时长分文件存储的方式进行存储，并根据存储容量的大小采用按时间先后顺序覆盖存储的模式。
优选地，所述数据处理与控制模块，包括采集控制、通信控制、视频输出控制、存储控制四个子模块，负责对视频采集模块数据的采集和对其进行数据存储的控制、对无线通信数据的收发进行控制、对透视合成视频的输出和存储的控制。
优选地，所述视频采集模块通过外接如摄像头、夜视仪等外部视频采集设备，获取外界的图像和视频影像信息。
优选地，所述视频输出模块，通过HDMI、Type-C数据接口对接显示器、投影仪、VR眼镜显示设备，实现合成影像数据的输出。
本发明所述的基于云安全认证的无人驾驶透视的实现方法，包括如下步骤：
S1：视频采集与存储：包括如下小步：
S11：视频采集模块通过外接的如摄像头、夜视仪等视频采集设备，获取实时影像视频信息；
S12：数据处理与控制模块的采集控制模块对采集来的信息进行控制，进入步骤S13或同时进入步骤S13和步骤S14；
S13：数据处理与控制模块中的存储控制模块对采集的影像视频数据进行控制，存储到视频存储模块中的采集视频存储模块；
S14：数据处理与控制模块中的通信控制模块通过对通信信息模块中的近场通信模块进行控制，将采集的影像视频数据实时传输出去；
S2：云端安全互任：通过无线通信模块把需要进行视频数据传输的双方设备信息发送到云端进行设备的合法性认证，或合法或非法，这是实现安全通信信道建立的基础，下面以透视盒子N主动与透视盒子M进行云端安全互任，建立安全通信信道，包括如下小步：
S201：透视盒子N发送通信请求，此时发送的请求带着自身的唯一设备识别码N-ID；
S202：透视盒子M接收请求，同时回传自己的唯一设备识别码M-ID给透视盒子N，进入S210；
S203：透视盒子N接收M-ID；
S204：透视盒子N发送N-ID和M-ID到云端进行设备的云端合法认证；
S205：云端认证管理平台首先对N-ID和M-ID进行不重复验证，再对主设备N-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S206；
S206：云端认证管理平台对M-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S207，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S208；
S207：透视盒子M接收回传信息，终止本次信息传输；
S208：透视盒子M接收合法信息；
S209：透视盒子M与对方建立通信线路；
S210：M发送M-ID和N-ID到云端进行设备的云端合法认证；
S211：云端认证管理平台首先对M-ID和N-ID进行不重复验证，再对主设备M-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S212；
S212：云端认证管理平台对N-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S213，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S214；
S213：透视盒子N接收回传信息，终止本次信息传输；
S214：透视盒子N接收合法信息；
S215：透视盒子N与对方建立通信线路；
步骤S209和步骤S215同时成立，则透视盒子N建立通信线路；
S3：视频流传输：工作在无线通信模块中的近场通信模块，即视频采集模块采集的数据流信息通过无线通信模块进行稳定的数据传输，包括如下小步：
S31：视频盒子M向视频盒子N发送实时视频数据，同时向N发送心跳数据；
S32：视频盒子N侦测接收实时放过来的数据，如没有侦测到发送过来的数据，说明通信线路已经中断，则重新发送通信请求；
S33：透视盒子N向M发送心跳数据；
S34：透视盒子M实时侦测N发送的心跳数据，若接收不到心跳数据则终止信息传输；
S35：透视盒子N实时侦测M发送的心跳数据，若接收不到心跳数据则终止信息传输；
S4：视频透视合成：工作在数据处理与控制模块，是实现透视的核心，即对获取同一时间的接收视频信息和采集视频信息，利用图像合成技术实现图像合成进而实现视频的合成，最终实现透视的效果，包括如下小步：
S41：透视盒子N对接收到的透视盒子M的视频进行图像序列化，并以时间戳命名，如IMGMt1；
S42：透视盒子N对自身获取的视频进行图像序列化，并以时间戳命名，如IMGNt1；
S43：透视盒子N，根据具体的透视模式，对两张图像通过图形图像处理技术进行处理，合成新的图像，实现可视化的效果；
S44：透视盒子N对生成的新图像序列进行视频化，即生成新的视频，即透视后的影响；
S5：云端管控：是部署在云端的一套软件平台，包含透视盒子合法设备管理、透视盒子安全认证管理、非法认证警报、安全认证日志管理四部分的管理模块以及存储对应信息的数据库，保证透视设备间的安全认证、异常认证的实时报警、认证信息的记录和追溯等功能。
优选地，所述步骤S1中，视频采集模块的工作模式分为以下三种模式：
A.独立运作模式：数据处理与控制模块通过采集控制子模块获得视频采集模块采集的实时视频，并通过存储控制子模块控制采集视频存储模子块对采集视频流数据进行存储，同时可以通过视频输出控制模块直接输出到数据输出模块；
B.被动请求模式：包含模式A的工作的同时，数据处理与控制模块通过通信控制子模块控制无线通信模块中的近场通信子模块实时发送出采集视频流数据；
C.主动请求模式：包含模式A的工作的同时，数据处理与控制模块通过无线通信中的近场通信模块接收发送过来的视频流数据，通过数据处理与控制模块的视频透视合成数据处理，生成透视视频流，并通过视频输出控制和存储控制子模块，对透视视频进行输出和存储。
优选地，所述步骤S43中，透视盒子N的透视模式根据用户需要进行衍生，包括前行模式、拐弯模式、俯瞰模式。
优选地，所述步骤S43中，前行模式的具体实现方法如下：
S431：在IMGNt1中找到IMGMt1的边缘，对应内部图像为IMGNt1＇；
S432：计算IMGNt1＇和IMGMt1的大小比例a；
S433：对IMGMt1进行等比例缩放a倍，为IMGMt1＇；
S434：在IMGNt1中用IMGMt1＇覆盖IMGNt1＇，生成新的图像IMGNt1＂，即为合成透视后的图像；
则前行模式的透视算法表示为：
(IMGMt1-IMGMt1∩IMGNt1)∩{IMGNt1[(IMGMt1∩IMGNt1)/IMGMt1]}。
优选地，所述步骤S43中，拐弯模式的具体实现方法如下：在判断透视盒子M相对于N的位置后，也就是判断拐弯方向是向左或向右之后，在IMGNt1上向左或右进行扩展，并标注方向；
则拐弯模式的透视算法表示为：
IMGMt1∪IMGNt1。
优选地，所述步骤S43中，俯瞰模式的具体实现方法如下：在IMGNt1上扩展显示IMGMt1，并在判断透视盒子N相对于透视盒子M的位置后，在IMGMt1上高亮或框选显示N的位置。
本发明的有益效果是：本发明所述的基于云安全认证的无人驾驶透视盒子及其实现方法，不仅解决了对被遮挡区域的透视，还解决了遮挡区域的影像信息的安全传输问题，并可以实现云端安全管控；可以广泛应用在无人驾驶、高危生产环境等领域，应用前景极为广阔，意义重大。
附图说明
图1是本发明的透视盒子硬件结构简图。
图2是本发明的云端安全互任流程模型图。
图3是本发明的视频传输的流程模型图。
图4是本发明的视频透视合成的流程模型图。
图5(a)-图5(c)是视频透视合成的模式示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本发明所述基于云安全认证的无人驾驶透视盒子包含视频采集模块、数据处理和控制模块、无线通信模块、数据输出模块、数据存储模块五部分，具体实现方法包括视频采集与存储、云端安全互任、视频流传输、视频透视合成、云端管控五部分。其中：
视频采集模块主要是负责视频影像的实时采集与本地存储，可以直接外接如摄像头、夜视仪等外部视频采集设备，获取外界的图像和视频影像信息。
数据处理与控制模块主要是对数据进行透视合成的数据处理和对其它模块的进行控制，控制部分又包含采集控制、通信控制、视频输出控制、存储控制四个子模块，负责对视频采集模块数据的采集和对其进行数据存储的控制、对无线通信数据的收发进行控制、对透视合成视频的输出和存储的控制。
无线通信模块包含云端通信模块和近场通信模块两部分，云端通信模块主要是指可以通过该模块直接接入互联网的通信模块，如GPRS、4G、5G、Wifi等通信模块；近场通信模块是指可以近距离传送的通信模块，主要包含射频识别(RFID)、蓝牙(Bluetooth)、紫蜂(ZigBee)、红外、Wifi等。云端通信模块主要负责与云端安全互任信息的通信，近场通信模块主要负责视频流传输的通信。
视频输出模块主要负责对已经合成的影像数据进行输出，可以通过现有的如HDMI、Type-C等数据接口对接如显示器、投影仪、VR眼镜等显示设备，实现合成影像数据的输出。
数据存储模块又包含两部分，采集视频存储模块和合成视频存储模块，视频存储模块依据时间戳采用固定时长分文件存储的方式进行存储，并根据存储容量的大小采用按时间先后顺序覆盖存储的模式。
如图2至图5所示，本发明所述的基于云安全认证的无人驾驶透视的实现方法包括视频采集与存储、云端安全互任、视频流传输、视频透视合成、云端认证平台五部分。
S1：视频采集与存储的实现较为简单，步骤如下：
S11：视频采集模块通过外接的如摄像头、夜视仪等视频采集设备，获取实时影像视频信息；
S12：数据处理与控制模块的采集控制模块对采集来的信息进行控制，进入S13或同时进入步骤S13和步骤S14；
S13：数据处理与控制模块中的存储控制模块对采集的影像视频数据进行控制，存储到视频存储模块中的采集视频存储模块；
S14：数据处理与控制模块中的通信控制模块通过对通信信息模块中的近场通信模块将采集的影像视频数据实时传输出去。
通过上面的实现步骤，可以对视频采集模块的工作模式分为以下三种模式：
A.独立运作模式，数据处理与控制模块通过采集控制子模块获得视频采集模块采集的实时视频，并通过存储控制子模块控制采集视频存储模子块对采集视频流数据进行存储，也可通过视频输出控制模块直接输出到数据输出模块；
B.被动请求模式，包含模式A的工作的同时，数据处理与控制模块通过通信控制子模块控制无线通信模块中的近场通信子模块实时发送出采集视频流数据；
C.主动请求模式，包含模式A的工作的同时，数据处理与控制模块通过无线通信中的近场通信模块接收发送过来的视频流数据，通过数据处理与控制模块进行视频透视合成的数据处理，生成透视视频流，并通过视频输出控制和存储控制子模块，对透视视频在视频输出模块进行输出和在合成视频存储模块进行存储。
S2：云端安全互任，主要是通过无线通信模块把需要进行视频数据传输的双方设备信息发送到云端进行设备的合法性认证，或合法或非法，这是实现安全通信信道建立的基础。下面以透视盒子N主动与透视盒子M进行云端安全互任，建立安全通信信道为例，如图2所示，具体步骤如下：
S201：透视盒子N发送通信请求，此时发送的请求带着自身的唯一设备识别码N-ID
S202：透视盒子M接收请求，同时回传自己的唯一设备识别码M-ID给透视盒子N，进入补正S210；
S203：N接收M-ID；
S204：N发送N-ID和M-ID到云端进行设备的云端合法认证；
S205：云端认证管理平台首先对N-ID和M-ID进行不重复验证，再对主设备N-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S206；
S206：云端认证管理平台对M-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S207，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S208；
S207：透视盒子接收回传信息，终止本次信息传输；
S208：透视盒子接收合法信息；
S209：透视盒子与对方建立通信线路；
S210：M发送M-ID和N-ID到云端进行设备的云端合法认证；
S211：云端认证管理平台首先对M-ID和N-ID进行不重复验证，再对主设备M-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S212；
S212：云端认证管理平台对N-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S213，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S214；
S213：透视盒子接收回传信息，终止本次信息传输；
S214：透视盒子接收合法信息；
S215：透视盒子与对方建立通信线路。
步骤S209和步骤S215同时成立透视盒子建立通信线路。
S3：视频流传输在建立安全通信信道的基础上进行视频流传输，为了保证视频进行安全稳定地传输，还需要进行实时心跳数据的侦测，验证通信线路的连通性，如图3所示，具体如下：
S31：视频盒子M向视频盒子N发送实时视频数据，同时向N发送心跳数据；
S32：视频盒子N侦测接收实时放过来的数据，如没有侦测到发送过来的数据，说明通信线路已经中断，则重新发送通信请求；
S33：透视盒子N向M发送心跳数据；
S34：透视盒子M实时侦测N发送的心跳数据，若接收不到心跳数据则终止信息传输；
S35：透视盒子N实时侦测M发送的心跳数据，若接收不到心跳数据则终止信息传输；
S4：视频的透视合工作在数据处理与控制模块，也是本发明的核心，即对获取同一时间的接收视频信息和采集视频信息，利用图像合成技术实现图像合成进而实现视频的合成，最终实现透视的效果，如图4所示，具体如下：
S41：透视盒子N对接收到的透视盒子M的视频进行图像序列化，并以时间戳命名，如IMGMt1；
S42：透视盒子N对自身获取的视频进行图像序列化，并以时间戳命名，如IMGNt1；
S43：透视盒子N，根据具体的透视模式，对两张图像通过图形图像处理技术进行处理，合成新的图像，实现可视化的效果；
S44：透视盒子N对生成的新图像序列进行视频化，即生成新的视频，即透视后的影像。
步骤S43中，根据无人驾驶中路况和车辆的相对位置，透视的模式又可以包含前行模式、拐弯模式、俯瞰模式，具体透视的实现方法分别为叠加透视、扩展透视和定位透视。
如图5(a)所示，前行模式即叠加透视是使用最广泛也是处理最复杂的，其叠加透视的具体实现方法如下：
S431：在IMGNt1中找到IMGMt1的边缘，对应内部图像为IMGNt1'；
S432：计算IMGNt1'和IMGMt1的大小比例a；
S433：对IMGMt1进行等比例缩放a倍，为IMGMt1'；
S434：在IMGNt1中用IMGMt1'覆盖IMGNt1'，生成新的图像IMGNt1”，即为合成透视后的图像。
简单地说，前行模式(叠加透视)的中同时间戳图像合成透视算法的可以表示为：(IMGMt1-IMGMt1∩IMGNt1)∩{IMGNt1[(IMGMt1∩IMGNt1)/IMGMt1]}。
如图5(b)所示，拐弯模式即扩展透视，方法较为简单，在判断透视盒子M相对于N的位置后，也就是判断拐弯方向(左或右)之后，在IMGNt1上向左或右进行扩展，并标注方向，透视算法可以描述IMGMt1∪IMGNt1。
如图5(c)所示，俯瞰模式即定位透视，方法也较为简单，在IMGNt1上扩展显示IMGMt1，并在判断透视盒子N相对于透视盒子M的位置后，在IMGMt1上高亮(或框选)显示N的位置。此种模式还可以更广泛地应用到高危生产环境等人类无法或不方便到达的领域中。
S5：云端管控平台，是部署在云端的一套软件平台，包含透视盒子合法设备管理、透视盒子安全认证管理、非法认证警报、安全认证日志管理等四部分的管理模块以及存储对应信息的数据库，保证了透视设备间的安全认证、异常认证的实时报警、认证信息的记录和追溯等功能。
本发明不仅解决了对被遮挡区域的透视，还解决了遮挡区域的影像信息的安全传输问题，并可以实现云端安全管控。可以广泛应用在无人驾驶、高危生产环境等领域，应用前景极为广阔，意义重大。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于云安全认证的无人驾驶透视盒子，其特征在于，包括如下部件：
数据处理与控制模块：是对数据进行透视合成的数据处理和对其它模块进行控制；
视频采集模块：负责视频影像的实时采集；
无线通信模块：包括云端通信模块和近场通信模块，云端通信模块主要负责与云端安全互任信息的通信，近场通信模块负责视频流传输的通信，其中：
云端通信模块：通过该模块直接接入互联网的通信模块，包括GPRS单元、4G单元、5G单元、Wifi单元；
近场通信模块：为近距离传送的通信模块，包括含射频识别单元、蓝牙单元、ZIGBEE单元、红外单元、Wifi单元；
视频输出模块：负责对已经合成的影像数据进行输出；
数据存储模块：包括采集视频存储模块和合成视频存储模块，视频存储模块依据时间戳采用固定时长分文件存储的方式进行存储，并根据存储容量的大小采用按时间先后顺序覆盖存储的模式。
2.根据权利要求1所述的基于云安全认证的无人驾驶透视盒子，其特征在于，所述数据处理与控制模块，包括采集控制、通信控制、视频输出控制、存储控制四个子模块，负责对视频采集模块数据的采集和对其进行数据存储的控制、对无线通信数据的收发进行控制、对透视合成视频的输出和存储的控制。
3.根据权利要求1所述的基于云安全认证的无人驾驶透视盒子，其特征在于，所述视频采集模块通过如外接摄像头、夜视仪外部视频采集设备，获取外界的图像和视频影像信息。
4.根据权利要求1所述的基于云安全认证的无人驾驶透视盒子，其特征在于，所述视频输出模块，通过HDMI、Type-C数据接口对接显示器、投影仪、VR眼镜显示设备，实现合成影像数据的输出。
5.一种基于云安全认证的无人驾驶透视的实现方法，其特征在于，包括如下步骤：
S1：视频采集与存储：包括如下小步：
S11：视频采集模块通过外接的如摄像头、夜视仪视频采集设备，获取实时影像视频信息；
S12：数据处理与控制模块的采集控制模块对采集来的信息进行控制，进入步骤S13或同时进入步骤S13和步骤S14；
S13：数据处理与控制模块中的存储控制模块对采集的影像视频数据进行控制，存储到视频存储模块中的采集视频存储模块；
S14：数据处理与控制模块中的通信控制模块通过对通信信息模块中的近场通信模块进行控制，将采集的影像视频数据实时传输出去；
S2：云端安全互任：通过无线通信模块把需要进行视频数据传输的双方设备信息发送到云端进行设备的合法性认证，或合法或非法，这是实现安全通信信道建立的基础，透视盒子N主动与透视盒子M进行云端安全互任，建立安全通信信道，包括如下小步：
S201：透视盒子N发送通信请求，此时发送的请求带着自身的唯一设备识别码N-ID；
S202：透视盒子M接收请求，同时回传自己的唯一设备识别码M-ID给透视盒子N，进入S210；
S203：透视盒子N接收M-ID；
S204：透视盒子N发送N-ID和M-ID到云端进行设备的云端合法认证；
S205：云端认证管理平台首先对N-ID和M-ID进行不重复验证，再对主设备N-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S206；
S206：云端认证管理平台对M-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S207，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S208；
S207：透视盒子M接收回传信息，终止本次信息传输；
S208：透视盒子M接收合法信息；
S209：透视盒子M与对方建立通信线路；
S210：透视盒子M发送M-ID和N-ID到云端进行设备的云端合法认证；
S211：云端认证管理平台首先对M-ID和N-ID进行不重复验证，再对主设备M-ID进行合法认证，若在合法设备库中不存在，云端认证管理平台终止认证；反之进入步骤S212；
S212：云端认证管理平台对N-ID进行合法认证，若在合法设备库中不存在，则回传“非法设备”信息，透视盒子进入步骤S213，若在合法设备库中存在，则回传“合法设备”信息，透视盒子进入步骤S214；
S213：透视盒子N接收回传信息，终止本次信息传输；
S214：透视盒子N接收合法信息；
S215：透视盒子N与对方建立通信线路；
步骤S209和步骤S215同时成立，则透视盒子N建立通信线路；
S3：视频流传输：工作在无线通信模块中的近场通信模块，即视频采集模块采集的数据流信息通过无线通信模块进行稳定的数据传输，包括如下小步：
S31：视频盒子M向视频盒子N发送实时视频数据，同时向N发送心跳数据；
S32：视频盒子N侦测接收实时放过来的数据，如没有侦测到发送过来的数据，说明通信线路已经中断，则重新发送通信请求；
S33：透视盒子N向M发送心跳数据；
S34：透视盒子M实时侦测N发送的心跳数据，若接收不到心跳数据则终止信息传输；
S35：透视盒子N实时侦测M发送的心跳数据，若接收不到心跳数据则终止信息传输；
S4：视频透视合成：工作在数据处理与控制模块，是实现透视的核心，即对获取同一时间的接收视频信息和采集视频信息，利用图像合成技术实现图像合成进而实现视频的合成，最终实现透视的效果，包括如下小步：
S41：透视盒子N对接收到的透视盒子M的视频进行图像序列化，并以时间戳命名为IMGMt1；
S42：透视盒子N对自身获取的视频进行图像序列化，并以时间戳命名为IMGNt1；；
S43：透视盒子N，根据具体的透视模式，对两张图像通过图形图像处理技术进行处理，合成新的图像，实现可视化的效果；
S44：透视盒子N对生成的新图像序列进行视频化，即生成新的视频，即透视后的影像；
S5：云端管控：是部署在云端的一套软件平台，包含透视盒子合法设备管理、透视盒子安全认证管理、非法认证警报、安全认证日志管理四部分的管理模块以及存储对应信息的数据库，保证透视设备间的安全认证、异常认证的实时报警、认证信息的记录和追溯功能。
6.根据权利要求5所述的基于云安全认证的无人驾驶透视的实现方法，其特征在于，所述步骤S1中，视频采集模块的工作模式分为以下三种模式：
A.独立运作模式：数据处理与控制模块通过采集控制子模块获得视频采集模块采集的实时视频，并通过存储控制子模块控制采集视频存储模子块对采集视频流数据进行存储，同时可通过视频输出控制模块直接输出到数据输出模块；
B.被动请求模式：包含模式A的工作的同时，数据处理与控制模块通过通信控制子模块控制无线通信模块中的近场通信子模块实时发送出采集视频流数据；
C.主动请求模式：包含模式A的工作的同时，数据处理与控制模块通过无线通信中的近场通信模块接收发送过来的视频流数据，通过数据处理与控制模块进行视频透视合成的数据处理，生成透视视频流，并通过视频输出控制和存储控制子模块，对透视视频进行在视频输出模块进行输出和在合成视频存储模块进行存储。
7.根据权利要求5所述的基于云安全认证的无人驾驶透视的实现方法，其特征在于，所述步骤S43中，透视盒子N的透视模式根据用户需要进行衍生，包括前行模式、拐弯模式、俯瞰模式。
8.根据权利要求7所述的基于云安全认证的无人驾驶透视的实现方法，其特征在于，所述步骤S43中，前行模式的具体实现方法如下：
S431：在IMGNt1中找到IMGMt1的边缘，对应内部图像为IMGNt1＇；
S432：计算IMGNt1＇和IMGMt1的大小比例a；
S433：对IMGMt1进行等比例缩放a倍，为IMGMt1＇；
S434：在IMGNt1中用IMGMt1＇覆盖IMGNt1＇，生成新的图像IMGNt1＂，即为合成透视后的图像；
则前行模式的透视算法表示为：
(IMGMt1-IMGMt1∩IMGNt1)∩{IMGNt1[(IMGMt1∩IMGNt1)/IMGMt1]}。
9.根据权利要求7所述的基于云安全认证的无人驾驶透视的实现方法，其特征在于，所述步骤S43中，拐弯模式的具体实现方法如下：在判断透视盒子M相对于N的位置后，也就是判断拐弯方向是向左或向右之后，在IMGNt1上向左或右进行扩展，并标注方向；
则拐弯模式的透视算法表示为：
IMGMt1∪IMGNt1。
10.根据权利要求7所述的基于云安全认证的无人驾驶透视的实现方法，其特征在于，所述步骤S43中，俯瞰模式的具体实现方法如下：在IMGNt1上扩展显示IMGMt1，并在判断透视盒子N相对于透视盒子M的位置后，在IMGMt1上高亮或框选显示N的位置。
CN202110080243.0A 2021-01-21 2021-01-21 基于云安全认证的无人驾驶透视盒子及其实现方法 Active CN112770147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110080243.0A CN112770147B (zh) 2021-01-21 2021-01-21 基于云安全认证的无人驾驶透视盒子及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110080243.0A CN112770147B (zh) 2021-01-21 2021-01-21 基于云安全认证的无人驾驶透视盒子及其实现方法

Publications (2)

Publication Number Publication Date
CN112770147A true CN112770147A (zh) 2021-05-07
CN112770147B CN112770147B (zh) 2022-08-12

Family

ID=75703622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110080243.0A Active CN112770147B (zh) 2021-01-21 2021-01-21 基于云安全认证的无人驾驶透视盒子及其实现方法

Country Status (1)

Country Link
CN (1) CN112770147B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
WO2006095689A1 (ja) * 2005-03-11 2006-09-14 Pioneer Corporation 運転支援装置、運転支援方法および運転支援プログラム
CN104392622A (zh) * 2014-11-07 2015-03-04 南京富士通南大软件技术有限公司 一种基于车联网的多功能辅助驾驶服务系统
CN107244292A (zh) * 2016-04-08 2017-10-13 鹰驾科技（深圳）有限公司 多视角汽车全景影像显示及记录系统
CN108322705A (zh) * 2018-02-06 2018-07-24 南京理工大学 基于视角显示的特种车辆舱外观察系统及视频处理方法
CN108459719A (zh) * 2018-03-25 2018-08-28 东莞市华睿电子科技有限公司 一种隧道环境下的热门景点虚拟场景推送方法
CN108600703A (zh) * 2018-05-08 2018-09-28 南斗六星系统集成有限公司 一种适用于重型拖挂商用车的全景环视监控系统及方法
CN109204144A (zh) * 2018-11-09 2019-01-15 椤圭ズ 一种车辆周围景象的虚拟现实显示系统及方法
CN110126733A (zh) * 2019-05-07 2019-08-16 奇瑞新能源汽车技术有限公司 一种基于单目摄像头的全景系统及其工作方法
US20200086791A1 (en) * 2017-02-16 2020-03-19 Jaguar Land Rover Limited Apparatus and method for displaying information
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
CN111669407A (zh) * 2020-06-30 2020-09-15 日照职业技术学院 基于云安全认证的物联网点对点安全通信的实现方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
WO2006095689A1 (ja) * 2005-03-11 2006-09-14 Pioneer Corporation 運転支援装置、運転支援方法および運転支援プログラム
CN104392622A (zh) * 2014-11-07 2015-03-04 南京富士通南大软件技术有限公司 一种基于车联网的多功能辅助驾驶服务系统
CN107244292A (zh) * 2016-04-08 2017-10-13 鹰驾科技（深圳）有限公司 多视角汽车全景影像显示及记录系统
US20200086791A1 (en) * 2017-02-16 2020-03-19 Jaguar Land Rover Limited Apparatus and method for displaying information
CN108322705A (zh) * 2018-02-06 2018-07-24 南京理工大学 基于视角显示的特种车辆舱外观察系统及视频处理方法
CN108459719A (zh) * 2018-03-25 2018-08-28 东莞市华睿电子科技有限公司 一种隧道环境下的热门景点虚拟场景推送方法
CN108600703A (zh) * 2018-05-08 2018-09-28 南斗六星系统集成有限公司 一种适用于重型拖挂商用车的全景环视监控系统及方法
CN109204144A (zh) * 2018-11-09 2019-01-15 椤圭ズ 一种车辆周围景象的虚拟现实显示系统及方法
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
CN110126733A (zh) * 2019-05-07 2019-08-16 奇瑞新能源汽车技术有限公司 一种基于单目摄像头的全景系统及其工作方法
CN111669407A (zh) * 2020-06-30 2020-09-15 日照职业技术学院 基于云安全认证的物联网点对点安全通信的实现方法

Also Published As

Publication number Publication date
CN112770147B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN111612933A (zh) 基于边缘云服务器的增强现实智能巡检系统
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
CN101996473A (zh) 一种基于gps卫星跟踪监测的智能预警系统
CN108109207A (zh) 一种可视化立体建模方法及系统
KR20140039927A (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
CN107172191A (zh) 基于多业务优先级的多旋翼无人机远程监测方法
CN107733845A (zh) 一种全景全程执法记录仪及采集管理系统
CN206835150U (zh) 一种新能源车服务管理系统
CN207070090U (zh) 一种全景全程执法记录及采集管理系统
CN112770147B (zh) 基于云安全认证的无人驾驶透视盒子及其实现方法
CN205232361U (zh) 一种监控装置
CN104902245B (zh) 一种基于位置的信息互动系统
CN205221459U (zh) 一种智能防盗周转箱
Bacon et al. TIME: An open platform for capturing, processing and delivering transport-related data
CN212115510U (zh) 一种车载式5g远程会诊研判系统
CN205453774U (zh) 车联网管理系统
CN103345721A (zh) 应用于便携式现场应急装备的协同会商系统及方法
CN203761501U (zh) 一种电力监测用音视频单兵系统
CN212990169U (zh) 一种巡检机器人及巡检系统
WO2022036693A1 (zh) 呼叫终端的方法、装置、电子设备及存储介质
CN203467751U (zh) 一种可记录周围环境影像和声音的多功能警帽
CN104155927B (zh) 一种核生化救援装备保障信息采集方法及装置
CN110536121A (zh) 一种智能动态视频分析巡逻防控系统
CN206162848U (zh) 车载警民联动系统
CN208656757U (zh) 一种综合信息交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant