CN110855886A - 一种无人平台遥控操作视觉声音系统 - Google Patents

一种无人平台遥控操作视觉声音系统 Download PDF

Info

Publication number
CN110855886A
CN110855886A CN201911131778.5A CN201911131778A CN110855886A CN 110855886 A CN110855886 A CN 110855886A CN 201911131778 A CN201911131778 A CN 201911131778A CN 110855886 A CN110855886 A CN 110855886A
Authority
CN
China
Prior art keywords
video
camera
processing controller
audio
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911131778.5A
Other languages
English (en)
Inventor
蓝伟
苏波
马睿璘
白晨青
何亚丽
韩相搏
赵洪雷
郭江华
熊巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China North Vehicle Research Institute
Original Assignee
China North Vehicle Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China North Vehicle Research Institute filed Critical China North Vehicle Research Institute
Priority to CN201911131778.5A priority Critical patent/CN110855886A/zh
Publication of CN110855886A publication Critical patent/CN110855886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种无人平台遥控操作视觉声音系统，属于非视距下无人平台的遥控操作技术领域。本发明能够使无人平台遥操作过程中平台操控人员可以获取更多和更加准确的无人平台行驶区域视频声音信息，减少无人平台操控人员对图像的操控动作，提高无人平台遥操作临场感和驾驶体验感，提高无人平台非视距情况下的遥控驾驶能力。

Description

一种无人平台遥控操作视觉声音系统
技术领域
本发明属于非视距下无人平台的遥控操作技术领域，具体涉及一种无人平台遥控操作视觉声音系统。
背景技术
无人平台遥控操作由于人不在车上缺乏驾驶临场感，后方操控人员通过单一画面无法很好获取无人平台行驶区域视频信息，在无声音情况下也无法获知平台行驶状态，容易出现遥操控情况下操控平台撞击车体左右两侧物体，驾驶时间长出现疲倦感，频繁切换图像影响操控，操控过程繁琐等问题，从而影响无人平台遥控驾驶体验。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何设计一种无人平台遥控操作视觉声音系统，使操控人员在获得尽量多的无人平台行驶环境信息的同时，尽量少的操控遥操作视觉按键。
(二)技术方案
为了解决上述技术问题，本发明提供了一种无人平台遥控操作视觉声音系统，包括车载音视频信息采集处理单元和操控单元，所述操控单元用于将无人平台控制指令转换为网络数据传输给车载音视频信息采集处理单元中的视频处理控制器6；所述车载音视频信息采集处理单元用于在视频处理控制器6接收到无人平台控制指令之后采集音视频数据，并由视频处理控制器6进行处理，将处理好的数据组成网络数据，由视频处理控制器6传输给操控单元，操控单元还用于将所述网络数据解析为音视频数据进行显示。
优选地，所述车载音视频信息采集处理单元包括前部摄像头组3、视频处理控制器6、后部摄像头8、右后部前视摄像头9、左后部前视摄像头11；所述前摄像头组3安装在车体5前部，根据视场角大小和可视距离远近由三个或四个摄像头组成，各摄像头之间的安装角度以两个摄像头之间两米之内有视频重叠为标准；前摄像头组3通过第一视频连接线4和视频处理控制器6进行信号连接；所述左后部前视摄像头11、右后部前视摄像头9分别安装在车体5后部左右两侧，且二者方向向前、角度朝向车体外侧；右后部前视摄像头9通过第二视频连接线7和视频处理控制器6进行信号连接，左后部前视摄像头11通过第三视频连接线12和视频处理控制器6进行信号连接；所述后部摄像头8安装在车体5向后方向，为安装视场角不小于100°的广角摄像头，用于在倒车过程中查看车体后部环境视频信息。
优选地，所述视频处理控制器6具体进行如下数据处理：当所述无人平台控制指令中没有转向指令，视频处理控制器6输出前部摄像头组3组合后形成的车体前部视频区域2的合成视频输出；当无人平台控制指令中出现左转指令时，视频处理控制器6将左后部前视摄像头11叠加到前部摄像头组3的合成视频上方，合成一路视频输出，此时操控单元将显示的视频区域由车体前部视频区域2和转向行驶视频区域1的左半部分叠加而成；当无人平台控制指令中出现右转指令时，视频处理控制器6将右后部前视摄像头9叠加到前部摄像头组3合成视频上方，合成一路视频输出，此时操控单元将显示的视频区域由车体前部视频区域2和转向行驶视频区域1的右半部分叠加形成；当无人平台控制指令中出现倒车指令时，视频处理控制器6将后部摄像头8视频给操控单元，此时，操控单元显示的视频区域为倒车视频区域10。
优选地，所述前部摄像头组3、后部摄像头8、右后部前视摄像头9、左后部前视摄像头11的安装位置与车体位置都还满足一定的关系。
优选地，所述前部摄像头组3、后部摄像头8、右后部前视摄像头9、左后部前视摄像头11与车体位置满足的关系为：摄像头上下视场中分线15水平布置，以摄像头下部视频边界线16为参考线，且该条参考线和车体交接区域不小于3cm。
优选地，所述车载音视频信息采集处理单元还包括拾音器14，所述拾音器14通过音频连接线13与视频处理控制器6连接。
优选地，在所述视频处理控制器6输出的每一路视频信息中，都在音频轨道叠加由拾音器14采集到的音频信息。
优选地，所述操控单元还用于将所述网络数据解析为音视频数据在操控面板上进行显示。
优选地，所述系统还包括通讯单元，所述操控单元用于将无人平台控制指令转换为网络数据通过通讯单元传输给车载音视频信息采集处理单元中的视频处理控制器6；所述车载音视频信息采集处理单元在视频处理控制器6将处理好的数据组成网络数据通过网络数据线传输给通讯单元；所述通讯单元用于将所述网络数据传输给操控单元。
本发明还提供了一种无人机，包括所述的系统。
(三)有益效果
本发明运用不同视场角的摄像头作为图像采集单元，运用拾音器作为声音采集单元，通过制定摄像头安装规则，实现遥控无人平台最大的视频信息量采集，并通过图像处理装置对摄像头视频的处理，实现视频拼接、显示视频组合，实现视频和音频信息叠加，通过无线通讯系统将音视频信息回传给后方操控单元。后方操控单元根据驾驶指令的不同，自动生成操控图像显示画面指令，下发给图像处理装置，实现视频信息的自动切换，通过上述设计能够使无人平台遥操作过程中平台操控人员可以获取更多和更加准确的无人平台行驶区域视频声音信息，减少无人平台操控人员对图像的操控动作，提高无人平台遥操作临场感和驾驶体验感，提高无人平台非视距情况下的遥控驾驶能力。
附图说明
图1是本发明的系统构成图；
图2是本发明的系统中车载音视频信息采集处理单元结构图；
图3是本发明的摄像头安装要求图。
其中，1.转向行驶视频区域，2.车体前部视频区域，3.前部摄像头组，4.第一视频连接线，5.车体，6.视频处理控制器，7.第二视频连接线，8.后部摄像头，9.右后部前视摄像头，10.倒车视频区域，11.左后部前视摄像头，12.第三视频连接线，13.音频连接线，14.拾音器，15.摄像头上下视场中分线，16.摄像头下部视频边界线。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
如图1所示，本发明提供的一种无人平台遥控操作视觉声音系统包括车载音视频信息采集处理单元、通讯单元和操控单元，所述操控单元用于将无人平台控制指令转换为网络数据通过通讯单元传输给车载音视频信息采集处理单元中的视频处理控制器6；所述车载音视频信息采集处理单元用于在视频处理控制器6接收到无人平台控制指令之后采集音视频数据，并由视频处理控制器6进行处理，将处理好的数据组成网络数据，由视频处理控制器6通过网络数据线传输给通讯单元；所述通讯单元用于将所述网络数据传输给操控单元，操控单元还用于将所述网络数据解析为音视频数据在操控面板上进行显示。
如图2所示，所述车载音视频信息采集处理单元包括前部摄像头组3、视频处理控制器6、后部摄像头8、右后部前视摄像头9、左后部前视摄像头11和拾音器14；所述前摄像头组3安装在车体5前部，根据要求的视场角大小和可视距离远近由三个或四个摄像头组成，各摄像头之间的安装角度以两个摄像头之间两米之内有视频重叠为标准；前摄像头组3通过第一视频连接线4和视频处理控制器6进行信号连接；所述左后部前视摄像头11、右后部前视摄像头9分别安装在车体5后部左右两侧，且二者方向向前、角度朝向车体外侧；右后部前视摄像头9通过第二视频连接线7和视频处理控制器6进行信号连接，左后部前视摄像头11通过第三视频连接线12和视频处理控制器6进行信号连接；所述后部摄像头8安装在车体5向后方向，为安装视场角不小于100°的广角摄像头，用于在倒车过程中查看车体后部环境视频信息；拾音器14通过音频连接线13与视频处理控制器6连接。
前部摄像头组3、后部摄像头8、右后部前视摄像头9、左后部前视摄像头11安装位置与车体位置还需要满足一定的关系。如图3所示，以右后部前视摄像头9为例说明摄像头安装位置和车体位置关系，在摄像头安装位置选取时，摄像头上下视场中分线15水平布置，以摄像头下部视频边界线16为参考线，且该条参考线和车体交接区域不小于3cm。
视频处理控制器6具体进行如下数据处理：当所述无人平台控制指令中没有转向指令，视频处理控制器6输出前部摄像头组3组合后形成的车体前部视频区域2的合成视频给操控单元；当无人平台控制指令中出现左转指令时，视频处理控制器6将左后部前视摄像头11叠加到前部摄像头组3的合成视频上方，合成一路视频给操控单元，此时操控单元显示的视频区域由车体前部视频区域2和转向行驶视频区域1的左半部分叠加而成，便于操控员左转过程中发现车辆左边的环境信息；当无人平台控制指令中出现右转指令时，视频处理控制器6将右后部前视摄像头9叠加到前部摄像头组3合成视频上方，合成一路视频给操控单元，此时操控单元显示的视频区域由车体前部视频区域2和转向行驶视频区域1的右半部分叠加形成，便于操控员发现右转过程中车辆右边环境信息；当无人平台控制指令中出现倒车指令时，视频处理控制器6将后部摄像头8视频给操控单元，此时，操控单元显示的视频区域为倒车视频区域10；在每一路视频信息中，都在音频轨道叠加由拾音器14采集到的音频信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种无人平台遥控操作视觉声音系统，其特征在于，包括车载音视频信息采集处理单元和操控单元，所述操控单元用于将无人平台控制指令转换为网络数据传输给车载音视频信息采集处理单元中的视频处理控制器(6)；所述车载音视频信息采集处理单元用于在视频处理控制器(6)接收到无人平台控制指令之后采集音视频数据，并由视频处理控制器(6)进行处理，将处理好的数据组成网络数据，由视频处理控制器(6)传输给操控单元，操控单元还用于将所述网络数据解析为音视频数据进行显示。
2.如权利要求1所述的系统，其特征在于，所述车载音视频信息采集处理单元包括前部摄像头组(3)、视频处理控制器(6)、后部摄像头(8)、右后部前视摄像头(9)、左后部前视摄像头(11)；所述前摄像头组(3)安装在车体(5)前部，根据视场角大小和可视距离远近由三个或四个摄像头组成，各摄像头之间的安装角度以两个摄像头之间两米之内有视频重叠为标准；前摄像头组(3)通过第一视频连接线(4)和视频处理控制器(6)进行信号连接；所述左后部前视摄像头(11)、右后部前视摄像头(9)分别安装在车体(5)后部左右两侧，且二者方向向前、角度朝向车体外侧；右后部前视摄像头(9)通过第二视频连接线(7)和视频处理控制器(6)进行信号连接，左后部前视摄像头(11)通过第三视频连接线(12)和视频处理控制器(6)进行信号连接；所述后部摄像头(8)安装在车体(5)向后方向，为安装视场角不小于100°的广角摄像头，用于在倒车过程中查看车体后部环境视频信息。
3.如权利要求2所述的系统，其特征在于，所述视频处理控制器(6)具体进行如下数据处理：当所述无人平台控制指令中没有转向指令，视频处理控制器(6)输出前部摄像头组(3)组合后形成的车体前部视频区域(2)的合成视频输出；当无人平台控制指令中出现左转指令时，视频处理控制器(6)将左后部前视摄像头(11)叠加到前部摄像头组(3)的合成视频上方，合成一路视频输出，此时操控单元将显示的视频区域由车体前部视频区域(2)和转向行驶视频区域(1)的左半部分叠加而成；当无人平台控制指令中出现右转指令时，视频处理控制器(6)将右后部前视摄像头(9)叠加到前部摄像头组(3)合成视频上方，合成一路视频输出，此时操控单元将显示的视频区域由车体前部视频区域(2)和转向行驶视频区域(1)的右半部分叠加形成；当无人平台控制指令中出现倒车指令时，视频处理控制器(6)将后部摄像头(8)视频给操控单元，此时，操控单元显示的视频区域为倒车视频区域(10)。
4.如权利要求3所述的系统，其特征在于，所述前部摄像头组(3)、后部摄像头(8)、右后部前视摄像头(9)、左后部前视摄像头(11)的安装位置与车体位置都还满足一定的关系。
5.如权利要求4所述的系统，其特征在于，所述前部摄像头组3、后部摄像头(8)、右后部前视摄像头(9)、左后部前视摄像头(11)与车体位置满足的关系为：摄像头上下视场中分线(15)水平布置，以摄像头下部视频边界线(16)为参考线，且该条参考线和车体交接区域不小于3cm。
6.如权利要求2所述的系统，其特征在于，所述车载音视频信息采集处理单元还包括拾音器(14)，所述拾音器(14)通过音频连接线(13)与视频处理控制器(6)连接。
7.如权利要求3所述的系统，其特征在于，在所述视频处理控制器(6)输出的每一路视频信息中，都在音频轨道叠加由拾音器(14)采集到的音频信息。
8.如权利要求1所述的系统，其特征在于，所述操控单元还用于将所述网络数据解析为音视频数据在操控面板上进行显示。
9.如权利要求1至8中任一项所述的系统，其特征在于，所述系统还包括通讯单元，所述操控单元用于将无人平台控制指令转换为网络数据通过通讯单元传输给车载音视频信息采集处理单元中的视频处理控制器(6)；所述车载音视频信息采集处理单元在视频处理控制器(6)将处理好的数据组成网络数据通过网络数据线传输给通讯单元；所述通讯单元用于将所述网络数据传输给操控单元。
10.一种无人机，包括如权利要求1至9中任一项所述的系统。
CN201911131778.5A 2019-11-19 2019-11-19 一种无人平台遥控操作视觉声音系统 Pending CN110855886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911131778.5A CN110855886A (zh) 2019-11-19 2019-11-19 一种无人平台遥控操作视觉声音系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911131778.5A CN110855886A (zh) 2019-11-19 2019-11-19 一种无人平台遥控操作视觉声音系统

Publications (1)

Publication Number Publication Date
CN110855886A true CN110855886A (zh) 2020-02-28

Family

ID=69602525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911131778.5A Pending CN110855886A (zh) 2019-11-19 2019-11-19 一种无人平台遥控操作视觉声音系统

Country Status (1)

Country Link
CN (1) CN110855886A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459172A (zh) * 2020-05-20 2020-07-28 中国北方车辆研究所 围界安防无人巡逻车自主导航系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201967020U (zh) * 2011-04-22 2011-09-07 蒋牛 一种适用于小型飞行器的音视频采集装置
CN105291987A (zh) * 2015-12-10 2016-02-03 北京理工大学 无人水陆两栖车超视距远程操控系统
CN105857179A (zh) * 2016-04-18 2016-08-17 珠海市磐石电子科技有限公司 一种遥控行驶装置用的转向辅助方法及装置
CN107872605A (zh) * 2016-09-26 2018-04-03 青柠优视科技（北京）有限公司 一种无人机系统和无人机音视频处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201967020U (zh) * 2011-04-22 2011-09-07 蒋牛 一种适用于小型飞行器的音视频采集装置
CN105291987A (zh) * 2015-12-10 2016-02-03 北京理工大学 无人水陆两栖车超视距远程操控系统
CN105857179A (zh) * 2016-04-18 2016-08-17 珠海市磐石电子科技有限公司 一种遥控行驶装置用的转向辅助方法及装置
CN107872605A (zh) * 2016-09-26 2018-04-03 青柠优视科技（北京）有限公司 一种无人机系统和无人机音视频处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459172A (zh) * 2020-05-20 2020-07-28 中国北方车辆研究所 围界安防无人巡逻车自主导航系统

Similar Documents

Publication Publication Date Title
CN106537904B (zh) 具有环境监测装置的车辆以及用于运行这种监测装置的方法
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
KR20140019575A (ko) 어라운드 뷰 모니터 시스템 및 모니터링 방법
EP0642275A3 (en) Multi-eye image pick-up apparatus
JP2003104145A (ja) 運転支援表示装置
JP2002019556A (ja) 監視システム
JP2017517232A (ja) 少なくとも１つの観測エリアをリモートモニタリングするシステム及び方法
US20030193562A1 (en) Natural vision-based video surveillance system
JPH04239400A (ja) 車載監視カメラ装置
CN110855886A (zh) 一种无人平台遥控操作视觉声音系统
US8213683B2 (en) Driving support system with plural dimension processing units
JPH10145777A (ja) 移動体におけるカメラ映像表示装置
US20230269537A1 (en) Information Processing Apparatus, Information Processing Method, And Video Sound Output System
KR101874588B1 (ko) 고해상도 카메라를 이용한 다채널 관심영역 표출방법
US11647334B2 (en) Information processing apparatus, information processing method, and video sound output system
CN209486733U (zh) 一种车载全景智能避障系统
CN105857179B (zh) 一种遥控行驶装置用的转向辅助方法及装置
CN109345858B (zh) 车队监控系统
WO2013111491A1 (ja) 監視システム
US20150116320A1 (en) Device for Operating One or More Optical Display Devices of a Vehicle
JPH05241540A (ja) 視覚情報表示装置
JP2011151636A (ja) 複眼カメラおよびカメラ応用機器
JPH04373386A (ja) テレビ会議システム
JP2002152722A (ja) 画像投影装置及びその方法
CN211592395U (zh) 车用avm全景系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication