CN111924117B - 一种光电吊舱内置光学传感器波段自主切换方法 - Google Patents
一种光电吊舱内置光学传感器波段自主切换方法 Download PDFInfo
- Publication number
- CN111924117B CN111924117B CN202010816251.2A CN202010816251A CN111924117B CN 111924117 B CN111924117 B CN 111924117B CN 202010816251 A CN202010816251 A CN 202010816251A CN 111924117 B CN111924117 B CN 111924117B
- Authority
- CN
- China
- Prior art keywords
- band
- pod
- optical sensor
- video
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003287 optical effect Effects 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 18
- 230000005693 optoelectronics Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明属于光电吊舱技术领域，具体涉及一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法。本发明基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可减少侦察任务实施过程中操控人员的操作行为，降低对操控人员的依赖程度，提高无人系统侦察任务实施的自主性，为无人系统集群侦察积累技术基础；基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可实现对光电吊舱内置多个传感器采集的多波段视频信息的近实时同步检测，提高信息利用率，提高侦察效能。
Description
技术领域
本发明属于光电吊舱技术领域，具体涉及一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法。
背景技术
光电吊舱可安装在无人机、无人车、无人艇等多种无人平台以及有人平台上，组成各种无人/有人侦察系统，对区域实施光学侦察。智能化、自主化、集群化是无人系统的发展趋势与方向，因此对于无人侦察系统来说，提高光电吊舱在执行侦察任务时的自主化程度，降低人工监视与操控负担，是光电吊舱的重要发展趋势。高端光电吊舱通过内置多个光学传感器，可集成可见光波段、长波红外波段、中波红外、短波红外等多个光学探测波段，对于不同的监视背景和不同的目标特性，不同的光学探测波段可以发挥其各自优势，提高目标探测概率。因此，在此类光电吊舱使用过程中，需要操控人员根据监控场景和潜在目标特性，对传感器波段进行人工切换，利用不同光学波段对区域和目标进行高效探测。
当前，具备多波段探测能力的光电吊舱在执行侦察任务时，光电吊舱每个时刻通常仅能将一个波段的实时视频传输至地面站供操控人员监测，操控人员根据地面站显示的实时图像进行可见光波段、长波红外波段、中波红外波段等不同波段的切换操作。由人工操控实现光学传感器波段切换的传统模式存在以下不足：(1)该模式下，操控人员每个时刻仅能检测某一个波段的视频信息，需要使用切换的方式来利用多个波段的视频信息，难以对多个波段的视频进行同时监测，存在信息利用率较低的问题。(2)该模式对依赖于操控人员的经验，由于光电吊舱在平台运动状态下采集得到的视频场景变化较大，究竟哪个波段更易于探测到目标是在实时变化的，操控人员难以保证波段选择是否实时最优。同时，操控人员在长时间进行监测工作时易出现疲劳、目标探测概率降低等问题，检测效果不稳定。(3)基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，集成在光电吊舱内部，当无人系统以及光电吊舱与地面站之间的实时视频回传链路中断或缺失时，可保证光电吊舱实施侦察时仍可自主切换内置光学传感器波段，待无人系统及光电吊舱返航后，操作人员可通过光电吊舱内部存储的视频进行回放查看，提高侦察效果。因此，结合光电吊舱使用要求和无人侦察系统发展趋势，提出一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法具有重要的意义。
发明内容
(一)发明目的
为了提高具有多波段传感器的光电吊舱采集信息的利用率，提高无人系统执行侦察任务的自主性，降低人工操控负担，提供一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法。
(二)技术方案
为了解决上述技术问题，本发明提供一种基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，包括如下步骤：
S1：安装在无人平台上的光电吊舱进入工作状态，按任务规划对侦查区域进行实时监控，并将采集到的视频实时回传至无人系统的地面控制站，默认传输回地面控制站的视频波段由初始设置确定，一般为最符合人眼观测习惯的可见光波段；
S2：人工在地面控制站选择开启智能目标检测功能，集成在光电吊舱内部的嵌入式智能图像处理模块开始运行基于深度学习的智能目标检测算法。智能目标检测算法以及传感器波段自主切换算法均可选择由该嵌入式智能图像处理模块进行运算。嵌入式智能图像处理模块的核心处理芯片可选海思3519/3559AV100或者NVIDIA Jetson TX2等支持深度学习算法运行的各种芯片，可选择的深度学习算法包括R-CNN、Fast R-CNN、Faster R-CNN、Yolo、SSD等多种深度学习算法，该类算法可对实时监控视频中出现的车辆、人员等典型目标进行实时监测并在视频中用方框等形式进行标识。
令x表示光电吊舱中集成的波段序号，1≤x≤S，S表示光电吊舱中集成的传感器波段的数量，智能目标检测算法会对当前波段x视频中检测到的目标数量Mx以及每个目标的置信度Cxi进行统计并得到fx函数值，其中，置信度Cxi表征智能目标检测算法检测到的目标为真实目标的概率大小，0≤Cxi≤1。fx可表征x波段视频的有效信息量大小或者说重要程度，其计算公式可选但不限于如下公式：
其中，i表示波段x视频检测到的目标的序号，0≤i≤Mx；
S3：人工在地面控制站操控软件上选择开启传感器自主波段切换功能，此时，地面操控站上的主画面仍然保持为默认波段的视频，但是智能目标检测算法开始依次对不同波段的视频进行检测，对每个波段视频检测1帧图像，得到当前检测波段的fx值，然后依次检测下一个波段。当全部波段完成一轮检测后，则可得到此轮检测中各个波段的fx值，将最大的fx值对应的波段设置为光电吊舱输出视频的波段以供操控人员观测，直至得到下一轮检测得到的波段设置结果。为了防止传感器波段自主切换的频率太快，影响人工检测，可额外设置间隔时间T，即每间隔T秒时间，开始一轮全波段检测并切换为fx值最大值对应的波段；
S4：当传感器波段自主切换功能处于开启状态时，人工随时可对光电吊舱进行操作，并且光电吊舱优先执行人工操作指令，当光电吊舱接收到人工操作信号如传感器变焦、目标锁定、目标定位等操作时，则自主波段切换功能自动关闭；
S5：根据任务需要，人工可选择关闭自主波段切换功能；
S6：任务完成后，无人平台返航，实施例结束。
(三)有益效果
上述技术方案所提供的基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法，具有如下有益效果：
(1)该基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可减少侦察任务实施过程中操控人员的操作行为，降低对操控人员的依赖程度，提高无人系统侦察任务实施的自主性，为无人系统集群侦察积累技术基础；
(2)该基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法可实现对光电吊舱内置多个传感器采集的多波段视频信息的近实时同步检测，提高信息利用率，提高侦察效能。
附图说明
图1为基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本实施例基于嵌入式深度学习的光电吊舱内置光学传感器波段自主切换方法采用的装置包括无人机、光电吊舱、地面控制站。其中，光电吊舱安装在无人机上，嵌入式智能图像处理模块集成在光电吊舱内部，智能目标检测和传感器波段自主切换均由该模块完成，其核心处理芯片为海思3519AV100。光电吊舱内部集成的传感器包括可见光传感器和红外传感器。
参照图1所示，本实施例自主切换方法的步骤如下：
S1：无人机起飞，安装在无人机上的光电吊舱进入工作状态，按任务规划对侦察区域进行实时监控，并将传感器采集到的视频实时回传至地面控制站，地面控制站默认回传视频为可见光波段；
S2：人工在地面控制站选择开启智能目标检测功能，集成在光电吊舱内部的嵌入式智能图像处理板开始运行基于深度学习的智能目标检测算法，本实施例中，嵌入式智能图像处理板的核心处理芯片为海思3519AV100，并采用Yolo算法对实时监控视频中出现的车辆、人员等典型目标进行实时监测并在视频中用方框等形式进行标识；
S3：人工在地面控制站选择开启传感器自主波段切换功能，此时，地面操控站上的主画面仍然保持为默认波段的视频，但是智能目标检测算法开始依次对不同波段的视频进行检测，对每个波段视频检测1帧图像，令可见光波段序号为1，红外波段序号为2，智能目标检测算法会对当前波段视频中检测到的目标数量以及每个目标的准确率进行统计，当波段1和波段2完成一轮检测后，根据公式(1)计算得到f1和f2大小，然后将f1和f2中最大值对应的波段设置为光电吊舱输出视频以供操控人员观测，直至得到下一轮检测得到的波段设置结果。为了防止传感器波段自主切换的频率太快，影响人工检测，可额外设置间隔时间T＝10s，即每间隔10秒时间，开始一轮全波段检测并切换为fx值最大值对应的波段；
S4：当传感器波段自主切换功能处于开启状态时，人工随时可对光电吊舱进行操作，并且光电吊舱优先执行人工操作指令，当光电吊舱接受到人工操作信号如传感器变焦、目标锁定、目标定位等操作时，则自主波段切换功能自动关闭；
S5：根据任务需要，人工可选择关闭自主波段切换功能。
S6：任务完成后，无人机返航，实施例结束。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种光电吊舱内置光学传感器波段自主切换方法，其特征在于，包括以下步骤：
S1：安装在无人平台上的光电吊舱进入工作状态，按任务规划对侦查区域进行实时监控，并将采集到的视频实时回传至无人系统的地面控制站，默认传输回地面控制站的视频波段由初始设置确定；
S2：人工在地面控制站选择开启智能目标检测功能，集成在光电吊舱内部的嵌入式智能图像处理模块开始运行基于深度学习的智能目标检测算法；
S3：人工在地面控制站选择开启传感器自主波段切换功能，此时，地面操控站上的主画面保持为初始设置确定的默认波段的视频，智能目标检测算法开始依次对不同波段的视频进行检测，对每个波段视频检测1帧图像，得到当前检测波段的有效信息量大小fx，然后依次检测下一个波段；当全部波段完成一轮检测后，则可得到此轮检测中各个波段的有效信息量大小fx，将最大的fx值对应的波段设置为光电吊舱输出视频的波段以供操控人员观测，直至得到下一轮检测得到的波段设置结果；
所述步骤S3中，有效信息量大小fx的计算过程为：
令x表示光电吊舱中集成的波段序号，1≤x≤S，S表示光电吊舱中集成的传感器波段的数量，智能目标检测算法对当前波段x视频中检测到的目标数量Mx以及每个目标的置信度Cxi进行统计并得到fx函数值，其中，置信度Cxi表征智能目标检测算法检测到的目标为真实目标的概率大小，0≤Cxi≤1；fx的计算公式选用：
其中，i表示波段x视频检测到的目标的序号，0≤i≤Mx。
2.如权利要求1所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S3中，当传感器自主波段切换功能处于开启状态时，人工随时可对光电吊舱进行操作，光电吊舱优先执行人工操作指令，当光电吊舱接收到人工操作信号时，自主波段切换功能自动关闭。
3.如权利要求2所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S3中，人工操作信号包括传感器变焦、目标锁定、目标定位操作。
4.如权利要求1所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S1中，由初始设置确定的传输回地面控制站的视频波段为可见光波段。
5.如权利要求1所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S2和S3中，智能目标检测算法及传感器波段自主切换均由集成在光电吊舱内部的嵌入式智能图像处理模块进行运算，嵌入式智能图像处理模块的核心处理芯片为海思3519/3559AV100或者NVIDIAJetsonTX2芯片。
6.如权利要求5所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S2中，深度学习选用R-CNN、Fast R-CNN、Faster R-CNN、Yolo、SSD多种深度学习算法中的一种。
7.如权利要求1所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S3中，额外设置间隔时间T，即每间隔T秒时间，开始一轮全波段检测并切换为fx值最大值对应的波段。
8.如权利要求1所述的光电吊舱内置光学传感器波段自主切换方法，其特征在于，所述步骤S3中，根据任务需要，人工可选择关闭自主波段切换功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010816251.2A CN111924117B (zh) | 2020-08-14 | 2020-08-14 | 一种光电吊舱内置光学传感器波段自主切换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010816251.2A CN111924117B (zh) | 2020-08-14 | 2020-08-14 | 一种光电吊舱内置光学传感器波段自主切换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111924117A CN111924117A (zh) | 2020-11-13 |
| CN111924117B true CN111924117B (zh) | 2024-04-09 |
Family
ID=73310892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010816251.2A Active CN111924117B (zh) | 2020-08-14 | 2020-08-14 | 一种光电吊舱内置光学传感器波段自主切换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111924117B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0868844A (ja) * | 1994-08-30 | 1996-03-12 | Mitsubishi Electric Corp | 画像目標検出装置 |
| JP2000148972A (ja) * | 1998-11-06 | 2000-05-30 | Canon Inc | 画像認識装置 |
| CN103353285A (zh) * | 2013-07-23 | 2013-10-16 | 中国人民解放军总装备部军械技术研究所 | 平台光电仪器的多光轴一致性检测装置及其检测方法 |
| CN107395293A (zh) * | 2017-08-09 | 2017-11-24 | 西安应用光学研究所 | 一种无人机光电系统串行通讯状态检测方法 |
| JP2019015709A (ja) * | 2017-07-07 | 2019-01-31 | 安東 秀夫 | 光源部および測定装置、近赤外顕微装置、光学的検出方法、イメージング方法、計算方法、機能性バイオ関連物質、状態管理方法、製造方法 |
| CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
| CN111470055A (zh) * | 2020-04-09 | 2020-07-31 | 北京航宇测通电子科技有限公司 | 光电导航吊舱及光电导航系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7891247B2 (en) * | 2007-05-16 | 2011-02-22 | The Boeing Company | Method and system for detecting an anomaly and determining its size |
| GB0823034D0 (en) * | 2008-12-18 | 2009-01-28 | Qinetiq Ltd | System and method for processing radar imagery |
| US20160224842A1 (en) * | 2012-01-09 | 2016-08-04 | Rafael Advanced Defense Systems Ltd. | Method and apparatus for aerial surveillance and targeting |
| US9871979B2 (en) * | 2012-02-24 | 2018-01-16 | Karem Aircraft, Inc. | Systems and methods for illumination and observation |
| KR101852476B1 (ko) * | 2017-12-28 | 2018-06-04 | 한국해양과학기술원 | 사고 선박 및 익수자 탐지용 다중파장 영상 분석 전자 광학 시스템 및 그 분석 방법 |
-
2020
- 2020-08-14 CN CN202010816251.2A patent/CN111924117B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0868844A (ja) * | 1994-08-30 | 1996-03-12 | Mitsubishi Electric Corp | 画像目標検出装置 |
| JP2000148972A (ja) * | 1998-11-06 | 2000-05-30 | Canon Inc | 画像認識装置 |
| CN103353285A (zh) * | 2013-07-23 | 2013-10-16 | 中国人民解放军总装备部军械技术研究所 | 平台光电仪器的多光轴一致性检测装置及其检测方法 |
| JP2019015709A (ja) * | 2017-07-07 | 2019-01-31 | 安東 秀夫 | 光源部および測定装置、近赤外顕微装置、光学的検出方法、イメージング方法、計算方法、機能性バイオ関連物質、状態管理方法、製造方法 |
| CN107395293A (zh) * | 2017-08-09 | 2017-11-24 | 西安应用光学研究所 | 一种无人机光电系统串行通讯状态检测方法 |
| CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
| CN111470055A (zh) * | 2020-04-09 | 2020-07-31 | 北京航宇测通电子科技有限公司 | 光电导航吊舱及光电导航系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张勇 ; 吴浩 ; 牛刚.基于非合作目标图像处理技术的大间距轴线一致性检测方法.激光与光电子学进展.2018,第1-7页. * |
| 赵玮 ; 昌明 ; 刘虎 ; 赵红军 ; 姜峰 ; 李玉喜 ; 张向明 ; 杨晓强.空间旋转多光轴平行性校准技术.应用光学.2018,第627-632页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111924117A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220244387A1 (en) | Imaging device and electronic device | |
| CN110692027B (zh) | 用于提供无人机应用的易用的释放和自动定位的系统和方法 | |
| CN108521808B (zh) | 一种障碍信息显示方法、显示装置、无人机及系统 | |
| US20190253626A1 (en) | Target tracking method and aircraft | |
| CN106647804B (zh) | 一种自动巡检方法及系统 | |
| US10742935B2 (en) | Video surveillance system with aerial camera device | |
| WO2018176376A1 (zh) | 一种环境信息采集方法、地面站及飞行器 | |
| CN109218598B (zh) | 一种相机切换方法、装置及无人机 | |
| CN109326125B (zh) | 基于嵌入式系统的图片质量诊断系统及诊断方法 | |
| US11949844B2 (en) | Image data processing method and apparatus, image processing chip, and aircraft | |
| CN111051198A (zh) | 无人飞行器控制系统、无人飞行器控制方法、及程序 | |
| CN113298973B (zh) | 一种基于5g通信的无人机电力巡检方法及装置 | |
| US10414514B1 (en) | Aircraft control method and apparatus and aircraft | |
| US20210394923A1 (en) | Aircraft control method and apparatus and aircraft | |
| US20190191071A1 (en) | Aircraft control method and apparatus and aircraft | |
| CN111765974A (zh) | 一种基于微型制冷红外热像仪的野生动物观测系统及方法 | |
| US11136138B2 (en) | Aircraft control method and apparatus and aircraft | |
| WO2020204893A1 (en) | Multiplex processing of image sensor data for sensing and avoiding external objects | |
| CN111924117B (zh) | 一种光电吊舱内置光学传感器波段自主切换方法 | |
| CN104580895A (zh) | 一种具有摄照同步工作能力的机载成像系统 | |
| WO2019127302A1 (zh) | 一种无人机、控制终端的控制方法及相关设备 | |
| CN210007799U (zh) | 图像处理系统及无人机 | |
| JP6360650B1 (ja) | 異常検知システム、方法及びプログラム | |
| CN111860461B (zh) | 一种光电吊舱内置光学传感器自主变焦方法 | |
| CN109547705B (zh) | 一种车辆的照片信息采集方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |