CN109816751A - 基于无人机航摄和视觉识别技术的航道事故处理方法 - Google Patents
基于无人机航摄和视觉识别技术的航道事故处理方法 Download PDFInfo
- Publication number
- CN109816751A CN109816751A CN201711179005.5A CN201711179005A CN109816751A CN 109816751 A CN109816751 A CN 109816751A CN 201711179005 A CN201711179005 A CN 201711179005A CN 109816751 A CN109816751 A CN 109816751A
- Authority
- CN
- China
- Prior art keywords
- image
- navigation channel
- accident
- unmanned plane
- automatically
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明的基于无人机航摄和视觉识别技术的航道事故处理方法，该方法包括如下步骤：所述无人机的数字航摄仪抓拍航道事故现场图像，所述被抓拍航道事故现场图像进行配准和图像特征提取，能够自动识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，并能够标注航道交通元素之间的实际距离；手工或自动快速生成航道事故现场图。通过本发明，航道事故处理所需要的航道事故现场图，能够手工或自动快速生成，可以快速高效率地处理航道事故。
Description
技术领域
本发明涉及无人机应用、视觉识别/模式识别技术、航道事故系统生成技术领域，尤其涉及到基于无人机航摄和视觉识别技术的航道事故处理方法。
背景技术
本发明中包含的英文简称如下：
UAV：Unmanned Aerial Vehicles无人机
IMU：Inertial measurement unit惯性测量单元
GPS：Global Positioning System全球定位系统
UCS：UAV Control System无人机控制系统
GCS：Ground Control Station地面控制站
DEM：Digital Elevation Model数字高程模型
DOM：Digital Orthophoto Map数字正射影像图
DSM：Digital Surface Model数字地表模型
SIFT：scale-invariant feature transform尺度不变特征点
航道事故处理，主要任务包括勘视、检测、测量、绘图、拍照和录像等活动。通过这些活动，绘制航道事故现场图和还原航道事故现场，从而查明事故原因，判明当事各方及有关人员的责任。目前，航道事故现场图的绘制主要存在绘制时间长的缺陷，这直接导致了航道封航时间长，不利于快速恢复航道交通，还加重了航道拥堵；另一方面，还存在一些关键参数容易遗漏、水流动态、现场证物和状态难以固定等缺陷。
针对以上问题，现有技术中也作了许多改进，例如中国专利申请号为201310272101.X的发明申请专利公开了一种基于航拍图像的交通事故现场图快速生成方法及系统，该现场图生成方法包括如下步骤：利用航拍平台拍摄事故现场图像并生成正投影图；将实景图作为背景图像在显示模块进行显示，模板生成模块生成车辆图像和道路边缘图像；模板生成模块生成环境物体图像、散落物体图像、较浅的路面刮痕图像和制动痕迹图像；距离标注模块对交通元素之间的距离进行测量并在显示模块上进行标注；在显示模块上对标准现场图需要的其他信息进行标注；从显示模块上删除背景图像，附属区域生成模板在显示模板上生成并显示附属区域。本发明的基于航拍图像的交通事故现场图快速生成方法不需要手工绘制，能够利用航拍图像快速准确地生成标准的航道事故现场图；但是，实际计算过程复杂，不适合工业应用。
发明内容
为了克服已有技术中存在的缺陷，本发明提供了基于无人机航摄和视觉识别技术的航道事故处理方法，一种集成无人机数字航摄技术、视觉识别/模式识别技术和航道事故现场图生成技术的方法，采用视觉识别/模式识别，实现航道事故现场图的手工或自动快速生成。它将无人机机载数字航摄仪抓拍到的航道事故现场图像，经过图像配准和图像特征提取，能够手工或自动快速生成航道事故现场图；并且，通过无线通信网络与无人机机载数字航摄仪相连接的地面端设备，可以浏览、下载和打印所述航道事故现场图。
基于无人机航摄和视觉识别技术的航道事故处理方法，其特征在于，包括如下步骤：
所述无人机的数字航摄仪抓拍航道事故现场图像，并保存无人机航拍图像在地面端的视频服务器上。
所述被抓拍航道事故现场图像进行配准。
所述经过配准之后的图像进行特征提取，自动识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像，等。
所述经过自动识别出所述图像之后，能够标注航道交通元素之间的实际距离。
根据所述自动识别出的所述图像和标注出的航道交通元素之间的距离，手工或自动快速生成航道事故现场图。
进一步地，所述图像配准，能够校正失真图像等，将航道事故现场图像变换成正投影图，等。
进一步地，所述图像特征提取，采用诸如改进Grabcut算法识别船舶图像和航道及航道边缘图像，以及采用诸如SIFT的视觉识别算法，识别环境图像、漂浮物图像、痕迹图像，等。
进一步地，所述能够标注航道交通元素之间的距离，根据像素坐标与大地坐标系的三维坐标之间的转换，自动计算和标注航道交通元素之间的实际距离。
进一步地，所述手工或自动快速生成航道事故现场图，将所识别出的船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，通过图像特征提取进行自动而快速再现，并手工或自动而快速地标注出航道交通元素之间的距离。
本发明的基于无人机航摄和视觉识别技术的航道事故处理方法，该方法包括如下步骤：所述无人机的数字航摄仪抓拍航道事故现场图像，所述被抓拍航道事故现场图像进行配准和特征提取，能够自动识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，并能够标注航道交通元素之间的距离；手工或自动快速生成航道事故现场图。通过本发明，航道事故处理所需要的航道事故现场图，能够手工或自动快速生成标准的航道事故现场图，可以快速高效率地处理航道事故。
附图说明
图1为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的框架示意图。
图2为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的示意图。
图3为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的像素坐标和大地坐标系之间转换的示意图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明：
本发明公开了一种基于无人机航摄和视觉识别技术的航道事故处理方法。在一个实施例中，本发明包括固定在无人机上的包括一个或多个摄像机的数字航摄仪，并且可以抓拍到一个或多个图像。在一个实施例中，本发明包括图像特征提取模块：通过分析被UAV抓拍到的图像，分离出的一个或多个船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，确定和保存所述一个或多个船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等。在一个实施例中，本发明包括航道事故现场图快速生成与图像特征提取模块集成：能够获得一个或多个船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等的位置等信息。
本发明公开了一种基于无人机航摄和视觉识别技术的航道事故处理方法。在一个实施例中，包括无人机，地面端。在另一个实施例中，地面端包括接收无人机航拍视频或图片的视频服务器。
本发明公开了一种基于无人机航摄和视觉识别技术的航道事故处理方法。在一个实施例中，该方法包括通过无人机的数字航摄仪抓拍至少一幅航道事故现场图像。在另一个实施例中，该方法包括从所抓拍的至少一个图像中提取至少一个航道事故现场图像，例如，船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像。
以下附图描述了本发明的各种实施例的特征，附图描述了本发明的进一步细节。这些图仅描述本发明的选定实施例，不应考虑以任何方式限制其范围。
本发明的实施例涉及UAV及数字航摄仪100、地面端101，更进一步地涉及到UAV的数字航摄仪100、地面端101的视频服务器102和航道事故现场图生成120的集成方法。本发明的实施例，形成了利用无人机及数字航摄仪100、地面端视频服务器102、地面端图像配准104、地面端图像特征提取106和地面端航道事故现场图生成120的集成方法。在这方面，无人机抓拍了航道事故现场图像，利用诸如改进Grabcut算法、Haar、人脸识别、红外、彩色图像检测、SIFT等视觉识别技术，从地面端被抓拍到的航道事故现场图像分割出船舶图像、航道边缘图像110、环境图像、漂浮物图像、痕迹图像112，并存储在地面端中的视频服务器102上，手工或自动计算和标注交通元素之间的距离114。
图1为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的框架示意图。它包括无人机及数字航摄仪100和地面端101，申请人注意到，为了简便，数字航摄仪及无人机100和其他组件一般用简化的示意图来描述。这种描述，包括组件和几何配置，仅仅供说明之用。申请人还注意到，无人机及数字航摄仪100和其他组件可以包括用于执行本发明公开中所涉及到的航道事故现场图像。例如，无人机及数字航摄仪100可以包括但不限于一个或多个光学元件、一个或多个孔、一个或多个图像传感器和一个或多个可调节支架。
在一个实施例中，参考图1，经过图像配准104，能够校正失真图像等，将航道事故现场图像变换成正投影图，等。
在一个实施例中，参考图1，经过图像特征提取106，能够诸如采用改进Grabcut算法识别船舶和航道及航道边缘110，以及采用SIFT视觉识别算法，识别环境图像、漂浮物图像、痕迹图像等112。
在一个实施例中，参考图1，经过图像特征提取106，能够自动标注航道交通元素之间的距离114。
在一个实施例中，参考图1，经过图像特征提取106，进行自动而快速再现，并自动而快速地标注出航道交通元素之间的距离，手工或自动快速生成航道事故现场图120。
在一个实施例中，还包括一个或多个数字航摄仪固定在无人机100和集成到一个或多个处理器。在另一个实施例中，无人机及数字航摄仪100被配置成抓拍用于由一个或多个处理器执行的图像特征提取和分析处理的一个或多个被抓拍图像。在一个实施例中，被抓拍的图像检测出船舶图像、航道边缘图像110、环境图像、漂浮物图像、痕迹图像112。
在一个实施例中，参考图1，由UAV 100的一个或多个处理器执行和实现的一个或多个指令被分离成多个过程或指令集，并进一步分为多个子过程或子指令集，使用无人机及数字航摄仪100抓拍的一个或多个图像，执行图像配准104。
在一个实施例中，图像特征提取106还包括图像分析处理、现场图像获取子过程、现场图像轮廓匹配处理和图像分类子过程。例如，图像特征提取106可以被配置为：通过分析被UAV抓拍到的事故现场图像并进行配准104和特征提取106，分离出船舶图像、航道边缘图像110、环境图像、漂浮物图像、痕迹图像112，等。
在一个实施例中，还包括航道事故现场图快速生成120，集成到图像配准102和图像特征提取模块106中，并通过与地面端相连接的无线网络130，能够浏览、下载和打印航道事故现场图。
在一个实施例中，无人机包括一个或多个航摄仪100连接到一个或多个处理器，例如，一旦接收到指令，无人机及航摄仪100可以包括能够在各个方向上移动的支架。在一个实施例中，无人机及航摄仪100的一个或多个组件被配置为根据一个或多个指令或执行指令集进行移动。例如，当接收到一个或多个指令时，无人机及航摄仪100的镜头可以拉远和拉近等。
在一个实施例中，一个或多个无人机及航摄仪100还包括图像稳定功能(未示出)(例如，通过设定程序指令达到稳定图像的目的)，一个或多个存储控制器，高速存储器(例如，分割成单独的数据库)，图形引擎，一个或多个输出，包括但不限于一个显示输出和一个音频输出，一个图像/视频DSP，一个或多个设备被配置为执行无线传输，包括但不限于以太网设备；和一个或多个通用输入输出(I/O)命令的设备。在一个实施例中，无人机及航摄仪100可被配置为接收和/或与一个或多个外部存储器设备进行通信。
在一个实施例中，无人机100还包括用于发送和接收一个或多个无线信号的无线通信网络130。
图2为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的示意图。
一种基于无人机航摄和视觉识别技术的航道事故处理方法，其特征在于，包括如下步骤：
所述无人机的数字航摄仪抓拍航道事故现场图像，并保存无人机航拍图像到地面端设备上101。
所述被抓拍航道事故现场图像进行配准204。
所述经过配准之后的图像进行特征提取，自动识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等206。
所述经过自动识别出所述图像之后，能够标注航道交通元素之间的距离210。
根据所述自动识别出的所述图像和标注出的航道交通元素之间的距离，手工或自动快速生成航道事故现场图214。
进一步地，所述图像配准，能够校正失真图像等，将航道事故现场图像变换成正投影图，等。
进一步地，所述图像特征提取，采用诸如改进Grabcut算法识别船舶图像和航道及航道边缘图像，以及采用诸如SIFT视觉识别算法，识别环境图像、漂浮物图像、痕迹图像，等。
进一步地，所述能够标注航道交通元素之间的距离，根据像素坐标与大地坐标系的三维坐标之间的转换，自动计算和标注航道交通元素之间的距离。
进一步地，所述手工或自动快速生成航道事故现场图，将所识别出的船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，通过图像特征提取进行自动而快速再现，并自动而快速地标注出航道交通元素之间的实际距离。
图3为本发明所述的基于无人机航摄和视觉识别技术的航道事故处理方法的像素坐标和大地坐标系之间转换的示意图。根据像素坐标302与大地坐标系307的三维坐标之间的转换，自动计算和标注航道交通元素之间的实际距离。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。
Claims (5)
1.本发明提供了基于无人机航摄和视觉识别技术的航道事故处理方法，其特征在于，包括如下步骤：
(1)所述无人机的数字航摄仪抓拍航道事故现场图像，并保存无人机航拍图像在地面端设备上。
(2)所述被抓拍航道事故现场图像进行配准。
(3)所述经过配准之后的图像进行特征提取，自动识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像，等。
(4)所述经过自动识别出所述图像之后，能够标注航道交通元素之间的实际距离。
(5)根据所述自动识别出的所述图像和标注出的航道交通元素之间的实际距离，手工或自动快速生成航道事故现场图。
2.如权利要求1所述的基于无人机航摄和视觉识别技术的航道事故处理方法，所述图像配准，能够校正失真图像等，将航道事故现场图像变换成正投影图等。
3.如权利要求1所述的基于无人机航摄和视觉识别技术的航道事故处理方法，所述图像特征提取，能够识别出船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像，等。
4.如权利要求1所述的基于无人机航摄和视觉识别技术的航道事故处理方法，所述能够标注航道交通元素之间的实际距离，能够自动计算和标注出航道交通元素之间的实际距离。
5.如权利要求1所述的基于无人机航摄和视觉识别技术的航道事故处理方法，所述手工或自动快速生成航道事故现场图，将所识别出的船舶图像、航道边缘图像、环境图像、漂浮物图像、痕迹图像等，通过图像特征提取进行自动而快速再现，并手工或自动而快速地标注出航道交通元素之间的实际距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711179005.5A CN109816751A (zh) | 2017-11-20 | 2017-11-20 | 基于无人机航摄和视觉识别技术的航道事故处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711179005.5A CN109816751A (zh) | 2017-11-20 | 2017-11-20 | 基于无人机航摄和视觉识别技术的航道事故处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109816751A true CN109816751A (zh) | 2019-05-28 |
Family
ID=66600074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711179005.5A Pending CN109816751A (zh) | 2017-11-20 | 2017-11-20 | 基于无人机航摄和视觉识别技术的航道事故处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816751A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113074701A (zh) * | 2020-01-03 | 2021-07-06 | 南京模幻天空航空科技有限公司 | 基于机器视觉和图像识别的无塔尺交通事故现场测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101319895A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 手持式交通事故现场快速测绘仪 |
| WO2013012280A2 (ko) * | 2011-07-21 | 2013-01-24 | 한국해양연구원 | 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 |
| CN103186892A (zh) * | 2013-04-01 | 2013-07-03 | 中国人民解放军第三军医大学第三附属医院 | 利用航拍图像生成等比例实景现场图的方法及系统 |
| CN103400362A (zh) * | 2013-07-30 | 2013-11-20 | 中国人民解放军第三军医大学第三附属医院 | 事故近景图与航拍图像相融合获取清晰场景图的方法 |
| CN105700791A (zh) * | 2016-03-04 | 2016-06-22 | 沈阳天择智能交通工程有限公司 | 道路交通事故现场草图识别绘制方法 |
-
2017
- 2017-11-20 CN CN201711179005.5A patent/CN109816751A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101319895A (zh) * | 2008-07-17 | 2008-12-10 | 上海交通大学 | 手持式交通事故现场快速测绘仪 |
| WO2013012280A2 (ko) * | 2011-07-21 | 2013-01-24 | 한국해양연구원 | 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 |
| CN103186892A (zh) * | 2013-04-01 | 2013-07-03 | 中国人民解放军第三军医大学第三附属医院 | 利用航拍图像生成等比例实景现场图的方法及系统 |
| CN103400362A (zh) * | 2013-07-30 | 2013-11-20 | 中国人民解放军第三军医大学第三附属医院 | 事故近景图与航拍图像相融合获取清晰场景图的方法 |
| CN105700791A (zh) * | 2016-03-04 | 2016-06-22 | 沈阳天择智能交通工程有限公司 | 道路交通事故现场草图识别绘制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113074701A (zh) * | 2020-01-03 | 2021-07-06 | 南京模幻天空航空科技有限公司 | 基于机器视觉和图像识别的无塔尺交通事故现场测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7190842B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
| CN105930819B (zh) | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 | |
| CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
| CN111368605B (zh) | 车道线提取方法及装置 | |
| US7965904B2 (en) | Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| JP2007219231A (ja) | 航空画像処理装置および航空画像処理方法 | |
| Murali et al. | Smartphone-based crosswalk detection and localization for visually impaired pedestrians | |
| US11875524B2 (en) | Unmanned aerial vehicle platform based vision measurement method for static rigid object | |
| CN115235493B (zh) | 一种基于矢量地图进行自动驾驶定位的方法及装置 | |
| WO2018142533A1 (ja) | 位置姿勢推定装置および位置姿勢推定方法 | |
| KR101255461B1 (ko) | 도로시설물 자동 위치측정 방법 | |
| CN107356255B (zh) | 一种无人机导航方法及装置 | |
| CN116030194A (zh) | 一种基于目标检测规避的空地协同实景三维建模优化方法 | |
| CN112560922B (zh) | 一种基于视觉的雾天飞机自主着陆方法及系统 | |
| US11461944B2 (en) | Region clipping method and recording medium storing region clipping program | |
| WO2022126540A1 (zh) | 障碍物检测及重识别方法、装置、可移动平台及存储介质 | |
| CN109816751A (zh) | 基于无人机航摄和视觉识别技术的航道事故处理方法 | |
| CN110660113A (zh) | 特征地图的建立方法、装置、采集设备和存储介质 | |
| JP6916975B2 (ja) | 標識位置特定システム及びプログラム | |
| Božić-Štulić et al. | Complete model for automatic object detection and localisation on aerial images using convolutional neural networks | |
| Lee et al. | Edge response analysis of UAV-images using a slanted target | |
| CN115790568A (zh) | 基于语义信息的地图生成方法及相关设备 | |
| CN114119713A (zh) | 一种基于人工智能与无人机遥感的林地空秃检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190528 |
|
| WD01 | Invention patent application deemed withdrawn after publication |