CN111103977B - 一种船舶辅助驾驶数据的处理方法和系统 - Google Patents

一种船舶辅助驾驶数据的处理方法和系统 Download PDF

Info

Publication number
CN111103977B
CN111103977B CN201911249319.7A CN201911249319A CN111103977B CN 111103977 B CN111103977 B CN 111103977B CN 201911249319 A CN201911249319 A CN 201911249319A CN 111103977 B CN111103977 B CN 111103977B
Authority
CN
China
Prior art keywords
ship
blind area
video data
information
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911249319.7A
Other languages
English (en)
Other versions
CN111103977A (zh
Inventor
马枫
刘佳仑
李诗杰
陈晨
王俊逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201911249319.7A priority Critical patent/CN111103977B/zh
Publication of CN111103977A publication Critical patent/CN111103977A/zh
Application granted granted Critical
Publication of CN111103977B publication Critical patent/CN111103977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种船舶辅助驾驶数据的处理方法和系统，所述方法包括以下步骤：获取驾驶员的头部视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息；根据视觉盲区位置信息获取视觉盲区位置的视频数据；对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示。本发明能使得LED显示屏显示的视频图像跟随驾驶员视角方向的变化而变化，从而保证显示的视频图像与驶员视角方向的图像相匹配，以提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。本发明可广泛应用于船舶交通技术领域。

Description

一种船舶辅助驾驶数据的处理方法和系统
技术领域
本发明涉及船舶交通技术领域，尤其是一种船舶辅助驾驶数据的处理方法和系统。
背景技术
传统的船舶辅助驾驶系统，主要采用设备结合的方式辅助船舶驾驶，例如使用自动雷达标绘仪扫描海域、差分GPS用于船舶精确定位、AIS(英文名称：AutomaticIdentification System，中文名称：船舶自动识别系统)用于船舶的识别和跟踪，以及电子海图用于接入以上设备的信号并显示船位位置。在船舶驾驶过程中，驾驶员需要综合利用雷达、AIS等设备，在夜航、雾航等情况下，甚至还要在驾驶台甲板上来回走动并根据经验驾驶船舶，虽然现在的船舶设备上增设有显示屏，但是，由于驾驶员在驾驶过程中，驾驶员需要根据实际情况改变视线范围，且驾驶员的视线范围是有限的，而现有技术的显示设备上显示的视频图像并没有与驾驶员观察到的视线范围的图像角度相匹配，导致在驾驶过程中遇到突发状况时，驾驶员无法根据显示视频第一时间准确判断盲区位置的实际环境，从而无法及时作出反应，增加事故发生的概率。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种船舶辅助驾驶数据的处理方法和系统，其能提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。
本发明实施例的第一方面提供了：
一种船舶辅助驾驶数据的处理方法，其包括以下步骤：
获取驾驶员的头部视频数据；
根据头部视频数据计算驾驶员的视觉盲区位置信息；
根据视觉盲区位置信息获取视觉盲区位置的视频数据；
对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；
将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示。
进一步地，所述根据头部视频数据计算驾驶员的视觉盲区位置信息，其具体包括：
对头部视频数据内的人眼进行检测，并对瞳孔进行定位；
根据瞳孔的定位结果获取左右眼的二维坐标；
获取左右眼的视差信息；
根据左右眼的视差信息和二维坐标计算左右眼的三维坐标；
识别头部视频数据内驾驶员的头部特征；
获取像素坐标系的平移和旋转矩阵与世界坐标系的平移和旋转矩阵；
根据驾驶员的头部特征与平移和旋转矩阵计算驾驶员的头部姿态角；
根据驾驶员左右眼的三维坐标和头部姿态角计算视觉盲区位置信息。
进一步地，所述根据视觉盲区位置信息获取视觉盲区位置的视频数据，其具体包括：
根据视觉盲区位置信息计算视觉盲区位置上船载摄像机的视场偏移量；
将视场偏移量发送到视觉盲区位置上的船载摄像机；
接收视觉盲区位置上的船载摄像机上传的视频数据。
进一步地，所述对视觉盲区位置的视频数据内的船舶信息进行处理，其具体为：
根据视觉盲区位置的视频数据内的船舶信息，采用深度视觉模型构建船舶模型；
所述船舶模型的构建过程，其具体包括：
对视觉盲区位置的视频数据进行帧分割；
将每帧的视频数据发送到残差网络提取船舶特征；
根据提取到的船舶特征，采用目标估计网络修正剩余船舶特征；
根据提取到的船舶特征和剩余船舶特征，采用区域特征聚集和非极大值抑制确定船舶类型；
根据船舶类型，采用全卷积网络和阈值分割法生成船舶的形状掩码信息；
将船舶的形状掩码信息转换成第一显示视频流。
进一步地，所述对视觉盲区位置的视频数据内的周围环境信息进行处理，其具体包括：
根据视觉盲区位置的视频数据内的周围环境信息生成船舶模型的周围环境信息；
将船舶模型的周围环境信息转换成第二显示视频流。
进一步地，所述将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，其具体为：
将第一显示视频流和第二显示视频流进行叠加后发送到LED显示屏进行显示。
本发明实施例的第二方面提供了：
一种船舶辅助驾驶数据的处理系统，其包括：
视觉跟踪单元，用于采集驾驶员的头部视频数据，将头部视频数据发送到控制单元；
视觉采集单元，用于根据视觉盲区位置信息采集视觉盲区位置的视频数据，将视觉盲区位置的视频数据发送到控制单元；
控制单元，用于接收头部视频数据和视觉盲区位置的视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元；以及对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；
LED显示单元，用于显示处理后的船舶信息和周围环境信息。
进一步地，所述视觉跟踪单元包括双目摄像机，所述双目摄像机用于采集驾驶员的头部视频数据。
进一步地，所述根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元，其具体包括：
根据头部视频数据计算驾驶员的头部姿态数据和左右眼的三维信息；
根据头部姿态数据和左右眼的三维信息确定驾驶员的视觉盲区位置信息；
根据驾驶员的视觉盲区位置信息计算船载摄像机的视场偏移量；
将视场偏移量发送到视觉采集单元。
进一步地，所述视觉采集单元包括若干个船载摄像机，所述若干个船载摄像机用于采集视觉盲区位置的视频数据，所述船载摄像机的采集方向根据控制单元发送的视场偏移量进行控制。
本发明的有益效果是：本发明通过根据头部视频数据计算驾驶员的视觉盲区位置信息，然后根据视觉盲区位置信息获取视觉盲区位置的视频数据，接着对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理，并将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，使得LED显示屏显示的视频图像与驾驶员视角方向相匹配，从而提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。
附图说明
图1为本发明一种具体实施例的船舶辅助驾驶数据的处理方法的流程图；
图2为本发明一种具体实施例的船舶辅助驾驶数据的处理系统的模块框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明实施例提供了一种船舶辅助驾驶数据的处理方法，本实施例应用于如图2所示系统的控制单元，所述控制单元分别视觉跟踪单元、视觉采集单元和LED显示单元连接，所述视觉跟踪单元用于采集驾驶员的头部视频数据，所述视觉采集单元用于采集驾驶员盲区位置的视频数据，所述LED显示单元用于显示船舶信息和船舶周围环境信息。
本实施例包括步骤S110-S150：
S110、获取驾驶员的头部视频数据；所述头部视频数据是通过安装在船舱内的双目摄像机录取的视频数据，所述双目摄像头安装在船舱正对驾驶员头部位置。
S120、根据头部视频数据计算驾驶员的视觉盲区位置信息；其具体是根据头部视频数据先计算出驾驶员的头部姿态数据和眼部三维数据，接着根据头部姿态数据和眼部三维数据预测驾驶员的盲区位置信息，根据盲区位置信息确定盲区位置船载摄像机的视场偏移量。
S130、根据视觉盲区位置信息获取视觉盲区位置的视频数据；具体是根据视觉盲区位置信息确定目标船载摄像机，然后将视场偏移量到目标船载摄像机上，使摄像机根据视场偏移量对指定方向进行录像，最后获取目标船载摄像机录取的视频数据。
S140、对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；具体是分别将船舶信息和周围环境信息转换成显示屏上的视频流。
S150、将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示。具体是将船舶信息和周围环境信息对应的视频流进行叠加后再显示，显示过程依据近大远小且无限远为灭点的原则进行显示，并且随着驾驶员眼部位置和头部姿态变化，视觉盲区位置的船载摄像机视场也随着动态变化，使得视觉盲区位置采集的视频数据同样动态变化。
本实施例通过根据头部视频数据计算驾驶员的视觉盲区位置信息，然后根据视觉盲区位置信息获取视觉盲区位置的视频数据，接着对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理，并将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，使得LED显示屏显示的视频图像随着驾驶员视角方向的变化而变化，即LED显示屏显示的视频图像与驾驶员视角方向相匹配，从而使驾驶员能对盲区位置环境信息进行快速准确的判断，并瞬速作为相应操作，以降低事故发生的概率。
作为优选的实施例，所述根据头部视频数据计算驾驶员的视觉盲区位置信息，其具体包括：
对头部视频数据内的人眼进行检测，并对瞳孔进行定位；其具体采用Haar-Adaboost人脸分类器模型对人眼进行检测和瞳孔精准定位，获取驾驶员左右眼在校正图像上的二维坐标，接着使用模板匹配确定左右眼视差信息，根据左右眼的视差信息和二维坐标通过三维重构计算左右眼在相机坐标系下的三维坐标。
在对驾驶员头部进行计算时，首先从头部视频数据内识别出驾驶员的头部特征，接着确定像素坐标系的平移和旋转矩阵与世界坐标系的平移和旋转矩阵，然后通过直接线性变换算法结合最小二乘进行迭代求解，再经过计算相机畸变和OpenCV提供的PnP问题的函数solvePnP()，求解旋转矩阵和欧拉角，进而获得驾驶员的头部姿态角。
最后根据驾驶员左右眼的三维坐标和头部姿态角计算视觉盲区位置信息。
本实施通过先计算出驾驶员的左右眼的三维坐标和头部姿态数据后，再根据驾驶员左右眼的三维坐标和头部姿态角计算视觉盲区位置信息，从而确保视觉盲区位置能够跟着驾驶员的视线范围变化而变化，使显示图像更加接近实际情况。
作为优选的实施例，所述根据视觉盲区位置信息获取视觉盲区位置的视频数据，其具体包括：
根据视觉盲区位置信息计算视觉盲区位置上船载摄像机的视场偏移量；所述船载摄像机可以180度旋转，用于对各个方向进行录像采集。所述视场偏移量是指船载摄像机的摄像头所要偏转的角度。
将视场偏移量发送到视觉盲区位置上的船载摄像机，使船载摄像机上的摄像头根据视场偏移量旋转对应的角度；
接收视觉盲区位置上的船载摄像机上传的视频数据。所述视频数据包括船舶特征信息和船舶周围的环境信息。
本实施例通过计算出船载摄像机的视场偏移量，并将视场偏移量发送到指定的船载摄像机上，使船载摄像机上的摄像头根据视场偏移量旋转对应的角度后进行录像，最后获取录像后的视频数据，从而保证视频数据的时效性。
作为优选的实施例，所述对视觉盲区位置的视频数据内的船舶信息进行处理，其具体为：
根据视觉盲区位置的视频数据内的船舶信息，采用深度视觉模型构建船舶模型；所述深度视觉模型是预先进行训练处理的模型。
所述船舶模型的构建过程，其具体包括：
对视觉盲区位置的视频数据进行帧分割；具体是将视频数据分割成多个关键帧。
将每帧的视频数据发送到残差网络提取船舶特征；本步骤具体是一次将每帧的视频数据发送到残差网络内，使残差网络在每帧的视频数据内提取船舶特征。
根据提取到的船舶特征，采用目标估计网络修正剩余船舶特征；由于在视觉盲区位置的视频数据不会记录船舶的所有特征，因此需要根据已知的船舶特征，推测出未知的船舶特征。
根据提取到的船舶特征和剩余船舶特征，采用区域特征聚集和非极大值抑制确定船舶类型；所述区域特征聚集为ROI Align层。所述非极大值抑制就是抑制不是极大值的元素，其实基于深度学习的目标检测方法中常用的优化目标包围框的方法，起到优化船舶在每帧图像定位的作用。
根据船舶类型，采用全卷积网络和阈值分割法生成船舶的形状掩码信息；
将船舶的形状掩码信息转换成第一显示视频流。所述第一显示视频流为船舶模型的显示视频数据。即将船舶的形状掩码信息融入到LED显示屏的视频流上。
本实施例通过获取已知的船舶特征和未知的船舶特征，然后根据所有船舶特征确定船舶类型，并根据船舶类型生成船舶的形状掩码信息，将形状掩码信息融入到LED显示屏的视频流，从而使LED显示屏上显示的船舶为实际船舶的图形。
作为优选的实施例，所述对视觉盲区位置的视频数据内的周围环境信息进行处理，其具体包括：
根据视觉盲区位置的视频数据内的周围环境信息生成船舶模型的周围环境信息；
将船舶模型的周围环境信息转换成第二显示视频流。所述第二显示视频为船舶周围环境在LED显示屏上的显示视频数据。由于在实际的运行过程中，船舶周围会遇到各种各样的环境干扰信息，因此，通过将第一显示视频流和第二显示视频流进行叠加后发送到LED显示屏进行显示，使驾驶员可以根据显示的视频快速判断出周围环境情况，及时作出相应操作。
此外，如图2所示，本发明实施例还提供了一种船舶辅助驾驶数据的处理系统，其包括：
视觉跟踪单元，用于采集驾驶员的头部视频数据，将头部视频数据发送到控制单元；所述头部视频数据是通过安装在船舱内的双目摄像机录取的视频数据，所述双目摄像头安装在船舱正对驾驶员头部位置。
视觉采集单元，用于根据视觉盲区位置信息采集视觉盲区位置的视频数据，将视觉盲区位置的视频数据发送到控制单元；
控制单元，用于接收头部视频数据和视觉盲区位置的视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元；以及对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；所述处理过程是分别将船舶信息和周围环境信息转换成显示屏上的视频流。所述控制单元预先加载了驾驶员眼部精准定位算法、驾驶员头部姿态角估计算法和驾驶员与视觉盲区的透视变换算法等多个算法。
LED显示单元，用于显示处理后的船舶信息和周围环境信息。所述显示过程依据近大远小且无限远为灭点的原则进行显示，并且随着驾驶员眼部位置和头部姿态变化，视觉盲区位置的船载摄像机视场也随着动态变化，使得视觉盲区位置采集的视频数据同样动态变化。
本实施例通过视觉跟踪单元采集驾驶员的头部视频数据，视觉采集单元采集视觉盲区位置的视频数据，并通过控制单元对头部视频数据和视觉盲区位置的视频数据进行处理后，通过LED显示单元进行显示，从而使LED显示屏显示的视频图像与驾驶员视角方向相匹配，提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。
作为优选的实施例，如图2所示，所述视觉跟踪单元包括双目摄像机，所述双目摄像机用于采集驾驶员的头部视频数据。在双目摄像机进行工作之前，需要先对双目摄像机进行参数初始化，易确保双目摄像机进行工作时，能够准确地对驾驶员头部进行录像。
作为优选的实施例，所述根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元，其具体包括：
根据头部视频数据计算驾驶员的头部姿态数据和左右眼的三维信息；具体是在双目摄像机获取的图像上进行驾驶员眼部精准定位，获得驾驶员左右眼部瞳孔在图像中的精准定位，接着根据立体匹配算法匹配双目摄像机的图像中驾驶员左右眼部瞳孔在图像中的精准位置。然后利用视差匹配算法计算驾驶员左右眼部的三维位置信息，以及利用相机的平移和旋转矩阵计算驾驶员的头部姿态数据。
根据头部姿态数据和左右眼的三维信息确定驾驶员的视觉盲区位置信息；具体是利用透视变换算法求解驾驶员视角对应的盲区位置信息，然后根据驾驶员的视觉盲区位置信息计算船载摄像机的视场偏移量；
将视场偏移量发送到视觉采集单元，使视觉采集单元能准确采集实际图像数据。
作为优选的实施例，如图2所示，所述视觉采集单元包括若干个船载摄像机，所述若干个船载摄像机用于采集视觉盲区位置的视频数据，所述船载摄像机的采集方向根据控制单元发送的视场偏移量进行控制。所述船载摄像机安装在船舶外侧或者驾驶员视野外。
本实施例通过多个船载摄像机根据视场偏移量采集对应方位的实时数据，从而保证视频数据的实时性和准确性。
综上所述，本发明通过根据头部视频数据计算驾驶员的视觉盲区位置信息，然后根据视觉盲区位置信息获取视觉盲区位置的视频数据，接着对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理，并将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，使得LED显示屏显示的视频图像与驾驶员视角方向相匹配，从而提高驾驶员对盲区位置环境信息的判断速度和准确性，降低事故发生的概率。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种船舶辅助驾驶数据的处理方法，其特征在于：包括以下步骤：
获取驾驶员的头部视频数据；
根据头部视频数据计算驾驶员的视觉盲区位置信息；
根据视觉盲区位置信息获取视觉盲区位置的视频数据；
对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；
将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示；
其中，所述对视觉盲区位置的视频数据内的船舶信息进行处理，其具体为：
根据视觉盲区位置的视频数据内的船舶信息，采用深度视觉模型构建船舶模型；
所述船舶模型的构建过程，其具体包括：
对视觉盲区位置的视频数据进行帧分割；
将每帧的视频数据发送到残差网络提取船舶特征；
根据提取到的船舶特征，采用目标估计网络修正剩余船舶特征；
根据提取到的船舶特征和剩余船舶特征，采用区域特征聚集和非极大值抑制确定船舶类型；
根据船舶类型，采用全卷积网络和阈值分割法生成船舶的形状掩码信息；
将船舶的形状掩码信息转换成第一显示视频流。
2.根据权利要求1所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述根据头部视频数据计算驾驶员的视觉盲区位置信息，其具体包括：
对头部视频数据内的人眼进行检测，并对瞳孔进行定位；
根据瞳孔的定位结果获取左右眼的二维坐标；
获取左右眼的视差信息；
根据左右眼的视差信息和二维坐标计算左右眼的三维坐标；
识别头部视频数据内驾驶员的头部特征；
获取像素坐标系的平移和旋转矩阵与世界坐标系的平移和旋转矩阵；
根据驾驶员的头部特征与平移和旋转矩阵计算驾驶员的头部姿态角；
根据驾驶员左右眼的三维坐标和头部姿态角计算视觉盲区位置信息。
3.根据权利要求2所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述根据视觉盲区位置信息获取视觉盲区位置的视频数据，其具体包括：
根据视觉盲区位置信息计算视觉盲区位置上船载摄像机的视场偏移量；
将视场偏移量发送到视觉盲区位置上的船载摄像机；
接收视觉盲区位置上的船载摄像机上传的视频数据。
4.根据权利要求1所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述对视觉盲区位置的视频数据内的周围环境信息进行处理，其具体包括：
根据视觉盲区位置的视频数据内的周围环境信息生成船舶模型的周围环境信息；
将船舶模型的周围环境信息转换成第二显示视频流。
5.根据权利要求4所述的一种船舶辅助驾驶数据的处理方法，其特征在于：所述将处理后的船舶信息和周围环境信息发送到LED显示屏进行显示，其具体为：
将第一显示视频流和第二显示视频流进行叠加后发送到LED显示屏进行显示。
6.一种船舶辅助驾驶数据的处理系统，其特征在于：包括：
视觉跟踪单元，用于采集驾驶员的头部视频数据，将头部视频数据发送到控制单元；
视觉采集单元，用于根据视觉盲区位置信息采集视觉盲区位置的视频数据，将视觉盲区位置的视频数据发送到控制单元；
控制单元，用于接收头部视频数据和视觉盲区位置的视频数据；根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元；以及对视觉盲区位置的视频数据内的船舶信息和周围环境信息进行处理；
LED显示单元，用于显示处理后的船舶信息和周围环境信息；
其中，所述对视觉盲区位置的视频数据内的船舶信息进行处理，其具体为：
根据视觉盲区位置的视频数据内的船舶信息，采用深度视觉模型构建船舶模型；
所述船舶模型的构建过程，其具体包括：
对视觉盲区位置的视频数据进行帧分割；
将每帧的视频数据发送到残差网络提取船舶特征；
根据提取到的船舶特征，采用目标估计网络修正剩余船舶特征；
根据提取到的船舶特征和剩余船舶特征，采用区域特征聚集和非极大值抑制确定船舶类型；
根据船舶类型，采用全卷积网络和阈值分割法生成船舶的形状掩码信息；
将船舶的形状掩码信息转换成第一显示视频流。
7.根据权利要求6所述的一种船舶辅助驾驶数据的处理系统，其特征在于：所述视觉跟踪单元包括双目摄像机，所述双目摄像机用于采集驾驶员的头部视频数据。
8.根据权利要求6所述的一种船舶辅助驾驶数据的处理系统，其特征在于：所述根据头部视频数据计算驾驶员的视觉盲区位置信息，将视觉盲区位置信息发送到视觉采集单元，其具体包括：
根据头部视频数据计算驾驶员的头部姿态数据和左右眼的三维信息；
根据头部姿态数据和左右眼的三维信息确定驾驶员的视觉盲区位置信息；
根据驾驶员的视觉盲区位置信息计算船载摄像机的视场偏移量；
将视场偏移量发送到视觉采集单元。
9.根据权利要求8所述的一种船舶辅助驾驶数据的处理系统，其特征在于：所述视觉采集单元包括若干个船载摄像机，所述若干个船载摄像机用于采集视觉盲区位置的视频数据，所述船载摄像机的采集方向根据控制单元发送的视场偏移量进行控制。
CN201911249319.7A 2019-12-09 2019-12-09 一种船舶辅助驾驶数据的处理方法和系统 Active CN111103977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911249319.7A CN111103977B (zh) 2019-12-09 2019-12-09 一种船舶辅助驾驶数据的处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911249319.7A CN111103977B (zh) 2019-12-09 2019-12-09 一种船舶辅助驾驶数据的处理方法和系统

Publications (2)

Publication Number Publication Date
CN111103977A CN111103977A (zh) 2020-05-05
CN111103977B true CN111103977B (zh) 2021-06-01

Family

ID=70422172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911249319.7A Active CN111103977B (zh) 2019-12-09 2019-12-09 一种船舶辅助驾驶数据的处理方法和系统

Country Status (1)

Country Link
CN (1) CN111103977B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931555B (zh) * 2020-06-14 2023-08-08 交通运输部科学研究院 一种利用视频图像识别船舶ais是否开启的方法
CN114435247A (zh) * 2021-11-15 2022-05-06 盐城吉研智能科技有限公司 一种汽车前视双侧盲区增强显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
CN106143307A (zh) * 2016-07-11 2016-11-23 京东方科技集团股份有限公司 一种驾驶辅助系统及车辆
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN110221546A (zh) * 2019-05-21 2019-09-10 武汉理工大学 虚实融合的船舶智能控制系统测试平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10399650B2 (en) * 2017-01-17 2019-09-03 Harris Corporation System for monitoring marine vessels and determining rendezvouses therebetween and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
CN106143307A (zh) * 2016-07-11 2016-11-23 京东方科技集团股份有限公司 一种驾驶辅助系统及车辆
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN110221546A (zh) * 2019-05-21 2019-09-10 武汉理工大学 虚实融合的船舶智能控制系统测试平台

Also Published As

Publication number Publication date
CN111103977A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
KR102658233B1 (ko) 항만 모니터링 장치 및 항만 모니터링 방법
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN106020232B (zh) 一种无人机避障装置及避障方法
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
JP6766844B2 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US20220058407A1 (en) Neural Network For Head Pose And Gaze Estimation Using Photorealistic Synthetic Data
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN111524392B (zh) 一种辅助智能船舶远程驾驶的综合系统
CN111103977B (zh) 一种船舶辅助驾驶数据的处理方法和系统
EP3286056B1 (en) System and method for a full lane change aid system with augmented reality technology
CN113050121A (zh) 一种船舶导航系统和船舶导航方法
CN112083437A (zh) 一种船用激光雷达与视频联合目标捕捉系统及方法
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
KR20170031895A (ko) 가상 선교 시스템 및 그의 제어방법
CN112927233A (zh) 一种船用激光雷达与视频联合目标捕捉方法
KR20150075505A (ko) 영상 기반 선박 주변 타선정보 제공장치 및 그 방법
CN110667783A (zh) 一种无人艇辅助驾驶系统及其方法
CN111625159A (zh) 用于远程驾驶的人机交互操作界面显示方法、装置和终端
CN114463640A (zh) 一种局部特征融合的多视角船舶身份识别方法
KR20180119238A (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
CN116894936B (zh) 基于无人机视觉的海上目标识别定位方法及系统
CN117542225A (zh) 一种增强现实船舶辅助航行系统
CN112507965A (zh) 一种电子瞭望系统的目标识别方法及系统
Priyadharshini et al. Advances in vision based lane detection algorithm based on reliable lane markings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ma Feng

Inventor after: Liu Jialun

Inventor after: Li Shijie

Inventor after: Chen Chen

Inventor after: Wang Junyi

Inventor before: Ma Feng

Inventor before: Liu Jialun

Inventor before: Li Shijie

Inventor before: Li Chen

Inventor before: Wang Junyi

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant