CN111462233A - 一种船舶驾驶室的还原数据处理方法、系统和存储介质 - Google Patents

一种船舶驾驶室的还原数据处理方法、系统和存储介质 Download PDF

Info

Publication number
CN111462233A
CN111462233A CN202010199398.1A CN202010199398A CN111462233A CN 111462233 A CN111462233 A CN 111462233A CN 202010199398 A CN202010199398 A CN 202010199398A CN 111462233 A CN111462233 A CN 111462233A
Authority
CN
China
Prior art keywords
crew
cab
ship
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010199398.1A
Other languages
English (en)
Other versions
CN111462233B (zh
Inventor
马枫
刘伟健
刘佳仑
李诗杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010199398.1A priority Critical patent/CN111462233B/zh
Publication of CN111462233A publication Critical patent/CN111462233A/zh
Application granted granted Critical
Publication of CN111462233B publication Critical patent/CN111462233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种船舶驾驶室的还原数据处理方法、系统和存储介质，方法包括以下步骤：接收船员骨架信息，所述船员骨架信息通过文本传输；根据船员骨架信息计算船员的空间坐标；获取驾驶室三维模型；根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。本发明通过接收文本传输的船员骨架信息，克服陆地移动蜂窝网在海上使用不稳定和网络带宽限制导致无法传输视频和图片的问题，并通过根据船员骨架信息计算得到的空间坐标在驾驶室三维模型内构建船员虚拟模型，使船舶管理人员能够通过驾驶室三维模型内的船员虚拟模型准确掌握值班室内驾驶人员的工作状态，以提高发生事故后责任界定结果的准确性。本发明可广泛应用于三维建模技术领域。

Description

一种船舶驾驶室的还原数据处理方法、系统和存储介质
技术领域
本发明涉及三维建模技术领域，尤其是一种船舶驾驶室的还原数据处理方法、系统和存储介质。
背景技术
现有的船舶驾驶室航行值班报警系统用于监视值班驾驶员的到岗情况。当探测到船舶驾驶室人员不能履行值班驾驶员的责任时，就自动发出一系列逐步延伸的报警，其对于改善海上交通环境，预防和减少交通事故及火灾都起到了一定作用。然而，在实际应用中，船舶驾驶室航行值班报警系统的监测具有一定的局限性，既无法准确地了解值班室内驾驶人员的驾驶状况，也难以判断驾驶舱内的人员分配情况，且普遍的陆地移动蜂窝网存在海上使用不稳定、网络带宽限制等一系列问题，使得无法传输视频和图片，而价格高昂的通信卫星则无法在经济性和日常性中维持平衡，导致船舶管理人员无法准确掌握值班室内驾驶人员的驾驶状况，从而使得发生事故后难以明确事故责任。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种船舶驾驶室的还原数据处理方法、系统和存储介质，其能使船舶管理人员准确掌握值班室内驾驶人员的驾驶状况，提高发生事故后责任界定结果的准确性。
本发明实施例的第一方面提供了：
一种船舶驾驶室的还原数据处理方法，其包括以下步骤：
接收船员骨架信息，所述船员骨架信息通过文本传输；
根据船员骨架信息计算船员的空间坐标；
获取驾驶室三维模型；
根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。
进一步地，所述船员骨架信息通过MaskRCNN模型提取到，所述MaskRCNN模型的船员骨架信息提取过程包括以下步骤：
对船舶终端上的监控图像进行目标分割；
在目标分割后的监控图像上采用边界框标识人体位置；
在标识到的人体位置上提取若干个人体骨架点；
通过所述若干个人体骨架点构成船员骨架信息。
进一步地，所述MaskRCNN模型通过预先存储的船员骨架信息进行训练。
进一步地，还包括以下步骤：
获取驾驶室目标检测区域；
在确定所述采用边界框标识人体位置与所述驾驶室目标检测区域存在重合部分后，判定所述驶室目标检测区域存在船员。
进一步地，所述根据船员骨架信息计算船员的空间坐标，其具体包括：
获取船舶摄像机的内参矩阵和外参矩阵；
根据船员骨架信息、以及船舶摄像机的内参矩阵和外参矩阵计算船员的空间坐标。
进一步地，所述驾驶室三维模型为预先构建的模型，所述构建过程包括以下步骤：
获取驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息；
根据驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息构建驾驶室三维模型。
进一步地，所述根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型，其具体包括：
对船员的空间坐标在驾驶室三维模型内进行空间点匹配；
根据匹配结果在驾驶室三维模型内构建船员虚拟模型。
本发明实施例的第二方面提供了：
一种船舶驾驶室的还原数据处理系统，其包括：
接收模块，用于接收船员骨架信息，所述船员骨架信息通过文本传输；
计算模块，用于根据船员骨架信息计算船员的空间坐标；
获取模块，用于获取驾驶室三维模型；
构建模块，用于根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。
本发明实施例的第三方面提供了：
一种船舶驾驶室的还原数据处理系统，其包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行上述的一种船舶驾驶室的还原数据处理方法。
本发明实施例的第四方面提供了：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现上述的一种船舶驾驶室的还原数据处理方法。
本发明的有益效果是：本发明通过接收文本传输的船员骨架信息，克服陆地移动蜂窝网在海上使用不稳定和网络带宽限制导致无法传输视频和图片的问题，并通过根据船员骨架信息计算得到的船员的空间坐标在驾驶室三维模型内构建船员虚拟模型，使船舶管理人员能够通过驾驶室三维模型内的船员虚拟模型准确掌握值班室内驾驶人员的工作状态，从而提高发生事故后责任界定结果的准确性。
附图说明
图1为本发明一种具体实施例的船舶驾驶室的还原数据处理方法的流程图；
图2为本发明一种具体实施例的多个坐标之间关系示意图；
图3为本发明在具体实施例上的应用原理图；
图4为本发明一种具体的采集船员骨架信息的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明实施例提供了一种船舶驾驶室的还原数据处理方法，本实施例应用于服务器，所述服务器分别与船舶终端设备和船舶管理人员的终端设备通信。
本实施包括步骤S110-S140：
S110、接收船员骨架信息，所述船员骨架信息通过文本传输；所述文本传输相对于视频和图像传输的数据量少，对网络的稳定性要求不高。所述船员骨架信息为通过船舶终端设备上传的船舶上操作人员的骨架信息。所述骨架信息跟随驾驶人员的移动状态实时更新。
S120、根据船员骨架信息计算船员的空间坐标；所述船员的空间坐标跟随船员的姿态移动数据实时变化。
具体地，本实施是通过船员骨架信息的二维信息计算得到船员的三维空间信息。而为了描述二维图像与三维坐标之间的关系，对以下术语进行说明：
世界坐标系：真实世界的三维世界坐标系，描述船员在驾驶室内的位置，单位为m。
相机坐标系：相机上的坐标系，沟通世界坐标系与图像坐标系，从监控的角度描述驾驶员的位置，单位为m。
图像坐标系：描述相机坐标系到图像坐标系的投影投射关系而建立的坐标系，单位为m。
像素坐标系：描述数字图像中船员成像位置的坐标系，即读取到的二维坐标所在的坐标系，单位为pixel。
所述世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的关系如图2所示，其中，世界坐标系为Ow-XwYwZw；相机坐标系为Oc-XcYcZc，坐标轴Zc与光轴重合，且与图像坐标系垂直并通过其原点；图像坐标系为o-xy，其原点与像主点重合，与相机坐标系之间的距离为焦距f，所述像主点为摄影中心与像平面的垂线与像平面的交点；像素坐标平面uv与图像坐标平面重合，原点为图像左上角。
所述世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换过程包括：
所述骨架信息从世界坐标系转换到相机坐标系的过程，可以通过旋转和平移来得到，所述变换矩阵可以用一个旋转矩阵和平移向量组合而成的如公式1所示的齐次坐标矩阵来表示：
Figure BDA0002418824840000041
其中，R为旋转矩阵，T为平移矩阵。
Figure BDA0002418824840000042
表示相机外参矩阵，并且会随着船员位置的变化而变化。通过公式1，可以得到船员骨架信息在相机坐标系中的位置。
相机坐标转换到图像坐标需要经过三维坐标到二维坐标的转换，即形体投影到投影面上，从而得到一种与视觉效果相近的单面投影面，其具体采用公式2计算：
Figure BDA0002418824840000043
其中，f为相机焦距。
图像坐标转换到像素坐标需要经过一系列变换，化为如公式3所示的齐次坐标式：
Figure BDA0002418824840000044
其中，dx和dy为每个像素在x和y方向上的物理尺寸，单位为mm；u0和v0为光心Oc在投影面200上的投影位置，即像主点。
根据公司1、公式2和公式3，可得世界坐标系到像素坐标系的转换关系如公式4：
Figure BDA0002418824840000051
其中，
Figure BDA0002418824840000052
为内参矩阵，
Figure BDA0002418824840000053
为外参矩阵。采用张正友标定法计算相机的内参矩阵和外参矩阵后，即能找到二维骨架像素坐标转换为三维空间坐标之间的转换关系。
S130、获取驾驶室三维模型；其具体是通过测量工具与解算方法，确定驾驶室尺寸大小，即驾驶室的长宽高特征，获取驾驶室内目标局部点、三维坐标、面三维结构乃至整体环境结构，接着确定驾驶室内的实物尺寸数据，获得三维实物建模。将驾驶室整体与实物适配，还原驾驶室整体三维模型。
S140、根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。本实施是采用被动式三维重建技术，重构特征主要包括特征点、特征线和区域，其具体是通过船员骨架的空间坐标，以骨架信息特征点作为匹配基元，将驾驶室内同一物理空间点在两幅不同图像中的成像点进行一一对应起来，结合精准的定位关系与摄像机的定位参数，恢复船员的三维几何信息，在重构驾驶室中恢复出船员的三维形象，从而向相关管理人员直观地展现出驾驶室实况。
在一些实施例中，如图3所示，通过船舶上的摄像机等终端设备采集船员骨架信息，根据所述骨架信息在预先构建的船舶驾驶室模型内还原驾驶人员所处状态，得到三维虚拟驾驶舱，并在船舶公司的终端显示设备上动态显示所述三维虚拟驾驶舱。所述采集船员骨架信息具体是采集如图4所示的船员身体结构上的18个关键点，通过18个关键点在预先构建的船舶驾驶室模型内还原驾驶人员的工作状态。
本实施通过接收文本传输的船员骨架信息，克服陆地移动蜂窝网在海上使用不稳定和网络带宽限制导致无法传输视频和图片的问题，并通过根据船员骨架信息计算得到的船员的空间坐标在驾驶室三维模型内构建船员虚拟模型，使船舶管理人员能够通过驾驶室三维模型内的船员虚拟模型准确掌握值班室内驾驶人员的工作状态，从而提高发生事故后责任界定结果的准确性。
作为优选的实施方式，所述船员骨架信息通过MaskRCNN模型提取到，所述MaskRCNN模型的船员骨架信息提取过程包括以下步骤：
对船舶终端上的监控图像进行目标分割；具体是对监控图像进行像素级别的目标分割。
在目标分割后的监控图像上采用边界框标识人体位置；
在标识到的人体位置上提取若干个人体骨架点；如图4所示，可提取人体骨架上的18个关键点，接着通过所述若干个人体骨架点构成船员骨架信息。
本实施例通过在监控图像上提取若干个关键点，通过若干个关键点构成人体骨架信息，在减少输出传输量的同时，确保后续重构的船员虚拟模型的准确性。
在一些具体的实施例上，为了提高所述MaskRCNN模型提取到的船员骨架信息的准确性，所述MaskRCNN模型需要通过预先存储的船员骨架信息进行训练。其具体是使用COCOkeypoints数据集训练的MaskRCNN模型。该COCO keypoints数据集是指一个用于人体关键点检测比赛的大型数据集，分为训练集、验证集合测试集三部分，总共可包含20多万张图片，25万个人体实例。其中，训练集和验证集图片中有超过15万个人体实例，170多万个人工标记过的人体检测关键点，包含表示鼻子、左眼、右眼、左肩和右肩等18个关键人体部分的坐标信息。
具体地，该18个关键人体部分的坐标信息可表示为[x1,y1,v1,x2,y2,v2,…,x18,y18,v18]，其中，x和y为人工标记的关键点坐标，v为可见标志，v＝0表示为标注关键点；v＝1表示标注了该关键点但是图像中不可见，比如遮挡；v＝2表示标注了该关键点并在图中可见。
所述MaskRCNN模型是一种用来进行关键点估计的模型，通过输入上述的COCOkeypoints数据集中大量人工标准好的图片数据来对MaskRCNN模型进行迭代训练，使用误差反向传播的方式对模型权重进行优化，最终得到较为准确预测关键点坐标信息的MaskRCNN模型。
所述具体的预测过程为：通过深度卷积网络来提取输入图像中的特征，在全卷积网络层将提取到的关键特征转换成1*1*1024的向量，然后将这个向量通过激活函数进行映射，在一个分支输出关键点属于18个身体部位中的那部分，在另一个分支输出关键点的坐标。
作为优选的实施方式，还包括以下步骤：
获取驾驶室目标检测区域；由于在实际的船员驾驶操作过程中，操作人员一般会在驾驶室的固定位置进行操作，因此，所述目标检测区域为驾驶员在操作过程中所处操作位置。
在确定所述采用边界框标识人体位置与所述驾驶室目标检测区域存在重合部分后，判定所述驶室目标检测区域存在船员。所述重合的判断过程是通过先判断采用边界框标识人体位置与目标检测区域是否为同一物理空间下的图像，若是为同一物理空间下的图像，则继续判断两者是否存在重合部分，若存在重合部分，则说明驾驶员正在执行驾驶操作，若不存在重合部分，则说明驾驶员没有执行自己的工作任务，擅自离开工作岗位。
本实施例通过判断采用边界框标识人体位置与驾驶室目标检测区域的重合部分，根据重合部分判断驾驶员的工作状态，从而可以提前预判船舶的安全状况，同时，在发生事故后，还能为责任界定提供参考，从而提高责任界定结果的准确性。
作为优选的实施方式，所述根据船员骨架信息计算船员的空间坐标，其具体包括：
获取船舶摄像机的内参矩阵和外参矩阵；
根据船员骨架信息、以及船舶摄像机的内参矩阵和外参矩阵计算船员的空间坐标。
本实施例具体是通过公式4计算得到船员的空间坐标：
Figure BDA0002418824840000071
其中，
Figure BDA0002418824840000072
为船员骨架信息对应的像素矩阵，
Figure BDA0002418824840000073
为内参矩阵，
Figure BDA0002418824840000074
为外参矩阵，
Figure BDA0002418824840000075
为世界坐标系对应的空间矩阵。采用张正友标定法计算相机的内参矩阵和外参矩阵后，即能找到二维骨架像素坐标转换为三维空间坐标之间的转换关系。该张正友标定法为服务器内预先存储的现有的计算方法。
本实施例通过根据船员骨架信息、以及船舶摄像机的内参矩阵和外参矩阵计算得到船员的空间坐标，提高空后续虚拟模型重构的准确性。
作为优选的实施方式，所述驾驶室三维模型为预先构建的模型，所述构建过程包括以下步骤：
获取驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息；
根据驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息构建驾驶室三维模型。
本实施例具体是根据测量工具与解算方法，确定驾驶室尺寸大小，即驾驶室的长宽高特征，获取驾驶室内目标局部点、三维坐标、面三维结构乃至整体环境结构，接着确定驾驶室内的实物尺寸数据，获得三维实物建模，然后将驾驶室整体与实物适配，还原驾驶室整体三维模型，从而使得驾驶室三维模型接近于驾驶室的实际结构，提高三维显示效果的准确性。
作为优选的实施方式，所述根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型，其具体包括：
对船员的空间坐标在驾驶室三维模型内进行空间点匹配；
根据匹配结果在驾驶室三维模型内构建船员虚拟模型。
具体地，本实施例采用被动式三维重建技术，重构特征主要包括特征点、特征线和区域，如图4所示，采集人体结构的18个关键点，分别计算18个关键点对应的船员骨架三维坐标，以骨架信息特征点作为匹配基元，将驾驶室内同一物理空间点在两幅不同图像中的成像点进行一一对应起来，结合精准的定位关系与摄像机的定位参数，恢复船员的三维几何信息，并在重构驾驶室中恢复出船员的三维形象，从而向相关管理人员直观地展现出驾驶室实况。
本发明实施例提供了一种与图1方法相对应的船舶驾驶室的还原数据处理系统，其包括：
接收模块，用于接收船员骨架信息，所述船员骨架信息通过文本传输；
计算模块，用于根据船员骨架信息计算船员的空间坐标；
获取模块，用于获取驾驶室三维模型；
构建模块，用于根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种船舶驾驶室的还原数据处理系统，其包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行上述的一种船舶驾驶室的还原数据处理方法。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
此外，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现上述的一种船舶驾驶室的还原数据处理方法。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种船舶驾驶室的还原数据处理方法，其特征在于：包括以下步骤：
接收船员骨架信息，所述船员骨架信息通过文本传输；
根据船员骨架信息计算船员的空间坐标；
获取驾驶室三维模型；
根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。
2.根据权利要求1所述的一种船舶驾驶室的还原数据处理方法，其特征在于：所述船员骨架信息通过MaskRCNN模型提取到，所述MaskRCNN模型的船员骨架信息提取过程包括以下步骤：
对船舶终端上的监控图像进行目标分割；
在目标分割后的监控图像上采用边界框标识人体位置；
在标识到的人体位置上提取若干个人体骨架点；
通过所述若干个人体骨架点构成船员骨架信息。
3.根据权利要求2所述的一种船舶驾驶室的还原数据处理方法，其特征在于：所述MaskRCNN模型通过预先存储的船员骨架信息进行训练。
4.根据权利要求2所述的一种船舶驾驶室的还原数据处理方法，其特征在于：还包括以下步骤：
获取驾驶室目标检测区域；
在确定所述采用边界框标识人体位置与所述驾驶室目标检测区域存在重合部分后，判定所述驶室目标检测区域存在船员。
5.根据权利要求1所述的一种船舶驾驶室的还原数据处理方法，其特征在于：所述根据船员骨架信息计算船员的空间坐标，其具体包括：
获取船舶摄像机的内参矩阵和外参矩阵；
根据船员骨架信息、以及船舶摄像机的内参矩阵和外参矩阵计算船员的空间坐标。
6.根据权利要求1所述的一种船舶驾驶室的还原数据处理方法，其特征在于：所述驾驶室三维模型为预先构建的模型，所述构建过程包括以下步骤：
获取驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息；
根据驾驶室的尺寸信息、内部局部点信息、结构信息和三维坐标信息构建驾驶室三维模型。
7.根据权利要求1所述的一种船舶驾驶室的还原数据处理方法，其特征在于：所述根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型，其具体包括：
对船员的空间坐标在驾驶室三维模型内进行空间点匹配；
根据匹配结果在驾驶室三维模型内构建船员虚拟模型。
8.一种船舶驾驶室的还原数据处理系统，其特征在于：包括：
接收模块，用于接收船员骨架信息，所述船员骨架信息通过文本传输；
计算模块，用于根据船员骨架信息计算船员的空间坐标；
获取模块，用于获取驾驶室三维模型；
构建模块，用于根据船员的空间坐标在驾驶室三维模型内构建船员虚拟模型。
9.一种船舶驾驶室的还原数据处理系统，其特征在于：包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的一种船舶驾驶室的还原数据处理方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述的一种船舶驾驶室的还原数据处理方法。
CN202010199398.1A 2020-03-20 2020-03-20 一种船舶驾驶室的还原数据处理方法、系统和存储介质 Active CN111462233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199398.1A CN111462233B (zh) 2020-03-20 2020-03-20 一种船舶驾驶室的还原数据处理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199398.1A CN111462233B (zh) 2020-03-20 2020-03-20 一种船舶驾驶室的还原数据处理方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111462233A true CN111462233A (zh) 2020-07-28
CN111462233B CN111462233B (zh) 2024-02-13

Family

ID=71685690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199398.1A Active CN111462233B (zh) 2020-03-20 2020-03-20 一种船舶驾驶室的还原数据处理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111462233B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201214484Y (zh) * 2008-05-12 2009-04-01 武汉市宗飞系统有限公司 船载综合管理信息终端
US20100306270A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Generating a local copy of a virtualized application package from a local installation
JP2013024662A (ja) * 2011-07-19 2013-02-04 Toyota Infotechnology Center Co Ltd ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
CN104484883A (zh) * 2014-12-24 2015-04-01 河海大学常州校区 基于视频的三维虚拟船舶定位及其轨迹模拟方法
US20150262112A1 (en) * 2014-03-11 2015-09-17 Matthew Raanan Monitoring system and method
CN106952340A (zh) * 2017-03-14 2017-07-14 长江涪陵航道管理处 三维虚拟建模的方法及装置
CN106960287A (zh) * 2017-04-06 2017-07-18 华电重工股份有限公司 海上施工船舶人员定位管理系统及方法
KR20180061464A (ko) * 2016-11-28 2018-06-08 (주)엠아이케이21 로라 무선 통신망을 이용한 작업 구역 관리 시스템
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN110316327A (zh) * 2019-07-22 2019-10-11 山东丛林凯瓦铝合金船舶有限公司 一种模块化无人艇
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
US20190340560A1 (en) * 2018-05-04 2019-11-07 Rowan Companies, Inc. System and Method for Monitoring Operations and Personnel In Designated Areas on Offshore Unit

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201214484Y (zh) * 2008-05-12 2009-04-01 武汉市宗飞系统有限公司 船载综合管理信息终端
US20100306270A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Generating a local copy of a virtualized application package from a local installation
JP2013024662A (ja) * 2011-07-19 2013-02-04 Toyota Infotechnology Center Co Ltd ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
US20150262112A1 (en) * 2014-03-11 2015-09-17 Matthew Raanan Monitoring system and method
CN104484883A (zh) * 2014-12-24 2015-04-01 河海大学常州校区 基于视频的三维虚拟船舶定位及其轨迹模拟方法
KR20180061464A (ko) * 2016-11-28 2018-06-08 (주)엠아이케이21 로라 무선 통신망을 이용한 작업 구역 관리 시스템
CN106952340A (zh) * 2017-03-14 2017-07-14 长江涪陵航道管理处 三维虚拟建模的方法及装置
CN106960287A (zh) * 2017-04-06 2017-07-18 华电重工股份有限公司 海上施工船舶人员定位管理系统及方法
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
US20190340560A1 (en) * 2018-05-04 2019-11-07 Rowan Companies, Inc. System and Method for Monitoring Operations and Personnel In Designated Areas on Offshore Unit
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
CN110316327A (zh) * 2019-07-22 2019-10-11 山东丛林凯瓦铝合金船舶有限公司 一种模块化无人艇

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
SHIJIE LI.ET.: "Optimizing the joint collision avoidance operations of multiple ships from an overall perspective", 《OCEAN ENGINEERING》, vol. 191 *
李学祥;严新平;: "基于在航船舶动态信息的长江航道要素感知方法综述", 水运工程, no. 12 *
熊辉, 沈建军, 秦雷等: "基于北斗差分定位及移动通信 技术的船载智能终端设计", 《交通科技》 *
石杰;周亚丽;张奇志;: "基于改进Mask RCNN和Kinect的服务机器人物品识别系统", 仪器仪表学报, no. 04 *
贺丰收;何友;刘准钆;徐从安;: "卷积神经网络在雷达自动目标识别中的研究进展", 电子与信息学报, no. 01 *
郭江涛, 沈佳, 刘昆等: "北斗卫星技术在电力铁塔姿态 监测中的研究", 《中国科技信息》 *
黄永军, 王闰成, 马枫: ""云上港航"数字孪生系统助航解决方案", 《信息技术与信息化》 *

Also Published As

Publication number Publication date
CN111462233B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
US11780465B2 (en) System and method for free space estimation
US10839612B1 (en) Method and system for visualizing overlays in virtual environments
US11668577B1 (en) Methods and systems for response vehicle deployment
CN112508071B (zh) 基于bim的桥梁病害标记方法和装置
CN107843251A (zh) 移动机器人的位姿估计方法
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN110796032A (zh) 基于人体姿态评估的视频围栏及预警方法
CN114862973B (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN115100423B (zh) 一种基于视图采集数据实现实时定位系统及方法
GB2596662A (en) Displaying objects based on a plurality of models
CN111625159B (zh) 用于远程驾驶的人机交互操作界面显示方法、装置和终端
CN112084916A (zh) 基于遮挡率的城市三维天际轮廓线自动化生成与诊断方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN114066999A (zh) 基于三维建模的目标定位系统及方法
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN110992291B (zh) 基于三目视觉的测距方法、系统及存储介质
CN115375857B (zh) 三维场景重建方法、装置、设备及存储介质
CN111462233B (zh) 一种船舶驾驶室的还原数据处理方法、系统和存储介质
CN111951337B (zh) 图像检测目标空间定位方法及系统
CN115527008A (zh) 基于混合现实技术的安全模拟体验培训系统
CN114742955A (zh) 洪灾预警方法、装置、电子设备及存储介质
JP2023178064A (ja) 浸水把握装置、浸水把握システム、浸水把握方法およびプログラム
CN116907451A (zh) 树干位置和姿态的计算方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant