CN114677051A - 一种驾驶室的管理方法和系统 - Google Patents

Abstract

本说明书实施例提供一种驾驶室的管理方法和系统，该方法包括通过采集装置获取驾驶室相关数据；通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件；响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

Description

一种驾驶室的管理方法和系统

技术领域

本说明书涉及智能识别领域，特别涉及一种驾驶室的管理方法和系统。

背景技术

船舶的驾驶室是船舶的核心区域，船舶驾驶员需要在船舶的驾驶室执行航行任务以确保船舶的安全。许多航行事故的发生与船舶驾驶员没有认真履行航行任务相关，例如，船舶驾驶员可能出现不遵守值班规则、疲劳驾驶、疏忽驾驶等情况将造成航行安全隐患。如何对驾驶室进行有效管理是本领域亟待解决的技术问题。

因此，需要提出一种驾驶室的管理方法和系统，对驾驶室形成的良好监督管理机制。

发明内容

本说明书一个或多个实施例提供一种驾驶室的管理方法。所述方法包括：通过采集装置获取驾驶室相关数据；通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件；响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

本说明书一个或多个实施例提供一种驾驶室的管理系统，所述系统包括：获取模块，用于通过采集装置获取驾驶室相关数据；判断模块，用于通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件；以及警示模块，用于响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

本说明书一个或多个实施例提供一种驾驶室的管理装置，包括处理器，所述处理器用于执行本说明书实施例所示的驾驶室管理方法。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行本说明书实施例所示的驾驶室管理方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的驾驶室管理系统的应用场景示意图；

图2是根据本说明书一些实施例所示的驾驶室管理系统的模块图；

图3是根据本说明书一些实施例所示的驾驶室的管理方法的示例性流程图；

图4是根据本说明书一些实施例所示的基于第一判断子模型判断驾驶室状态的示例性流程图；

图5是根据本说明书一些实施例所示的基于第二判断子模型判断驾驶室状态的示例性流程图；

图6是根据本说明书一些实施例所示的基于第三判断子模型判断驾驶室状态的示例性流程图；

图7是根据本说明书一些实施例所示的能见度系数示例表。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的船舶安全管理系统的应用场景示意图。驾驶室管理系统100可以通过实施本说明书中披露的方法和/或过程来对船舶的驾驶室状态进行监控以实现对驾驶室的管理。

在一些应用场景中，驾驶室管理系统100可以包括处理设备110、网络 120、终端130、存储设备140、采集装置150以及船舶160。

在一些实施例中，驾驶室管理系统100可以通过实施本说明书中披露的方法和/或过程来确定填写的船舶驾驶室是否异常，并响应于驾驶室的异常状态发送警示信息。

在一些实施例中，处理设备110可以直接连接终端130、存储设备140、采集装置150以访问信息和/或数据。例如，处理设备110可以从采集装置150 和/或终端130获取驾驶室相关数据。在一些实施例中，处理设备110可以处理从终端130、存储设备140、采集装置150和/或船舶160获取的数据和/或信息。例如，处理设备110可以基于采集装置150获取的驾驶室相关数据确定驾驶室状态。再例如，处理设备110基于驾驶室状态与预设条件进行判断，确定驾驶室状态是否符合预设条件(是否存在异常)。又例如，处理设备110可以响应于驾驶室的异常状态生成警示信息。在一些实施例中，处理设备110可以是单个服务器或服务器组。处理设备110可以是本地的、远程的。处理设备110可以在云平台上实现。

网络120可以包括提供能够促进驾驶室管理系统100的信息和/或数据交换的任何合适的网络。在一些实施例中，驾驶室管理系统100的一个或多个组件(例如，处理设备110、终端130、存储设备140)之间可以通过网络120交换信息和/或数据。

在一些实施例中，网络120可以是有线网络或无线网络中的任意一种或多种。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络 120可以包括有线或无线网络接入点，例如，基站和/或网络交换点120-1、120- 2…。在一些实施例中，交换点可以是建设在岸基和/或岛礁上的移动通信基站，例如，移动通信网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)等。在一些实施例中，交换点还可以是建设与海域或空中的网络点，例如，海上无线通信系统、卫星通信(如，国际海事卫星系统、铱星系统、天通一号卫星等)。在一些实施例中，接入点还可以是水下无线通信，例如，电磁波通信、水声通信、水下光通信等等。通过上述接入点，驾驶室管理系统100 的一个或多个组件可连接到网络120上以交换数据和/或信息。在一些实施例中，网络可以是点对点的、共享的、中心式的等各种拓扑结构或者多种拓扑结构的组合。

终端130指用户所使用的一个或多个终端设备或软件。在一些实施例中，终端130可以是移动设备、平板计算机、笔记本电脑等或其任意组合。在一些实施例中，终端130可以通过网络120与驾驶室管理系统100中的其他组件交互。例如，在一些实施例中，终端130可以接收处理设备110发送的或存储于存储设备140中的警示信息，并展示给相关操作人员。例如，终端130可以是船舱的监控中心，在监控中心接收到处理设备110发送的警示信息时，可以根据警示信息内容通过船用对讲机呼叫相关操作人员。在一些实施例中，终端130可以是固定的和/或移动的。例如，终端130可以直接安装在驾驶室内成为驾驶室的一部分(如，渔业船用调频无线电话机、船舱监控显示屏、船内广播等)。再例如，终端130还可以是可移动的设备(如，对讲机)。

存储设备140可以用于存储数据、指令和/或任何其他信息。在一些实施例中，存储设备140可以存储从例如服务器110、终端130、船舶160等获得的数据和/或信息。例如，存储设备140可以存储预先训练好的判断模型、预设条件等。在一些实施例中，存储设备140可以设置在船舶160中。在一些实施例中，存储设备140可包括大容量存储器、可移除存储器等或其任意组合。

船舶160是指进行水域运输或作业交通工具，是各类船只的总称，其中驾驶室162是船舶航行的指挥中心，其范围包括操舵室、海图室、两翼甲板及标准罗经甲板。在一些实施例中，在船舶160中的采集装置150可以设置在驾驶室162内外，以获得驾驶室相关数据。

采集装置150用于获取驾驶室相关数据。采集装置150的具体情况可以根据实际需要的驾驶室相关数据确定，例如，驾驶室相关数据可以包括视频信息以及音频信息，则采集装置150可以包括摄像头150-1、麦克风150-2等相关设备。再例如，为获取夜间的驾驶室情况，采集装置150可以包括红外线成像设备。再例如，为避免其他外部光源的干扰并提高监控范围，摄像头150-1可以通过凸面镜150-3获取驾驶室的视频信息。

图2是根据本说明书一些实施例所示的驾驶室管理系统的模块图。驾驶室的管理系统可以部署于处理设备110上。驾驶室的管理系统可以包括获取模块210、判断模块220以及警示模块230。

获取模块210可以用于通过采集装置获取驾驶室相关数据。

判断模块220可以用于通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件。

在一些实施例中，驾驶室相关数据可以包括声音数据，判断模块220可以用于通过第一子判断模型对所述声音数据进行处理，确定所述驾驶室状态是否满足第一子预设条件。

在一些实施例中，驾驶室相关数据可以包括视频数据，判断模块220可以用于通过第二子判断模型对所述视频数据进行处理，确定所述驾驶室状态是否满足第二子预设条件。

在一些实施例中，驾驶室相关数据包括视频数据，判断模块220可以用于判断所述视频数据中的能见度系数是否小于预设阈值；响应于所述视频数据中的所述能见度系数小于所述预设阈值，通过所述采集装置获取目标驾驶室的目标视频数据；通过第三子判断模型对所述目标视频数据进行处理，确定所述驾驶室状态是否满足第三子预设条件。

警示模块230可以用于响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

关于上述模块的更多内容参考图3-图7的描述。

需要注意的是，以上对于驾驶室的管理系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的获取模块210、判断模块220以及警示模块230可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图3是根据本说明书一些实施例所示的驾驶室的管理方法的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由处理设备110执行。

步骤310，通过采集装置获取驾驶室相关数据。在一些实施例中，步骤310 可以由获取模块210执行。

驾驶室相关数据可以指与驾驶室相关的，能直接或间接反映驾驶室状态的数据。例如，驾驶室相关数据包括驾驶室的监控视频、船舶周边海域的监控视频、驾驶室的监控音频等。驾驶室相关数据所包含的具体内容可以根据船舶航行的实际需要确定。例如，为避免其他外部光源等因素的干扰，驾驶室相关数据可以包括驾驶室的视频信息。又例如，通过识别驾驶室内部是否有异常声响以判断工作人员是否认真工作时，驾驶室相关数据可以包括音频数据。再例如，为识别驾驶室是否能与外界进行正常通讯时，驾驶室相关数据可以包括通信信号强度数据。其中，驾驶室状态的具体内容可以参见本说明书步骤320的相关描述。

采集装置可以是用于获取驾驶室相关数据的相关设备，本说明书实施例中所采用的采集装置与具体需要获取的驾驶室相关数据对应。例如，驾驶室相关数据包括视频数据和/或音频数据时，采集装置可以包括用于获取视频数据的摄像装置和/或录音装置。再例如，驾驶室相关数据包括工作人员的考勤信息时，采集装置可以包括打卡器。在一些实施例中，采集装置还可以包括用于辅助采集驾驶室相关数据的辅助采集装置。例如，为消除音频数据中的环境噪声，采集装置可以包括用于获取音频数据的麦克风以及用于降噪的声音过滤装置。又例如，采集装置可以包括用于获取夜间视频图像信息的红外线成像设备。再例如，采集装置可以包括用于辅助摄像装置获取驾驶室的视频信息的凸面镜。

步骤320，通过判断模型对驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件。在一些实施例中，步骤320可以由判断模块220执行。

驾驶室状态可以用于反映航行任务的执行情况和/或航行情况，其中，航行任务的执行情况可以指工作人员的航行操作是否满足驾驶室的相关规范，例如，航行任务的执行情况可以包括工作人员工作时是否做出影响正常航行或工作无关的举动(例如，嬉笑闲谈、高声喧哗、收听广播、迟到旷工等)、在夜间执行航行任务的工作人员是否关闭驾驶室灯光。航行情况可以指船舶所处的航行环境是否满足正常航行需求，例如，船舶周边海域的能见度、风速是否影响航行。驾驶室状态可以包括正常状态与异常状态，其中，异常状态可以指存在影响航行的行为和/或不利于航行的因素，正常状态可以指航行任务的执行情况和/或航行情况满足航行要求，不存在影响航行的行为和/或不利于航行的因素。在一些实施例中，驾驶室状态可以同时与航行任务的执行情况和航行情况相关，例如，驾驶室的相关规范中规定当能见度系数小于预设阈值时，工作人员应当在驾驶室的双翼甲板处值守，则对应的驾驶室状态既反映航行任务的执行情况(工作人员是否在对应位置值守)又反映了航行情况(能见度系数情况)。

判断模型可以用于对驾驶室相关数据进行处理从而确定驾驶室状态。判断模型的数据处理方法可以根据需要判断的驾驶室状态确定，例如，驾驶室状态包括驾驶室内工作人员的值守位置，则判断模块可以通过监控视频或其他传感器(例如，在驾驶室地板设置的压力传感器、感应人体目标辐射的红外线传感器等)进行分析，以确定工作人员当前的值守位置或其应当值守的位置是否有工作人员。关于判断模型的结构及类型可以根据需要选择，具体可参见图5至7的模型部分的相关描述。

预设条件可以理解为驾驶室处于正常状态应当满足的标准，可以通过将驾驶室状态与预设条件进行对比以确定驾驶室状态是否正常，即当驾驶室状态满足预设条件则判定驾驶室处于正常状态，反之则处于异常状态。预设条件可以根据驾驶室状态对应的相关规范或条件设置，例如，当驾驶室状态包括工作人员工作期间不能大声喧哗、嬉戏打闹，则对应的预设条件可以包括与工作人员的工作情况相关的驾驶室相关数据(例如，驾驶室内音频、视频监控数据)中不存在与大声喧哗、嬉戏打闹相关的特征(例如，驾驶室内音频、视频监控数据中不应存在的相关音频特征、视频特征)。再例如，当驾驶室状态包括工作人员考勤情况时，则对应的预设条件可以包括工作人员的考勤相关数据(例如，打卡记录) 应满足的预设排班安排。

在一些实施例中，判断模型、预设条件、驾驶室相关数据以及采集装置均与驾驶室状态相关，可以根据驾驶室相关规范中需要确认的驾驶室状态，确定判断模型、预设条件、驾驶室相关数据以及采集装置。例如，驾驶室相关规范中规定，为避免夜间其他灯光影响工作人员的夜间视野以及船舶与其他船舶的灯光通信，在夜间船舶不允许打开除航行灯以外的其他灯光，则对应的驾驶室状态可以包括船舶的夜间灯光情况，驾驶室相关数据可以包括与驾驶室夜间灯光相关的视频数据，采集装置可以包括用于获取相关视频数据的监控设备，判断模型可以用于基于相关视频确定船舶的夜间灯光情况，预设条件可以为船舶的夜间灯光中不存在航行灯以外的异常灯光。

在一些实施例中，根据实际应用场景需要，驾驶室状态可以包括一个或多个待判定状态，对应的，判断模型可以包括一个或多个子判断模型，预设条件可以包括一个或多个子预设条件，相关的内容请参见图5至7部分的描述。

需要说明的是，虽然本说明书的上述实施例中对判断模型、预设条件进行了分离描述，但在本说明书一些实施例中，判断模型、预设条件可以对应于同一算法/模型，例如，当确定驾驶室是否存在异常灯光时，可以直接通过异常灯光识别算法处理视频数据实现，其中，判断模型、预设条件均对应该异常灯光识别算法。

步骤330，响应于所述驾驶室状态不满足所述预设条件，生成警示信息。在一些实施例中，步骤330可以由警示模块230执行。

驾驶室状态不满足所述预设条件时，可知驾驶室处于异常状态。此时，警示信息与驾驶室状态中的异常状态对应。在一些实施例中，警示信息可以包括提示信息以及异常记录信息。其中，提示信息用于提示驾驶室的工作人员纠正影响航行的行为和/或排查不利于航行的因素。异常记录信息用于发送至控制中心，向上反馈并记录所发生的异常状态。

在一些实施例中，警示信息的内容与根据驾驶室状态对应，并根据实际异常状态确定警示信息的内容与类型。例如，驾驶室状态包括工作人员的工作状态时，警示信息可以包括用于提醒特定工作人员认真工作的广播。再例如，驾驶室状态包括海面能见度系数时，警示信息可以包括能见度异常与否的异常记录信息。

在一些实施例中，通过预警模型判断是否发出警示信息。在一些实施例中，预警模型包括第一判断层、第二判断层和融合判断层，第一判断层可以是第二子判断模型，第二判断层可以是第三子判断模型。融合判断层可以是DNN等神经网络模型。在一些实施例中，预警模型可以通过单独训练第二子判断模型及第三子判断模型两个子模型后进行获得，也可以通过联合训练获得。关于第二子判断模型和第二子判断模型的更多描述可参见图5至图6的相关内容。

在一些实施例中，将图像采集装置所采集的环境图像(或视频数据)输入预警模型中的第一判断层，输出能见度的系数(作为第一输出)；将两翼甲板的图像(或视频数据)输入第二判断层，输出有/无人员值守的判断结果(作为第二输出)；将第一输出和第二输出输入数据第三判断层，输出是否发出警示信息的判断结果。例如，能见度低于预先设定的能见度阈值(即能见度低)，且无人值守，则发出警示信息。在一些实施例中，如果需要警示，警示的程度可以基于第一判断层和第二判断层的置信度确定。例如，第一判断层和第二判断层的置信度进行融合，融合后置信度越高，警示的程度越强，融合时，第二判断层的权重大于第一判断层的权重。

在本说明书一些实施例中，通过自动判定驾驶室相关数据是否符合预设条件以确定驾驶室是否存在异常情况，并将异常情况及时反馈与上报。实现了对驾驶室相关数据的自动分析，降低了人工成本，也减少因为驾驶室的异常情况对航行的影响，在规避航行风险方面起到了一定的效果。

图4是根据本说明书一些实施例所示的基于第一子判断模型判断驾驶室状态的示例性流程图。

在一些实施例中，驾驶室相关数据可以包括声音数据、采集装置可以包括用于采集相关声音数据的声音采集设备(例如，录音机、话筒等)、判断模型可以包括用于根据声音数据确定工作人员的工作状态的第一子判断模型，预设条件可以包括工作人员的工作状态应满足的第一子预设条件。

在一些实施例中，工作人员的工作状态(驾驶室状态)可以表征为声音数据的声音特征，第一子判断模型可以包括用于提取声音特征的特征提取算法或模型，第一子预设条件可以是声音特征应满足的条件，例如，第一子预设条件可以包括存在异常状态下的异常声音特征。在确定驾驶室相关数据的声音特征后，可以将声音特征与异常声音特征对应，当声音特征与异常声音特征的差异度大于阈值时，工作人员的工作状态判定为满足第一子预设条件，驾驶室处于正常状态，反之，则处于异常状态。

在一些实施例中，第一子判断模型可以包括隐马尔可夫模型(Hidden MarkovModel,HHM)、混合声学模型(Gaussian Mixture Model&Hidden Markov Model,GMM+HMM)、长短期记忆模型(Long Short-Term Memory,LSTM)等异常声音识别模型或其任意组合。在一些实施例中，异常声音可以是驾驶室规范中规定的异常声音，例如，闲聊声音、收听广播声音等。

在一些实施例中，第一子判断模型的训练样本可以为声音采集装置所采集的数据样本、模拟特定场景的声音样本等，各个样本的标签可以预先设定并标识，异常标签可以包括各个类型的异常声音，例如闲聊类型、广播声音类型等。

在一些实施例中，第一子判断模型可以包括语音识别层及语言特征提取层。如图4所示的实施例，流程400包括步骤410至440。在一些实施例中，流程400可以由判断模块220执行。

步骤410，通过语音识别层对音频数据进行语音识别，得到语音文本。

语音文本可以指音频数据中人类说话内容的内容文本。在一些实施例中，语音识别层可以由语音识别算法/模型实现，例如，隐马尔可夫模型(Hidden Markov Model,HMM)。

步骤420，通过语言特征提取层对语音文本进行用语特征提取，得到特征场景下的用语特征。

特征场景下的用语特征可以是能表征特定场景的标志性用语，例如，“这里是新闻频道”可以表征电视机发出的声音，则该文本就可以理解为看电视场景的用语特征。在一些实施例中，特征场景可以根据实际情况与驾驶室规定确定，例如，特征场景下的用语特征可以包括广播经常出现的开场白用语特征，娱乐的常用词汇特征、与工作无关的闲聊的用语特征。在一些实施例中，语言特征提取层可以通过分类算法/模型实现。

步骤430，根据特征场景下的用语特征确定音频文件所包含的异常声音类型。

在一些实施例中，判断模块220可以通过异常声音类型与特定场景的关系确定音频文件所包含的异常声音类型。其中，异常声音类型可以指各个特定场景对应的异常声音类型，例如，广播这一特定场景对应收听广播这一异常声音类型。在一些实施例中，多个特定场景可以对应一个异常声音类型，例如，闲聊这一异常声音类型可以包括娱乐以及其他与工作无关的闲聊。

步骤440，根据异常声音的类型确定所述驾驶室状态是否满足第一子预设条件。

当音频文件的输出中不存在异常声音的类型，则驾驶室状态满足第一子预设条件，驾驶室处于正常状态，反之则不满足，驾驶室处于异常状态。其中，警示信息中可以包括音频文件所包含的异常声音的类型。

本说明书一些实施例中，通过对声音数据进行判断，判别出异常的声音数据，有利于实现对驾驶室中工作人员的工作状态的有效监控。

图5是根据本说明书一些实施例所示的基于第二判断子模型判断驾驶室状态的示例性流程图。

在一些实施例中，驾驶室相关数据包括视频数据，所述通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件包括通过第二子判断模型对所述视频数据进行处理，确定所述驾驶室状态是否满足第二子预设条件。

在一些实施例中，工作人员的工作状态(驾驶室状态)可以表征为视频数据的视频特征，第二子判断模型可以包括用于提取视频特征的特征提取算法或模型，第二子预设条件可以是视频特征应满足的条件，例如，第二子预设条件可以包括异常状态下的异常视频特征，在确定驾驶室相关数据的视频特征后，可以将视频特征与异常视频特征对应，当视频特征与异常视频特征的差异度大于阈值时，工作人员的工作状态判定为满足第二子预设条件，驾驶室处于正常状态，反之，则处于异常状态。

本说明书的一些实施例中，为保证夜间航行时不出现除航行灯外的异常灯光，可以通过驾驶室的视频数据判断驾驶室的夜间灯光情况。其中，驾驶室状态可以包括驾驶室的夜间灯光情况、驾驶室相关数据可以包括视频数据、采集装置可以包括用于采集相关视频数据的视频采集设备(例如，摄像机、监控等)、判断模型可以包括用于根据视频数据确定驾驶室的夜间灯光情况的第二子判断模型，预设条件可以包括驾驶室的夜间灯光情况应满足的第二子预设条件。

在一些实施例中，驾驶室的夜间灯光情况(驾驶室状态)可以表征为驾驶室各个位置的灯光情况(是否存在灯光)，第二子判断模型可以包括用于根据视频数据确定灯光情况的图像/视频识别算法或模型，第二子预设条件可以是各个位置的灯光情况应满足的条件，例如，第二子预设条件可以包括驾驶室各个位置均不应存在异常灯光，再通过第二子判断模型确定驾驶室各个位置的灯光情况后，可以从驾驶室各个位置的灯光情况确定是否存在异常灯光，当不存在异常灯光时，驾驶室的夜间灯光情况(驾驶室状态)满足第二子预设条件，驾驶室处于正常状态，反之，则处于异常状态。

在一些实施例中，第二子判断模型可以是训练好的卷积神经网络，例如，卷积神经网络(Convolutional Neural Networks,CNN)、基于区域的卷积网络 (Region-basedConvolutional Neural Network,R-CNN)及其变体网络等能用于进行图像识别的神经网络或其任意组合。在一些实施例中，第二子判断模型的训练样本可以是采集设备采集到的历史视频数据样本，训练标签可以是人工设定的视频中的异常灯光。例如，将多个带有标签的训练样本输入初始的第二子判断模型，通过标签和初始的第二子判断模型输出的判断结果构建损失函数，基于损失函数迭代更新初始的第二子判断模型的参数。当初始的第二子判断模型的损失函数满足预设条件时模型训练完成，得到训练好的第二子判断模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。在一些实施例中，损失函数可以包括但不限于均方误差损失函数、交叉熵损失函数、指数损失函数等。以交叉熵损失函数为例：

其中，H为损失函数值，n为训练样本总个数，i为第i个训练样本，q(x_i) 是指第i个训练样本的异常灯光的真实值(即，标签)，p(x_i)是指第二子判断模型确定的异常灯光属于第i个样本的异常灯光的预测值。

如图5所示的实施例，流程500包括下述步骤。在一些实施例中，流程 600可以由判断模块220执行。

步骤510，将图像数据输入第二子判断模型。该图像数据可以包括由采集装置获取的若干图像或者从视频数据中截取的若干图像。在一些实施例中，该图像数据中可以包括根据辅助设备的标识对应的驾驶室特定区域。在一些实施例中，判断视频中是否存在异常灯光的方法包括通过结合辅助设备获取带标识的图像或视频数据进行判断。

在一些实施例中，为获取驾驶室的完整图像，图像采集设备(例如，摄像机)可以通过用于扩大视野的辅助设备获取驾驶室的视频数据。例如，拍摄驾驶室的图像(或视频)的摄像机可以使用鱼眼镜头。又例如，摄像头拍摄时，可以结合凸面镜获取图像。该凸面镜可被设置于可获取相对宽泛的视野的位置(例如，驾驶室中与门窗相对的墙面上)，该凸面镜可以与摄像头相对设置，使其反射的图像被摄像头完整获取。

在一些实施例中，为了便于辨认视频数据中灯光所在的具体位置，可以通过在辅助设备上设置标识以获取带标识的图像，或者直接在区域表面设置标识并借助辅助设备获取带标识的图像。例如，在辅助设备的反射表面设置具有反光功能的标识(例如标识线)，划分出不同的区域(例如、甲板、驾驶室或其他特定区域)，在辅助设备位置固定的情况下该辅助设备上所对应的区域是固定的。又例如，在辅助设备及图像采集设备所需覆盖的区域范围内的不同分区或其交界处设置具有反光功能的标识条，通过该标识可以划分并区分不同区域。在一些实施例中，在辅助设备上特定区域的成像位置设置标识后，可以根据图像采集设备采集到的视频图像中成像位置与辅助设备的标识所划定区域间明确对应关系。当成像位置出现亮光时，可以确定成像位置周围的标识，进而确定亮光所在的特定区域。例如，可以在操舵室、海图室、两翼甲板及标准罗经甲板等特定区域在凸面镜中对应的成像位置设置不同颜色的反光条，当摄像机通过凸面镜获取视频数据时，可以根据反光条的颜色确定对应的驾驶室特定区域。又例如，鱼眼镜头可以直接获取通过在区域表面设置标识以进行区域划分的图像。又例如，凸面镜上设置有专用标识线，摄像头的方向可以朝着凸面镜，同时凸面镜上可以带有专用的标识划分出特定的区域，该凸面镜可以完整反射出整个驾驶室的情况及其分区的情况。在一些实施例中，结合辅助设备可以获取包括更大成像范围的图像，且可以进一步区分出不同区域，有利于提高监控效果及效率。

在一些实施例中，对于通过结合辅助设备所获取的图像变形情况，可以对获取的图像进行图像校正，再将校正后的图像输入第二子判断模型进行处理。例如，可以通过矫正算法矫正。矫正算法包括邻近插值法、双线性插值法等。通过校正算法对结合凸面镜的镜头获取的图像或鱼眼镜头获取的图像进行处理，解决了原图像存在几何畸变的问题，有利于提高判断准确性。

步骤520，第二子判断模型通过识别视频数据的灯光区域以及标识，确定异常灯光的存在情况。

在一些实施例中，第二子判断模型可以包括图像识别算法(例如，faster R-cnn)。在一些实施例中，可以先确定视频数据中是否存在灯光特征，当存在灯光特征时根据标识确定灯光对应的特定区域，最后根据灯光对应的特定区域确定是否存在异常灯光特征，其中，航行灯以外的灯光(例如，驾驶室的灯光) 为异常灯光。

在一些实施例中，可以根据灯光特征(例如，亮斑区域、强度、形状等特征)确定灯光是否为环境灯(其他船舶或灯塔照射到该船舶的灯光)，例如，灯光亮斑区域大，亮度均匀，形状可能随行驶改变的灯光为环境灯，环境灯不属于异常灯光。

在一些实施例中，图像识别算法还可以识别图像中亮斑区域、强度和形状，以确定异常灯光的类型。在一些实施例中，异常灯光的类型包括驾驶室内特定的光源、人为光源、灾害型光源等非环境灯。其中，驾驶室内特定的光源包括驾驶室内的灯光，通常亮度比较强且固定，其在图像中对应的亮斑比较确定。人为光源包括人为使用手电筒、手机、电脑及其他终端设备时产生的光源，其与驾驶室内的特定光源是不同的，通常亮度偏弱且不稳定，其在图像中对应的亮斑的位置、形状及亮度较不确定。灾害型光源包括发生火灾时产生的光源，亮斑区域、强度和形状等特征并非固定，持续存在变化。

步骤530，根据异常灯光的存在情况确定所述驾驶室状态是否满足第二子预设条件。

当视频数据中不存在异常灯光时，可以判断驾驶室状态满足第二子预设条件，驾驶室处于正常状态；反则不满足，驾驶室处于异常状态。

在一些实施例中，基于异常灯光的类型，做相应的警报提示和应急方案。例如，对于驾驶室内特定的光源可以通过终端设备向对应驾驶室的管理人员发送提醒信息或者通过控制中心直接关闭对应驾驶室的灯光。又例如，对于人为光源可以通过终端设备向对应驾驶室的管理人员和/或值班人员发送提醒信息使其关闭光源。又例如，对于灾害型光源可以通过广播或终端设备发起紧急警报并通知应急管理人员组织救援。

本说明书一些实施例中，通过视频数据对驾驶室的异常灯光进行监控，避免了操作人员疏忽而造成的灯光异常。

图6是根据本说明书一些实施例所示的基于第三判断子模型判断驾驶室状态的示例性流程图。

在航行过程中，海面能见度系数是影响航行的重要因素。当海面能见度系数小于预设阈值时，环境能见度不良，影响工作人员对航行环境的判断，阻碍船舶之间的灯光交流，此时往往需要多名工作人员对周围环境进行持续瞭望，以避免出现事故。

能见度系数可以是指视力正常的人能将目标物从背景中识别出来的最大距离。例如，能见度系数可以是白天以靠近地平线的天空为背景，能清楚看出视角大于20度的地面灰暗目标物的轮廓并辨认出物体类型的最远距离。再例如，能见度系数可以是夜间能清楚看见目标发光点的最远距离。在一些实施例中，能见度系数可以通过能见度距离以及能见度等级描述。能见度距离与能见度等级的关系可以参考本说明书附图7。

预设阈值可以指能见度不良时的最大能见度系数(例如，1海里)，即当能见度系数小于预设阈值时则可以说明此时环境能见度不良。在一些实施例中，预设阈值可以包括多个情况下的最大能见度系统，例如，如图7所示，能见度低劣时的预设阈值可以为3链(0.3海里)、能见度不良时预设阈值可以为1海里，能见度中等时预设阈值可以为5海里，能见度优良时预设阈值可以为27海里。

为保证船舶在能见度较低时的正常航行，本说明书的一些实施例可以基于航行环境的视频数据确定能见度系数，并在能见度系数小于阈值时通过获取特定位置的目标视频数据确定工作人员的值守情况。其中，驾驶室状态可以包括能见度不良时工作人员的值守情况、驾驶室相关数据包括用于反映能见度系数的视频数据以及用于反映工作人员值守情况的目标视频数据、采集装置可以包括用于采集相关视频数据以及相关视频数据的视频采集设备和/或传感器(例如，能见度传感器、摄像头、监控等)、判断模型可以包括用于根据目标视频数据确定工作人员的值守状态的第三子判断模型，预设条件可以包括工作人员的值守状态应满足的第三子预设条件。

在一些实施例中，基于上述驾驶室状态、驾驶室相关数据、采集装置、判断模型以及预设条件，可以通过先判断视频数据中的能见度系数是否小于预设阈值；然后响应于视频数据中的能见度系数小于预设阈值，通过采集装置获取目标驾驶室的目标视频数据；最后通过第三子判断模型对目标视频数据进行处理，确定驾驶室状态是否满足第三子预设条件实现。

在一些实施例中，工作人员的值守状态(驾驶室状态)可以通过特定位置(例如，驾驶室的两翼甲板处)的值守人数体现，第三子判断模型可以包括用于根据目标视频数据确定值守人数的目标识别算法或模型，第三子预设条件可以是特定位置的值守人数满足的条件，例如，第三子预设条件可以包括驾驶室的两翼甲板处的值守人数均大于等于1人，再通过第三子判断模型确定特定位置的值守人数后，可以确定值守人数是否大于1人，当大于时，工作人员的值守状态判定为满足第三子预设条件，驾驶室处于正常状态，反之，则处于异常状态。

如图6所示的实施例，流程600包括下述步骤。在一些实施例中，流程 700可以由判断模块220执行。

步骤610，通过能见度识别模型识别视频数据中的能见度系数。

在一些实施例中，能见度识别模型可以包括用于识别环境的能见度的机器学习模型，视频数据可以是图像采集装置所采集的环境图像或视频。在一些实施例中，能见度识别模型可以基于识别图像中亮度、灰度、气象特征、海况特征等确定能见度系数。在一些实施例中，能见度识别模型可以基于图像特征以及各个预先设定的图像特征相应的能见度的数值或范围确定能见度系数。

步骤620，根据能见度系数以及目标视频数据通过第三子判断模型确定工作人员的值守情况。

在一些实施例中，第三子判断模型可以包括图像识别模型。其中，当能见度系数小于阈值时，图像识别模型可以对目标视频数据中的图像进行目标识别以确定驾驶室各个区域的工作人员的值守情况，其中，工作人员的值守情况可以包括工作人员的值守数量，驾驶室各个区域至少包括驾驶室的两翼甲板区。

步骤630，根据工作人员的值守情况确定所述驾驶室状态是否满足第三子预设条件。

当两翼甲板区的工作人员的值守数量满足驾驶室规范(大于预设数值)时，驾驶室状态满足第三子预设条件，反之则不满足。

本说明书一些实施例中，基于能见度系数的判断方法可以及时反馈环境能见度信息，并在能见度不良时检测瞭望任务的是否合规执行，进一步保障航行安全。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种驾驶室的管理方法，所述方法包括：

通过采集装置获取驾驶室相关数据；

通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件；

响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

2.根据权利要求1所述的方法，所述驾驶室相关数据包括声音数据，所述通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件包括：

通过第一子判断模型对所述声音数据进行处理，确定所述驾驶室状态是否满足第一子预设条件。

3.如权利要求1所述的方法，所述驾驶室相关数据包括视频数据，所述通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件包括：

通过第二子判断模型对所述视频数据进行处理，确定所述驾驶室状态是否满足第二子预设条件。

4.如权利要求1所述的方法，所述驾驶室相关数据包括视频数据，所述通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件包括：

判断所述视频数据中的能见度系数是否小于预设阈值；

响应于所述视频数据中的所述能见度系数小于所述预设阈值，通过所述采集装置获取目标驾驶室的目标视频数据；

通过第三子判断模型对所述目标视频数据进行处理，确定所述驾驶室状态是否满足第三子预设条件。

5.一种驾驶室的管理系统，所述系统包括：

获取模块，用于通过采集装置获取驾驶室相关数据；

判断模块，用于通过判断模型对所述驾驶室相关数据进行处理，确定驾驶室状态是否满足预设条件；以及

警示模块，用于响应于所述驾驶室状态不满足所述预设条件，生成警示信息。

6.根据权利要求5所述的系统，所述驾驶室相关数据包括声音数据，所述判断模块进一步用于：

通过第一子判断模型对所述声音数据进行处理，确定所述驾驶室状态是否满足第一子预设条件。

7.如权利要求5所述的系统，所述驾驶室相关数据包括视频数据，所述判断模块进一步用于：

通过第二子判断模型对所述视频数据进行处理，确定所述驾驶室状态是否满足第二子预设条件。

8.如权利要求5所述的系统，所述驾驶室相关数据包括视频数据，所述判断模块进一步用于：

判断所述视频数据中的能见度系数是否小于预设阈值；

响应于所述视频数据中的所述能见度系数小于所述预设阈值，通过所述采集装置获取目标驾驶室的目标视频数据；

通过第三子判断模型对所述目标视频数据进行处理，确定所述驾驶室状态是否满足第三子预设条件。

9.一种驾驶室的管理装置，包括处理器，所述处理器用于执行权利要求1～4中任一项所述的驾驶室的管理方法。

10.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～4任一项所述的驾驶室的管理方法。

Images