CN111160195A - 一种基于多生物特征识别技术的船舶人员管理系统 - Google Patents

一种基于多生物特征识别技术的船舶人员管理系统 Download PDF

Info

Publication number
CN111160195A
CN111160195A CN201911336623.5A CN201911336623A CN111160195A CN 111160195 A CN111160195 A CN 111160195A CN 201911336623 A CN201911336623 A CN 201911336623A CN 111160195 A CN111160195 A CN 111160195A
Authority
CN
China
Prior art keywords
module
personnel
information
data
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911336623.5A
Other languages
English (en)
Inventor
薛开
梁峰
王平
黄文浩
吴庭毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911336623.5A priority Critical patent/CN111160195A/zh
Publication of CN111160195A publication Critical patent/CN111160195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种基于多生物特征识别技术的船舶人员管理系统,本发明系统包括采集模块、识别模块、信息模块、存储模块、管理模块五个功能模块。其中,采集模块用于采集原始数据及处理后的生物特征数据;识别模块用于比对生物特征;信息模块用于存储、管理数据;存储模块用于备份采集数据及日志;管理模块用于显示数据、操控系统并管理人员。本发明系统可对船舶人员进行实时位置分布、历史活动轨迹查询、活动区域设置、权限设置、异常警示等功能。本发明系统适用于大型船舶领域人员安全管理,可保证船上人员的航行安全,提高船舶人员管理效率。

Description

一种基于多生物特征识别技术的船舶人员管理系统
技术领域
本发明涉及一种基于多生物特征识别技术的船舶人员管理系统,属于生物、计算机与船舶领域。
背景技术
在大型船舶封闭场所中,识别合法人员身份、查看船舶人员位置分布及对非法人员活动领域的限制,是船舶人员管理系统的重点。
传统的船舶人员管理系统一般采用密码、证件识别、无线传感网络或者RFID射频等单一技术进行识别管理。这种管理方法具有可能遗忘、丢失,被伪造、不方便携带等特点。而且往往需要手动登记,效率低下,给管理带来不便。
现有的船舶人员管理系统。多采用指纹识别这一生物特征识别技术,基于生物特征识别的身份鉴定方法,其优点:不会丢失、被遗忘;防伪性能好;可随身携带。指纹识别技术同样具有以上优点。因此,在一定程度上解决了上述问题。但是,指纹识别技术具有强制性,可接受性较低,需要强制被识别人员主动配合采集特征;不具有自然性,人员无法通过指纹特征简单判断确认被识别人身份;防伪性低,因需要被识别人主动配合,所以易察觉,从而带有伪装性、欺骗性;方便性差,该技术必须近距离触摸采集生物特征,并且可能带有卫生隐患。
生物特征识别技术中,人脸、步态、声纹三种识别技术相比指纹识别具有以下共同特点: 1.非强制性。可接受性较高,特征获取方便,被识别人的生物特征信息可以主动获取而不被被测个体察觉;2.非接触性。可以远程识别,无需近距离触摸采集特征,不被识别人察觉,一定程度上提高了防伪性。3.自然性。可通过观察比较生物特征来直接简单区分和确认身份,而人类不能通过指纹特征和虹膜特征直接区别、确认个体。
三种识别技术又有各自优点,如:人脸识别技术采集速度快,只需要人脸截图,而步态识别技术需要步态序列视频,声纹识别技术需要声纹序列谱;人脸识别技术可靠性较其余二者高。步态识别技术采集距离比人脸识别技术远,只需采集走路姿态;步态识别技术对外部环境要求较低,而人脸识别技术需要考虑光照条件、人脸角度,且人脸必须面向摄像机方向时才可采集;步态特征不易伪装。声纹识别技术较其余二者采集范围广泛,只需清晰录音即可;声纹识别算法复杂度低,识别速度块。三种生物特征识别方法,其优先级为人脸识别技术>步态人识别技术>声纹识别技术。即当三种识别技术都有识别结果时,以人脸识别技术比对结果为准;其次为步态识别技术,最后为声纹识别技术。当人脸识别技术采集距离不足时,以步态识别技术比对结果为准;当人脸识别技术与步态识别技术采集距离均不足时,以声纹识别技术比对结果为准。
所以本发明系统采用生物特征中的人脸、步态、声纹特征识别的多重验证手段,属于非强制性,非接触性、自然性生物特征。三者共同工作弥补了单一识别技术的缺点,大幅度提高了识别的距离、准确性,在最大程度上保障了船舶人员的安全,减少安全隐患。
发明内容
本发明的目的是为了克服以上缺陷而提供一种基于多生物特征识别技术的船舶人员管理系统。
本发明的目的是这样实现的:包括采集模块、识别模块、信息模块、存储模块和管理模块,采集模块包括船舶各区域采集设备与视音频软件,用于采集视音频原始数据及数据的处理,并通过局域网传输至存储模块及管理模块;识别模块包括人脸、步态、声纹三个子模块,其中每个子模块包括各自相应的识别算法软件,识别模块将采集模块人员定位信息透传给信息模块;信息模块包括云端服务器与本地服务器,所述本地数据包括人员信息数据、生物特征数据及日志数据;存储模块包括视音频存储设备与存储服务器,存储模块用于备份采集视音频原始数据及所述信息模块的日志数据库的数据;管理模块位于船舶显控中心,包括监控显示屏阵列、控制台与人员管理软件,监控显示屏阵列显示相关数据、控制台,所述人员管理软件用于对船舶人员进行管理。
本发明还包括这样一些结构特征:
1.采集模块中船舶各区域采集设备拥有不同唯一ID属性,用以区分设备,不同设备采集范围不同,因此可根据船舶各区域采集设备所处位置及其采集范围对人员进行定位;采集模块还用于通过视音频处理软件处理视音频原始数据,并将处理后得到的人脸截图、步态视频、声纹视频特征通过局域网传输至识别模块及存储模块。
2.识别模块通过人脸、步态、声纹识别算法软件比对信息模块中本地的生物特征数据与采集模块采集、处理得到的人脸、步态、声纹特征;识别模块还用于将比对结果通过局域网传输至信息模块;所述识别模块异常信息即当人脸、步态、声纹三个子模块比对结果均非信息模块中已存储的合法人员身份信息,即所检测生物特征不在信息模块数据库;所述识别模块异常信息还包括船舶人员进入居住舱室时,双重认证失败,当出现异常警报时,识别模块通过局域网将异常信息上传至信息模块。
3.识别模块中三种生物特征比对方法,其优先级为人脸子模块>步态人脸子模块>声纹人脸子模块,即当三个子模块都有识别结果时,以人脸子模块比对结果为准;其次为步态子模块,最后为声纹子模块,当人脸子模块采集距离不足时,以步态子模块比对结果为准;当人脸子模块与步态子模块采集距离均不足时,以声纹子模块比对结果为准。
4.所述信息模块中的本地数据同步于信息模块中云端服务器数据,所述同步操作当信息模块中本地数据更新时主动上传,且仅更新发生改变的特征信息,当船舶发生危险情况时,触发紧急装置时,本地数据将自动上传至云端服务器;信息模块通过外部数据导入或者采集设备录入数据库信息,采集船舶人员管理系统管理范围内合法人员的身份信息及相应生物特征;信息模块将录入的合法人员的身份信息同步于云端服务器人员信息数据库;相应人脸、步态、声纹特征存入云端服务器人脸、步态、声纹特征信息数据库;记录生物特征比对识别结果、人员定位信息和异常信息于日志数据;所述信息模块日志数据包括被识别人的姓名、人脸截图、人脸比对结果、步态视频、步态比对结果、声纹音频、声纹比对结果、采集设备 ID属性,人员定位信息及采集时间。
5.管理模块通过监控显示屏阵列显示系统各模块数据,还用于通过控制台控制整个系统;管理模块通过人员管理软件管理人员,如:查看船舶人员位置分布,历史移动轨迹查询,活动区域设置,权限设置,隐私设置,异常警示;根据不同异常信息警示,将警报信息传输给相应船上工作人员进行处理。
与现有技术相比,本发明的有益效果是:1.本发明系统使用人脸、步态、声纹特征三种生物特征识别技术相互合作,多重验证,提高准确性的同时降低了安全隐患。2.本发明系统具有可接受性高、方便性高、普遍性高、防伪性高、侵犯性低的特点。3.本发明系统能够监控采集模块范围内的设备仪器、贵重物品以及合法人员的操作;能够对系统监控范围内人员进行人员定位信息确定。4.本发明系统提高船上人员管理的效率,通过查看船舶人员位置分布、查询人员历史移动轨迹、活动区域限制、权限设置、隐私设置、异常警报等操作对系统范围内人员进行更安全完备的管理。5.本发明充分利用常规安防监控系统的设备,通过人脸、步态与声纹生物特征识别算法对船上人员进行识别,避免了单独开发一套船舶人员管理人员系统的成本。6.本发明可结合传统人员管理系统,不需要对原有管理系统进行淘汰浪费。7.所使用的生物特征具有非接触性,减少了卫生隐患。本发明方案提供的一种基于多生物特征识别技术的人员管理系统,由于使用了多种非强制性、非接触性、具有自然性的生物特征共同识别,提高了识别、管理效率。本发明充分利用常规安防监控系统的设备,在监控采集模块范围内的设备仪器、贵重物品以及合法人员的操作的同时,通过人脸、步态与声纹生物特征识别算法对船上人员进行识别,避免了单独开发一套船舶人员管理人员系统的成本。本发明系统还可利用超高频无源RFID等无线技术进行辅助管理。
附图说明
图1为本发明实施例的一种基于多生物特征识别技术的大型船舶人员管理系统工作示意框图;
图2为本发明实施例的一种基于多生物特征识别技术的大型船舶人员管理系统中采集模块的采集范围及人员定位示意图;
图3为本发明实施例的一种基于多生物特征识别技术的人员管理系统的步骤流程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
如图1所示,图1为示出了根据本发明系统实施例的一种基于多生物特征识别技术的大型船舶人员管理系统100的整体结构示意图,该图展现了本发明系统实施例的模块组成及数据流动;如图2所示,该图展现了本系统采集模块的采集范围及定位示意。如图3所示,图 3为本系统的工作流程示意图,该图展现了本系统实施流程中的数据流程。
一种基于多生物特征识别技术的人员管理系统,所述多生物特征,为人脸特征,步态特征与声纹特征,包括以下模块:
采集模块用于采集人员管理系统应用范围内的视音频原始数据,及处理视音频原始数据后获得的人脸截图,步态视频以及声纹音频;
识别模块使用基于信息模块中的生物特征数据对采集模块采集的人脸、步态、声纹特征进行比对;
信息模块用于人员信息数据,比对日志数据、生物特征数据及异常信息的管理;
存储模块用于备份采集信息及信息模块的日志数据;
管理模块用于监控系统数据,操控系统各模块功能,对人员进行实时管理。
采集模块包括船舶各区域采集设备(包括网络摄像机、拾音器等)与视音频处理软件,船舶各区域采集设备用于采集人员管理系统应用范围内(不包括居住区与卫生区等侵犯个人生活隐私的区域)的视音频原始数据,视音频处理软件处理视音频原始数据后获得人脸截图,步态视频以及声纹音频。
采集模块由不同采集范围、不同ID属性的船舶各区域采集设备组成,由船舶各区域采集设备所处位置及其视音频采集范围来进行人员定位信息确定。
识别模块由人脸子模块、步态子模块、声纹子模块组成。其中人脸子模块通过人脸识别算法软件(如人脸子模块包括人脸识别算法软件)比对信息模块中的生物特征数据(人脸特征)与采集模块处理得到的人脸特征;步态子模块通过步态识别算法软件比对信息模块中的生物特征数据(步态特征)与采集模块处理得到的步态特征;声纹子模块通过声纹识别算法软件比对信息模块中的生物特征数据(声纹特征)与采集模块处理得到的声纹特征。
识别模块还用于发送异常信息至信息模块。所述识别模块异常信息即:当人脸子模块、步态子模块、声纹子模块比对结果均非信息模块中已存储的人员身份信息,即所检测生物特征不在(3)信息模块数据库时发出的异常警报信息。所述识别模块异常信息还包括居住区双重认证(人脸+门卡)失败时发出的异常警报信息。
信息模块包括云端服务器(存储云端服务器数据)与本地服务器(存储本地数据),所述本地数据包括:人员信息数据、生物特征数据及日志数据;
信息模块通过外部数据导入或者设备采集录入数据库信息,录入船舶人员管理系统管理范围内合法人员的身份信息及相应生物特征。云端服务器存储云端人脸、步态、声纹特征信息数据,人员信息数据,日志数据。本地数据包括日志数据、生物特征数据及人员信息数据。其中所述合法人员为接受船舶人员系统管理的人员。本地数据中的日志数据包括被识别人的姓名、人脸截图、人脸比对结果、步态视频、步态比对结果、声纹音频、声纹比对结果、采集设备属性,人员定位信息及采集时间等。
存储模块包括音视频存储设备(如网络硬盘录像机)与存储服务器,用以备份视音频原始数据及日志数据。音视频存储设备用于备份采集视音频及截图信息。存储服务器备份信息模块的日志数据。
管理模块位于船舶显控中心,包括监控显示屏阵列、控制台(如计算机键鼠、操控手柄) 及人员管理软件,所述监控显示屏阵列显示相关数据(信息模块中本地数据、采集模块视音频原始数据、人员管理软件、船舶内部构造图等)、控制台(对其他模块进行操控)。所述人员管理软件用于对船舶人员进行管理。监控显示屏阵列显示各模块数据(包括采集模块采集的船舶各区域原始视音频数据、信息模块中日志数据、生物特征数据及人员信息数据等,控制台操控整个系统(包括信息模块的数据的增删改查。采集模块中船舶各区域采集设备的参数的更改,监控显示屏阵列显示内容及显示分辨率、色彩参数的更改等)。用于进行船上管理人员。如:查看船舶人员位置分布,人员历史移动轨迹查询,活动区域设置,权限设置,隐私设置,异常信息警示等。
本发明系统功能实现流程如下:
1.采集模块通过不同ID,不同采集范围的船舶各区域采集设备采集原始视音频数据,经视音频处理软件处理后获得人脸截图,步态视频以及声纹音频。通过船舶各区域采集设备所处位置确定采集范围内人员的定位信息,并将采集信息通过局域网传输至存储模块及识别模块。
2.识别模块中人脸、步态、声纹子模块通过比对采集模块采集的生物特征与本地人脸、步态、声纹数据库获得比对结果,三个子模块的优先级为:人脸子模块>步态子模块>声纹子模块。即当三个子模块都有识别结果时,以人脸子模块比对结果为准;其次为步态子模块,最后为声纹子模块。当人脸识别技术采集距离不足时,以步态识别技术比对结果为准;当人脸识别技术与步态识别技术采集距离均不足时,以声纹识别技术比对结果为准。若三个子模块比对结果均非信息模块中已存储的合法人员身份信息,则向信息模块发出异常信息警报。识别模块中的本地人脸、步态、声纹数据库同步于信息模块中的云端人脸、步态、声纹特征信息数据库。识别模块还将采集模块中的人员定位信息透传给信息模块。
3.信息模块接收识别模块传输的比对结果、人员定位信息和异常信息,将其存储至日志数据中;信息模块还用于存储、录入、删除、更改、更新云端服务器数据;信息模块还用于存储、录入、删除、更改、更新日志数据;信息模块还用于存储、录入、删除、更改、更新人员信息数据;信息模块还用于存储、录入、删除、更改、更新生物特征数据;信息模块还用于上传日志数据至存储模块;。所述人员身份信息包括船舶上合法人员姓名、性别、年龄、身份编码、职位等人员基本信息。
4.存储模块用于存储采集模块采集到的原始视音频数据,还用于存储信息模块中的日志数据。当查看过往记录时,可结合视音频信息及日志数据来进行历史数据回放。
5.管理模块用于监控、操控整个系统并对船舶人员进行管理。主要包括控制采集模块的截图、分辨率、码率等,还包括控制信息模块的本地数据(日志数据、生物特征数据、人员管理数据)的主动更新、录入、增加、删除;控制存储模块的存储空间大小及备份信息的更新维护。管理模块通过监控显示屏阵列显示系统各模块数据(包括采集模块采集的船舶各区域原始视音频数据、信息模块中日志数据、生物特征数据及人员信息数据等),将信息模块中的数据可视化,便于观察指挥。管理模块通过人员管理软件对船舶人员进行管理,包括查看船舶人员位置分布(通过实时识别定位日志数据),人员历史移动轨迹查询(通过原始视音频及备份日志数据),活动区域设置(根据不同人员身份信息限定人员活动范围,以此判断是否离开工作岗位,是否非法闯入权限场所),权限设置(对登船人员进行身份判定,根据不同身份给予不同的权限,经工作人员许可后对暂时离船人员给予离船权限),隐私设置(对居住舱室、卫生区内人员暂停管理),异常警示(如:非法人员登船,非指定人员靠近非法区域,滞留时间过长等)等。根据不同异常信息警示,将警报信息发送给相应船上工作人员进行处理。
以下,将结合图1描述根据本发明系统提供的一种基于多生物特征识别技术的大型船舶人员管理系统具体实施例:
所述船舶人员管理系统录入合法人员的身份信息及人脸、步态、声纹特征于数据库,通过船舶各舱室、廊道、甲板等区域的视音频采集设备采集监控范围内人员的生物特征,并将生物特征传输至船舶指控中心,与之前录入的本地服务器生物特征数据进行比对,得到输出结果并在管理模块显示。工作人员可通过管理模块对系统进行监控、操控,对系统内人员进行管理。
如图1所示,基于多生物特征识别技术的船舶人员管理系统100包括采集模块110,识别模块120,信息模块130,存储模块140,管理模块150。其中:
采集模块110通过船舶各舱室、廊道、甲板等区域(不包括居住区及卫生区)的不同ID 号、不同监控范围网络监控摄像机与拾音器或其他视音频采集设备采集船舶上各区域的人员定位信息及视音频信息原始数据,经过视音频处理软件处理后获得各区域人员的人脸截图、步态视频及声纹音频生物特征。将视音频原始数据通过局域网传输至存储模块140及管理模块150,将人员定位信息与人脸截图、步态视频及声纹音频生物特征通过局域网传输至识别模块120。
如图2所示,该图示出了本发明系统实施例中采集模块的构成示意图,通过船舶各区域的不同ID的摄像机、拾音器或其他设备,确定了各摄像机、拾音器的位置与采集范围,从而确定了相机监控范围内的人员位置,实现了人员的定位。各摄像机采集的信息通过局域网(但不限于局域网,蓝牙、射频等其他传输手段亦可)传输至识别模块120、存储模块140及管理模块150。所属采集范围不包括居住、卫生区等隐私场所。进入居住区时,需要进行人脸、门卡双重认证,相关人员进入后暂停对其的人员管理。当相关人员离开该区域后,恢复对其的人员管理。
采集模块中船舶各区域采集设备拥有不同唯一ID属性,用以区分设备,不同设备采集范围不同。因此可根据船舶各区域采集设备所处位置及其采集范围对人员进行定位。识别模块将采集模块人员定位信息透传给信息模块。
采集模块中船舶各区域采集设备用于采集视音频原始数据,并通过局域网传输至存储模块及管理模块。
采集模块还用于通过视音频处理软件处理视音频原始数据,并将处理后得到的人脸截图、步态视频、声纹视频特征通过局域网传输至识别模块及存储模块。
所述采集模块中各采集设备只处于公共舱室及工作舱室,不包含居住舱室与卫生区,以免侵犯个人隐私。当船上人员进入居住舱室时,需进行人脸、门卡双重认证。
识别模块120用于接收采集模块110传输的信息,并将其中的人脸、步态、声纹特征分别与之前录入的本地生物特征数据库进行比对,获得比对结果。三个子模块的优先级为:人脸子模块>步态子模块>声纹子模块。即当三个子模块都有识别结果时,以人脸子模块比对结果为准;其次为步态子模块,最后为声纹子模块。当人脸识别技术采集距离不足时,以步态识别技术比对结果为准;当人脸识别技术与步态识别技术采集距离均不足时,以声纹识别技术比对结果为准。若三个子模块比对结果均非信息模块130中已存储的合法人员身份信息,则向信息模块130发出异常信息警报。当人员进入居住区时,需进行人脸、门卡双重识别认证,若双重认证失败次数超过限定次数,则向信息模块130发出异常信息警报。
识别模块120中的人脸子模块用于比对采集模块110传输的人脸截图与本地人脸特征数据库,若比对结果为数据库中录入登记的合法人员,则将比对数据传输至信息模块140。若比对结果为非法人员或无比对特征,则等待步态子模块识别结果。其中,所述合法人员为自愿接受船舶人员管理系统100管理并且获取船舶准入的人员。
识别模块120中的步态子模块用于比对采集模块110传输的步态视频与本地步态特征数据库,若比对结果为数据库中录入登记的合法人员,则将比对数据传输至信息模块140。若比对结果为非法人员或无比对特征,则等待声纹子模块识别结果。
识别模块120中的声纹子模块用于比对采集模块110传输的声纹音频与本地声纹特征数据库,若比对结果为数据库中录入登记的合法人员,则将比对数据传输至信息模块140。
识别模块120中的三个子模块若均识别为非法人员则向信息模块发出异常信息警报。若其中某一子模块没有识别成功,其他子模块识别成功,则默认为识别成功。三个子模块的优先级为:人脸子模块>步态子模块>声纹子模块。例如,人脸子模块识别成功,步态子模块与声纹子模块未识别出,则认为识别成功。
识别模块通过人脸、步态、声纹识别算法软件比对信息模块中本地数据(生物特征数据) 与采集模块采集、处理得到的人脸、步态、声纹特征。
识别模块还用于将比对结果通过局域网传输至信息模块,由所述信息模块记录日志数据。当出现异常时,将异常信息通过局域网传输至信息模块。
所述识别模块异常信息即当人脸、步态、声纹三个子模块比对结果均非信息模块中已存储的合法人员身份信息,即所检测生物特征不在信息模块数据库。所述识别模块异常信息还包括船舶人员进入居住舱室时,双重认证失败。当出现异常警报时,识别模块通过局域网将异常信息上传至信息模块。
识别模块中三种生物特征比对方法,其优先级为人脸子模块>步态人脸子模块>声纹人脸子模块。即当三个子模块都有识别结果时,以人脸子模块比对结果为准;其次为步态子模块,最后为声纹子模块。当人脸子模块采集距离不足时,以步态子模块比对结果为准;当人脸子模块与步态子模块采集距离均不足时,以声纹子模块比对结果为准。
信息模块130用于接收识别模块120传输的比对结果、人员定位信息和异常信息,将其存储至日志数据中;信息模块130还用于存储、录入、删除、更改、更新生物特征数据(人脸特征、步态特征、声纹特征);信息模块130还用于存储、录入、删除、更改、更新云端服务器数据;信息模块130还用于存储、录入、删除、更改、更新船舶上人员基本信息。通过所述人员信息管理人员权限及合法活动区域。信息模块140还用于传输日志数据至存储模块 140。信息模块130中的本地数据同步更新于信息模块130中的云端服务器数据。所述信息模块记录的日志数据包括船舶上登记人员的姓名、人脸截图、人脸比对结果、步态视频、步态比对结果、声纹音频、声纹比对结果,采集设备属性,人员定位信息、采集时间及异常信息等。
信息模块130录入人员信息数据及生物特征数据。所述人员信息数据包括船舶上合法人员姓名、性别、年龄、身份编码、职位等人员基本信息,所述生物特征数据包括人脸特征、步态特征、声纹特征。所述船舶上合法人员为自愿接受船舶人员管理系统100管理并且获取船舶登记准入的人员。
所述信息模块中的本地数据同步于信息模块中云端服务器数据。所述同步操作当信息模块中本地数据更新时主动上传,且仅更新发生改变的特征信息。当船舶发生危险情况时,触发紧急装置时,本地数据将自动上传至云端服务器。
所述信息模块中的本地数据同步于信息模块中云端服务器数据。所述同步操作当信息模块中云端服务器数据更新时由船上工作人员主动下载,且仅更新发生改变的特征信息。
信息模块通过外部数据导入或者采集设备录入数据库信息,采集船舶人员管理系统管理范围内合法人员的身份信息及相应生物特征。通过所述身份信息管理人员权限及合法活动区域。所述数据库信息包括合法人员姓名、性别、年龄、身份编码、职位等人员信息,还包括人脸特征、步态特征、声纹特征等生物特征数据。所述合法人员为自愿接受人员管理系统管理并且获取登记准入的人员。
信息模块将录入的合法人员的身份信息同步于云端服务器人员信息数据库;相应人脸、步态、声纹特征存入云端服务器人脸、步态、声纹特征信息数据库;记录生物特征比对识别结果、人员定位信息和异常信息于日志数据。
所述信息模块日志数据包括被识别人的姓名、人脸截图、人脸比对结果、步态视频、步态比对结果、声纹音频、声纹比对结果、采集设备ID属性,人员定位信息及采集时间等。
存储模块用于备份采集视音频原始数据及所述信息模块的日志数据库的数据。存储模块 140用于备份采集模块110采集到的原始视音频,还用于备份信息模块130中的日志数据。当查看过往记录进行人员历史数据回放时,可结合视音频信息及日志数据来进行数据回放。
管理模块150位于船舶控制中心,负责控制整个船舶人员管理系统100。管理模块150 中显示操控部分用于显示信息模块130管理的日志数据、身份信息,将信息模块130中的数据可视化,便于指挥操控。管理模块150还用于操控采集模块110的采集视频分辨率、码率,截图操作等;操控信息模块130的本地数据的存储、录入、删除、更改、更新等操作;操控存储模块140的存储空间大小及备份信息的更新维护;控制管理模块150的显示内容与显示参数。
管理模块150中的人员管理软件可进行查看船舶人员位置分布(通过实时识别定位日志数据),人员历史移动轨迹查询(通过原始视音频及备份日志数据),活动区域设置(根据不同人员身份信息限定人员活动范围,以此判断是否离开工作岗位,是否非法闯入权限场所),权限设置(对上船人员进行身份判定,给予不同级别的个人权限、经工作人员许可后对暂时离船人员给予离船权限等),隐私设置(对居住舱室、卫生区内人员暂停管理),异常警示(如:非法人员登船,非指定人员靠近高权限区域,滞留时间过长等)等操作。
管理模块通过监控显示屏阵列显示系统各模块数据(包括采集模块中原始视音频数据、信息模块中本地数据,人员管理软件、船舶内部构造图等),还用于通过控制台控制整个系统 (包括信息模块中的数据库操作,控制采集模块船舶各区域采集设备的参数,控制管理模块显示内容及显示分辨率、色彩参数等)。
管理模块通过人员管理软件管理人员。如:查看船舶人员位置分布,历史移动轨迹查询 (如:可直接输入人员姓名可查看其历史活动情况,到岗离岗时间、工作区域、在某区域停留时间),活动区域设置(根据不同人员身份信息限定人员活动范围,以此判断是否离开工作岗位,是否非法闯入权限场所),权限设置(对上船人员进行身份判定,根据不同身份给予不同的权限,对暂时离船人员给予离船权限),隐私设置(对居住舱室、卫生区内人员暂停管理),异常警示(如:非法人员登船,非指定人员靠近高权限区域,滞留时间过长等)等。根据不同异常信息警示,将警报信息传输给相应船上工作人员进行处理。
本实施例系统可用于:
1.船舶系泊期间,在舷梯口处判断来访人员是否可以登船,并给予一定级别的权限,当判断来访人员为非法人员时,人员管理系统发出异常警报;
2.船舶行驶期间,查看船舶人员的实时位置分布以及历史移动轨迹。在舱室内部进行监控识别,管理人员数目,存储监控视频,对人员进行身份识别,并记录相关活动信息;
3.可用来监控机舱、发电室等重要舱室。记录工作人员合法操作,防止非法人员闯入;
4.船员下船采购时,对离船人员给予离船权限,进行上下船监控,识别并记录时间;
5.在客轮乘客登船阶段录入人员姓名登船时间等基本信息,到达目的港之后,对下船人员进行识别,系统录人离船时间,防止人员滞留、失踪,引起不必要的危险。
基于上述内容,根据本发明系统实施例的一种基于多生物特征识别技术的大型船舶人员管理系统极大提高了船舶上人员管理效率,提高了船舶航行的安全性,为船舶指挥操控提供了一种可视化、便于操作的人员管理系统的可能性。根据本发明系统的实施例的一种基于多生物特征识别技术的人员管理系统可普遍应用于需要人员管理的各种场所。
根据本发明系统实施例的一种基于多生物特征识别技术的大型船舶人员管理系统不限于上述模块,还可包括其他辅助模块,或者删减部分模块实现简易功能,或者对部分模块进行改造,达到适用于不同应用场合的目的。本领域的技术人员可以对本发明系统进行改动且并不脱离本发明范畴。
上述实施例仅描述了本发明系统在船舶领域人员管理系统的一种可实施方案,仅具有实例性,应了解,本发明系统保护范围不限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。
图3为本发明实施例的一种基于多生物特征识别技术的船舶人员管理系统的步骤流程示意图。
步骤S210,信息模块进行人员信息录入。所述人员信息包括合法人员姓名、性别、年龄、身份编码、职位等人员基本信息,还包括人脸特征、步态特征、声纹特征等生物特征。所述合法人员为自愿接受船舶人员管理系统管理并且获取登记准入的人员。
步骤S220,识别模块的本地人脸、步态、声纹特征数据库同步于信息模块中的云端人脸、步态、声纹特征信息数据库。
步骤S230,采集模块通过不同ID号、不同监控范围的采集设备采集系统范围内的人员定位信息及视音频信息原始数据,经过处理后获得各人员的人脸截图、步态视频及声纹音频,并将该信息传输至存储模块及识别模块。
步骤S240,识别模块比对采集信息与本地数据库的生物特征(包括人脸特征、步态特征、声纹特征)。
步骤S250,若识别模块中三个子模块比对结果均非信息模块中已存储的合法人员身份信息,则向信息模块发送异常信息警报和人员定位信息。
步骤S260,若识别模块中比对结果为信息模块中已存储的合法人员身份信息,则向信息模块发送比对结果和人员定位信息。
步骤S270,信息模块接收识别模块的比对结果、人员定位信息和异常信息,将其存储至日志数据库中。信息模块还用于存储、录入、删除、更改、更新云端人脸、步态、声纹特征信息数据库。信息模块还用于存储、录入、删除、更改、更新人员基本信息。信息模块还用于上传日志数据至存储模块。
步骤S280,信息模块收到异常警报时,向管理模块发送异常信息和人员定位信息。
步骤S290,管理模块负责控制整个系统的管理,包括控制采集模块的采集视频分辨率、码率,截图操作等;控制识别模块的本地人脸、步态、声纹数据库的主动更新;控制存储模块的存储空间大小及备份信息的更新维护;控制身份特征录入模块对系统应用范围内所有人员的身份信息及人脸、步态、声纹特征的录入。控制信息模块对人员基本信息数据库、特征数据库的存储、录入、删除、更改、更新等操作。管理模块还用于显示信息模块管理的日志数据、身份信息,将信息模块中的数据可视化。管理模块将不同异常信息警报发送给相应工作人员进行处理。
步骤S290,管理模块中的人员管理软件可进行查看船舶人员位置分布(通过实时识别定位日志数据),人员历史移动轨迹查询(通过原始视音频及备份日志数据),活动区域设置(根据不同人员身份信息限定人员活动范围,以此判断是否离开工作岗位,是否非法闯入权限场所),权限设置(对上船人员进行身份判定,根据不同身份给予不同级别的个人权限、经工作人员许可后对暂时离船人员给予离船权限等),隐私设置(对居住舱室、卫生区内人员暂停管理),异常警示(如:非法人员登船,非指定人员靠近高权限区域,滞留时间过长等)等操作。
以上内容结合图3,示意性的描述了根据本发明系统实施例的一种基于多生物特征识别技术的人员管理系统的步骤流程示意图。仅具有示例性,本领域其他工作人员可根据本步骤流程示意图增加、删除、修改步骤,或者改变本步骤流程示意图的顺序进行技术方案的实施。
上述实施例包括一种基于多生物特征识别技术的大型船舶人员管理系统和一种基于多生物特征识别技术的人员管理系统的步骤流程,仅是对本发明的一种说明,属于具体案例,而不是对本发明进行限制。本领域技术人员可自行设计替换实施例中的环节。由上所述,可作为本发明具体实施方式的一种参考。本发明的保护范围不局限于上述实施例,任何熟悉本领域的技术人员均可在本发明基础之上进行的修改,但在本发明展示的技术范围内,可轻易想到的简单增删改等方案,应属于本发明的保护范围内,本发明的保护范围应以权利要求的保护范围为准。
综上,本发明公开了一种基于多生物特征识别的船舶人员管理系统,本发明系统包括采集模块、识别模块、信息模块、存储模块、管理模块五个功能模块。其中,采集模块用于采集原始数据及处理后的生物特征数据;识别模块用于比对生物特征;信息模块用于存储、管理数据;存储模块用于备份采集数据及日志;管理模块用于显示数据、操控系统并管理人员。本发明系统可对船舶人员进行实时位置分布、历史活动轨迹查询、活动区域设置、权限设置、异常警示等功能。本发明系统适用于大型船舶领域人员安全管理,可保证船上人员的航行安全,提高船舶人员管理效率。

Claims (6)

1.一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:包括采集模块、识别模块、信息模块、存储模块和管理模块,采集模块包括船舶各区域采集设备与视音频软件,用于采集视音频原始数据及数据的处理,并通过局域网传输至存储模块及管理模块;识别模块包括人脸、步态、声纹三个子模块,其中每个子模块包括各自相应的识别算法软件,识别模块将采集模块人员定位信息透传给信息模块;信息模块包括云端服务器与本地服务器,所述本地数据包括人员信息数据、生物特征数据及日志数据;存储模块包括视音频存储设备与存储服务器,存储模块用于备份采集视音频原始数据及所述信息模块的日志数据库的数据;管理模块位于船舶显控中心,包括监控显示屏阵列、控制台与人员管理软件,监控显示屏阵列显示相关数据、控制台,所述人员管理软件用于对船舶人员进行管理。
2.根据权利要求1所述的一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:采集模块中船舶各区域采集设备拥有不同唯一ID属性,用以区分设备,不同设备采集范围不同,因此可根据船舶各区域采集设备所处位置及其采集范围对人员进行定位;采集模块还用于通过视音频处理软件处理视音频原始数据,并将处理后得到的人脸截图、步态视频、声纹视频特征通过局域网传输至识别模块及存储模块。
3.根据权利要求2所述的一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:识别模块通过人脸、步态、声纹识别算法软件比对信息模块中本地的生物特征数据与采集模块采集、处理得到的人脸、步态、声纹特征;识别模块还用于将比对结果通过局域网传输至信息模块;所述识别模块异常信息即当人脸、步态、声纹三个子模块比对结果均非信息模块中已存储的合法人员身份信息,即所检测生物特征不在信息模块数据库;所述识别模块异常信息还包括船舶人员进入居住舱室时,双重认证失败,当出现异常警报时,识别模块通过局域网将异常信息上传至信息模块。
4.根据权利要求3所述的一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:识别模块中三种生物特征比对方法,其优先级为人脸子模块>步态人脸子模块>声纹人脸子模块,即当三个子模块都有识别结果时,以人脸子模块比对结果为准;其次为步态子模块,最后为声纹子模块,当人脸子模块采集距离不足时,以步态子模块比对结果为准;当人脸子模块与步态子模块采集距离均不足时,以声纹子模块比对结果为准。
5.根据权利要求4所述的一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:所述信息模块中的本地数据同步于信息模块中云端服务器数据,所述同步操作当信息模块中本地数据更新时主动上传,且仅更新发生改变的特征信息,当船舶发生危险情况时,触发紧急装置时,本地数据将自动上传至云端服务器;信息模块通过外部数据导入或者采集设备录入数据库信息,采集船舶人员管理系统管理范围内合法人员的身份信息及相应生物特征;信息模块将录入的合法人员的身份信息同步于云端服务器人员信息数据库;相应人脸、步态、声纹特征存入云端服务器人脸、步态、声纹特征信息数据库;记录生物特征比对识别结果、人员定位信息和异常信息于日志数据;所述信息模块日志数据包括被识别人的姓名、人脸截图、人脸比对结果、步态视频、步态比对结果、声纹音频、声纹比对结果、采集设备ID属性,人员定位信息及采集时间。
6.根据权利要求5所述的一种基于多生物特征识别技术的船舶人员管理系统,其特征在于:管理模块通过监控显示屏阵列显示系统各模块数据,还用于通过控制台控制整个系统;管理模块通过人员管理软件管理人员,如:查看船舶人员位置分布,历史移动轨迹查询,活动区域设置,权限设置,隐私设置,异常警示;根据不同异常信息警示,将警报信息传输给相应船上工作人员进行处理。
CN201911336623.5A 2019-12-23 2019-12-23 一种基于多生物特征识别技术的船舶人员管理系统 Pending CN111160195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336623.5A CN111160195A (zh) 2019-12-23 2019-12-23 一种基于多生物特征识别技术的船舶人员管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336623.5A CN111160195A (zh) 2019-12-23 2019-12-23 一种基于多生物特征识别技术的船舶人员管理系统

Publications (1)

Publication Number Publication Date
CN111160195A true CN111160195A (zh) 2020-05-15

Family

ID=70557820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336623.5A Pending CN111160195A (zh) 2019-12-23 2019-12-23 一种基于多生物特征识别技术的船舶人员管理系统

Country Status (1)

Country Link
CN (1) CN111160195A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966638A (zh) * 2021-03-22 2021-06-15 国网浙江省电力有限公司电力科学研究院 基于多种特征的变电站作业人员鉴别及定位方法
CN113365221A (zh) * 2021-06-04 2021-09-07 国网江苏省电力有限公司管理培训中心 用于封闭或者半封闭场所的人员轨迹识别系统
CN114663041A (zh) * 2022-01-30 2022-06-24 宁波北仑第三集装箱码头有限公司 船舶靠泊作业防疫管理方法及管理系统
CN114973477A (zh) * 2022-04-21 2022-08-30 中国人民解放军海军特色医学中心 一种人机交互的船舶人员管理系统
CN114987387A (zh) * 2021-03-01 2022-09-02 上汽通用汽车有限公司 基于生物识别的控制系统及车辆
CN115880844A (zh) * 2023-02-21 2023-03-31 江苏称金智能科技有限公司 一种基于多源感知的船舶安防智能管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098232A (zh) * 2007-07-12 2008-01-02 兰州大学 一种动态口令与多生物特征结合的身份认证方法
CN101773394A (zh) * 2010-01-06 2010-07-14 中国航天员科研训练中心 身份识别方法及应用该方法的身份识别系统
CN103632127A (zh) * 2012-08-21 2014-03-12 北京恒泰天宇科技有限公司 基于云计算的智能生物特征识别系统
CN104639546A (zh) * 2014-12-31 2015-05-20 北京天诚盛业科技有限公司 多生物特征综合认证的方法、装置和系统
CN104702409A (zh) * 2014-12-31 2015-06-10 北京天诚盛业科技有限公司 基于云平台的生物识别系统及其方法
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
CN207008714U (zh) * 2017-08-14 2018-02-13 四川鹏尧智运科技有限公司 基于大数据的在途船舶云管理系统
CN109272081A (zh) * 2018-10-11 2019-01-25 中远(北京)海上电子设备有限公司 基于数据云技术的海事船舶精益智能管理系统
CN110378212A (zh) * 2019-06-11 2019-10-25 山东中创软件工程股份有限公司 一种海事监管系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098232A (zh) * 2007-07-12 2008-01-02 兰州大学 一种动态口令与多生物特征结合的身份认证方法
CN101773394A (zh) * 2010-01-06 2010-07-14 中国航天员科研训练中心 身份识别方法及应用该方法的身份识别系统
CN103632127A (zh) * 2012-08-21 2014-03-12 北京恒泰天宇科技有限公司 基于云计算的智能生物特征识别系统
CN104639546A (zh) * 2014-12-31 2015-05-20 北京天诚盛业科技有限公司 多生物特征综合认证的方法、装置和系统
CN104702409A (zh) * 2014-12-31 2015-06-10 北京天诚盛业科技有限公司 基于云平台的生物识别系统及其方法
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
CN207008714U (zh) * 2017-08-14 2018-02-13 四川鹏尧智运科技有限公司 基于大数据的在途船舶云管理系统
CN109272081A (zh) * 2018-10-11 2019-01-25 中远(北京)海上电子设备有限公司 基于数据云技术的海事船舶精益智能管理系统
CN110378212A (zh) * 2019-06-11 2019-10-25 山东中创软件工程股份有限公司 一种海事监管系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114987387A (zh) * 2021-03-01 2022-09-02 上汽通用汽车有限公司 基于生物识别的控制系统及车辆
CN112966638A (zh) * 2021-03-22 2021-06-15 国网浙江省电力有限公司电力科学研究院 基于多种特征的变电站作业人员鉴别及定位方法
CN113365221A (zh) * 2021-06-04 2021-09-07 国网江苏省电力有限公司管理培训中心 用于封闭或者半封闭场所的人员轨迹识别系统
CN114663041A (zh) * 2022-01-30 2022-06-24 宁波北仑第三集装箱码头有限公司 船舶靠泊作业防疫管理方法及管理系统
CN114973477A (zh) * 2022-04-21 2022-08-30 中国人民解放军海军特色医学中心 一种人机交互的船舶人员管理系统
CN115880844A (zh) * 2023-02-21 2023-03-31 江苏称金智能科技有限公司 一种基于多源感知的船舶安防智能管理系统

Similar Documents

Publication Publication Date Title
CN111160195A (zh) 一种基于多生物特征识别技术的船舶人员管理系统
US7683929B2 (en) System and method for video content analysis-based detection, surveillance and alarm management
CN207301750U (zh) 电网建设智能管控平台系统
CN106095980B (zh) 一种突发事件下的建筑物内人员移动轨迹的三维展示系统及方法
US20040240542A1 (en) Method and apparatus for video frame sequence-based object tracking
US20210196169A1 (en) Methods and System for Monitoring and Assessing Employee Moods
CN205990117U (zh) 智能安防电梯控制系统
US20230282085A1 (en) Video monitoring system with privacy features
JP2013131153A (ja) 自律型防犯警戒システム及び自律型防犯警戒方法
CN108583592A (zh) 一种地铁乘务作业信息采集智能检测方法
CN109286788A (zh) 一种基于云计算的安防监控系统
KR101492799B1 (ko) 감시영역 입퇴실자 추적을 통한 출입 통제 기능을 가지는 출입 통제 통합 영상 저장 시스템 및 그 방법
CN108650485A (zh) 基于图像检测和无线探针的人员监控方法及系统
CN212112606U (zh) 一种新型的船载安全管控系统
CN112528860A (zh) 基于图像识别的安全工器具管理方法及系统
CN115496640A (zh) 一种火电厂智慧安全系统
CN108537920A (zh) 基于人脸识别的访客监控方法和系统
CN110727688A (zh) 重点人员网格化服务管理系统
CN111540108B (zh) 权限识别方法、装置、计算机设备和存储介质
CN116862740A (zh) 一种基于互联网的智能监狱管控系统
EP1760678A2 (en) Security system
EP3109837A1 (en) System and method of smart incident analysis in control system using floor maps
CN206058301U (zh) 一种监狱管理系统
CN109194672A (zh) 一种基于人机语音交互的网络入侵告警系统及方法
CN109327681A (zh) 一种特定人员识别告警系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515