CN110188224A - 一种基于重点人物目标识别的综合认知方法 - Google Patents

一种基于重点人物目标识别的综合认知方法 Download PDF

Info

Publication number
CN110188224A
CN110188224A CN201910445333.8A CN201910445333A CN110188224A CN 110188224 A CN110188224 A CN 110188224A CN 201910445333 A CN201910445333 A CN 201910445333A CN 110188224 A CN110188224 A CN 110188224A
Authority
CN
China
Prior art keywords
human target
target
emphasis
emphasis human
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910445333.8A
Other languages
English (en)
Inventor
钱夔
刘义亭
田磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201910445333.8A priority Critical patent/CN110188224A/zh
Publication of CN110188224A publication Critical patent/CN110188224A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于重点人物目标识别的综合认知方法,包括以下步骤:高噪声、低分辨率条件下识别重点人物目标;构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系;关联与印证多源情报数据与图像重点人物目标。本发明以图像重点人物目标识别为主线,目标知识图谱关联关系为辅助,其他开源文字新闻情报和专业情报为印证,构建综合目标认知方法。本发明较现有技术既解决复杂背景图像中重点人物目标识别问题,又能解决海量数据信息过载、目标知识聚焦问题,为国家社会公共安全领域中的精确目标认知提供技术支撑。

Description

一种基于重点人物目标识别的综合认知方法
技术领域
本发明属于目标识别与认知技术领域,具体涉及一种面向社会公共安全领域的基于重点人物目标识别的综合认知方法。
背景技术
面向国家社会公共安全领域反恐处突、反间保防等任务中重点人物目标的识别与认知需求,现有技术主要有视频图像目标识别、人物画像等技术。其中视频图像目标识别技术主要用于实时监控及布控场景,实现重点人物目标识别;人物画像则是用于刻画人的社会属性、活动规律、行为习惯等关联关系,为预警评估等分析研判提供支撑。
在应急应战与国家安全业务指挥信息系统建设中,数据的急剧增长与面临的处置环境瞬息万变的特性,要求信息系统面向特定任务情报处理分析时,能够在海量数据中快速提供智能化信息的新能力,实现从数据到决策的提升。特别是遇到反侦察、虚假情报等特殊情况,现有技术会对重点人物目标识别失败或错误预警评判,对国家安全造成潜在危险;当面临重大应急会战或预警布控时,重点人物目标的动态变化与环境的复杂性,会造成目标信息的局限性,使得作战协同不畅、智能辅助决策不强。因此依赖于多元情报来源、技术手段综合运用及对目标的综合认知是解决上述问题的有效途径。
目前针对目标综合认知方法上,申请号为201110338382.5的发明专利公开了一种基于不确定推理的目标综合识别方法,但是该方法是采用多种侦察设备对同一目标进行侦察,在多传感器融合系统中基于不确定推理规则实现对侦察目标的识别,侧重于对信号级情报的分析处理,实现对军事目标的准确识别,但并没有实现对目标的综合认知,在国家社会公共安全领域辅助决策支撑上无法实现对恐怖份子、重要布控人员等重点人物目标的综合认知。基于重点人物目标识别的综合认知方法还未见及。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于重点人物目标识别的综合认知方法,实现对重点人物目标的综合认知,既能够识别目标基本特征,又能及时掌握目标其他属性及其他关联关系,为国家社会公共安全领域作战指挥提供准确的辅助决策与目标信息综合认知。
为实现上述技术目的,本发明采取的技术方案为:
一种基于重点人物目标识别的综合认知方法,包括以下步骤:
S1:高噪声、低分辨率条件下识别重点人物目标;
S2:构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系;
S3:关联与印证多源情报数据与图像重点人物目标。
为优化上述技术方案,采取的具体措施还包括:
上述的步骤S1所述高噪声、低分辨率条件下识别重点人物目标,基于深度学习的图像目标识别技术实现。
上述的步骤S1所述高噪声、低分辨率条件下识别重点人物目标,具体包括:
基于重点目标人物图像数据建立并训练深度卷积神经网络模型;
针对待测图像提取目标的层级特征,获取目标多维度特征描述,实现复杂背景下的重点人物目标鲁棒特征提取及最终自动识别。
上述的步骤S2所述构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系,基于知识图谱的重点人物目标认知技术实现。
上述的步骤S2所述构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系,具体包括:
提取目标相关实体之间的相互关系,在多源数据中进行目标知识抽取与融合;
构建“人、地、物、事、组”五元关系图谱,形成重点人物目标知识库;
针对特定任务实现图像目标识别结果的相关知识汇聚与认知,提供识别目标的社会属性、活动规律和行为习惯关联关系,从而为国家社会公共安全特定任务中的碎片化目标信息的快速汇聚与认知提供支撑。
上述的步骤S3所述关联与印证多源情报数据与图像重点人物目标,基于情报与图像目标的关联印证技术实现。
上述的步骤S3所述关联与印证多源情报数据与图像重点人物目标,具体包括:
提取情报中的目标信息,用于图像目标识别的反馈;
与图像识别充分迭代,辅助图像重点人物目标识别;
修正并完善重点人物目标知识库建设。
本发明具有以下有益效果:
1、本发明面向国家社会公共安全领域,以图像重点人物目标自动识别为主线,以目标知识图谱关联关系为辅助,其他开源文字新闻情报和专业情报为印证,构建综合目标认知方法,既解决复杂背景图像中重点人物目标识别问题,又能解决海量数据信息过载、目标知识聚焦问题,支撑信息优势转换为知识优势、由知识优势转换为决策优势,为反恐处突、目标跟踪等任务中的精确目标认知提供技术支撑。
2、传统图像目标的特征提取由主成分分析、线性判别分析、非负矩阵分解及其相关改进算法等机器学习方法实现。然而随着成像背景的复杂化及目标的多样化,面临特征表征能力有限的问题,利用基于深度学习的图像目标识别技术,从大量复杂环境图像中学习重点人物目标深层特征的能力,实现高噪声、低分辨率条件下图像重点人物目标识别。
3、基于知识图谱的重点人物目标认知能够实现重点人物目标知识抽取与融合,构建重点人物目标知识库,由图像重点人物目标识别,跃升到对目标的认知,在国家安全应急应战等特定任务中,能够快速获取重点人物目标相关信息,实现信息汇聚,如监控图像中出现疑似恐怖份子,系统在识别恐怖份子目标后,能够立刻为指挥员提供该恐怖份子同行、同住、组织等信息,从而为社会公共安全领域特定任务中的碎片化目标信息的快速汇聚与智能关联提供支撑。
4、本发明通过情报与图像重点人物目标的关联印证技术,能够有效避免国家社会公共安全领域中重点人物目标反侦察、虚假情报等特殊情况,结合图像所带的时空属性与目标认知信息,与其他开源文字新闻情报和专业情报印证,如图像监控中识别出某重点目标人物,而通过对其他专业情报中目标人物提取,发现目标情报有误,目标人物不应该出现在某年某月某地,则进行重点人物目标知识库修正,同时也对情报来源进行反馈;反之在目标反侦察情况下,传统监控手段下目标识别错误时,通过可靠情报或面向互联网公开信息的目标数据提取后,显示某重点目标人物相关信息,作为图像目标识别反馈的有益辅助,进一步提升目标识别的精确性,保证任务的顺利执行。
附图说明
图1是本发明的流程示意图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示,本发明的一种基于重点人物目标识别的综合认知方法,包括以下步骤:
S1:高噪声、低分辨率条件下识别重点人物目标;
实施例中,步骤S1所述高噪声、低分辨率条件下识别重点人物目标,基于深度学习的图像目标识别技术实现;具体包括:
基于重点目标人物图像数据建立并训练深度卷积神经网络模型;
针对待测图像提取目标的层级特征,获取目标多维度特征描述,实现复杂背景下的重点人物目标鲁棒特征提取及最终自动识别。
所述重点人物目标识别结果用于后续基于知识图谱的重点人物目标认知及情报与图像目标的关联印证。
S2:构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯等关联关系;
实施例中,步骤S2所述构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯等关联关系,基于知识图谱的重点人物目标认知技术实现,具体包括:
提取目标相关实体之间的相互关系,在情报信息系统、百科网站、互联网信息等多源数据中进行目标知识抽取与融合;
构建“人、地、物、事、组”五元关系图谱,形成重点人物目标知识库;
针对特定任务实现图像目标识别结果的相关知识汇聚与认知,提供识别目标的社会属性、活动规律和行为习惯等关联关系,从而为国家社会公共安全特定任务中的碎片化目标信息的快速汇聚与认知提供支撑。
S3:关联与印证多源情报数据与图像重点人物目标。
实施例中,步骤S3所述关联与印证多源情报数据与图像重点人物目标,基于情报与图像目标的关联印证技术实现,具体为结合图像所带的时空属性与目标认知信息,实现其他开源文字新闻情报和专业情报印证,包括:
提取情报中的目标信息,用于图像目标识别的反馈;
与图像识别充分迭代,辅助图像重点人物目标识别,进一步提升目标识别的精确性;
完善知识图谱构建,同时修正对目标的认知,完善重点人物目标知识库建设。
本发明以图像情报中重点人物目标识别为主线,以目标知识图谱关联关系为辅助,其他开源文字新闻情报和专业情报为印证,构建综合目标认知方法,实现了对重点人物目标的综合认知。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (7)

1.一种基于重点人物目标识别的综合认知方法,其特征在于:包括以下步骤:
S1:高噪声、低分辨率条件下识别重点人物目标;
S2:构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系;
S3:关联与印证多源情报数据与图像重点人物目标。
2.根据权利要求1所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S1所述高噪声、低分辨率条件下识别重点人物目标,基于深度学习的图像目标识别技术实现。
3.根据权利要求2所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S1所述高噪声、低分辨率条件下识别重点人物目标,具体包括:
基于重点目标人物图像数据建立并训练深度卷积神经网络模型;
针对待测图像提取目标的层级特征,获取目标多维度特征描述,实现复杂背景下的重点人物目标鲁棒特征提取及最终自动识别。
4.根据权利要求1所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S2所述构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系,基于知识图谱的重点人物目标认知技术实现。
5.根据权利要求4所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S2所述构建重点人物目标知识库与汇聚知识,刻画目标社会属性、活动规律和行为习惯关联关系,具体包括:
提取目标相关实体之间的相互关系,在多源数据中进行目标知识抽取与融合;
构建“人、地、物、事、组”五元关系图谱,形成重点人物目标知识库;
针对特定任务实现图像目标识别结果的相关知识汇聚与认知,提供识别目标的社会属性、活动规律和行为习惯关联关系,从而为国家社会公共安全特定任务中的碎片化目标信息的快速汇聚与认知提供支撑。
6.根据权利要求1所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S3所述关联与印证多源情报数据与图像重点人物目标,基于情报与图像目标的关联印证技术实现。
7.根据权利要求6所述的一种基于重点人物目标识别的综合认知方法,其特征在于:步骤S3所述关联与印证多源情报数据与图像重点人物目标,具体包括:
提取情报中的目标信息,用于图像目标识别的反馈;
与图像识别充分迭代,辅助图像重点人物目标识别;
修正并完善重点人物目标知识库建设。
CN201910445333.8A 2019-05-27 2019-05-27 一种基于重点人物目标识别的综合认知方法 Pending CN110188224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445333.8A CN110188224A (zh) 2019-05-27 2019-05-27 一种基于重点人物目标识别的综合认知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445333.8A CN110188224A (zh) 2019-05-27 2019-05-27 一种基于重点人物目标识别的综合认知方法

Publications (1)

Publication Number Publication Date
CN110188224A true CN110188224A (zh) 2019-08-30

Family

ID=67717940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445333.8A Pending CN110188224A (zh) 2019-05-27 2019-05-27 一种基于重点人物目标识别的综合认知方法

Country Status (1)

Country Link
CN (1) CN110188224A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427968A (zh) * 2019-10-28 2020-07-17 青岛海信网络科技股份有限公司 一种基于知识图谱的重点人员全息档案构建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699755A (zh) * 2015-01-07 2015-06-10 中国电子科技集团公司第三十研究所 一种基于数据挖掘的智能化多目标综合识别方法
CN107730096A (zh) * 2017-09-29 2018-02-23 北京神州绿盟信息安全科技股份有限公司 一种情报数据源的质量评估方法及装置
CN109344285A (zh) * 2018-09-11 2019-02-15 武汉魅瞳科技有限公司 一种面向监控的视频图谱构建和挖掘方法、设备
CN109522342A (zh) * 2018-11-30 2019-03-26 北京百度网讯科技有限公司 公安警务管理方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699755A (zh) * 2015-01-07 2015-06-10 中国电子科技集团公司第三十研究所 一种基于数据挖掘的智能化多目标综合识别方法
CN107730096A (zh) * 2017-09-29 2018-02-23 北京神州绿盟信息安全科技股份有限公司 一种情报数据源的质量评估方法及装置
CN109344285A (zh) * 2018-09-11 2019-02-15 武汉魅瞳科技有限公司 一种面向监控的视频图谱构建和挖掘方法、设备
CN109522342A (zh) * 2018-11-30 2019-03-26 北京百度网讯科技有限公司 公安警务管理方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427968A (zh) * 2019-10-28 2020-07-17 青岛海信网络科技股份有限公司 一种基于知识图谱的重点人员全息档案构建方法及装置

Similar Documents

Publication Publication Date Title
CN111967393B (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN100583128C (zh) 基于自然视频的实时智能监控方法
CN108205661A (zh) 一种基于深度学习的atm机异常人脸检测方法
AU2020102556A4 (en) Psychological state analysis method based on facial micro-expression
CN106845373A (zh) 面向监控视频的行人属性预测方法
CN107230267A (zh) 基于人脸识别算法的幼儿园智能签到方法
CN108470424A (zh) 一种基于图像特征的森林安全监测系统
CN106773820A (zh) 机器人互动方法、装置及机器人
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN108540752A (zh) 对视频监控中目标对象进行识别的方法、装置和系统
CN107133592A (zh) 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN107967449B (zh) 一种基于广义证据理论的多光谱图像未知目标识别方法
CN114359976A (zh) 一种基于人物识别的智能安防方法与装置
CN104820711A (zh) 复杂场景下对人形目标的视频检索方法
CN110188224A (zh) 一种基于重点人物目标识别的综合认知方法
CN110472655A (zh) 一种用于跨境旅游的标志物机器学习识别系统及方法
CN111582195B (zh) 一种汉语唇语单音节识别分类器构建方法
CN109919968A (zh) 一种用于监控无人机的目标检测与部件识别系统
CN109800656A (zh) 定位方法及相关产品
Zhang et al. An improved Yolov5s algorithm for emotion detection
CN115830635A (zh) 一种基于关键点检测和目标识别的pvc手套识别方法
Reddy et al. Tracking people in real time video footage using facial recognition
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
Venugopal et al. Machine Learning Based Early Fire Detection System
CN114519897A (zh) 基于颜色空间融合及循环神经网络的人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830