CN110689028A - 现场图测评方法、现场勘查记录测评方法及其装置 - Google Patents
现场图测评方法、现场勘查记录测评方法及其装置 Download PDFInfo
- Publication number
- CN110689028A CN110689028A CN201910952341.1A CN201910952341A CN110689028A CN 110689028 A CN110689028 A CN 110689028A CN 201910952341 A CN201910952341 A CN 201910952341A CN 110689028 A CN110689028 A CN 110689028A
- Authority
- CN
- China
- Prior art keywords
- image
- evaluated
- map
- key element
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种现场图测评方法、现场勘查记录测评方法及其装置,该现场图测评方法包括:利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类;在待评测图像中所包含的设定关键要素的种类符合设定质量等级所对应的包含设定关键要素的种类要求的情况下,确定评测评图像的质量等级为设定质量等级;设定类别为现场平面示意图、绘制方位图或地图方位图,设定关键要素为图题、图体、指北针、制图说明或图例说明;关键要素检测器是利用多个训练样本对初始神经网络进行训练得到,训练样本包括属于设定类别的训练图像和其与设定关键要素的匹配信息。通过上述方案能够提高现勘信息的核查实时性、信息覆盖范围、客观性。
Description
技术领域
本发明提供了一种图像测评方法,尤其涉及一种现场图测评方法、现场勘查记录测评方法及其装置。
背景技术
现场图是现场勘查工作记录的重要组成部分,是现场笔录和现场照录像的重要补充,也是现场分析的重要依据。
随着信息技术的普及和发展,现场分析工作开始向信息化、数据化方向发展。可以建立现场勘验信息系统将现场勘验信息数字化地存储在计算机系统中,以便综合管理和处理信息。但在该种系统的日常使用过程中,由于现场勘查技术人员对现勘信息录入的重视程度不够,会造成现勘系统中录入信息的合格率低、利用率低。然而,目前的现勘系统无法检测录入信息的质量。针对这种情况,目前是通过对现勘系统的录入信息进行人工抽查的形式检查录入信息的质量。
目前,针对现场图出现的这一问题,公安部刑侦局主要采用人工抽查的方式对录入现场图的质量进行核查。但人工抽查方法费时费力,而且具有滞后性,无法对录入的现场图进行实时检测。而由于现场保留时间有限,往往在发现现场图缺失时,现场已经变化,无法重新按照规范要求补充绘制缺失的现场图。因此,人工抽查往往只起到督促作用,无法在根源上解决现勘系统中现场图缺失的问题。此外,人工核查的现勘信息数目有限,覆盖范围小,易出现主观性错误等缺点,这都使得人工抽查发挥的作用更为局限。
发明内容
有鉴于此,本发明提供了一种现场图测评方法、现场勘查记录测评方法及其装置,以提高现勘信息的核查实时性、信息覆盖范围、客观性等。
一方面,提供了一种现场图测评方法,包括:
利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类;
在所述待评测图像中所包含的设定关键要素的种类符合设定质量等级所对应的包含设定关键要素的种类要求的情况下,确定所述评测评图像的质量等级为所述设定质量等级;
其中,所述设定类别为现场平面示意图、绘制方位图及地图方位图之一,设定关键要素为图题、图体、指北针、制图说明及图例说明之一;所述关键要素检测器是利用多个第一训练样本对第一初始神经网络进行训练得到,所述第一训练样本包括属于所述设定类别的第一训练图像和其与设定关键要素的匹配信息。
另一方面,提供了一种现场勘查记录测评方法,包括:
利用上述实施例所述现场图测评方法分别评测现场勘查记录中的多张待评测图像,得到各所述待评测图像的质量等级;
若质量等级好于或等于合格的各待评测图像中存在现场平面示意图和方位图二者,则确定本次现场勘查记录为合格,其中,所述方位图为绘制方位图和地图方位图之一。
又一方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例所述方法的步骤。
再一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所述方法的步骤。
本发明的现场图测评方法、现场勘查记录测评方法、电子设备及计算机可读存储介质,能够提高现勘信息的核查实时性、信息覆盖范围、客观性、自动化程度等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明一实施例的现场图测评方法的流程示意图;
图2是本发明一实施例的现场勘查记录测评方法的流程示意图;
图3至图6分别是本发明一实施例中以同种绘图软件绘制的现场平面图、自绘方位图、地图方位图及现场照片的示意图;
图7是本发明一实施例中标注了五大关键要素的现场图示意图;
图8是本发明一具体实施例的基于卷积神经网络的刑事案件现场质量测评方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
发明人经过对目前现勘系统中录入的现场图的检查结果进行研究发现,其中较为严重的问题主要集中在三个方面:一是上传的现场图的种类数目不足;二是现场图的种类选择错误;三是现场图制图不规范,缺少现场图的关键要素。因此,这也使得无法简单地通过统计现场图种类对应数量来判定其是否符合目前的现场勘查工作规范。
针对上述问题,本发明实施例提出了一种现场图测评方法,能够解决现场图制图不规范,缺少现场图的关键要素等问题。
下面将对现场图测评方法的具体实施方式进行说明。
图1是本发明一实施例的现场图测评方法的流程示意图。如图1所示,一实施例的现场图测评方法,可包括以下步骤S110和步骤S120。
步骤S110:利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类;所述设定类别为现场平面示意图、绘制方位图及地图方位图之一,设定关键要素为图题、图体、指北针、制图说明及图例说明之一;所述关键要素检测器是利用多个第一训练样本对第一初始神经网络进行训练得到,所述第一训练样本包括属于所述设定类别的第一训练图像和其与设定关键要素的匹配信息。
该步骤S110中,该待评测图像的类别已知,且为设定类别的图像,可以是指指定类别的图像,例如,现场图。示例性地,该设定类别可为现场平面示意图、绘制方位图或地图方位图。此外,待评测图像可能是现场照片,而不是现场图,在关键要素检测是针对现场图的情况下,确定待评测图像为现场照片后,可以直接认定待评测图像质量不合格。其中,现场平面示意图又可称为现场全貌平面图,可以反映现场内部有关痕迹、物体的形状以及它们之间的相互关系。绘制方位示意图是现场方位平面图的一种,可以使用特定符号代表道路、河流、桥梁等,可以表示现场所在位置和范围的图形。地图方位示意图可以是使用电子地图截图制作的、能够反映现场所在位置和范围的现场图。现场照片可以是现场周围环境的数码照片,能够反映现场情况。该些种类的图像之间具有较大差异。
利用关键要素检测器对该待评测图像进行关键要素检测,其中,检测结果可以表明该待评测图像包含哪些设定关键要素,还可以包含每种设定关键要素的数量,其中,该设定关键要素可以是指指定的关键要素,例如,图题、图体、指北针、制图说明、图例说明等。其中,图题是图的标题,可包括案件名称(可包括发案时间、发案地点、涉案人姓名、案件性质等)和图的种类(类别);指北针是标准化的方向标识;图例可包括物体、痕迹物、其他必要说明等;制图说明可包括绘制人、绘图单位、制图时间、案发地点等情况;图体是绘图的主体,可以是依据现场情况绘制的图形。
训练得到关键要素检测器所利用的第一训练样本中,第一训练图像的类别已知,且为上述设定类别,例如,现场平面示意图、绘制方位图或地图方位图,且该第一训练图像可带有标签,标签中标注了该第一训练图像与上述设定关键要素的匹配信息,例如,该第一训练图像包含某种设定关键要素的得分。某一第一训练样本中的第一训练图像可以包含一种或多种设定关键要素,可以在包含某种设定关键要素的得分达到一定值的情况下,认为该第一训练图像包含该设定关键要素。不同第一训练图像所包含设定关键要素可以不同,所包含设定关键要素的种类可以不同。设定关键要素可以有图题、图体、指北针、制图说明及图例说明,大量第一训练样本中的第一训练图一起可以覆盖这五种关键要素。所有第一训练样本中的第一训练图像的类别可以均相同,以此可以针对某种类别的图像训练关键要素检测器。上述第一训练样本中的第一训练图像的类别可以通过人工标注,或通过自动类别识别得到。
训练得到关键要素检测器所利用的第一初始神经网络可是各种机器学习、深度学习的网络框架,例如,该第一初始神经网络可以为卷积神经网络,在此情况下,可以为该卷积神经网络设置配置文件,对该卷积神经网络训练后,可以得到该卷积神经网络的各层参数的模型文件。
示例性地,该配置文件可以是以caffe规范格式记录的该卷积神经网络的结构,可以是以protxt为文件后缀名的文件;该模型文件可以是经过在caffe框架下使用大量带有类别标签的现场图的数据对该神经网络的结构进行训练后,所得到的记录权重、偏置等信息的文件,该模型文件可以以caffemodel为后缀名。在此情况下,在需要进关键要素检测时,可以调用caffe接口来读取卷积神经网络的配置文件和分类的模型文件。
上述待评测图像的类别可以通过人工标注,或通过自动类别识别得到。
示例性地,在上述步骤S110之前,即,利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类之前,图1所示的现场图测评方法还可包括步骤:S130,利用现场图分类器识别所述待评测图像所属类别,并在所述待评测图像所属类别为所述设定类别的情况下,执行上述步骤S110,即,利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类的步骤;其中,所述现场图分类器是利用多个第二训练样本对第二初始神经网络进行训练得到,所述第二训练样本包括第二训练图像和其所属类别;各所述第二训练图像所属类别为现场平面示意图、绘制方位图、地图方位图及现场照片之一。其他示例中,该些实施例的现场图测评方法,还可包括步骤:S140,在所述待评测图像的类别不为所述设定类别或为现场照片的情况下,确定所述待评测图像的质量等级为不合格。
该步骤S130中,该待评测图像的类别可以是未知的,其类别可以是现场图,或可以是其他图像,例如,现场照片,即,拍摄的某种现场的照片。在此情况下,利用现场图分类器可以识别出该待评测图像的类别是现场图,还是现场照片;若是现场照片,则可能是现场勘查系统不希望录入的图像,可以直接输出不合格的评测结果;若是现场图,还可以进一步识别出具体是哪一种现场图,例如,可以是现场平面示意图、绘制方位图或地图方位图。当然,该现场图分类器可以一次性地识别出某一张待评测图像是现场照片、现场平面示意图、绘制方位图或地图方位图。
训练得到该现场图分类器所使用的第二训练样本,其中,不同第二训练样本中的第二训练图像的类别可以不同,大量第二训练样本可以覆盖各种类别,例如,包括现场照片、现场平面示意图、绘制方位图或地图方位图。其中,各第二训练图像的类别可以通过人工标注。
另外,上述第二初始神经网络可以为各种机器学习、深度学习的框架结构,例如,可以为Faster-RCNN网络。
通过执行上述步骤S130,待评测图像的类别变为已知,若,该待评测图像的类别为设定类别,例如某种现场图,则可以根据待评测图像的已知类别执行上述步骤S120。反之,若发现该待评测图像的类别不是设定类别,而是其他图像,例如现场照片,则可以不再继续执行上述步骤S120,即可执行上述步骤S140。
进一步地,上述步骤S130中,利用现场图分类器识别所述待评测图像所属类别,更具体地,可包括步骤:S131,接收待评测图像,并对所述待评测图像进行备份;S132,对备份的所述待评测图像进行归一化为第一图像尺寸的处理和/或去均值处理;S133,将归一化为第一图像尺寸的处理和/或去均值处理后的待评测图像输入至所述现场图分类器进行分类,得到所述待评测图像所属类别。
该步骤S131中,接收的待评测图像可以指现场勘查技术人员所提供的准备录入现场勘查系统的原图。本测评过程的执行主体(如计算机)获取到待评测图像的原图后,可以不是直接基于该待评测图像的原图进行处理,而是先对该待评测图像进行备份,即进行复制,该原图可以留作他用。该步骤S132中,可以对其中一份该待评测图像进行预处理,例如,先进行归一化处理,再进行去均值处理,或者,仅进行归一化处理或仅进行去均值处理。其中,通过归一化处理,可以将待评测图像转换为符合一定尺寸要求的图像,第一图像尺寸可以根据现场图分类器的图像尺寸要求确定,例如,第一图像尺寸可以为256像素×256像素的大小。另外,去均值处理是指将输入图像数据的各维度都减对应维度的均值,从而使得其各个维度都中心化为0,其中,所使用各维度的均值可以由现勘系统中采集到的大量合格现场图数据计算得到。
进一步,对于上述步骤S110而言,其中,利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类,更具体地,可包括步骤:S111,对所述待评测图像的原图进行归一化为第二图像尺寸的处理;S112,将归一化为第二图像尺寸的处理后的待评测图像输入至关键要素检测器,得到所述待评测图像所包含的设定关键要素的种类。该步骤S111和步骤S112可以在执行上述步骤S130后执行,或者直接执行。
通过上述步骤S111可以将该待评测图像转换为特定尺寸的图像,例如,该第二图像尺寸为600像素×1000像素的大小。上述第一图像尺寸和该第二图像尺寸可以相同或不同,例如,上述关键要素检测器和现场图分类器的输入图像的尺寸一致时,第一图像尺寸和第二图像尺寸可以相同,反之,第一图像尺寸和第二图像尺寸不同。所以通过对于上述步骤S132的归一化和/或上述步骤S111的归一化至少可以起到保证待评测图像可以先利用现场图分类器,然后接着利用关键要素检测器进行关键要素识别。当然,在不包含上述不足S130的实施例中,可以是待评测图像的类别通过其他途径得知,第二图像尺寸的设置可以主要根据关键要素检测器要求的图像尺寸确定。
步骤S120:在所述待评测图像中所包含的设定关键要素的种类符合设定质量等级所对应的包含设定关键要素的种类要求的情况下,确定所述评测评图像的质量等级为所述设定质量等级。
该步骤S120中,可以将图像的质量分为多个质量等级,例如,分为三个质量等级(当然,在其他实施例中,可以将质量等级分为两级、四级、五级等,具体视需要而定。),即,不合格、合格及良好,其中,不合格表示图像符合要求的程度最低,合格表示图像符合要求的程度中等,良好表示图像符合的程度最高。上述设定质量等级可以为不合格、合格及良好之一,具体而言,当判断待评测图像是否不合格时,该设定质量等级为不合格,当判断待评测图像是否合格时,该设定质量等级为合格,当判断待评测图像是否良好时,该设定质量等级为良好。
具体实施例中,为不合格的设定质量等级所对应的包含设定关键要素的种类要求可包括:缺少图体,或者,缺少图题、指北针、制图说明及图例中的三种或四种。为合格的设定质量等级所对应的包含设定关键要素的种类要求可包括:包含图体,且缺少图题、指北针、制图说明及图例中的一种或两种。为良好的设定质量等级所对应的包含设定关键要素的数量要求和种类数要求可包括:包含图体、图题、指北针、制图说明及图例。另外,对于为现场图片的待评测图像可以直接被认定为不合格的图像。该些质量等级划分的要求是发明人通过创造性劳动对刑侦事件的现勘系统录入要求研究得到的,所以,尤其适用于对需要录入至刑侦事件现勘系统的现勘记录中的图像进行评测。
在其他实施例中,根据各质量等级所对应的包含设定关键要素的种类要求可以输出,若要图像达到合格及以上的质量等级,尚缺少的关键要素种类。
此外,基于图1所示现场图测评方法相同的发明构思,本发明实施例还提供一种现场勘查记录测评方法。图2是本发明一实施例的现场勘查记录测评方法的流程示意图,参见图2,一些实施例的现场勘查记录测评方法,可包括:
步骤S210:利用现场图测评方法分别评测现场勘查记录中的多张待评测图像,得到各所述待评测图像的质量等级;其中,该现场图测评方法可以是上述各实施例的所述的现场图测评方法;
步骤S220:若质量等级好于或等于合格的各待评测图像中存在现场平面示意图和方位图二者,则确定本次现场勘查记录为合格,其中,所述方位图为绘制方位图和地图方位图之一。
例如,现场勘查技术人员在对案件现场进行勘察后,可以得到两张或以上的图像,并可准备均将这些图像录入至现勘系统中。尤其在图像数量较大时,仅利用基于图1所示现场图测评方法进行评测会较慢,或者,难以给出一次现勘记录的总体评价结果。所以,通过上述步骤S210可以依次对每张图像利用上述各实施例的所述的现场图测评方法进行测评,得到相应的质量等级。其中,步骤S210中的现场图测评的具体实施方式可以参照现场图测评的上述各具体实施方式实施,故重复之处不再赘述。
然后,通过上述步骤S220可以根据图像的质量等级,结合图像所包含关键要素的具体情况,综合判断本次现勘记录的结果。例如,质量等级为合格或良好的所有待评测图像中如果存在至少一张现场平面示意图,同时存在至少一张方位图,则可认为本次现场勘查记录为合格。其中,方位图包括绘制方位图和地图方位图。换言之,若质量等级好于或等于合格的各待评测图像中同时存在至少一张现场平面示意图和至少一张方位图,或者,同时存在至少一张现场平面示意图和至少一张绘制方位图,均可确定本次现场勘查记录为合格。
此外,本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行上述各实施例所述方法的步骤。上述各实施例的现场图测评方法、各实施例的现场勘查记录测评方法的主体可以为电子设备,例如,个人计算机、服务器、平板电脑、手机等。具体实施时,上述各实施例的执行可以嵌入电子设备中,当现场勘查技术人员需要录入勘查记录时,可以先执行上述方法,若现场图或本次勘查记录为合格或以上,则可直接执行现有的录入动作,反之,可以返回关于不合格的反馈信息(可包括具体原因),告知录入人员,不符合录入要求。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述各实施例所述方法的步骤。该计算机可读存储介质中的程序可以基于各种执行主体执行。
为使本领域技术人员更好地了解本发明,下面将以具体实施例说明本发明的实施方式。
针对现勘系统中刑事案件现场图种类缺失的问题以及目前采用的人工核查方法的局限性,基于卷积神经网络技术,提供了一种现场图质量自动测评方法,集合现场图自动分类模块和现场图关键要素检测模块,根据检测结果从而对上传现场图的质量进行评分。卷积神经网络技术是构建一个神经网络框架,通过卷积、池化等运算,对已知类型的图片特征自动提取、学习,得到训练模型,进而对实现对输入图片进行自动种类识别和目标检测的技术。目前在各领域中都有广泛应用。同样的,刑事案件现场图也是数字图像的一种,并且不同种类现场图的区别和不同关键要素之间的区别是神经网络可学习的。因此,借助卷积神经网络技术实现对现场图种类的自动识别,可以节约大量人力,实时对上传的现场图进行质量检测,从而在源头上,解决录入现场图不规范的问题。
根据本发明的一个方面,一种基于卷积神经网络技术的刑事案件现场图质量测评方法,所述方法包括类型识别、关键要素检测和质量测评三个阶段。其中类型识别阶段包括如下步骤:a)读入上传的图像数据,对其进行备份;b)将备份的图像进行尺寸归一化和去均值操作;c)调用caffe接口,读取卷积神经网络配置文件和分类模型文件,并将经过b)步骤后的数据输入到模型中,计算该图像为现场平面示意图、自绘方位示意图、地图方位图、现场照片的得分,从而得到该图像所属类别;d)若图像类型识别为现场照片,则记录该图像为现场照片并跳过关键要素检测阶段;若图像类型识别为三类现场图中的一类,则记录现场图类别,并开始现场图关键要素检测阶段。关键要素检测阶段包括如下步骤:e)读入上传的图像原图,对其进行备份;f)将备份的图像进行尺寸归一化,并处理完成的图像输入到Faster-RCNN网络框架中,检测是否存在图题、图体、指北针、制图说明、图例说明五大关键要素;g)根据检测要素存在数量,判定现场图为良好、合格、不合格三个等级。若检测结果为缺少图体或者其他四种关键要素中缺少三种或四种,则报告现场图质量不合格;若检测结果为缺少其他四种关键要素的一种或两种,则报告该现场图制作质量为合格;若检测结果为包含五种关键要素,则报告该现场图制作良好。质量测评阶段包括如下步骤:h)汇总该条现场勘查记录中上传的所有图像在类型识别阶段和关键要素检测阶段检测结果;i)根据汇总结果判定该现场勘查记录上传现场图是否合格并报告检测结果。
优选地,所述图像类型识别阶段是对录入图像自动分类过程。将录入图像种类标注为现场平面示意图、地图方位示意图、自绘方位示意图和现场照片中的一个类别。
优选地,所述关键要素检测阶段是对剔除了现场照片的现场图进行检测,确定其中是否包含图题、图体、指北针、制图说明和绘图说明共五大关键要素的过程。
优选地,所述质量评测阶段是对上述类型识别阶段和要素检测阶段结果汇总,判定该现场勘查记录上传质量并提示现场图类别和要素缺失情况。
优选地,在步骤b中,所述图像尺寸归一化为将图像放缩为256×256像素大小。
优选地,在步骤b中,所述均值文件为在模型建立阶段收集到数据的统计结果。
优选地,在步骤c中,所述配置文件是指以caffe规范格式记录所使用的卷积神经网络结构并且以protxt为文件后缀名的文件。所述模型文件是经过在caffe框架下使用大量带有类别标签的现场图数据对所选定的神经网络结构进行训练过程,所得到的记录权重、偏置等信息的文件,该文件以caffemodel为后缀名。
优选地,在步骤f中,所述图像尺寸归一化为图像放缩至600×1000像素大小。
优选地,所述步骤i中根据汇总结果判定该现场勘查记录上传现场图是否合格并报告检测结果的具体步骤如下:
i1)统计现场照片的数目,若存在,则提示上传图像中含有现场照片,该记录不合格
i2)统计各类别下质量测评在中等及以上的现场图数目。若现场平面图数量大于等于1且方位示意图(包括地图方位示意图和自绘方位示意图)数量也大于等于1,则该条记录合格;否则提示缺失现场图的类型。
i3)报告每张现场图的质量等级以及现场图关键要素缺失情况。
优选地,在步骤c和步骤f中所述检测过程,为深度学习领域中传统理论方法,其过程及原理不再赘述。
本发明提出的基于卷积神经网络技术的刑事案件现场图质量检测方法主要包括现场图类型识别、关键要素检测两大模块,能够自动提取现场图中的特征,实现自动分类和目标检测,具有效率高、适用范围广、不易受主观因素影响的特点。
为了提供一种刑事案件现场图质量自动测评方法,由现场图自动分类模型和现场图关键要素检测模型两大部分组成,进而实现对上传现场图的类型和制作规范程度进行质量评价。
一具体实施例中提供一种现场图自动分类方法,以卷积神经网络技术为理论基础,以现场图各类的独特信息为特征,实现现场图分类和关键要素检测。该方法可以用于构建自动化的现场图质量核查系统以及现勘系统录入质量检测系统。其核心思想是:通过卷积神经网络学习能力,自动学习不同种类现场图和不同要素之间的独特特征。由于其重点、方法、内容的不同,使得不同种类现场图之间以及五大关键要素之间具有形态学差异,且该差异是神经网络可学习的。因此,可具备分类和识别的条件。
图3至图6分别是本发明一实施例中以同种绘图软件绘制的现场平面图、自绘方位图、地图方位图及现场照片的示意图。对比图3至图6可知,四类图像的各主体之间具有较大差异。第一,现场平面示意图,又称现场全貌平面图,反映现场内部有关痕迹、物体的形状以及它们之间的相互关系;第二,自绘方位示意图,是现场方位平面图的一种,使用特定符号代表道路、河流、桥梁等表示现场所在位置和范围的图形;第三,地图方位示意图,是使用电子地图截图制作的反应现场所在位置和范围的现场图;第四,现场照片是现场周围环境的数码照片以反映现场情况。四种图像之间具有较大差异。由此可见,现场图的各种类间的差异稳定且具备可分性,虽不易由人工定义,但实验证明该特征可被卷积神经网络学习。因此可使用卷积神经网络对该四类图像进行自动分类。
图7是本发明一实施例中标注了五大关键要素的现场图示意图,由图7可知,合格的现场图主要包含以下五个部分:图题、指北针、图例、制图说明、图体。第一,图题是图的标题,一般包括案件名称(发案时间+发案地点+被害人姓名+案件性质)和图的种类;第二,指北针是标准化的方向标识;第三,图例应包括尸体、痕迹物证及其他必要的说明;第四,制图说明应包括绘制人、绘图单位、制图时间、案发地点等情况;第五,图体是绘图的主体,是依据现场情况绘制的图形。五大关键要素之间差异明显,使用卷积神经网络方法能够自主学习其特征并达到较高的识别准确度。
与人工抽查方式相比,本实施例的方法具备的特点:第一,结果反馈具有实时性;第二,覆盖范围广;第三,结果客观。
图8是本发明一具体实施例的基于卷积神经网络的刑事案件现场质量测评方法的流程图。如图8所示,本发明实施例的功能模块主要包含类型识别模块100、关键要素检测模块200和质量评测模块300三大部分。类型识别模块100主要完成输入图像的类型识别和类型标注任务。关键要素检测模块200主要完成检测类型标识为现场图的图像中是否存在图题、图体、指北针、图例和绘图说明五大关键要素的任务。质量测评模块300主要完成汇总类型识别模块和关键要素检测模块的结果和评价该现勘记录现场图录入质量等级的任务。
类型识别模块100实施时主要包含如下步骤110至步骤160。
步骤110,输入待检测的图像。
待检测的现场图主要有两种,一种是对已上传的现场图进行质量检查,另一种是对正在上传的现场图进行质量监控。在对现场图的质量检查和质量监控的两个过程中,都适用本发明。本发明将接收单张现场图输入。在工程实践中,本发明对于单张现场图处理速度快,因此对于大量待检测的现场图可以单张为单位输入,顺序对其处理识别。
步骤120,图像备份及图像预处理。
由于在类型识别过程中,需要对录入的图像数据进行处理,因此需将上传的上传的图像原图单独备份。再对备份图像进行图像预处理,将图像尺寸归一化为256*256像素大小并进行去均值操作。其中,去均值操作是指将输入数据的各维度都减对应维度的均值,使得其各个维度都中心化为0。本发明中该操作使用的均值是由现勘系统中采集到的大量合格现场图数据计算得来的。
步骤130,现场图自动分类器。
现场图自动分类器主要包括两个部分:一是存储卷积神经网络结构的配置文件;二是存储训练得到的各层参数的模型文件。调用caffe接口读入配置文件和模型文件构建自动分类模型,将经过预处理后的数据输入自动分类器,即可得到类别匹配分数。
步骤140,图像类型判定。
根据现场图自动分类器输出的类别匹配分数,标注图像所属类别。
通过步骤150、步骤160、步骤170判断该图像是否为现场照片并输出该图像所属类别,若该图像属于三类现场图其一,则进入关键要素检测模块。判定该现场图的制作质量。
关键要素检测模块200实施时包含如下步骤210至步骤250。
步骤210,输入经过类型标注后的现场图原图。
输入图像应当是经过类型标注后,剔除了现场照片的现场图图像。由于关键要素检测模块和类型识别模块中卷积神经网络的输入图像大小不同,因此需要重新输入该现场图原图。
步骤220,备份和尺寸归一化。
对输入的现场图原图进行备份。将备份的图像尺寸归一化为600(高)*1000(宽)像素大小。
步骤230,输出关键要素检测器。
将尺寸归一化后的现场图数据输入训练好的关键要素检测器中。输出不同要素的匹配得分。
步骤240,判断现场图的质量等级。
根据检测要素存在数量,判定现场图为良好、合格、不合格三个等级。若检测结果为缺少图体或者其他四种关键要素中缺少三种或四种,则报告现场图质量不合格;若检测结果为缺少其他四种关键要素的一种或两种,则报告该现场图制作质量为合格;若检测结果为包含五种关键要素,则报告该现场图制作良好。
步骤250,输出要素缺少情况。
根据检测结果,若该现场图质量等级为良好(不含)以下,则输出该图像缺失的关键要素类型,以供录入人员补充。
现勘记录质量评测模块300实施时包含如下步骤310至370。
步骤310,输入所有现场图类型及质量等级。
一条现勘记录下含有多张现场图像,本模块中需要将同一条现勘记录下包含的所有现场图的图像类型和质量等级汇总作为输入。
步骤320,步骤330,判断是否存在现场照片。
根据该记录中包含的所有图像对应的图像类型,判定其中是否包含现场照片。若是,则输出该现勘记录不合格,并提示上传的现场图中混入了现场照片图像。若否则进入步骤340。
步骤340,汇总现场图质量等级。
汇总该现勘记录下所有现场图对应的关键要素检测阶段输出的质量等级,统计质量等级在合格以上的现场图数量。
通过步骤350、步骤360、步骤370判断该现勘记录下的合格现场图数量是否满足至少同时存在一张现场平面示意图和方位示意图(地图方位示意图或自绘方位示意图存在其一即可)。若是,则输出该现勘记录合格。若否,则输出该现勘记录不合格并输出缺失的图像种类。
简言之,通过a)将现场勘查人员上传的刑事案件现场图输入模型;b)判断所上传的现场图是否符合刑事案件现场图制图规范,若是则进入步骤c);否则进入步骤d);c)判断该刑事案件现场图的所属种类,结合;否则进入步骤d);d)采用所述细节点特征对数据库进行初步检索匹配,求出匹配分数高的第一候选指纹集;e)使用三级特征进行精确匹配,求出匹配分数高的第二候选指纹集;f)将所采集指纹图像与所述第二候选指纹集中的指纹进行确认。本发明能够在兼顾效率的前提下,实现高精的指纹检索匹配精度。
本实施例的基于卷积神经网络的现场图自动分类算法,能够兼顾准确率的前提下,实现结果实时反馈、覆盖范围广、自动化程度高地对上传至现勘系统中的现场图分类,有利于提升我国公安机关现场勘查工作规范化,提高现勘系统中现场图的质量,进而提高我国公安机关案件侦破能力。
综上所述,本发明实施例的现场图测评方法、现场勘查记录测评方法、电子设备及计算机可读存储介质,能够提高现勘信息的核查实时性、信息覆盖范围、客观性、自动化程度等。
在本说明书的描述中,参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施,其中的步骤顺序不作限定,可根据需要作适当调整。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种现场图测评方法,其特征在于,包括:
利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类;
在所述待评测图像中所包含的设定关键要素的种类符合设定质量等级所对应的包含设定关键要素的种类要求的情况下,确定所述评测评图像的质量等级为所述设定质量等级;
其中,所述设定类别为现场平面示意图、绘制方位图及地图方位图之一,设定关键要素为图题、图体、指北针、制图说明及图例说明之一;所述关键要素检测器是利用多个第一训练样本对第一初始神经网络进行训练得到,所述第一训练样本包括属于所述设定类别的第一训练图像和其与设定关键要素的匹配信息。
2.如权利要求1所述的现场图测评方法,其特征在于,利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类之前,所述方法还包括:
利用现场图分类器识别所述待评测图像所属类别,并在所述待评测图像所属类别为所述设定类别的情况下,执行利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类的步骤;
其中,所述现场图分类器是利用多个第二训练样本对第二初始神经网络进行训练得到,所述第二训练样本包括第二训练图像和其所属类别;各所述第二训练图像所属类别为现场平面示意图、绘制方位图、地图方位图及现场照片之一。
3.如权利要求2所述的现场图测评方法,其特征在于,利用现场图分类器识别所述待评测图像所属类别,包括:
接收待评测图像,并对所述待评测图像进行备份;
对备份的所述待评测图像进行归一化为第一图像尺寸的处理和/或去均值处理;
将归一化为第一图像尺寸的处理和/或去均值处理后的待评测图像输入至所述现场图分类器进行分类,得到所述待评测图像所属类别。
4.如权利要求3所述的现场图测评方法,其特征在于,利用关键要素检测器检测已知属于设定类别的待评测图像中所包含的设定关键要素的种类,包括:
对所述待评测图像的原图进行归一化为第二图像尺寸的处理;
将归一化为第二图像尺寸的处理后的待评测图像输入至关键要素检测器,得到所述待评测图像所包含的设定关键要素的种类。
5.如权利要求2所述的现场图测评方法,其特征在于,设定质量等级为不合格、合格及良好之一;
为不合格的设定质量等级所对应的包含设定关键要素的种类要求包括:缺少图体,或者,缺少图题、指北针、制图说明及图例中的三种或四种;
为合格的设定质量等级所对应的包含设定关键要素的种类要求包括:包含图体,且缺少图题、指北针、制图说明及图例中的一种或两种;
为良好的设定质量等级所对应的包含设定关键要素的数量要求和种类数要求包括:包含图体、图题、指北针、制图说明及图例。
6.如权利要求5所述的现场图测评方法,其特征在于,还包括:
在所述待评测图像的类别不为所述设定类别或为现场照片的情况下,确定所述待评测图像的质量等级为不合格。
7.如权利要求2所述的现场图测评方法,其特征在于,所述第一初始神经网络为卷积神经网络;和/或,所述第二初始神经网络为Faster-RCNN网络。
8.一种现场勘查记录测评方法,其特征在于,包括:
利用如权利要求1至7任一项所述现场图测评方法分别评测现场勘查记录中的多张待评测图像,得到各所述待评测图像的质量等级;
若质量等级好于或等于合格的各待评测图像中存在现场平面示意图和方位图二者,则确定本次现场勘查记录为合格,其中,所述方位图为绘制方位图和地图方位图之一。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910952341.1A CN110689028A (zh) | 2019-10-09 | 2019-10-09 | 现场图测评方法、现场勘查记录测评方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910952341.1A CN110689028A (zh) | 2019-10-09 | 2019-10-09 | 现场图测评方法、现场勘查记录测评方法及其装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110689028A true CN110689028A (zh) | 2020-01-14 |
Family
ID=69111669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910952341.1A Pending CN110689028A (zh) | 2019-10-09 | 2019-10-09 | 现场图测评方法、现场勘查记录测评方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110689028A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611848A (zh) * | 2020-04-02 | 2020-09-01 | 北京中科虹霸科技有限公司 | 尸体虹膜识别方法和装置 |
CN113657415A (zh) * | 2021-10-21 | 2021-11-16 | 西安交通大学城市学院 | 一种面向示意图的对象检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688830A (zh) * | 2017-08-30 | 2018-02-13 | 西安邮电大学 | 一种用于案件串并的现勘视觉信息关联图层生成方法 |
CN109147340A (zh) * | 2018-08-30 | 2019-01-04 | 平安科技(深圳)有限公司 | 违法停车案件的鉴别方法、装置和计算机设备 |
CN110189398A (zh) * | 2019-04-12 | 2019-08-30 | 平安城市建设科技(深圳)有限公司 | 基于室内图像的户型图生成方法、装置、设备和存储介质 |
-
2019
- 2019-10-09 CN CN201910952341.1A patent/CN110689028A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688830A (zh) * | 2017-08-30 | 2018-02-13 | 西安邮电大学 | 一种用于案件串并的现勘视觉信息关联图层生成方法 |
CN109147340A (zh) * | 2018-08-30 | 2019-01-04 | 平安科技(深圳)有限公司 | 违法停车案件的鉴别方法、装置和计算机设备 |
CN110189398A (zh) * | 2019-04-12 | 2019-08-30 | 平安城市建设科技(深圳)有限公司 | 基于室内图像的户型图生成方法、装置、设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611848A (zh) * | 2020-04-02 | 2020-09-01 | 北京中科虹霸科技有限公司 | 尸体虹膜识别方法和装置 |
CN111611848B (zh) * | 2020-04-02 | 2024-02-06 | 北京中科虹霸科技有限公司 | 尸体虹膜识别方法和装置 |
CN113657415A (zh) * | 2021-10-21 | 2021-11-16 | 西安交通大学城市学院 | 一种面向示意图的对象检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
CN105574550A (zh) | 一种车辆识别方法及装置 | |
CN110309768B (zh) | 车检工位的工作人员检测方法及设备 | |
CN113822247A (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
CN112541372B (zh) | 一种困难样本筛选方法及装置 | |
CN110569856A (zh) | 样本标注方法及装置、损伤类别的识别方法及装置 | |
CN116363125B (zh) | 基于深度学习的电池模组外观缺陷检测方法及系统 | |
CN111144372A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
CN114463567B (zh) | 一种基于区块链的智慧教育作业大数据防抄袭方法与系统 | |
CN112651996B (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
CN114462469B (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
Elberink et al. | Detection of collapsed buildings by classifying segmented airborne laser scanner data | |
CN110689028A (zh) | 现场图测评方法、现场勘查记录测评方法及其装置 | |
CN113723467A (zh) | 用于缺陷检测的样本收集方法、装置和设备 | |
CN111507332A (zh) | 车辆vin码检测方法与设备 | |
CN114625901A (zh) | 一种多算法整合方法及装置 | |
CN111680733A (zh) | 组分检测、样本库建立方法、装置、平台、系统及介质 | |
CN115810134A (zh) | 一种车险反欺诈的图像采集质检方法、系统和装置 | |
CN111897993A (zh) | 一种基于行人再识别的高效目标人物轨迹生成方法 | |
Bhargava et al. | A study on potential of big visual data analytics in construction Arena | |
Franceschini et al. | Damage estimation and localization from sparse aerial imagery | |
Ashraf et al. | Machine learning-based pavement crack detection, classification, and characterization: a review | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
CN115601655A (zh) | 基于卫星遥感的水体信息识别方法、装置和可读介质 | |
CN115116119A (zh) | 一种基于数字图像处理技术的人脸识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |