CN110647831A - 一种庭审巡查方法和系统 - Google Patents

一种庭审巡查方法和系统 Download PDF

Info

Publication number
CN110647831A
CN110647831A CN201910867387.3A CN201910867387A CN110647831A CN 110647831 A CN110647831 A CN 110647831A CN 201910867387 A CN201910867387 A CN 201910867387A CN 110647831 A CN110647831 A CN 110647831A
Authority
CN
China
Prior art keywords
module
violation
court trial
target
court
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910867387.3A
Other languages
English (en)
Inventor
毛一农
宋金雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayu Dalian Information Service Co Ltd
Original Assignee
Huayu Dalian Information Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayu Dalian Information Service Co Ltd filed Critical Huayu Dalian Information Service Co Ltd
Priority to CN201910867387.3A priority Critical patent/CN110647831A/zh
Publication of CN110647831A publication Critical patent/CN110647831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services; Handling legal documents

Abstract

本发明提供一种庭审巡查方法和系统，其中方法包括：采集庭审主机输出的视频流并按照指定间隔提取图像帧；采用离线模型检测出图像帧中的指定类别目标；针对所述指定类别目标进行违规比对，并将比对结果返回给策略端队列；策略端根据连续指定帧数的检测结果进行决策，判断指定类别目标在庭审过程中是否存在违规行为；对于存在违规情况的时间点进行截图留档。本发明结合yolov3目标检测算法和多标签分类算法，应用于法庭的庭审巡查工作中，代替原有的人工抽查，减轻了审判管理工作中庭审工作检查的负担，解放了审管办、技术室等部门的工作。

Description

一种庭审巡查方法和系统
技术领域
本发明涉及图像处理及行为检测技术领域，具体而言，尤其涉及一种庭审巡查方法和系统。
背景技术
审判管理工作当中，需要对法官在庭审过程中的言行进行检查，以规范法官行为。在开庭时，法官如果出现不穿法袍、不佩戴法徽、中途离席、迟到、早退等情况，不仅不利于树立法院形象，也对当事人的利益造成了损害。目前，庭审工作检查主要由人工抽查，通过翻看录像检查审判过程中是否存在违规行为和视频质量问题。原有的人工抽查的检查方法通过翻看录像检查，不仅消耗大量人力，而且效率不高。
发明内容
根据上述提出现有人工抽查方法效率低下的技术问题，而提供一种庭审巡查的方法。本发明主要利用算机全覆盖巡查代替原有的人工抽查，能够减轻审判管理工作中庭审工作检查的负担，提升检查效率。
本发明采用的技术手段如下：
一种庭审巡查方法，包括：
采集庭审主机输出的视频流并按照指定间隔提取图像帧；
采用离线模型检测出图像帧中的指定类别目标，所述指定类别目标包括人体、名牌、审判员座椅；
针对所述指定类别目标进行违规比对，并将比对结果返回给策略端队列；
策略端根据连续指定帧数的检测结果进行决策，判断指定类别目标在庭审过程中是否存在违规行为；
对于存在违规情况的时间点进行截图留档。
进一步地，所述离线模型为Yolov3目标检测算法模型。
进一步地，采用基于CNN的多标签分类模型对所述指定类别目标进行违规比对。
进一步地，所述判断指定类别目标在庭审过程中是否存在违规行为包括：判断是否存在着装违规；以及是否存在行为违规。
本发明还提供了一种基于上述方法的庭审巡查系统，包括：
输入模块，将从流媒体服务器输出的视频流信息通过消息队列模块发送至视频处理模块；
视频处理模块，按照配置的时间间隔截取图像帧，将截取的图像帧发送至目标检测模块进行目标检测；
目标检测模块，采用离线模型检测出图像帧中的指定类别目标，并将检测结果通过消息队列模块发送至策略模块；
着装检测模块接，收人体区域并进行着装检测，并将检测结果通过消息队列模块发送至策略模块；
策略模块，根据所述目标检测模块以及所述着装检测模块的检测结果判断在庭审过程中是否存在违规行为，并对存在违规情况的时间点进行截图留档；
展示模块，展示违规时间点的图像帧。
进一步地，所述离线模型为Yolov3目标检测算法模型。
进一步地，所述着装检测模块采用基于CNN的多标签分类模型进行着装违规比对。
进一步地，所述策略模块判断庭审过程中是否存在违规行为包括：判断是否存在着装违规；以及是否存在行为违规。
较现有技术相比，本发明具有以下优点：
本发明采集庭审主机输出的视频流并按照指定间隔提取图像帧，采用Yolov3目标检测算法检测出图像帧中的人体、名牌、审判员座椅等指定类别目标。如果判断目标为法官，采用基于CNN的多标签分类模型判断法官是否存在不穿法袍、戴帽子、戴墨镜等违规行为，并根据连续指定帧数的检测结果进行决策，判断法官在庭审过程中是否存在如缺席、迟到、早退、非法离席、着装不规范等不规范行为，最终对存在违规情况的时间点截图留档。
基于上述理由本发明可在审判管理等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明巡查方法流程图。
图2为本发明巡查系统组成图。
图3为本发明巡查系统目标检测模块网络结构图。
图4为本发明巡查系统着装检测模块网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种庭审巡查方法，包括：
采集庭审主机输出的视频流并按照指定间隔提取图像帧。
采用离线模型检测出图像帧中的指定类别目标，所述指定类别目标包括人体、名牌、审判员座椅。具体地，采用Yolov3目标检测算法检测出图像帧中的人体、名牌、审判员座椅等指定类别目标，对于人体目标，根据当前帧场景判断人体角色(审判员、其他人)。
针对所述指定类别目标进行违规比对，并将比对结果返回给策略端队列。具体地，如果目标为法官，采用基于CNN的多标签分类模型判断法官是否存在不穿法袍、戴帽子、戴墨镜等违规行为，再将检测结果返回给策略端队列。
策略端根据连续指定帧数的检测结果进行决策，判断法官在庭审过程中是否存在不规范行为，如缺席、迟到、早退、非法离席、着装不规范等。
对于存在违规情况的时间点进行截图留档。
如图2所示，本发明还提供了一种基于上述方法的庭审巡查系统，包括包括：输入模块、消息队列模块、视频处理模块、目标检测模块、着装检测模块、策略模块、和展示模块。
其中输入模块用于将从流媒体服务器输出的视频流信息通过消息队列模块发送至视频处理模块。
视频处理模块用于按照配置的时间间隔截取图像帧，将截取的图像帧发送至目标检测模块进行目标检测。
目标检测模块，采用离线模型检测出图像帧中的指定类别目标，并将检测结果通过消息队列模块发送至策略模块。作为一种较佳的实施方式，目标检测模块优选为一个基于Yolov3网络改进的离线模型，由预先采集的训练数据训练得到。Yolov3的基础框架通过残差结构将网络层数扩增到252层，输出三种不同尺度的特征图到yolo输出层，通过logistic回归得到最终的预测框。由于Yolov3得到的特征图尺度偏大，改进的网络在基础框架的基础上增加残差块和上采样层，输出四种不同尺度的特征图，降低模型的误检率，改进后的网络结构如图3。本申请的目标检测离线模型能够检测庭审场景中的人体、名牌、审判员座椅等目标。
着装检测模块，接收人体区域并进行着装检测，并将检测结果通过消息队列模块发送至策略模块。根据目标检测模块生成的人体预测框从图像帧中得到人体区域，将人体区域发送到着装检测模块，进行着装检测。其中，着装检测模块是一个基于CNN的多标签分类模型，经过卷积层提取得到的特征向量经过三个全连接层得到的输出维度为1*1000，输出到4个1*4的全连接层，通过softmax算法得到每种标签的概率，图4为着装检测模型的网络结构，其中的loss1～4层输出对应的结果为是否戴帽子、墨镜、法袍和法徽。
策略模块，根据所述目标检测模块以及所述着装检测模块的检测结果判断在庭审过程中是否存在违规行为，并对存在违规情况的时间点进行截图留档。策略模块通过目标检测模块生成的预测框得到关键区域的坐标，判断关键区域中是否存在人体，将结果Rperson放入到长度为Lperson的先入先出队列Qperson中，当人体检出率Rperson/Lperson低于阈值Tperson时，判定审判员离席。同时，通过着装检测模块得到的着装检测结果[Rclo1,Rclo2,Rclo3,Rclo4]放入到长度为Lclo的先入先出队列Qclo中，判断审判员是否着装不符。策略模块得到的违规结果会自动保存图像帧和违规时间点，在展示模块中展示。
本发明结合yolov3目标检测算法和多标签分类算法，应用于法庭的庭审巡查工作中，代替原有的人工抽查，减轻了审判管理工作中庭审工作检查的负担，解放了审管办、技术室等部门的工作。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种庭审巡查方法，其特征在于，包括：
采集庭审主机输出的视频流并按照指定间隔提取图像帧；
采用离线模型检测出图像帧中的指定类别目标，所述指定类别目标包括人体、名牌、审判员座椅；
针对所述指定类别目标进行违规比对，并将比对结果返回给策略端队列；
策略端根据连续指定帧数的检测结果进行决策，判断指定类别目标在庭审过程中是否存在违规行为；
对于存在违规情况的时间点进行截图留档。
2.根据权利要求1所述的庭审巡查方法，其特征在于，所述离线模型为Yolov3目标检测算法模型。
3.根据权利要求1或2所述的庭审巡查方法，其特征在于，采用基于CNN的多标签分类模型对所述指定类别目标进行违规比对。
4.根据权利要求3所述的庭审巡查方法，其特征在于，所述判断指定类别目标在庭审过程中是否存在违规行为包括：判断是否存在着装违规；以及是否存在行为违规。
5.一种基于权利要求1-4任意权利要求所述方法的庭审巡查系统，其特征在于，包括：
输入模块，将从流媒体服务器输出的视频流信息通过消息队列模块发送至视频处理模块；
视频处理模块，按照配置的时间间隔截取图像帧，将截取的图像帧发送至目标检测模块进行目标检测；
目标检测模块，采用离线模型检测出图像帧中的指定类别目标，并将检测结果通过消息队列模块发送至策略模块；
着装检测模块，接收人体区域并进行着装检测，并将检测结果通过消息队列模块发送至策略模块；
策略模块，根据所述目标检测模块以及所述着装检测模块的检测结果判断在庭审过程中是否存在违规行为，并对存在违规情况的时间点进行截图留档；
展示模块，展示违规时间点的图像帧。
6.根据权利要求5所述的庭审巡查的系统，其特征在于，所述离线模型为Yolov3目标检测算法模型。
7.根据权利要求5或6所述的庭审巡查的系统，其特征在于，所述着装检测模块采用基于CNN的多标签分类模型进行着装违规比对。
8.根据权利要求7所述的庭审巡查的方法，其特征在于，所述策略模块判断庭审过程中是否存在违规行为包括：判断是否存在着装违规；以及是否存在行为违规。
CN201910867387.3A 2019-09-12 2019-09-12 一种庭审巡查方法和系统 Pending CN110647831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867387.3A CN110647831A (zh) 2019-09-12 2019-09-12 一种庭审巡查方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867387.3A CN110647831A (zh) 2019-09-12 2019-09-12 一种庭审巡查方法和系统

Publications (1)

Publication Number Publication Date
CN110647831A true CN110647831A (zh) 2020-01-03

Family

ID=68991853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867387.3A Pending CN110647831A (zh) 2019-09-12 2019-09-12 一种庭审巡查方法和系统

Country Status (1)

Country Link
CN (1) CN110647831A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681673A (zh) * 2020-05-27 2020-09-18 北京华夏电通科技有限公司 庭审过程中敲法槌的识别方法及系统
CN114582037A (zh) * 2022-02-28 2022-06-03 成都商汤科技有限公司 巡检方法及装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314351A1 (en) * 2015-04-27 2016-10-27 Xerox Corporation Extending generic business process management with computer vision capabilities
CN106780253A (zh) * 2016-12-06 2017-05-31 北京华夏电通科技有限公司 一种公检法执行过程规范性的核查的系统
CN107333101A (zh) * 2017-06-29 2017-11-07 人民法院信息技术服务中心 一种基于开庭公告的庭审人员行为巡查方法和系统
US20180189571A1 (en) * 2017-01-05 2018-07-05 Electronics And Telecommunications Research Institute Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160314351A1 (en) * 2015-04-27 2016-10-27 Xerox Corporation Extending generic business process management with computer vision capabilities
CN106780253A (zh) * 2016-12-06 2017-05-31 北京华夏电通科技有限公司 一种公检法执行过程规范性的核查的系统
US20180189571A1 (en) * 2017-01-05 2018-07-05 Electronics And Telecommunications Research Institute Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor
CN107333101A (zh) * 2017-06-29 2017-11-07 人民法院信息技术服务中心 一种基于开庭公告的庭审人员行为巡查方法和系统
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗书臻: "建立"互联网+"时代下的智能庭审", 《人民法院报》 *
范丽等: "基于YOLOv3模型的实时行人检测改进算法", 《山西大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681673A (zh) * 2020-05-27 2020-09-18 北京华夏电通科技有限公司 庭审过程中敲法槌的识别方法及系统
CN111681673B (zh) * 2020-05-27 2023-06-20 北京华夏电通科技股份有限公司 庭审过程中敲法槌的识别方法及系统
CN114582037A (zh) * 2022-02-28 2022-06-03 成都商汤科技有限公司 巡检方法及装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112200043B (zh) 面向室外施工现场的危险源智能识别系统及方法
CN109961019B (zh) 一种时空行为检测方法
CN103839085B (zh) 一种列车车厢异常人群密度的检测方法
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN111047818A (zh) 一种基于视频图像的森林火灾预警系统
CN109948455B (zh) 一种遗留物体检测方法及装置
CN107948465A (zh) 一种检测摄像头被干扰的方法和装置
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN108898104A (zh) 一种物品识别方法、装置、系统及计算机存储介质
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
CN103390151B (zh) 人脸检测方法及装置
CN104902265A (zh) 一种基于背景边缘模型的摄像机异常检测方法及系统
CN110647831A (zh) 一种庭审巡查方法和系统
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN111027518A (zh) 可疑人群智能报警方法、装置、计算机设备及存储介质
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN110781735A (zh) 一种用于识别人员在岗状态的报警方法及系统
Katsamenis et al. A Few-Shot Attention Recurrent Residual U-Net for Crack Segmentation
CN103400148A (zh) 基于视频分析的银行自助服务区域尾随行为检测方法
CN111242096A (zh) 基于人数梯度的人群聚集判别方法与系统
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
Liu et al. Abnormal behavior analysis strategy of bus drivers based on deep learning
KR20150029324A (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication