CN113971795A - 基于自驾车视觉感测的违规巡检系统及其方法 - Google Patents
基于自驾车视觉感测的违规巡检系统及其方法 Download PDFInfo
- Publication number
- CN113971795A CN113971795A CN202111368822.1A CN202111368822A CN113971795A CN 113971795 A CN113971795 A CN 113971795A CN 202111368822 A CN202111368822 A CN 202111368822A CN 113971795 A CN113971795 A CN 113971795A
- Authority
- CN
- China
- Prior art keywords
- violation
- image
- situation
- factor
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于自驾车视觉感测的违规巡检系统及其方法，通过接收自驾车拍摄的路况影像以通过人工智能识别出其中包含的影像对象，以及持续侦测影像对象的移动状态以生成影像对象动态，当影像对象同时满足触发对象因子及至少其中一个关联对象因子时，将影像对象及其影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境，并且在当前情境与违规情境样版比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目，用以达到提升判断违规行为的精确性及多样性的技术功效。
Description
技术领域
本发明涉及一种违规巡检系统及其方法，特别是基于自驾车视觉感测的违规巡检系统及其方法。
背景技术
近年来，随着自驾车技术的普及与蓬勃发展，道路上出现自驾车已不再稀奇，由于自驾车本身具有摄像组件及测距组件，并且能够对路上的各种对象(或称为“对象”)进行识别，以及搭配定位系统获得定位坐标，导致存在与其他应用结合的可能性，因此，如何充分利用自驾车来提供更多的附加价值已经成为各家厂商亟欲解决的问题之一。
一般而言，传统的自驾车在移动时，会持续通过本身的摄像组件及测距组件取得环境状态，以便基于环境状态行驶在道路上，同时根据环境状态的变化实时进行调整及修正，所以非常适合取代目前固定式或按照固定路线执行的违规取缔系统。然而，目前的自驾车无法通过摄像组件及测距组件自动判断车辆前方是否存在违规事件，仅能先进行录像搜证，再由人工进行事后辨别，所以存在便利性不足的问题。
有鉴于此，便有厂商提出结合影像辨识来自动辨识是否发生违规事件的技术手段，其通过将影像数据输入已完成训练的人工智能模块(Model)来辨识影像对象，并且根据影像对象的位置变化来判断是否发生违规事件，然而，此一方式通常在同一画面中仅能辨识出单一违规事件，例如：车辆未礼让行人、违规左右转、跨越双白线、违规停车、行人穿越马路等等，而且随着影像复杂度越高，其辨识准确度便越低，也就是说，无法同时精确辨识多个违规事件，故具有违规行为的判断精确性不足且缺乏多样性的问题。
综上所述，可知现有技术中长期以来一直存在违规行为的判断精确性不足且缺乏多样性的问题，因此实有必要提出改进的技术手段，来解决此一问题。
发明内容
本发明公开一种基于自驾车视觉感测的违规巡检系统及其方法。
首先，本发明公开一种基于自驾车视觉感测的违规巡检系统，用于在巡检路径上执行违规巡检，此系统包含：微处理器、违规项目数据库、对象类型数据库、情境识别模块以及违规判定模块。其中，微处理器用以与自驾车的视觉感测模块连接，并且持续接收视觉感测模块传送的路况影像，再通过基于人工智能的对象识别算法识别出路况影像中所包含的影像对象，以及持续侦测每一影像对象的移动状态以生成相应每一影像对象的影像对象动态；违规项目数据库用以储存违规情境样版，每一违规情境样版相应于至少一违规项目；对象类型数据库用以储存关联对象因子及触发对象因子；情境识别模块与微处理器及对象类型数据库连接，用以判断影像对象同时满足触发对象因子及关联对象因子至少其中之一时，将影像对象及其相应的影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境；以及违规判定模块连接情境识别模块及违规项目数据库，用以比对当前情境与违规情境样版，并且在比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目。
另外，本发明还公开一种基于自驾车视觉感测的违规巡检方法，用于在巡检路径上执行违规巡检，其步骤包括：提供违规项目数据库及对象类型数据库，所述违规项目数据库储存违规情境样版，每一违规情境样版相应于至少一违规项目，所述对象类型数据库储存关联对象因子及触发对象因子；持续接收路况影像，并且通过基于人工智能的对象识别演算模型识别出路况影像中所包含的影像对象，以及持续侦测每一影像对象的移动状态以生成相应每一影像对象的影像对象动态；判断影像对象同时满足触发对象因子及关联对象因子至少其中之一时，将影像对象及其相应的影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境；以及比对当前情境与违规情境样版，并且在比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目。
本发明所公开的系统与方法如上，与现有技术的差异在于本发明是通过接收自驾车拍摄的路况影像以通过人工智能识别出其中包含的影像对象，以及持续侦测影像对象的移动状态以生成影像对象动态，当影像对象同时满足触发对象因子及至少其中一个关联对象因子时，将影像对象及其影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境，并且在当前情境与违规情境样版比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目。
通过上述的技术手段，本发明可以达成提升判断违规行为的精确性与多样性的技术功效。
附图说明
图1为本发明基于自驾车视觉感测的违规巡检系统的系统方块图。
图2A为本发明基于自驾车视觉感测的违规巡检方法的方法流程图。
图2B为本发明基于自驾车视觉感测的违规巡检方法的另一实施方式的方法流程图。
图3为应用本发明进行违规巡检的示意图。
图4为应用本发明输出与违规事件相关的影像对象及违规项目的示意图。
附图标记说明如下：
100 视觉感测模块
110 微处理器
120 违规项目数据库
130 对象类型数据库
140 情境识别模块
150 违规判定模块
300 路况影像
311 先前位置
312,322:行人物件
313,323 影像对象动态
314 标线物件
320 号志物件
321 车辆物件
400 输出画面
410,420 违规项目显示区块
411,423 行人物件
421 号志物件
422 车辆物件
步骤210提供一违规项目数据库及一对象类型数据库，该违规项目数据库储存至少一违规情境样版，每一所述违规情境样版相应于至少一违规项目，该对象类型数据库储存至少一关联对象因子及一触发对象因子
步骤220持续接收一路况影像，并且通过基于人工智能的一对象识别演算模型识别出该路况影像中所包含的多个影像对象，以及持续侦测每一所述影像对象的移动状态以生成相应每一所述影像对象的一影像对象动态
步骤230判断所述影像对象同时满足该触发对象因子及所述关联对象因子至少其中之一时，将所述影像对象及其相应的该影像对象动态输入至基于人工智能的至少一情境识别模型以输出相应的一当前情境
步骤240比对该当前情境与所述违规情境样版，并且在比对相符时，输出所述违规情境样版对应的该触发对象因子及所述关联对象因子相应的所述影像对象及相应的所述违规项目
步骤250接收动态举报的一违规热点，并且根据该违规热点动态调整该巡检路径，使自驾车前往该违规热点实时执行违规取缔
步骤260根据输出的所述影像对象执行一人脸辨识及一车牌辨识或两者任一以产生一辨识结果，以及将该辨识结果传送至一外部数据库以查询是否与一通报对象相符，并且在相符时，将输出的所述影像对象及其相应的该违规坐标传送至一通报单位
具体实施方式
以下将配合图式及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
请先参阅图1，图1为本发明基于自驾车视觉感测的违规巡检系统的系统方块图，用于在巡检路径上执行违规巡检，此系统包含：微处理器110、违规项目数据库120、对象类型数据库130、情境识别模块140以及违规判定模块150。其中，微处理器110用以与自驾车的视觉感测模块100连接，并且持续接收视觉感测模块100传送的路况影像，再通过基于人工智能的对象识别算法识别出路况影像中所包含的影像对象，以及持续侦测每一影像对象的移动状态以生成相应每一影像对象的影像对象动态。举例来说，假设路况影像包含行人、车辆、标线及号志，通过人工智能的对象识别算法，例如：深度学习(Deep Learning)的区域卷积式网络(Region based Convolutional Neural Network,R-CNN)、快速区域卷积式网络(Fast Region based Convolutional Neural Network,Fast R-CNN)、更快速区域卷积式网络(Faster Region based Convolutional Neural Network,Faster R-CNN)、“Mask R-CNN”以及“YOLO”等模型，可以将行人、车辆、标线及号志识别为影像对象，并且持续侦测每一影像对象的移动状态(例如：移动轨迹)以生成相应影像对象的影像对象动态。在实际实施上，微处理器110可使用微控制单元(Micro Controller Unit,MCU)、中央处理器(Central Processing Unit,CPU)、系统单芯片(System on a Chip,SoC)等等来取代或实现。
违规项目数据库120用以储存违规情境样版，每一违规情境样版相应于至少一个违规项目。举例来说，预先提供包含至少一个违规项目，如：车辆未礼让行人、违规左右转、跨越双白线、违规停车、行人穿越马路等等或其任意组合的情境以作为违规情境样版。以行人穿越马路的违规情境样版为例，其包含行人对象在未有标线对象的马路具有穿越马路的影像对象动态。
对象类型数据库130用以储存关联对象因子及触发对象因子。以关联对象因子为例，其可包含：行车对象、物品对象、号志对象、标线对象及场景对象等等；以触发对象因子为例，其可包含行人对象。在实际实施上，触发对象因子代表只要路况影像中出现符合触发对象因子的对象即触发违规判断流程，此时将协同关联对象因子的对象一并判断违规项目。
情境识别模块140与微处理器110及对象类型数据库130连接，用以判断影像对象同时满足触发对象因子及关联对象因子至少其中之一时，将影像对象及其相应的影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境。举例来说，假设判断出的影像对象为行人对象、行车对象及标线对象，由于行人对象为触发对象因子，行车对象及标线对象为关联对象因子，所以判断影像对象同时满足，于是将影像对象及其相应的影像对象动态输入至情境识别模型以输出相应的当前情境，如：行人行走的情境、车辆左转的情境，或同时包含行人行走及车辆转弯的情境。实际上，所述基于人工智能的情境识别模型可通过大数据(对象、场景)搭配深度学习进行长期的情境建模训练来完成，例如，使用两个卷积神经网络(Convolutional Neural Network,CNN)模型，其中，使用快速区域卷积神经网络(Faster R-CNN)来检测行人或车辆的存在，再使用深度卷积神经网络(DeepConvolutional Neural Network,DCNN)来识别行人或车辆的移动状态，最后整合输出为当前情境。同样地，也可将此方式应用于建立违规情境样版，所述违规情境样版可包含关联对象因子与触发对象因子的影像对象及其移动状态。另外，所述当前情境可包含对象影像及其相应的影像对象动态，当侦测到触发对象因子的影像对象动态受到关联对象因子阻挡而符合违规情境样版时，取消将相应的影像对象作为违规对象，也就是说，因为关联对象因子阻挡而导致与触发对象因子相应的影像对象发生的违规事件将视为与触发对象因子相应的影像对象未违规。举例来说，假设行人对象的影像对象动态受到物品对象阻挡而导致违规，此时将视此行人物件未违规。
违规判定模块150连接情境识别模块140及违规项目数据库120，用以比对当前情境与违规情境样版，并且在比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目，举例来说，当前情境为同时包含行人行走与车辆转弯的情境时，将与同时包含行人穿越马路及车辆未礼让行人等违规项目的违规情境样版比对相符。在实际实施上，可在当前情境与违规情境样版比对相符时，触发摄影组件进行录像，并且同步触发定位装置以获得违规坐标，并且将此违规坐标储存至违规项目数据库120以与相应的违规情境样版进行对应。如此一来，往后当自驾车移动至所述违规坐标时，即可优先载入与此违规坐标相应的违规情境样版以与当前情境进行比对，通过在固定的坐标位置优先以曾经发生过的违规情境来进行判断，进而有效提高判断效率及准确度。另外，当获得违规坐标时，还可根据违规坐标的分布状态动态计算最佳巡检路径，并且以此最佳巡检路径取代原本的巡检路径。举例来说，假设有两个违规坐标，可根据图资讯息计算经过这两个违规坐标的最短路径作为最佳巡检路径。除此之外，违规判定模块150还可根据输出的影像对象执行人脸辨识及车牌辨识或两者任一以产生辨识结果(如：人脸特征、车牌讯息等等)，以及将此辨识结果传送至外部数据库(如：户籍数据库、车籍数据库等等)以查询是否与通报对象相符，并且在相符时，将输出的影像对象及其相应的违规坐标传送至通报单位(如：检察机关、警察机关等司法单位)。
特别要说明的是，在实际实施上，本发明所述的模块均可利用各种方式来实现，包含软件、硬件或其任意组合，例如，在某些实施方式中，各模块可利用软件及硬件或其中之一来实现，除此之外，本发明也可部分地或完全地基于硬件来实现，例如，系统中的一个或多个模块可以通过集成电路芯片、系统单芯片、复杂可程序逻辑装置(ComplexProgrammable Logic Device,CPLD)、现场可程序逻辑门阵列(Field Programmable GateArray,FPGA)等来实现。本发明可以是系统、方法及/或计算机程序。计算机程序可以包括计算机可读储存媒体，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令，计算机可读储存媒体可以是可以保持和储存由指令执行设备使用的指令的有形设备。计算机可读储存媒体可以是但不限于电储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备或上述的任意合适的组合。计算机可读储存媒体的更具体的例子(非穷举的列表)包括：硬盘、随机存取内存、只读存储器、闪存、光盘、软盘以及上述的任意合适的组合。此处所使用的计算机可读储存媒体不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光信号)、或者通过电线传输的电信号。另外，此处所描述的计算机可读程序指令可以从计算机可读储存媒体下载到各个计算/处理设备，或者通过网络，例如：因特网、局域网络、广域网及/或无线网络下载到外部计算机设备或外部储存设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换器、集线器及/或网关。每一个计算/处理设备中的网络卡或者网络接口从网络接收计算机可读程序指令，并转发此计算机可读程序指令，以供储存在各个计算/处理设备中的计算机可读储存媒体中。执行本发明操作的计算机程序指令可以是汇编语言指令、指令集架构指令、机器指令、机器相关指令、微指令、韧体指令、或者以一种或多种程序语言的任意组合编写的原始码或目标码(Object Code)，所述程序语言包括面向对象的程序语言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby与PHP等，以及常规的程序式(Procedural)程序语言，如：C语言或类似的程序语言。所述计算机程序指令可以完全地在计算机上执行、部分地在计算机上执行、作为一个独立的软件执行、部分在客户端计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
请参阅图2A，图2A为本发明基于自驾车视觉感测的违规巡检方法的方法流程图，用于在巡检路径上执行违规巡检，其步骤包括：提供违规项目数据库120及对象类型数据库130，所述违规项目数据库120储存违规情境样版，每一违规情境样版相应于违规项目，对象类型数据库130储存关联对象因子及触发对象因子(步骤210)；持续接收路况影像，并且通过基于人工智能的对象识别演算模型识别出路况影像中所包含的影像对象，以及持续侦测每一影像对象的移动状态以生成相应每一影像对象的影像对象动态(步骤220)；判断影像对象同时满足触发对象因子及关联对象因子至少其中之一时，将影像对象及其相应的影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境(步骤230)；以及比对当前情境与违规情境样版，并且在比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目(步骤240)。如此一来，便能通过接收自驾车拍摄的路况影像以通过人工智能识别出其中包含的影像对象，以及持续侦测影像对象的移动状态以生成影像对象动态，当影像对象同时满足触发对象因子及至少其中一个关联对象因子时，将影像对象及其影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境，并且在当前情境与违规情境样版比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目，用以达到提升判断违规行为的精确性及多样性。
另外，在步骤240之后，可如图2B所示意，图2B为本发明基于自驾车视觉感测的违规巡检方法的另一实施方式的方法流程图，其进一步包含：接收动态举报的违规热点，并且根据此违规热点动态调整巡检路径，使自驾车前往违规热点实时执行违规取缔(步骤250)，举例来说，当接收到一个地点A被动态举报成为违规热点时，自驾车可以实时根据此违规热点动态调整巡检路径以前往执行违规取缔。另外，自驾车还可以根据输出的影像对象执行人脸辨识及车牌辨识或两者任一以产生辨识结果，以及将辨识结果传送至外部数据库以查询是否与通报对象相符，并且在相符时，将输出的影像对象及其相应的违规坐标传送至通报单位(步骤260)。举例来说，可以对影像对象执行人脸辨识以获得人脸特征，或者执行车牌辨识以获得车牌讯息，接着将这些辨识结果传送至外部数据库以进行比对，查询是否与通报对象，如：通缉犯、失窃车辆等等相符，若是，将影像对象及违规坐标传送至通报单位，如：检察机关、警察机关或其相似的司法单位。
以下配合图3及图4以实施例的方式进行如下说明，请先参阅图3，图3为应用本发明进行违规巡检的示意图。当自驾车在巡检路径上执行违规巡检时，会持续通过自驾车本身的视觉感测模块产生路况影像300，此时，微处理器110会持续接收路况影像，再通过基于人工智能的对象识别算法识别出路况影像300中所包含的多个影像对象，例如：行人对象(312、322)、号志对象320、车辆对象321及标线对象314等等。具体而言，所述对象识别算法可为“Bounding Box Predictions”、“Non-Max Suppression”或其相似算法来实现。接着，持续侦测每一个影像对象的移动状态，以行人对象312为例，将侦测其移动状态(从先前位置311移动至行人对象312的当前位置)以生成相应的影像对象动态313；以车辆对象321为例，将侦测其移动状态以生成相应的影像对象动态323。举例来说，使用光流法(Opticalflow)为影像内的每一个像素点赋予一个速度向量，并且在移动时将影像的点与三维物体的点通过投影关系一一对应，再根据每一个像素点的速度向量特征来对影像对象进行动态分析，进而生成相应的影像对象动态(313、323)。
接下来，情境识别模块140会判断影像对象是否同时满足触发对象因子及至少一个关联物件因子，以此例而言，行人物件(312、322)为触发物件因子，标线对象314、号志对象320及车辆对象321均为关联对象因子，由于同时存在触发对象因子及关联对象因子，故视为满足。此时，将影像对象及其相应的影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境，也就是说，根据行人对象312、车辆对象321、号志对象320、标线对象314及各对象相应的影像对象动态来识别出当前存在哪些情境，例如：包含行人对象312、号志对象320及车辆对象321的情境、包含行人对象312及标线对象314的情境等等，并以此类推。然后，再由违规判定模块150比对当前情境与违规情境样版，以确认当前情境存在那些违规项目，以此例而言，将比对出与“行人穿越马路”及“车辆未礼让行人”的违规情境样版相符，所以输出这两个违规情境样版所对应的触发对象因子，以比对符合的第一个违规情境样版(行人穿越马路)为例，将输出触发对象因子(即：行人对象312)及关联对象因子(标线对象314)相应的影像对象，如：行人和标线影像，以及相应的违规项目，即：行人穿越马路；以比对符合的第二个违规情境样版(车辆未礼让行人)为例，将输出触发对象因子(即：行人对象322)、关联对象因子(即：号志对象320及车辆对象321)相应的影像对象，如：行人、号志及车辆影像，以及相应的违规项目，即：车辆未礼让行人。特别要说明的是，除了上述举例之外，一个违规情境样版也可以包含一种以上的违规项目，例如，可同时包含行人穿越马路与车辆未礼让行人的违规项目。至此，即完成对同一场景存在多个违规项目的情境下，同时储存与所有违规项目相关的影像对象。
如图4所示意，图4为应用本发明输出与违规事件相关的影像对象及违规项目的示意图。在实际实施上，倘若当前情境与违规情境样版相符时，可通过输出画面400显示与违规事件有关的影像以利后续举证之用。以上述行人穿越马路为例，可在违规项目显示区块410以文字的方式显示“行人穿越马路”，并且在其下方显示行人对象411；以车辆未礼让行人为例，可在违规项目显示区块420以文字的方式显示“车辆未礼让行人”，并且在其下方显示号志对象421、车辆对象422及行人对象423。这些对象可以通过图像、影像或两者的组合储存在违规项目数据库中留存。
综上所述，可知本发明与现有技术之间的差异在于通过接收自驾车拍摄的路况影像以通过人工智能识别出其中包含的影像对象，以及持续侦测影像对象的移动状态以生成影像对象动态，当影像对象同时满足触发对象因子及至少其中一个关联对象因子时，将影像对象及其影像对象动态输入至基于人工智能的情境识别模型以输出相应的当前情境，并且在当前情境与违规情境样版比对相符时，输出违规情境样版对应的触发对象因子及关联对象因子相应的影像对象及相应的违规项目，用以达到提升判断违规行为的精确性及多样性，通过此一技术手段可以解决现有技术所存在的问题，进而达成提升判断违规行为的精确性与多样性的技术功效。
虽然本发明以前述的实施例公开如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与修饰，因此本发明的专利保护范围须视本说明书所附的权利要求书所界定的为准。
Claims (14)
1.一种基于自驾车视觉感测的违规巡检系统，其特征在于，用于在一巡检路径上执行违规巡检，所述违规巡检系统包含：
一微处理器，用以与自驾车的一视觉感测模块连接，并且持续接收所述视觉感测模块传送的一路况影像，再通过基于人工智能的一对象识别算法识别出所述路况影像中所包含的多个影像对象，以及持续侦测每一所述影像对象的移动状态以生成相应每一所述影像对象的一影像对象动态；
一违规项目数据库，用以储存至少一违规情境样版，每一所述违规情境样版相应于至少一违规项目；
一对象类型数据库，用以储存至少一关联对象因子及一触发对象因子；
一情境识别模块，与所述微处理器及所述对象类型数据库连接，用以判断所述影像对象同时满足所述触发对象因子及所述关联对象因子至少其中之一时，将所述影像对象及其相应的所述影像对象动态输入至基于人工智能的至少一情境识别模型以输出相应的一当前情境；以及
一违规判定模块，连接所述情境识别模块及所述违规项目数据库，用以比对所述当前情境与所述违规情境样版，并且在比对相符时，输出所述违规情境样版对应的所述触发对象因子及所述关联对象因子相应的所述影像对象及相应的所述违规项目。
2.根据权利要求1所述的基于自驾车视觉感测的违规巡检系统，其特征在于，所述违规情境样版包含所述关联对象因子与所述触发对象因子的对象及其移动状态，所述当前情境包含所述对象影像及其相应的所述影像对象动态，当侦测到所述触发对象因子的所述影像对象动态受到所述关联对象因子阻挡而符合所述违规情境样版时，取消将相应的所述影像对象作为所述违规对象。
3.根据权利要求1所述的基于自驾车视觉感测的违规巡检系统，其特征在于，所述当前情境与所述违规情境样版比对相符时，触发至少一摄影组件进行录像，并且同步触发一定位装置以获得一违规坐标，并且将所述违规坐标储存至所述违规项目数据库以与相应的所述违规情境样版进行对应。
4.根据权利要求3所述的基于自驾车视觉感测的违规巡检系统，其特征在于，当自驾车移动至所述违规坐标时，优先载入与所述违规坐标相应的所述违规情境样版以与所述当前情境进行比对。
5.根据权利要求3所述的基于自驾车视觉感测的违规巡检系统，其特征在于，所述微处理器根据所述违规坐标的分布状态动态计算一最佳巡检路径，并且以所述最佳巡检路径取代原本的所述巡检路径。
6.根据权利要求1所述的基于自驾车视觉感测的违规巡检系统，其特征在于，所述微处理器接收动态举报的一违规热点，并且根据所述违规热点动态调整所述巡检路径，使自驾车前往所述违规热点实时执行违规取缔。
7.根据权利要求3所述的基于自驾车视觉感测的违规巡检系统，其特征在于，所述违规判定模块进一步包含根据输出的所述影像对象执行一人脸辨识及一车牌辨识或两者任一以产生一辨识结果，以及将所述辨识结果传送至一外部数据库以查询是否与一通报对象相符，并且在相符时，将输出的所述影像对象及其相应的所述违规坐标传送至一通报单位。
8.一种基于自驾车视觉感测的违规巡检方法，用于在一巡检路径上执行违规巡检，其特征在于，其步骤包括：
提供一违规项目数据库及一对象类型数据库，所述违规项目数据库储存至少一违规情境样版，每一所述违规情境样版相应于至少一违规项目，所述对象类型数据库储存至少一关联对象因子及一触发对象因子；
持续接收一路况影像，并且通过基于人工智能的一对象识别演算模型识别出所述路况影像中所包含的多个影像对象，以及持续侦测每一所述影像对象的移动状态以生成相应每一所述影像对象的一影像对象动态；
判断所述影像对象同时满足所述触发对象因子及所述关联对象因子至少其中之一时，将所述影像对象及其相应的所述影像对象动态输入至基于人工智能的至少一情境识别模型以输出相应的一当前情境；以及
比对所述当前情境与所述违规情境样版，并且在比对相符时，输出所述违规情境样版对应的所述触发对象因子及所述关联对象因子相应的所述影像对象及相应的所述违规项目。
9.根据权利要求8所述的基于自驾车视觉感测的违规巡检方法，其特征在于，所述违规情境样版包含所述关联对象因子与所述触发对象因子的对象及其移动状态，所述当前情境包含所述对象影像及其相应的所述影像对象动态，当侦测到所述触发对象因子的所述影像对象动态受到所述关联对象因子阻挡而符合所述违规情境样版时，取消将相应的所述影像对象作为所述违规对象。
10.根据权利要求8所述的基于自驾车视觉感测的违规巡检方法，其特征在于，所述违规巡检方法进一步包含所述当前情境与所述违规情境样版比对相符时，触发至少一摄影组件进行录像，并且同步触发一定位装置以获得一违规坐标，并且将所述违规坐标储存至所述违规项目数据库以与相应的所述违规情境样版进行对应的步骤。
11.根据权利要求10所述的基于自驾车视觉感测的违规巡检方法，其特征在于，当自驾车移动至所述违规坐标时，优先载入与所述违规坐标相应的所述违规情境样版以与所述当前情境进行比对。
12.根据权利要求10所述的基于自驾车视觉感测的违规巡检方法，其特征在于，所述方法进一步包含根据所述违规坐标的分布状态动态计算一最佳巡检路径，并且以所述最佳巡检路径取代原本的所述巡检路径的步骤。
13.根据权利要求8所述的基于自驾车视觉感测的违规巡检方法，其特征在于，所述违规巡检方法进一步包含接收动态举报的一违规热点，并且根据所述违规热点动态调整所述巡检路径，使自驾车前往所述违规热点实时执行违规取缔的步骤。
14.根据权利要求10所述的基于自驾车视觉感测的违规巡检方法，其特征在于，所述违规巡检方法进一步包含根据输出的所述影像对象执行一人脸辨识及一车牌辨识或两者任一以产生一辨识结果，以及将所述辨识结果传送至一外部数据库以查询是否与一通报对象相符，并且在相符时，将输出的所述影像对象及其相应的所述违规坐标传送至一通报单位的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111368822.1A CN113971795A (zh) | 2021-11-18 | 2021-11-18 | 基于自驾车视觉感测的违规巡检系统及其方法 |
| US17/679,989 US12024193B2 (en) | 2021-11-18 | 2022-02-24 | Violation inspection system based on visual sensing of self-driving vehicle and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111368822.1A CN113971795A (zh) | 2021-11-18 | 2021-11-18 | 基于自驾车视觉感测的违规巡检系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113971795A true CN113971795A (zh) | 2022-01-25 |
Family
ID=79589906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111368822.1A Pending CN113971795A (zh) | 2021-11-18 | 2021-11-18 | 基于自驾车视觉感测的违规巡检系统及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12024193B2 (zh) |
| CN (1) | CN113971795A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783188A (zh) * | 2022-05-17 | 2022-07-22 | 阿波罗智联(北京)科技有限公司 | 巡检方法和装置 |
| CN115019400A (zh) * | 2022-07-19 | 2022-09-06 | 北京拙河科技有限公司 | 违规行为检测方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097625B (zh) * | 2024-04-24 | 2024-08-09 | 广汽埃安新能源汽车股份有限公司 | 一种障碍物识别方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8694328B1 (en) * | 2006-12-14 | 2014-04-08 | Joseph Gormley | Vehicle customization and personalization activities |
| US9482751B2 (en) * | 2014-10-13 | 2016-11-01 | Applied Concepts, Inc. | Collision detection system and method of operation |
| US10820574B2 (en) * | 2016-07-29 | 2020-11-03 | International Business Machines Corporation | Specialized contextual drones for virtual fences |
| US10872381B1 (en) * | 2017-09-06 | 2020-12-22 | State Farm Mutual Automobile Insurance Company | Evidence oracles |
| US11749111B2 (en) * | 2018-03-19 | 2023-09-05 | Derq Inc. | Early warning and collision avoidance |
| CN109360423B (zh) * | 2018-12-03 | 2019-08-20 | 浙江方大通信有限公司 | 一种基于云计算的交通违停巡检系统 |
| CN110427432A (zh) * | 2019-08-08 | 2019-11-08 | 英华达（上海）科技有限公司 | 基于区块链的违章事件处理方法、系统、设备及存储介质 |
| US20210358066A1 (en) * | 2020-05-17 | 2021-11-18 | Ahmad Abusaad | Intelligent Traffic Violation Detection System |
| KR102174556B1 (ko) * | 2020-05-21 | 2020-11-05 | 박상보 | 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치 |
-
2021
- 2021-11-18 CN CN202111368822.1A patent/CN113971795A/zh active Pending
-
2022
- 2022-02-24 US US17/679,989 patent/US12024193B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783188A (zh) * | 2022-05-17 | 2022-07-22 | 阿波罗智联(北京)科技有限公司 | 巡检方法和装置 |
| CN115019400A (zh) * | 2022-07-19 | 2022-09-06 | 北京拙河科技有限公司 | 违规行为检测方法及装置 |
| CN115019400B (zh) * | 2022-07-19 | 2023-03-03 | 北京拙河科技有限公司 | 违规行为检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230150530A1 (en) | 2023-05-18 |
| US12024193B2 (en) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102447352B1 (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
| CN110119148B (zh) | 一种六自由度姿态估计方法、装置及计算机可读存储介质 | |
| CN113971795A (zh) | 基于自驾车视觉感测的违规巡检系统及其方法 | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| JP2020046706A (ja) | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム | |
| US20210110168A1 (en) | Object tracking method and apparatus | |
| CN110853085B (zh) | 基于语义slam的建图方法和装置及电子设备 | |
| CN112200131A (zh) | 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质 | |
| KR102082254B1 (ko) | 차량 인식 시스템 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
| CN111678488B (zh) | 测距方法、装置、计算机可读存储介质及电子设备 | |
| CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
| EP4341913A2 (en) | System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation | |
| CN115701864A (zh) | 神经网络训练方法、目标检测方法、设备、介质及产品 | |
| CN113742440B (zh) | 道路图像数据处理方法、装置、电子设备及云计算平台 | |
| US11270122B2 (en) | Explainable multi-entity event recognition | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN110298302A (zh) | 一种人体目标检测方法及相关设备 | |
| CN116343143A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
| Choi et al. | State Machine and Downhill Simplex Approach for Vision‐Based Nighttime Vehicle Detection | |
| WO2022247299A1 (zh) | 指示灯状态识别 | |
| CN112232317B (zh) | 用于目标朝向识别的目标检测方法及装置、设备及介质 | |
| TW202324193A (zh) | 基於自駕車視覺感測的違規巡檢系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |