CN113627321A - 基于人工智能的图像识别方法、装置及计算机设备 - Google Patents
基于人工智能的图像识别方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN113627321A CN113627321A CN202110908184.1A CN202110908184A CN113627321A CN 113627321 A CN113627321 A CN 113627321A CN 202110908184 A CN202110908184 A CN 202110908184A CN 113627321 A CN113627321 A CN 113627321A
- Authority
- CN
- China
- Prior art keywords
- street lamp
- image information
- monitoring area
- identification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000005856 abnormality Effects 0.000 claims abstract description 18
- 238000012423 maintenance Methods 0.000 claims abstract description 12
- 230000001960 triggered effect Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 17
- 238000001931 thermography Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000010485 coping Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种人工智能的图像识别方法、装置及计算机设备,涉及人工智能技术领域。其中方法包括:首先调用与路灯预先绑定的摄像头的感应装置,获取摄像头的监控区域内的温度数据;再通过将温度数据与未有物体进入监控区域内时的参考温度数据进行比较,判断是否有物体进入监控区域内;若有物体进入监控区域内,则开启路灯,并调用摄像机开始收集监控区域内的第一图像信息;然后将第一图像信息和路灯的路灯标识发送给服务器进行识别,以使得服务器在识别出异常时触发进行维护处理。本申请可节省图像监控的人力成本。此外,本申请还涉及区块链技术,图像数据可存储于区块链中,以保证数据私密和安全性。
Description
技术领域
本申请涉及人工智能技术领域,尤其是涉及到一种基于人工智能的图像识别方法、装置及计算机设备。
背景技术
在诸如小区、道路交通、公园等等可能需要监控的区域中,可使用摄像机进行图像拍摄,并将实时拍摄的图像数据记录下来。例如,提前布设监控摄像机,利用该摄像机对附近的区域内进行监控录像。
目前,在传统的图像监控方法中,可分配监控人员对拍摄的图像数据进行人工识别,进而识别出异常状况。
然而,这种方式会耗费较多的人力成本,并且很容易出现识别疏漏,如果是人工定时查看,还会存在发现问题不及时的情况,进而不能对发生的问题及时处理。
发明内容
有鉴于此,本申请提供了一种基于人工智能的图像识别方法、装置及计算机设备,主要目的在于改善目前传统的图像监控方法会耗费较多的人力成本,并且很容易出现识别疏漏,存在发现问题不及时的技术问题。
根据本申请的一个方面,提供了一种基于人工智能的图像识别方法,该方法包括:
调用与路灯预先绑定的摄像头的感应装置,获取所述摄像头的监控区域内的温度数据;
通过将所述温度数据与未有物体进入所述监控区域内时的参考温度数据进行比较,判断是否有物体进入所述监控区域内;
若有物体进入所述监控区域内,则开启所述路灯,并调用所述摄像机开始收集所述监控区域内的第一图像信息;
将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,以使得所述服务器在识别出异常时触发进行维护处理。
根据本申请的另一个方面,提供了一种基于人工智能的图像识别装置,该装置包括:
获取模块,用于调用与路灯预先绑定的摄像头的感应装置,获取所述摄像头的监控区域内的温度数据;
判断模块,用于通过将所述温度数据与未有物体进入所述监控区域内时的参考温度数据进行比较,判断是否有物体进入所述监控区域内;
收集模块,用于若有物体进入所述监控区域内,则开启所述路灯,并调用所述摄像机开始收集所述监控区域内的第一图像信息;
发送模块,用于将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,以使得所述服务器在识别出异常数据时触发进行维护处理。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述基于人工智能的图像识别方法。
借由上述技术方案,本申请提供的一种基于人工智能的图像识别方法、装置及计算机设备,采用路灯与摄像机的配合使用方式,当有物体触发了摄像头的热成像监控区域时,路灯自动开启,并触发可见光摄像头开始收集区域内信息,一方面可起到节能作用,另一方面可提高图像数据采集的清晰度,进而可提高后续根据图像数据进行识别分类的准确性。其中,本申请可以基于人工智能技术对相关数据进行获取和识别处理。与目前传统的图像监控方法相比,本申请方案可节省人力成本,减少识别出错,能够及时发现问题,进而可对发生的问题及时处理。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种基于人工智能的图像识别方法的流程示意图;
图2示出了本申请实施例提供的另一种基于人工智能的图像识别方法的流程示意图;
图3示出了本申请实施例提供的一种基于人工智能的图像识别装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
为了改善目前传统的图像监控方法会耗费较多的人力成本,并且很容易出现识别疏漏,存在发现问题不及时的技术问题,本实施例提供了一种基于人工智能的图像识别方法,如图1所示,该方法包括:
步骤101、调用与路灯预先绑定的摄像头的感应装置,获取摄像头的监控区域内的温度数据。
在小区、道路交通、公园等场景中的路灯可起到照明作用,在本实施例中,可预先为路灯绑定对应的摄像头,如可提前在路灯上安装监控摄像机,或者单独设置一个摄像机、与路灯的电源控制设备连接等。该摄像机具体可为单目摄像头、或者双目摄像头、或者其他多目摄像头等,具体根据实际需求进行设定,每一个路灯处均可布设摄像机。为了方便叙述本实施例主要以双目摄像头进行说明具体实施过程。双目摄像头可以在不识别目标的情况下获得深度距离数据。
摄像头的监控区域可为与路灯位置小于一定距离的预定区域范围,该温度数据可由摄像头上预设的感应装置进行采集得到。
对于本实施例的执行主体可为用于监控图像识别处理的装置或设备,可为部署在路灯和摄像机侧的客户端。客户端主要负责采集图像数据,然后发送给后台服务器进行识别。
步骤102、通过将获取到的温度数据与未有物体进入监控区域内时的参考温度数据进行比较,判断是否有物体进入监控区域内。
例如,最新获取到的是监控区域内的温度数据A,将温度数据A与未有物体进入该监控区域内时的参考温度数据B进行比较,如果温度数据A相对参考温度数据B的波动较大(如温度距离大于一定阈值),那么可判定有物体进入到监控区域内,否则判定没有物体进入到监控区域内或者进入的物体不足矣调用摄像机进行监控,如监控区域内被吹进树叶、报纸,或有玩具足球进入等。
步骤103、若有物体进入监控区域内,则开启路灯,并调用摄像机开始收集监控区域内的第一图像信息。
对于本实施例,可根据监控区域内的温度变化数据,判断是否有物体进入了热成像监控区域,如果有物体进入了热成像监控区域,可判定开启路灯,进而触发路灯进行照明工作。例如,使用了双目摄像头的感应装置,当有物体触发了双目摄像头的热成像监控区域时,路灯自动开启,并触发可见光摄像头开始收集区域内信息;当无物体触发双目摄像头的热成像监控区域时,路灯自动熄灭。一方面可起到节能作用,另一方面可提高图像数据采集的清晰度,进而可提高后续根据图像数据进行识别分类的准确性。
步骤104、将第一图像信息和路灯的路灯标识发送给服务器进行识别。
进一步的,以使得服务器在识别出异常时触发进行维护处理。其中,识别处理可采用影像技术识别,通过将摄像的画面进行提取,通过网络分类技术分析其视频数据,最终识别出该时间段内视频内容的所属分类。
本实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
通过本实施例中的基于人工智能的图像识别方法,可应用于协助道路交通管控、小区监管等场景。该技术改进后的路灯设备,改进成本相对较低,能主动、及时发现周边的险情,给市民、社会带来安全感。节省了监控人力成本,可提高监控识别的效率和准确性,进而能够对发生的问题及时处理,并对事故给出迅速行动。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种基于人工智能的图像识别方法,如图2所示,该方法包括:
步骤201、客户端调用与路灯预先绑定的摄像头的感应装置,获取摄像头的监控区域内的温度数据。
可选的,温度数据可包括:监控区域内各个坐标点以及每个坐标点对应的温度值。
例如,该监控区域内的温度数据包括:针对每个时间点,监控区域内的坐标,以及与每个坐标点对应的温度值。在热成像监控区域中,数据呈现为{"栅格坐标":温度值}。可理解成一个二维坐标,描绘了区域的温度分布情况,如表1所示。
表1
Y/X | 0 | 1 | 2 | 3 | 4 | 5 |
0 | 0 | 0 | 0 | 0 | 0 | 0 |
1 | 0 | 0 | 0 | 0 | 0 | 0 |
2 | 0 | 1.6 | 1.9 | 2.1 | 2 | 1.3 |
3 | 0 | 1.6 | 2 | 2.3 | 2 | 1.2 |
4 | 0 | 1.3 | 1.8 | 1.8 | 1.9 | 1.1 |
5 | 0 | 0 | 0 | 1.6 | 1.1 | 0 |
如表1所示,Y/X为栅格坐标,每个栅格坐标具有各自对应的温度值。在实际应用中,对于处于不同数值区间的温度值可采用不同颜色表示,如1至1.9的区间数值可采用橘黄色表示;2至2.2的区间数值可采用红色表示;2.3至2.5的区间数值可采用深红色表示等。
步骤202、客户端通过将获取到的温度数据与未有物体进入监控区域内时的参考温度数据进行比较,判断是否有物体进入监控区域内。
需要说明的是,在判断是否开启路灯时,还需要结合路灯周围的光线明暗程度进行综合判断,在光线较强,不会影响图像数据采集的情况下,可判定不开启路灯,虽然可不开启路灯,但当根据监控区域内的温度变化数据判定有物体进入监控区域内时,可触发摄像机开始收集监控区域内的图像信息。
在光线较差,会影响图像数据采集的情况下,根据监控区域内的温度变化数据,判断是否开启路灯。当有物体进入监控区域时,开启路灯照明;当没有物体进入监控区域内时,不做处理,熄灭路灯,进而起到节能的作用。
可选的,步骤202具体可包括:首先计算获取到的温度数据与参考温度数据之间的温度距离;若该温度距离大于预设距离阈值,则判定有物体进入所述监控区域内,否则判定未有物体进入监控区域内。
例如,在未有物体触发到监测区域时,热成像摄像头所收集的数据为初始化状态下的数据,如记为[a1,a2,…,an],代表各个栅格坐标的初始值。该初始化数组值可为监测区域边缘数据所收集到的点值,并进行归一化后所得到。可理解为当初始状态下,没有物体进入热成像监控区域时,温度的变化范围被设计为0*n的一个数组,即[a1,a2,…,an]。
而当监测区域发生变化时,所收集到的数据记为[x1,x2,…,xn],代表在发生变化时各个栅格坐标的温度值,因此当有物体进入监控范围后,会产生温度的变化,此时通过公式一判断是否开启亮灯。
公式一代表获取到的温度值与初始状态下的温度(参考温度)的距离计算,当大于1时说明有物体进入,即公式一成立时,判定开启亮灯;反之,当小于1时,说明没有物体进入,即公式一不成立时,路灯自动熄灭。
例如,本实施例采用路灯+双目摄像机的配合使用方式,利用双目摄像头的感应装置,当有物体触发了双目摄像头的热成像监控区域时,路灯自动开启;当无物体触发双目摄像头的热成像监控区域时,不做处理,路灯自动熄灭。
步骤203、若有物体进入监控区域内,则客户端触发开启路灯,并调用摄像机开始收集监控区域内的第一图像信息。
在开启路灯后,由于光线不足的问题得以解决,因此可提高图像数据采集的清晰度,进而可提高后续根据图像数据进行识别分类的准确性。
通过路灯节能控制的本实施例方案,在有物体进入监控区域时才开启路灯并触发摄像机开始收集监控区域内的图像信息,能更好更有效地节省电能资源。例如,双目摄像头开启状态中,当有物体触发了双目摄像头的热成像监控区域时,则触发可见光摄像头开始收集区域内的图像信息,并实时将摄像得到的图像数据传回给后台服务器的数据库。
步骤204、客户端将摄像机拍摄收集到的第一图像信息和路灯的路灯标识发送给服务器。
客户端设备与后台服务器之间的通信连接可采用有线或无线连接的方式。后台服务器用于对拍摄到的图像数据进行自动地识别处理。该后台服务器具体可为个人计算机(personal computer,PC)端处理系统。
路灯标识可为路灯的名称、ID号等。后台服务器可通过该路灯标识查询到该路灯所在的位置,以及该路灯相邻路灯的情况。
可选的,步骤204具体可包括:将第一图像信息和路灯的路灯标识实时发送给服务器进行识别;或,按照预置时间间隔(根据实际需求设定)将每个间隔内采集到的第一图像信息和路灯的路灯标识发送给服务器进行识别。进而满足不同的监控需求。
步骤205、服务器对第一图像信息进行识别。
后台服务器对摄像机拍摄收集到的图像信息进行分类识别处理。具体可根据实际需求进行多种类型的分类识别。
在实际场景中,路灯会间隔一定距离进行布设,但该距离不会很远,因为要考虑两个路灯间区域的照明情况。而发生异常(自然灾害、车辆碰撞、人类危险行为、道路损坏等)时,邻近路灯的摄像机也会拍摄到能够证明其出现异常的图像数据,所以可调用邻近路灯的摄像机拍摄的图像数据进行分类识别处理,进而根据监控区域多个摄像机拍摄的图像数据进行综合识别,提高异常识别的准确性。
相应可选的,步骤205具体可包括:对第一图像信息进行多类型的分类识别;若识别出第一图像信息为异常数据,则通过路灯标识查询路灯的邻近路灯的摄像机拍摄的第二图像信息进行多类型的分类识别;然后对第一图像信息和第二图像信息的分类识别结果进行综合判断,确定是否识别出异常。
示例性的,对第一图像信息和第二图像信息的分类识别结果进行综合判断,确定是否识别出异常,具体可包括:对第一图像信息和第二图像信息的分类识别结果进行加权求和计算,其中,邻近路灯的权重是依据与路灯之间的距离确定得到的,距离路灯越近其权重越高;若计算得到的加权求和值大于预置阈值,则确定识别出异常。
例如,作为一种可选方式,相邻的路灯a、b、c,首先通过路灯b的摄像机的拍摄图像数据为异常数据,给予该一定的权重1,然后分别通过路灯a、c的摄像机的拍摄图像数据进行识别,并根据距离路灯b的距离远近,分别给予权重2和权重3。其中,权重1大于权重2,权重1大于权重3;关于权重2和权重3的大小,可根据与路灯b之间的距离大小决定,距离越近,权重越大。最后根据三个摄像机的分类识别结果进行加权求和,大于一定阈值时可判定出现异常。
作为另一种可选方式,相邻的路灯a、b、c,有其中之一的路灯的摄像机的拍摄图像数据为异常数据,则判定出现异常。
进一步可选的,在后台服务器发现一路灯A的摄像机拍摄的图像数据为异常数据时,可控制邻近路灯的摄像机的拍摄角度,指向该路灯A的监控范围进行拍摄,进而获取更具有证据价值的图像数据。
下面说明每个路灯的摄像机拍摄的图像数据的具体识别分类过程:
在服务器对第一图像信息和第二图像信息进行多类型的分类识别之前,本实施例方法还可包括:通过各个摄像机采集的有效图像建立数据集,并依据场景类型标记每一图像对应的分类标签,其中,场景类型可包括:自然灾害类、车辆碰撞类、危险行为类、道路损坏类中的一个或多个;对建立的该数据集中的图像进行图像归一化和初始化处理,并在有效数据扩充后分离出训练集和测试集;然后加载训练集和测试集,传入resnet18网络模型中进行训练,得到识别模型;相应的,服务器对第一图像信息和第二图像信息进行多类型的分类识别,具体可包括:按照预设帧数间隔,将每一帧图像传入识别模型中进行场景类型识别;若识别结果为该场景类型中的一个或多个,则判定图像信息为异常数据。
例如,PC端处理系统进行处理,分类识别处理,可共分四类:自然灾害、车辆碰撞、人类危险行为、道路损坏。
自然灾害类:山体滑坡,树木倒塌,房屋倒塌、火灾等视频源。
车辆碰撞类:两车碰撞,单车碰撞,车碰撞人等视频源。
危险行为类:单人—情绪性指人、摔倒、砸东西;双人—出拳、拉扯、推搡、激烈搂抱、踢踹、砸按等视频源。
道路损坏类:路断、路上有较大石块、道路有积水等视频源。
分类识别采用影像技术识别,通过将摄像的画面进行提取,通过resnet网络分类技术分析其视频数据,最终识别出该时间段内视频内容的所属分类。
本实施例方案采取了resnet18模型对[自然灾害类,车辆碰撞类,危险行为类,道路损坏类]场景进行图像分类,通过摄像设备采集的有效图像建立数据集,并将图像依据类型分类建立图像训练集。
首先构建训练集进行模型训练的具体步骤包括:
A、通过摄像设备采集的有效图像建立数据集,并依据场景类型标记每一图像对应的分类标签。
B、对已收集的图片图像进行图像归一化,基于pytorch框架采用transforms.Compose方法将图像初始化。如对图像数据初始化大小、将image或ndarray数据转换为张量(tensor),并归一化到[0,1]。
C、对数据集进行数据扩充,如对数据集中的图像进行缩放,剪切,旋转,遮挡,斜切,扭曲变换等变换操作,以此扩充数据集,满足不同场景的需求。从数据集中分离出训练数据和测试数据。
D、加载训练数据及测试数据,传入resnet18网络模型中进行训练,最终得出pth识别模型文件及对应的识别精度值。
其中,resnet18网络:是一个深度为18的resnet网络,由conv1-1层卷积层+conv2-2个残差块(每个残差块2层)+conv3-2个残差块(每个残差块2层)+conv4-2个残差块(每个残差块2层)+fc-全连接层。
然后利用resnet18模型进行分类识别的具体步骤:
a)从摄像设备中通过opencv中的VideoCapture函数读取实时视频中的每一帧数据,并按固定10帧(可根据实际需求预先设定,如还可设置为5帧、15帧等)获取一帧图片传入识别模型进行场景识别。
b)如果识别结果为与预定的场景之一,则将该场景的类型作为模型的输出分类结果,如输出自然灾害类的概率值为1%,车辆碰撞类的概率值为95%,人类危险行为类的概率值为5%,道路损坏类的概率值为10%。取概率值大于一定阈值(如50%,80%等)的类型作为分类识别到的具体类型。如果4类的概率值均低于一定阈值,可认为识别到非上述4类内的图像数据。
步骤206、服务器在识别出异常时触发进行维护处理。
例如,异常类型可包括:自然灾害类、车辆碰撞类、人类危险行为类、道路损坏类等。从摄像设备中通过opencv中的VideoCapture函数读取实时视频中的每一帧数据,并按固定10帧获取一帧图片传入识别模型进行场景识别。如果识别结果为与预定的场景之一,则通过opencv将截图该帧图片前后5s,保存为意外现场视频并记录当前时间戳。将意外现场视频通过网络服务发送给对应系统负责人进行确认处理。需要说明的是,实际场景中可能存在多种异常类型,如既出现车辆碰撞类,又出现道路损坏类等。
PC端处理系统根据分类结果可做如下两种可选方式的处理:
A、当识别到非上述四类内的数据时,不做处理,删除数据。
B、当识别到为上述四类内的数据时,自动存储视频源并分类,按类型分发给对应机构处理。每一异常类型均有各自对应的处理机构。如应对自然灾害的处理机构,应对车辆碰撞的处理机构,应对人类危险行为的处理机构,应对道路损坏的处理机构。机构负责人收到数据后,及时下发到人。处理结束后,人员回复处理结果,事件更新状态。
进一步的,为了提高数据安全性和准确进行维护处理,可选的,步骤206具体可包括:在区块链中存储证明存在异常的图像信息;然后将存储的图像信息以及与该路灯标识对应的地址信息,按照场景类型发送给对应的机构进行维护处理。
需要说明的是,本实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
为了说明上述各实施例的整体实施过程,给出其中一个应用示例,但不限于此:
例如,目前传统的图像监控方法会耗费较多的人力成本,并且很容易出现识别疏漏,存在发现问题不及时的技术问题。除此之外,目前还可根据事故举报人上报的异常状况,监控人员调取相应的图像数据进行识别,进而确定是否发生异常。然而,这样的方法比较被动,如果事故举报人不知道事故地点的详细地址,那么就不能快速地搜索到事故发生地点的图像。此外,如果接收到来自事故举报人的地址信息,那么监控人员需要手动地监测该事故地点,且调节相机的角度直到事故发生地点被显示在屏幕上。这一方法很可能不会对事故给出迅速行动,因为事故地点的检查过程比较繁琐。
为了改善上述这些技术问题,本实施例方案采用路灯+双目摄像机的配合使用方式,利用双目摄像头的感应装置,当无物体触发双目摄像头的热成像监控区域时,不做处理,路灯自动熄灭;当有物体触发了双目摄像头的热成像监控区域时,路灯自动开启。双目摄像头开启状态中,当有物体触发了双目摄像头的热成像监控区域时,则触发可见光摄像头开始收集区域内信息,并实时将摄像得到的数据传回给数据库。PC端处理系统进行处理,分类识别处理,共分四类:自然灾害、车辆碰撞、人类危险行为、道路损坏。当识别到非四类内的数据,不做处理,删除数据;当识别到为四类内数据时,自动存储视频源并分类,按类型分发给对应机构处理。机构负责人收到数据后,及时下发到人。处理结束后,人员回复处理结果,事件更新状态。
本实施例方法可解决传统的方法,道路交通管控、小区监管主要依靠视频监控发现,或者是人员主动报警,比较浪费人力,且办事效率低下的技术问题。本专利方法可用于协助道路交通管控、小区监管上。该技术改进后的路灯设备,改进成本相对较低,能主动、及时发现周边的险情,给市民、社会带来安全感。另外,路灯节能控制功能,能更好更有效的节省电能源。
本实施例可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
进一步的,作为图1和图2所示方法的具体实现,本实施例提供了一种基于人工智能的图像识别装置,如图3所示,该装置包括:获取模块31、判断模块32、收集模块33、发送模块34。
获取模块31,用于调用与路灯预先绑定的摄像头的感应装置,获取所述摄像头的监控区域内的温度数据;
判断模块32,用于通过将所述温度数据与未有物体进入所述监控区域内时的参考温度数据进行比较,判断是否有物体进入所述监控区域内;
收集模块33,用于若有物体进入所述监控区域内,则开启所述路灯,并调用所述摄像机开始收集所述监控区域内的第一图像信息;
发送模块34,用于将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,以使得所述服务器在识别出异常数据时触发进行维护处理。
在具体的应用场景中,可选的,所述温度数据包括:所述监控区域内各个坐标点以及每个坐标点对应的温度值;
判断模块32,具体用于计算所述温度数据与所述参考温度数据之间的温度距离;若所述温度距离大于预设距离阈值,则判定有物体进入所述监控区域内,否则判定未有物体进入所述监控区域内。
在具体的应用场景中,发送模块34,具体用于将所述第一图像信息和所述路灯的路灯标识实时发送给服务器进行识别;或,按照预置时间间隔将每个间隔内采集到的所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别。
需要说明的是,本实施例提供的一种基于人工智能的图像识别装置所涉及各功能单元的其它相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本实施例还提供了一种非易失性可读存储介质,其上存储有计算机可读指令,该计算机可读指令被处理器执行时实现上述如图1和图2所示的基于人工智能的图像识别方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法,以及图3所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,具体可以为客户端设备、智能终端设备或其他网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机可读指令;处理器,用于执行计算机可读指令以实现上述如图1和图2所示的基于人工智能的图像识别方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本实施例的技术方案,采用路灯与摄像机的配合使用方式,当有物体触发了摄像头的热成像监控区域时,路灯自动开启,并触发可见光摄像头开始收集区域内信息,一方面可起到节能作用,另一方面可提高图像数据采集的清晰度,进而可提高后续根据图像数据进行识别分类的准确性。其中,本实施例方案可以基于人工智能技术对相关数据进行获取和识别处理。与目前传统的图像监控方法相比,本实施例方案可节省人力成本,减少识别出错,能够及时发现问题,进而可对发生的问题及时处理。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种基于人工智能的图像识别方法,其特征在于,包括:
调用与路灯预先绑定的摄像头的感应装置,获取所述摄像头的监控区域内的温度数据;
通过将所述温度数据与未有物体进入所述监控区域内时的参考温度数据进行比较,判断是否有物体进入所述监控区域内;
若有物体进入所述监控区域内,则开启所述路灯,并调用所述摄像机开始收集所述监控区域内的第一图像信息;
将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,以使得所述服务器在识别出异常时触发进行维护处理。
2.根据权利要求1所述的方法,其特征在于,所述温度数据包括:所述监控区域内各个坐标点以及每个坐标点对应的温度值;
所述通过将所述温度数据与参考温度数据进行比较,判断是否有物体进入所述监控区域内,具体包括:
计算所述温度数据与所述参考温度数据之间的温度距离;
若所述温度距离大于预设距离阈值,则判定有物体进入所述监控区域内,否则判定未有物体进入所述监控区域内。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,具体包括:
将所述第一图像信息和所述路灯的路灯标识实时发送给服务器进行识别;或,
按照预置时间间隔将每个间隔内采集到的所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别。
4.根据权利要求1所述的方法,其特征在于,所述服务器对所述第一图像信息进行识别,具体包括:
对所述第一图像信息进行多类型的分类识别;
若识别出所述第一图像信息为异常数据,则通过所述路灯标识查询所述路灯的邻近路灯的摄像机拍摄的第二图像信息进行多类型的分类识别;
对所述第一图像信息和所述第二图像信息的分类识别结果进行综合判断,确定是否识别出异常。
5.根据权利要求4所述的方法,其特征在于,所述对所述第一图像信息和所述第二图像信息的分类识别结果进行综合判断,确定是否识别出异常,具体包括:
对所述第一图像信息和所述第二图像信息的分类识别结果进行加权求和计算,其中,邻近路灯的权重是依据与所述路灯之间的距离确定得到的,距离所述路灯越近其权重越高;
若计算得到的加权求和值大于预置阈值,则确定识别出异常。
6.根据权利要求5所述的方法,其特征在于,在所述服务器对所述第一图像信息和所述第二图像信息进行多类型的分类识别之前,所述方法还包括:
通过各个摄像机采集的有效图像建立数据集,并依据场景类型标记每一图像对应的分类标签,其中,所述场景类型包括:自然灾害类、车辆碰撞类、危险行为类、道路损坏类中的一个或多个;
对所述数据集中的图像进行图像归一化和初始化处理,并在有效数据扩充后分离出训练集和测试集;
加载所述训练集和测试集,传入resnet18网络模型中进行训练,得到识别模型;
所述服务器对所述第一图像信息和所述第二图像信息进行多类型的分类识别,具体包括:
按照预设帧数间隔,将每一帧图像传入所述识别模型中进行场景类型识别;
若识别结果为所述场景类型中的一个或多个,则判定图像信息为异常数据。
7.根据权利要求1所述的方法,其特征在于,所述服务器在识别出异常时触发进行维护处理,具体包括:
在区块链中存储证明存在异常的图像信息;
将存储的图像信息以及与所述路灯标识对应的地址信息,按照场景类型发送给对应的机构进行维护处理。
8.一种基于人工智能的图像识别装置,其特征在于,包括:
获取模块,用于调用与路灯预先绑定的摄像头的感应装置,获取所述摄像头的监控区域内的温度数据;
判断模块,用于通过将所述温度数据与未有物体进入所述监控区域内时的参考温度数据进行比较,判断是否有物体进入所述监控区域内;
收集模块,用于若有物体进入所述监控区域内,则开启所述路灯,并调用所述摄像机开始收集所述监控区域内的第一图像信息;
发送模块,用于将所述第一图像信息和所述路灯的路灯标识发送给服务器进行识别,以使得所述服务器在识别出异常数据时触发进行维护处理。
9.一种非易失性可读存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110908184.1A CN113627321A (zh) | 2021-08-09 | 2021-08-09 | 基于人工智能的图像识别方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110908184.1A CN113627321A (zh) | 2021-08-09 | 2021-08-09 | 基于人工智能的图像识别方法、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113627321A true CN113627321A (zh) | 2021-11-09 |
Family
ID=78383616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110908184.1A Pending CN113627321A (zh) | 2021-08-09 | 2021-08-09 | 基于人工智能的图像识别方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627321A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114882676A (zh) * | 2022-07-12 | 2022-08-09 | 云南华尔贝光电技术有限公司 | 基于智能杆的多场景下智能监控预警方法及系统 |
CN115257527A (zh) * | 2022-06-27 | 2022-11-01 | 智己汽车科技有限公司 | 尾灯显示的控制方法、装置及车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102811343A (zh) * | 2011-06-03 | 2012-12-05 | 南京理工大学 | 一种基于行为识别的智能视频监控系统 |
KR20140128590A (ko) * | 2013-04-29 | 2014-11-06 | (주)티엘씨테크놀로지 | 가로등을 이용한 영상감시 방범 시스템 |
WO2015147573A1 (ko) * | 2014-03-27 | 2015-10-01 | 주식회사 네브레이코리아 | 조명 융합형 무선 감시 카메라 시스템 |
CN106297129A (zh) * | 2016-08-31 | 2017-01-04 | 浙江宇视科技有限公司 | 一种视频监控的实现方法和监控设备 |
TWM555538U (zh) * | 2017-10-12 | 2018-02-11 | 天鉞電子股份有限公司 | 照明監視設備 |
CN211656473U (zh) * | 2020-02-28 | 2020-10-09 | 云南继元物联网股份有限公司 | 一种智慧小区安防照明联动控制系统 |
-
2021
- 2021-08-09 CN CN202110908184.1A patent/CN113627321A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102811343A (zh) * | 2011-06-03 | 2012-12-05 | 南京理工大学 | 一种基于行为识别的智能视频监控系统 |
KR20140128590A (ko) * | 2013-04-29 | 2014-11-06 | (주)티엘씨테크놀로지 | 가로등을 이용한 영상감시 방범 시스템 |
WO2015147573A1 (ko) * | 2014-03-27 | 2015-10-01 | 주식회사 네브레이코리아 | 조명 융합형 무선 감시 카메라 시스템 |
CN106297129A (zh) * | 2016-08-31 | 2017-01-04 | 浙江宇视科技有限公司 | 一种视频监控的实现方法和监控设备 |
TWM555538U (zh) * | 2017-10-12 | 2018-02-11 | 天鉞電子股份有限公司 | 照明監視設備 |
CN211656473U (zh) * | 2020-02-28 | 2020-10-09 | 云南继元物联网股份有限公司 | 一种智慧小区安防照明联动控制系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115257527A (zh) * | 2022-06-27 | 2022-11-01 | 智己汽车科技有限公司 | 尾灯显示的控制方法、装置及车辆 |
CN115257527B (zh) * | 2022-06-27 | 2024-05-14 | 智己汽车科技有限公司 | 尾灯显示的控制方法、装置及车辆 |
CN114882676A (zh) * | 2022-07-12 | 2022-08-09 | 云南华尔贝光电技术有限公司 | 基于智能杆的多场景下智能监控预警方法及系统 |
CN114882676B (zh) * | 2022-07-12 | 2022-11-01 | 云南华尔贝光电技术有限公司 | 基于智能杆的多场景下智能监控预警方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
CN109271554B (zh) | 一种智能视频识别系统及其应用 | |
CN109299683B (zh) | 一种基于人脸识别和行为大数据的安防评估系统 | |
US9792505B2 (en) | Video monitoring method, video monitoring system and computer program product | |
CN110650316A (zh) | 智能巡逻及预警处理方法、装置、电子设备及存储介质 | |
CN109325429B (zh) | 一种关联特征数据的方法、装置、存储介质及终端 | |
CN112396658A (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
CN109740411A (zh) | 基于人脸识别的智能监控系统、监控方法及快速出警方法 | |
CN113627321A (zh) | 基于人工智能的图像识别方法、装置及计算机设备 | |
CN202940921U (zh) | 一种基于人脸识别的实时监控系统 | |
CN110738178A (zh) | 园区施工安全检测方法、装置、计算机设备及存储介质 | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
CN111047824B (zh) | 一种室内儿童看护联动控制预警方法及系统 | |
CN111539338A (zh) | 行人口罩佩戴管控方法、装置、设备及计算机存储介质 | |
CN109492509A (zh) | 身份识别方法、装置、计算机可读介质及系统 | |
CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
CN111126411B (zh) | 一种异常行为识别方法及装置 | |
CN111860187A (zh) | 一种高精度的佩戴口罩识别方法及系统 | |
KR101547255B1 (ko) | 지능형 감시 시스템의 객체기반 검색방법 | |
CN112885014A (zh) | 预警方法、装置、系统和计算机可读存储介质 | |
CN114463779A (zh) | 吸烟识别方法、装置、设备及存储介质 | |
CN111582183A (zh) | 一种公共场所的口罩识别方法及系统 | |
CN116682162A (zh) | 一种基于实时视频流的机器人人员检测算法 | |
CN113469150B (zh) | 一种用于对风险行为进行识别的方法及系统 | |
CN115953815A (zh) | 基建现场的监测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |