CN111681255B - 一种对象识别方法和相关装置 - Google Patents
一种对象识别方法和相关装置 Download PDFInfo
- Publication number
- CN111681255B CN111681255B CN202010824916.4A CN202010824916A CN111681255B CN 111681255 B CN111681255 B CN 111681255B CN 202010824916 A CN202010824916 A CN 202010824916A CN 111681255 B CN111681255 B CN 111681255B
- Authority
- CN
- China
- Prior art keywords
- point location
- image
- area
- identified
- ground area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本申请实施例公开了一种对象识别方法和相关装置,针对待识别点位采集的待识别图像,确定待识别图像中对应地面的第一地面区域,并基于第一地面区域与点位底图的第二地面区域进行地面面积变化的比较。根据面积变化信息可以确定出待识别点位的状态相对于正常占用是否发生了变化。由于待识别点位所在场景中的地面是基本固定的,因此,利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代相关技术中采用点位营业标识等经常发生变化的信息对点位占用状态进行识别,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
Description
技术领域
本申请涉及数据处理领域,特别是涉及一种对象识别方法和相关装置。
背景技术
在一些人类活动场所中,通常会在场所中设置一些点位,通过点位所划定的区域提供服务。这些点位可以是多种经营性质的点位(简称为多经点位),例如商场中的临时店铺、柜台等经营点,这些点位也可以是一些非经营性质的点位,用于提供推广、宣传、公益等目的。
商家在利用这些点位进行服务时所搭建的柜台、墙壁等点位设备多是临时性的搭建,可以随时扩建、拆除。相对于场所中的固定建筑例如固定商铺来说,这些点位数量很大且状态变动频繁。非常容易出现占用面积超出点位所划定区域的非法侵占的状态,也容易出现突然被拆除的状态。由此可见,场所中所设置的这些点位的状态需要能够被准确的监控,以保证场所的正常秩序。
相关技术中,主要采用营业标识(logo)的识别方式来确定点位状态,例如通过监控设备对点位进行图像采集,并识别占用点位的设备上的logo来判断点位状态。然而,仅仅检测logo无法判断点位全部状态,例如非法占用,且由于点位流动性很大,logo变化繁多,对于识别数据的更新频率要求很高,从而提高了识别成本。
发明内容
为了解决上述技术问题,本申请提供了一种对象识别方法和相关装置,能够提高对象识别的准确度。
本申请实施例公开了如下技术方案:
一方面,本申请实施例提供了一种对象识别方法,所述方法包括:
获取对待识别点位采集得到的待识别图像;
根据所述待识别图像,确定所述待识别图像中的第一地面区域;
确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
根据所述面积变化信息确定所述待识别点位的状态。
另一方面,本申请实施例提供了一种对象识别装置,其特征在于,所述装置包括获取单元和确定单元:
所述获取单元,用于获取对待识别点位采集得到的待识别图像;
所述确定单元,用于根据所述待识别图像,确定所述待识别图像中的第一地面区域;
所述确定单元,还用于确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
所述确定单元,还用于根据所述面积变化信息确定所述待识别点位的状态。
另一方面,本申请实施例提供了一种用于对象识别的设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的方法。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面所述的方法。
由上述技术方案可以看出,由于场所中的点位在划分好后一般处于固定位置,故可以通过对应的图像采集位置对点位进行图像的采集。针对待识别点位采集的待识别图像,确定待识别图像中对应地面的第一地面区域,并基于第一地面区域与点位底图的第二地面区域进行地面面积变化的比较。由于待识别图像和点位底图是在同一拍摄位置针对待识别点位采集得到的,且该点位底图中的待识别点位的状态处于正常占用,因此,根据面积变化信息可以确定出待识别点位的状态相对于正常占用是否发生了变化。由于待识别点位所在场景中的地面是基本固定的,因此,利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代相关技术中采用点位营业标识等经常发生变化的信息对点位占用状态进行识别,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种对象识别方法的应用场景示意图;
图2为本申请实施例提供的一种对象识别方法的流程示意图;
图3为本申请实施例提供的另一种对象识别方法的流程示意图;
图4为本申请实施例提供的一种图像分割模型训练方法的流程示意图;
图5为本申请实施例提供的另一种图像分割模型训练方法的流程示意图;
图6为本申请实施例提供的另一种图像分割模型训练方法的流程示意图;
图7为本申请实施例提供的另一种对象识别方法的应用场景示意图;
图8为本申请实施例提供的一种对象识别装置的结构示意图;
图9为本申请实施例提供的服务器的结构示意图;
图10为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
在相关技术中,仅仅检测点位logo无法判断点位非法占用等状态,且点位流动性较大,logo变化繁多,导致点位识别准确度较低。为了提高对象识别准确度,本申请实施例提供了一种对象识别方法和相关装置。
本申请实施例提供的对象识别确定方法是基于人工智能实现的,人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中,主要涉及的人工智能软件技术包括上述计算机视觉技术、机器学习/深度学习等方向。例如,可以涉及计算机视觉(Computer Vision)中的图像处理(Image Processing)、图像语义理解等,也可以涉及机器学习(Machine learning,ML)中的深度学习(Deep Learning),包括各类人工神经网络(Artificial Neural Network, ANN)。
为了便于理解本申请的技术方案,下面结合实际应用场景对本申请实施例提供的对象识别方法进行介绍。
本申请提供的对象识别方法可以应用于具有数据处理能力的对象识别设备,如终端设备、服务器。其中,终端设备具体可以为智能手机、计算机、个人数字助理(PersonalDigital Assistant,PDA)、平板电脑等;服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
该数据处理设备可以具备实施计算机视觉技术的能力,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、文字识别(Optical Character Recognition, OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
在本申请实施例中,对象识别设备可以通过计算机视觉中的图像语义理解等技术对图像进行分割处理。
该对象识别设备可以具备机器学习能力。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络等技术。
在本申请实施例提供的对象识别方法中采用的图像分割模型主要涉及对神经网络的应用,通过神经网络实现对图像中地面区域的分割。
此外,本申请实施例提供的对象识别设备还具备云计算能力。云计算(cloudcomputing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(GridComputing )、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
在本申请实施例中,对象处理设备可以利用云计算技术,对针对对象采集的图像进行处理,以便根据图像处理得到的信息确定对象的状态。
下面以服务器作为对象识别设备对本申请实施例进行介绍。
参见图1,图1为本申请实施例提供的对象识别方法的应用场景示意图。在图1所示的应用场景中,包括拍摄设备101和服务器102。其中,拍摄设备101部署在待监控场所中固定位置,用于拍摄待识别点位,在本实施例中以商场作为待监控场所进行介绍。
在商场内,拍摄设备101针对待识别点位进行拍摄,得到待识别图像,如图1中的103所示。拍摄设备101通过网络传输,将待识别图像103发送至服务器102。
服务器102接收到来自拍摄设备101发送的待识别图像103,利用图像分割技术,对该待识别图像103进行分割,确定出第一地面区域,该第一地面区域标识了待识别点位在拍摄待识别图像时所处状态的地面占用情况。
进而,服务器102可以确定出第一地面区域和第二地面区域的面积变化信息。其中,第二地面区域是在同一拍摄位置针对待识别点位拍摄的点位底图确定的,且点位底图中的待识别点位处于正常占用状态。该第二地面区域标识了待识别点位处于正常占用状态时的地面占用情况。
如图1所示,在待识别点位处于正常占用状态时,拍摄设备101针对待识别点位进行拍摄,得到点位底图105,并将点位底图105发送给服务器102进行处理。服务器102接收到点位底图105后,利用图像分割技术对点位底图105进行分割,得到第二地面区域106。基于此,服务器102可以确定出第一地面区域104和第二地面区域106的面积变化信息107。
由于面积变化信息标识了相对于待识别点位的状态处于正常占用时,待识别点位所处位置的地面面积变化情况。因此,可以根据面积变化信息确定待识别点位在拍摄待识别点位时所处的状态。在图1所示的应用场景中,根据面积变化信息107可知,在待识别点位所在位置,地面面积扩大了,即待识别点位占用地面面积减小,由此可以确定待识别点位消失了。
上述利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代采用点位营业标识等经常发生变化的信息对点位占用状态进行识别。由于待识别点位所在场景中的地面是基本固定的,相较于点位营业标识等经常发生变化的信息,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
参见图2,图2为本申请实施例提供的一种对象识别方法的流程示意图。如图2所示,该对象识别方法包括以下步骤:
S201:获取对待识别点位采集得到的待识别图像。
在一些活动场所中,例如,大型商业广场或购物广场等,设有提供多种用于服务的点位。点位所在区域的服务设备大多是临时搭建的,具有随时扩建、随时拆除的特点。为了便于对这些活动场所进行规范管理,可以利用场所内的拍摄设备,对场所则的点位进行实时监控。
在应用过程中,可以利用预先部署的摄像头针对目标场所内的待识别点位进行拍摄,得到待识别图像。并将该待识别图像发送至服务器,以便服务器对待识别图像进行处理,从而确定待识别点位在被拍摄时所处的状态。
在实际监控过程中,可以针对待识别点位进行持续性监控或者周期性监控,例如定时针对待识别点位进行拍摄。如设置监控周期为一天,则可以设置在每天的8点、12点和16点这三个固定时刻对待识别点位进行一次或多次图像采集,采集一天中三个时刻对应的待识别图像。
上述周期性地针对待识别点位的状态进行监控,减少了监控过程中数据处理量,有效地提高了监控效率。
S202:根据所述待识别图像,确定所述待识别图像中的第一地面区域。
针对待识别图像,服务器可以利用图像分割技术,对待识别图像进行处理,确定出待识别图像中的第一地面区域,该第一地面区域标识了在拍摄待识别图像时的地面占用情况。在一种可能的实现方式中,可以利用图像分割模型对待识别图像进行图像分割,确定待识别图像中的第一地面区域。其中,图像分割模型是预先训练好的,并预先部署在服务器中的。
可以理解的是,待识别点位附近可能存在移动对象,例如,行人、临时摆放物等。当干移动对象处于拍摄设备针对待识别点位所拍摄的范围内时,拍摄设备会将移动对象拍摄进待识别图像中。由于在包括了移动对象的待识别图像中,移动对象会遮挡待识别图像中的部分地面区域,因此,基于该待识别图像确定出的第一地面区域与真实地面区域存在偏差。
为了消除移动对象所导致的地面识别误差,本实施例提供了一种可能的实现方式,即在目标时段内,利用拍摄设备针对待识别点位采集多个点位图像。然后,确定出这多个点位图像分别对应的待定地面区域,并根据待定地面区域进行合并处理,得到第一地面区域。其中,目标时段的时间长度可以预先根据监控场景设定,在此不作任何限定。
以图3所示的应用场景为例,若设定目标时段的时间长度为15s,且拍摄设备的拍摄图像的时间间隔为5s,即每隔5s针对待识别点位拍摄一张待识别图像,则在t1时刻,针对待识别点位采集到第一张点位图像301;5s之后,在t2时刻,针对待识别点位采集到第二张点位图像302;再过5s,在t3时刻,针对待识别点位采集到第三张点位图像303。由图3可以看到,针对待识别点位拍摄的待识别图像301、302和303中包括行人300,即在该目标时段内,拍摄设备针对待识别点位的拍摄范围内存在正在移动的行人。
然后,针对这3张点位图像可以分别确定出对应的待定地面区域,如图3中的304、305和306所示,并将这3个待定地面区域进行合并处理,得到第一地面区域,如图3中的307所示。由307可以看到,合并后得到的第一地面区域消除了点位图像中行人对地面的遮挡。
由于移动对象的位置是多变的,因此,在目标时段内的不同时刻,待识别图像中的移动对象可能处于不同的位置,故可以针对目标时段内的不同时刻获取多张待识别图像,通过对每个时刻对应的待识别图像所确定的待定地面区域进行合并,以消除移动对象对地面遮挡所造成的误差,从而提高对于待识别点位状态的识别准确度。
S203:确定所述第一地面区域与第二地面区域的面积变化信息。
在对待识别点位的状态进行识别之前,可以在待识别点位的状态处于正常占用时,在同一拍摄位置针对待识别点位采集得到点位底图,如图3中的308所示。同样的,可以利用图像分割技术对该点位底图进行处理,确定出第二地面区域,如图3中的309所示,该第二地面区域标识了待识别点位的状态为正常占用时的地面占用情况。在实际应用中,第二地面区域可以存储在数据库中,以便在对待识别点位的状态进行监控过程中,从数据库中调取第二地面区域,对待识别点位的状态进行识别。
在识别待识别点位的状态过程中,可以确定出第一地面区域与第二地面区域的面积变化信息,如图3中的310所示。该面积变化信息标识了相对于待识别点位的状态处于正常占用时,待识别点位所处场所的地面占用的变化情况。在实际应用中,可以用第一地面区域减去第二地面区域,即可得到面积变化信息。
由于第一地面区域和第二地面区域都是基于图像确定的,因此,通过比较第一地面区域和第二地面区域确定的面积变化信息,从图像像素级别上反映了在图像采集位置针对待识别点位所拍摄范围内的地面变化情况。面积变化信息所包括的像素差别数量体现了在所述拍摄范围内的地面变化程度。像素差别数量越大,表明地面变化程度越大;像素差别越小,表明地面变化程度越小。
由于处于场所中的点位一般很多,需要处于不同固定位置(图像采集位置)的拍摄设备进行图像采集,进行图像采集时,会形成多个由点位和拍摄设备构成的采集对,不同采集对中,点位和拍摄设备间的距离一般难以保持一致。例如点位A与其对应的拍摄设备间的第一距离和点位B与其对应的拍摄设备间的第二距离差别很大。因此,对距离不同的点位进行拍摄时,所采集的点位图像像素所标识的地面面积大小可能有较大差别。一般的,图像采集位置与点位的距离越远,图像像素所标识的地面面积越大;图像采集位置与点位的距离越近,图像像素所标识的地面面积越小。
例如,图像采集位置x1与点位A之间的距离为5m,与点位B之间的距离为10m,则在图像采集位置x1针对点位A进行拍摄,采集得到点位图像p1,针对点位B进行拍摄,采集得到点位图像p2,则点位图像p1中的像素所标识的地面面积小于点位图像p2中的像素所标识的地面面积。
若针对一个场所中所有点位对应的面积变化信息都采用相同的像素点与面积的比例关系进行计算,会因为上述情况提及的距离差别而造成一定的计算误差。为了消除距离对图像像素所标识的地面面积大小的影响,在一种可能的实现方式中,可以确定图像采集位置与待识别点位间的距离,然后,根据第一地面区域与第二地面区域的像素差别数量以及距离,确定第一地面区域与第二地面区域的面积变化信息。
上述在利用像素差别数量的基础上,增加图像采集位置与点位之间的距离信息,确定面积变化信息,提高了确定面积变化信息的精度,从而提高了以面积变化信息作为点位状态的判断依据的可靠性。
S204:根据所述面积变化信息确定所述待识别点位的状态。
在实际应用中,可以将面积变化信息与阈值进行比较,根据比较结果确定待识别点位的状态。其中,阈值可以根据实际应用场景以及监管需求进行调整,在此不做任何限定。具体的,判断面积变化信息是否大于阈值,即图3所示的步骤311。
若确定所述面积变化信息小于阈值,则确定所述待识别点位的状态为正常占用,即图3所示的312。
当面积变化信息小于阈值时,表明第一地面区域相较于第二地面区域,地面面积变化较小,即待识别图像中的地面面积与点位底图中的地面面积相同或相近,说明在拍摄待识别图像时刻,待识别点位的状态与点位底图中的待识别点位的状态相同或相近。在此情况下,可以将待识别点位的状态确定为正常占用。
若确定所述面积变化信息大于或等于所述阈值,则执行图3所示的步骤313,即判断第一地面区域的面积是否大于第二地面区域的面积。
若所述第一地面区域的面积小于所述第二地面区域的面积,确定所述待识别点位的状态为侵占,即图3所示的314。
当面积变化信息大于或等于阈值时,表明第一地面区域相较于第二地面区域,地面面积变化较大,即待识别图像中的地面面积与点位底图中的地面面积差异较大,说明在拍摄待识别图像时刻,待识别点位的状态相较于点位底图中的待识别点位的状态,发生了改变。若第一地面区域的面积小于第二地面区域的面积,表明待识别图像中地面面积相较于点位底图中的地面面积缩小了,即待识别点位侵占了地面面积的可能性较大。在此情况下,可以将待识别点位的状态确定为侵占。
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积大于所述第二地面区域的面积,确定所述待识别点位的状态为占用消失,即图3所示的315。
当面积变化信息大于或等于阈值时,且第一地面区域的面积大于第二地面区域的面积,表明待识别图像中地面面积相较于点位底图中的地面面积扩大了,即待识别点位不再占有地面的可能性较大。在此情况下,可以将待识别点位的状态确定为占用消失。
上述通过比较面积变化信息与阈值的大小,以及第一地面区域的面积与第二地面区域的面积的大小,得到不同的比较结果,从而判断出待识别点位处于不同的状态。
在实际应用中,若待识别点位的状态发生改变,即确定待识别点位的状态为侵占或占用消失,可以发出警告以提示待识别点位的状态发生了改变。
可以理解的是,面积变化信息实际反映的是拍摄设备针对待识别点位所拍摄范围内的地面变化情况。在针对待识别点位拍摄点位底图和待识别图像的时间里,拍摄设备针对待识别点位的拍摄范围内可能出现移动对象占用了地面的情况,也可能出现静态对象占用了地面的情况,例如,因店铺装修在地面堆放的货物等。这些与待识别点位无关的事物会被拍摄进待识别图像中,且会影响对待识别图像中地面区域的确定。
为了消除与待识别点位无关的事物所造成的影响,在一种的可能的实现方式中,可以在根据面积变化信息确定待识别点位的状态之前,确定所述第一地面区域中与所述面积变化信息对应的变化区域,然后,确定所述变化区域和所述待识别点位在所述待识别图像中的位置是否具有位置关联。
若具有位置关联,说明面积变化信息是由待识别点位的状态变化导致的。在此情况下,执行所述根据所述面积变化信息确定所述待识别点位的状态的步骤。若不具有位置关联,说明面积变化信息不是由待识别点位的状态变化导师的。在此情况下,指示所述待识别图像中所述变化区域出现占用情况。
上述通过确定两个地面区域在形状上的变化区域,起到准确区分点位自身的占用问题和其他占用问题,提高了警报准确性和全面性。
在另一种可能的实现方式中,在确定第一地面区域与第二地面区域的面积变化信息时,具体可以为:确定第一地面区域中处于指定范围的第一部分,以及第二地面区域中处于指定范围的第二部分,再根据第一部分和第二部分确定面积变化信息。其中,指定范围是根据待识别点位在待识别图像中的位置确定的。
在实际应用中,在同一拍摄位置针对待识别点位进行拍摄,拍摄的角度和距离相同,因此,在针对待识别点位所拍摄的图像中,待识别点位的位置是基本固定的。故,可以将待识别点位所在位置的附近一定范围内的地面指定为上述指定范围,其中,指定范围的大小可以根据实际场景以及图像采集位置等因素设定,在此不做限定。
上述仅待识别点位指定范围内的地面区域进行比较,相较于以待识别图像中的整个地面区域进行比较,有效地降低了与待识别点位无关的事物对于确定待识别点位状态的干扰。
上述实施例提供的对象识别方法,由于场所中的点位在划分好后一般处于固定位置,故可以通过对应的图像采集位置对点位进行图像的采集。针对待识别点位采集的待识别图像,确定待识别图像中对应地面的第一地面区域,并基于第一地面区域与点位底图的第二地面区域进行地面面积变化的比较。由于待识别图像和点位底图是在同一拍摄位置针对待识别点位采集得到的,且该点位底图中的待识别点位的状态处于正常占用,因此,根据面积变化信息可以确定出待识别点位的状态相对于正常占用是否发生了变化。由于待识别点位所在场景中的地面是基本固定的,因此,利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代相关技术中采用点位营业标识等经常发生变化的信息对点位占用状态进行识别,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
需要说明的是,上述根据待识别图像确定第一地面区域,可以采用人工智能中的图像分割技术进行处理。在本实施例中,提供了一种可能的实现方式,即根据待识别图像,通过图像分割模型确定待识别图像中的第一地面区域。其中,图像分割模型的模型结构可以是卷积神经网络(Convolutional Neural Network, CNN)。在实际应用中,可以根据实际应用场景进行设定图像分割模型的模型结构,在此不做限定。
可以理解的是,图像分割模型的性能取决于模型的训练过程。下面结合附图,对图像分割模型训练过程进行介绍。如图4所示,本申请实施例提供的图像分割模型方法包括以下步骤:
S401:获取针对点位采集的点位训练图像。
在实际应用中,可以从数据库中获取针对点位采集的点位训练图像。其中,点位训练图像中的地面区域被进行了标注。也可以利用拍摄设备针对点位进行拍摄采集点位训练图像,然后,对点位训练图像中的地面区域进行人工标注,从而获取用于模型训练的点位训练图像。
在本实施中,如图5所示的步骤501和步骤502,采用拍摄设备实时获取针对点位采集的点位训练图像,并对该点位训练图像进行人工标注,即图5所示的步骤503,从而获取被标注了的点位训练图像,用于图像分割模型的训练。
可以理解的是,对于同一点位,需要拍摄多张图像,以提高用于模型训练的点位训练图像的丰富性。例如,针对点位A,分别拍摄白天和晚上的点位图像。由于利用拍摄设备拍摄得到的点位图像是没有进行标注的原始图像,因此,这些没有经过标注的图像数量较多时,需要投入较大的人工成本对其进行标注,且效率较低。
为了降低标注成本,提高效率,在一种可能的实现方式中,若目标点位为上述点位训练图像所对应点位的任意一个,则先针对目标点位,获取多个点位训练图像,这多个点位训练图像是在同一图像采集位置采集得到的。例如,针对点位A,在同一图像采集位置采集得到10张点位训练图像。
然后,从上述多个点位训练图像中确定一张点位训练底图,该点位训练底图中的目标点位的状态为正常占用。在实际应用中,从多个点位训练图像中选出一张稳定的、无行人等移动对象影响的点位训练图像作为点位训练底图,以此作为参考。对于上述10张点位训练图像,从中选出一张点位A的状态处于正常占用,且无其他事物干扰的点位训练图像作为点位训练底图。
由此,对点位训练底图的地面区域进行标注。由于在同一拍摄位置,针对同一点位,在其拍摄的图像中,点位所处位置是基本固定的。因此,可以并将该标注结果应用于所述多个点位训练图像中的其他点位训练图像中。对于上述选择出的点位训练底图的地面区域进行标注,并将该标注结果用于其他9张点位训练图像。
进一步地,确定其他点位训练图像与所述点位训练底图在地面区域上的差别,并对其他点位训练图像进行针对所述差别的标注。也就是说,将点位训练底图作为参考,比较点位训练图像与点位训练底图在地面区域的差别,通过标注差别即可标识出其他点位训练图像中的地面占用情况。对于上述例子中的点位训练图像,比较其他9张点位训练图像与点位训练底图在地面区域的差别,将其他9张图像相较于点位训练底图中的差别标注出来即可。
由于在同一拍摄位置针对待识别点位所拍摄的是固定场景,因此,在统一场景的点位训练图像中,只需要挑选一张无额外遮挡物的点位图像作为点位训练底图,对其进行地面标注,其它点位训练图像只需标注与点位训练底图不一致的位置即可,极大地降低了人工标注成本,提高了标注点位训练图像的效率。
S402:根据所述点位训练图像对所述图像分割模型进行训练。
可以理解的是,基于上述S401获取的点位训练图像可以包括多个场所中多个点位对应的点位训练图像。在不同的场所中,点位占用地面的大小、点位对应的图像拍摄位置等存在差异,由此导致不同点位在其对应的点位训练图像中的呈现方式存在差异。
为了提高图像分割模型对于不同点位的识别性能,在一种可能的实现方式中,可以根据待识别点位所处的目标场所,从上述点位训练图像中确定出第一数据集和第二数据集,即图5所示的步骤504和步骤505。其中,第一数据集中的点位训练图像所对应点位处于所述目标场所,第二数据集中的点位训练图像所对应点位不处于所述目标场所。
可以理解的是,对图像分割模型进行训练,需要大量的训练数据。在实际应用中,可以获取公开数据集,例如,Cityscapes,进一步扩大用于训练图像分割模型的点位训练图像,如图5所示的步骤502,以提高图像分割模型的性能。
在训练过程中,可以利用公开数据集和第二数据集对图像分割模型进行预训练,如图5所示的步骤507。由于第二数据集中包括多个场所中不同点位对应的点位训练图像,因此,图像分割模型可以对不同场所对应的点位训练图像特征进行学习,使得经过预训练后的图像分割模型,具备分割不同场所的点位训练图像中地面区域的能力。
进一步地,可以根据第一数据集对预训练后的图像分割模型进行训练,如图5所示的步骤508。基于第一数据集中针对目标点位对应的点位训练图像对预训练后的图像分割模型进行优化,使得图像分割模型对目标点位所在场所的点位训练图像特征进行强化学习,提高图像分割模型对目标点位对应点位训练图像中的地面区域的识别分割能力,从而提高对于点位状态的识别准确度。在本实施例中,可以将待识别点位作为目标点位对图像分割模型进行训练。
在实际应用中,可以对第一数据集中的点位训练图像进行处理,进一步扩充第一数据集,即图5所示的步骤506。例如,对点位训练图像进行随机翻转、随机缩放、随机裁剪、随机改变亮度等操作。通过扩充第一数据集中的点位训练图像,可以有效地增加图像分割模型对于同一场景的不同光照条件下的鲁棒性。
上述通过多个数据集对图像分割模型进行多阶段训练,提高了图像分割模型对于不同类型图像中的地面区域的识别分割能力,从而提高了对于点位的状态的识别准确度。
基于上述训练好图像分割模型后,输出训练后的图像分割模型,如图5所示的步骤509,并部署在对象识别设备中,用于针对点位的状态进行识别。
S403:在训练的过程中,提取所述点位训练图像的全局特征和局部语义特征。
在实际应用中,图像分割模型包括空间(Spatial)模块、语义(context)模块和融合模块,如图6所示。针对输入图像分割模型的点位训练图像,可以分别利用空间模块和语义模块提取点位训练图像中的全局特征和局部语义特征。其中,全局特征用于标识点位训练图像中所包含对象构成的空间结构;局部语义特征用于标识点位训练图像中像素的类别;像素的类别用于标识在所述对象中,所述像素所处位置对应的对象。对象是指点位训练图像包括所的事物,例如,地面、点位、墙壁、行人等。
上述从全局特征和局部语义特征这两个维度对图像分割模型进行训练,既考虑了图像中的全局空间结构特点,也考虑了图像中的局部对象类别特点,有助于图像分割模型对于点位训练图像中地面区域和非地面区域的识别。
在实际应用中,图像分割模型还可以包括融合模块,用于融合空间模块和语义模块所提取的全局特征和局部语义特征。利用融合模块得到的融合特征,综合反映了点位训练图像的全局特征以及局部语义特征。将该融合特征用于图像分割模型的训练,进一步提高了图像分割模型的性能。
S404:通过所述图像分割模型确定针对所述全局特征的第一损失函数,针对所述局部语义特征的第二损失函数,以及针对融合特征的第三损失函数。
上述空间模块针对点位训练图像提取全局特征后,输出针对该全局特征的第一损失函数Loss1,语义模块针对点位训练图像提取局部语义特征后,输出针对该局部语义特征的第二损失函数Loss2,以及融合模块融合空间模块和语义模块的特征得到融合特征后,输出针对该融合特征的第三损失函数Loss3。其中,第一损失函数、第二损失函数和第三损失函数都可以采用交叉熵损失。
S405:根据所述第一损失函数、第二损失函数和第三损失函数对所述图像分割模型进行参数调整。
基于上述S404确定出第一损失函数、第二损失函数和第三损失函数后,就可以根据这三个损失函数对图像分割模型进行参数调整,优化图像分割模型,进一步提高图像分割模型的识别分割能力。
为了更好的理解,下面以对购物广场中的点位X的状态进行监控为例,对本申请实施例提供的对象识别方法进行介绍。
在购物广场中部署有摄像头P,针对点位X进行拍摄。在点位X的状态为正常占用时,利用摄像头P采集得到多个点位图像,并从这多个点位图像中选择一张稳定无额外干扰的点位图像作为点位底图,即图7所示的S701。随即,利用训练好的图像分割模型对点位底图进行分割,得到第二地面区域,存储在数据库中,即S702-S703。
在对点位X实时监控的过程中,摄像头P定时采集针对点位X的待识别图像,并用图像分割模型对待识别图像进行分割,确定出待定地面区域,并存储在数据库中,即S703-S705。
设定目标时段的时间长度为一个小时,则将数据库中对应目标时段内的待定地面区域进行合并,得到第一地面区域,即S706。从数据库中调取针对点位X的第二地面区域,并用第一地面区域减去第二地面区域,得到面积变化信息,即S707-S708。
进而,执行S709,即判断面积变化信息是否大于阈值。若否,执行S710,即显示点位X的状态为正常占用。若是,执行S711,继续判断第一地面区域是否大于第二地面区域。若是,执行S712-S713,即显示点位X的状态为侵占,并发出警告;若否,执行S714和S713,即显示点位X的状态为消失,并发出警告。
上述利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代相关技术中采用点位营业标识等经常发生变化的信息对点位占用状态进行识别,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
针对上述实施例提供的对象识别方法,本申请实施例还提供了一种对象识别装置。
参见图8,图8为本申请实施例提供的一种对象识别装置。如图8所示,该对象识别装置800,包括获取单元801和确定单元802:
所述获取单元801,用于获取对待识别点位采集得到的待识别图像;
所述确定单元802,用于根据所述待识别图像,确定所述待识别图像中的第一地面区域;
所述确定单元802,还用于确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
所述确定单元802,还用于根据所述面积变化信息确定所述待识别点位的状态。
在一种可能的实现方式中,所述确定单元802,用于:
若确定所述面积变化信息小于阈值,确定所述待识别点位的状态为正常占用;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积小于所述第二地面区域的面积,确定所述待识别点位的状态为侵占;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积大于所述第二地面区域的面积,确定所述待识别点位的状态为占用消失。
在一种可能的实现方式中,所述待识别图像包括在目标时段内对所述待识别点位采集的多个点位图像,所述确定单元802,用于:
确定所述多个点位图像分别对应的待定地面区域;
根据所述待定地面区域进行合并处理,得到所述第一地面区域。
在一种可能的实现方式中,所述确定单元802,用于:
确定所述图像采集位置与所述待识别点位间的距离;
根据所述第一地面区域与所述第二地面区域的像素差别数量以及所述距离,确定所述第一地面区域与所述第二地面区域的面积变化信息。
在一种可能的实现方式中,所述确定单元802,还用于:
确定所述第一地面区域中与所述面积变化信息对应的变化区域;
确定所述变化区域和所述待识别点位在所述待识别图像中的位置是否具有位置关联;
若具有位置关联,执行所述根据所述面积变化信息确定所述待识别点位的状态的步骤;
若不具有位置关联,指示所述待识别图像中所述变化区域出现占用情况。
在一种可能的实现方式中,所述确定单元802,用于:
确定所述第一地面区域中处于指定范围的第一部分,以及所述第二地面区域中处于所述指定范围的第二部分;所述指定范围是根据所述待识别点位在所述待识别图像中的位置确定的;
根据所述第一部分和所述第二部分确定所述面积变化信息。
在一种可能的实现方式中,所述确定单元802,用于:
根据所述待识别图像,通过图像分割模型确定所述待识别图像中的第一地面区域;
其中,所述图像分割模型通过如下方式训练得到:
获取针对点位采集的点位训练图像,所述点位训练图像中的地面区域被进行了标注;
根据所述点位训练图像对所述图像分割模型进行训练;
在训练的过程中,提取所述点位训练图像的全局特征和局部语义特征,所述全局特征用于标识所述点位训练图像中所包含对象构成的空间结构,所述局部语义特征用于标识所述点位训练图像中像素的类别,所述类别用于标识在所述对象中,所述像素所处位置对应的对象;
通过所述图像分割模型确定针对所述全局特征的第一损失函数,针对所述局部语义特征的第二损失函数,以及针对融合特征的第三损失函数,所述融合特征为根据所述全局特征和局部语义特征确定的;
根据所述第一损失函数、第二损失函数和第三损失函数对所述图像分割模型进行参数调整。
在一种可能的实现方式中,所述确定单元802,用于:
根据所述待识别点位所处的目标场所,从所述点位训练图像中确定出第一数据集和第二数据集;所述第一数据集中的点位训练图像所对应点位处于所述目标场所,所述第二数据集中的点位训练图像所对应点位不处于所述目标场所;
根据所述第二数据集对所述图像分割模型进行预训练;
根据所述第一数据集对预训练后的所述图像分割模型进行训练。
在一种可能的实现方式中,目标点位为所述点位训练图像所对应点位的任意一个,在所述根据所述点位训练图像对所述图像分割模型进行训练之前,所述获取单元801,还用于:
获取针对所述目标点位的多个点位训练图像;所述多个点位训练图像是同一个图像采集位置采集的;
所述确定单元802,还用于从所述多个点位训练图像中确定点位训练底图,所述点位训练底图中所述目标点位的状态为正常占用;
所述装置800还包括标注单元:
所述标注单元,用于对所述点位训练底图的地面区域进行标注,并将标注结果应用于所述多个点位训练图像中的其他点位训练图像中;
所述确定单元802,还用于确定所述其他点位训练图像与所述点位训练底图在地面区域上的差别,并对所述其他点位训练图像进行针对所述差别的标注。
上述实施例提供的对象识别装置,由于场所中的点位在划分好后一般处于固定位置,故可以通过对应的图像采集位置对点位进行图像的采集。针对待识别点位采集的待识别图像,确定待识别图像中对应地面的第一地面区域,并基于第一地面区域与点位底图的第二地面区域进行地面面积变化的比较。由于待识别图像和点位底图是在同一拍摄位置针对待识别点位采集得到的,且该点位底图中的待识别点位的状态处于正常占用,因此,根据面积变化信息可以确定出待识别点位的状态相对于正常占用是否发生了变化。由于待识别点位所在场景中的地面是基本固定的,因此,利用图像分割手段对点位所在场景中的地面区域进行实时监控,取代相关技术中采用点位营业标识等经常发生变化的信息对点位占用状态进行识别,降低了判断点位状态所依据信息的不确定性,降低了点位识别成本,提高了确定点位状态的准确性。
本申请实施例还提供了一种用于对象识别的设备,下面将从硬件实体化的角度对本申请实施例提供的用于对象识别的设备进行介绍。
参见图9,图9是本申请实施例提供的一种服务器结构示意图,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)1422(例如,一个或一个以上处理器)和存储器1432,一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1422可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458,和/或,一个或一个以上操作系统1441,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器结构。
其中,CPU 1422用于执行如下步骤:
获取对待识别点位采集得到的待识别图像;
根据所述待识别图像,确定所述待识别图像中的第一地面区域;
确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
根据所述面积变化信息确定所述待识别点位的状态。
可选的,CPU 1422还可以执行本申请实施例中对象识别方法任一具体实现方式的方法步骤。
针对上文描述的对象识别方法,本申请实施例还提供了一种用于对象识别的终端设备,以使上述对象识别方法在实际中实现以及应用。
参见图10,图10为本申请实施例提供的一种终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant,简称PDA)等任意终端设备,以终端设备为手机为例:
图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10,该手机包括:射频(Radio Frequency,简称RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,简称WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍:
RF电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1580处理;另外,将设计上行的数据发送给基站。通常,RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,简称LNA)、双工器等。此外,RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,简称GSM)、通用分组无线服务(GeneralPacket Radio Service,简称GPRS)、码分多址(Code Division Multiple Access,简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access,简称WCDMA)、长期演进(Long Term Evolution,简称LTE)、电子邮件、短消息服务(Short Messaging Service,简称SMS)等。
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而实现手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541,可选的,可以采用液晶显示器(LiquidCrystal Display,简称LCD)、有机发光二极管(Organic Light-Emitting Diode,简称OLED)等形式来配置显示面板1541。进一步的,触控面板1531可覆盖显示面板1541,当触控面板1531检测到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图10中,触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1560、扬声器1561,传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声音信号输出;另一方面,传声器1562将收集的声音信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经RF电路1510以发送给比如另一手机,或者将音频数据输出至存储器1520以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1570,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该手机所包括的存储器1520可以存储程序代码,并将所述程序代码传输给所述处理器。
该手机所包括的处理器1580可以根据所述程序代码中的指令执行上述实施例提供的对象识别方法。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行上述实施例提供的对象识别方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的对象识别方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (15)
1.一种对象识别方法,其特征在于,所述方法包括:
获取对待识别点位采集得到的待识别图像;
根据所述待识别图像,确定所述待识别图像中的第一地面区域;
确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
根据所述面积变化信息确定所述待识别点位的状态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述面积变化信息确定所述待识别点位的状态,包括:
若确定所述面积变化信息小于阈值,确定所述待识别点位的状态为正常占用;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积小于所述第二地面区域的面积,确定所述待识别点位的状态为侵占;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积大于所述第二地面区域的面积,确定所述待识别点位的状态为占用消失。
3.根据权利要求1所述的方法,其特征在于,所述待识别图像包括在目标时段内对所述待识别点位采集的多个点位图像,所述根据所述待识别图像,确定所述待识别图像的第一地面区域,包括:
确定所述多个点位图像分别对应的待定地面区域;
根据所述待定地面区域进行合并处理,得到所述第一地面区域。
4.根据权利要求1所述的方法,其特征在于,所述确定所述第一地面区域与第二地面区域的面积变化信息,包括:
确定所述图像采集位置与所述待识别点位间的距离;
根据所述第一地面区域与所述第二地面区域的像素差别数量以及所述距离,确定所述第一地面区域与所述第二地面区域的面积变化信息。
5.根据权利要求1-4任意一项所述的方法,其特征在于,在所述根据所述面积变化信息确定所述待识别点位的状态之前,所述方法还包括:
确定所述第一地面区域中与所述面积变化信息对应的变化区域;
确定所述变化区域和所述待识别点位在所述待识别图像中的位置是否具有位置关联;
若具有位置关联,执行所述根据所述面积变化信息确定所述待识别点位的状态的步骤;
若不具有位置关联,指示所述待识别图像中所述变化区域出现占用情况。
6.根据权利要求1-4任意一项所述的方法,其特征在于,所述确定所述第一地面区域与第二地面区域的面积变化信息,包括:
确定所述第一地面区域中处于指定范围的第一部分,以及所述第二地面区域中处于所述指定范围的第二部分;所述指定范围是根据所述待识别点位在所述待识别图像中的位置确定的;
根据所述第一部分和所述第二部分确定所述面积变化信息。
7.根据权利要求1-4任意一项所述的方法,其特征在于,所述根据所述待识别图像,确定所述待识别图像中的第一地面区域,包括:
根据所述待识别图像,通过图像分割模型确定所述待识别图像中的第一地面区域;
其中,所述图像分割模型通过如下方式训练得到:
获取针对点位采集的点位训练图像,所述点位训练图像中的地面区域被进行了标注;
根据所述点位训练图像对所述图像分割模型进行训练;
在训练的过程中,提取所述点位训练图像的全局特征和局部语义特征,所述全局特征用于标识所述点位训练图像中所包含对象构成的空间结构,所述局部语义特征用于标识所述点位训练图像中像素的类别,所述类别用于标识在所述对象中,所述像素所处位置对应的对象;
通过所述图像分割模型确定针对所述全局特征的第一损失函数,针对所述局部语义特征的第二损失函数,以及针对融合特征的第三损失函数,所述融合特征为根据所述全局特征和局部语义特征确定的;
根据所述第一损失函数、第二损失函数和第三损失函数对所述图像分割模型进行参数调整。
8.根据权利要求7所述的方法,其特征在于,所述根据所述点位训练图像对所述图像分割模型进行训练,包括:
根据所述待识别点位所处的目标场所,从所述点位训练图像中确定出第一数据集和第二数据集;所述第一数据集中的点位训练图像所对应点位处于所述目标场所,所述第二数据集中的点位训练图像所对应点位不处于所述目标场所;
根据所述第二数据集对所述图像分割模型进行预训练;
根据所述第一数据集对预训练后的所述图像分割模型进行训练。
9.根据权利要求7所述的方法,目标点位为所述点位训练图像所对应点位的任意一个,在所述根据所述点位训练图像对所述图像分割模型进行训练之前,所述方法还包括:
获取针对所述目标点位的多个点位训练图像;所述多个点位训练图像是同一个图像采集位置采集的;
从所述多个点位训练图像中确定点位训练底图,所述点位训练底图中所述目标点位的状态为正常占用;
对所述点位训练底图的地面区域进行标注,并将标注结果应用于所述多个点位训练图像中的其他点位训练图像中;
确定所述其他点位训练图像与所述点位训练底图在地面区域上的差别,并对所述其他点位训练图像进行针对所述差别的标注。
10.一种对象识别装置,其特征在于,所述装置包括获取单元和确定单元:
所述获取单元,用于获取对待识别点位采集得到的待识别图像;
所述确定单元,用于根据所述待识别图像,确定所述待识别图像中的第一地面区域;
所述确定单元,还用于确定所述第一地面区域与第二地面区域的面积变化信息;所述第二地面区域为点位底图中体现的地面区域,所述待识别图像和所述点位底图为通过同一个图像采集位置对所述待识别点位采集得到的,所述点位底图中所述待识别点位的状态为正常占用;
所述确定单元,还用于根据所述面积变化信息确定所述待识别点位的状态。
11.根据权利要求10所述的装置,其特征在于,所述确定单元,用于:
若确定所述面积变化信息小于阈值,确定所述待识别点位的状态为正常占用;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积小于所述第二地面区域的面积,确定所述待识别点位的状态为侵占;
若确定所述面积变化信息大于或等于所述阈值,且所述第一地面区域的面积大于所述第二地面区域的面积,确定所述待识别点位的状态为占用消失。
12.根据权利要求10所述的装置,其特征在于,所述待识别图像包括在目标时段内对所述待识别点位采集的多个点位图像,所述确定单元,用于:
确定所述多个点位图像分别对应的待定地面区域;
根据所述待定地面区域进行合并处理,得到所述第一地面区域。
13.根据权利要求10所述的装置,其特征在于,所述确定单元,用于:
确定所述图像采集位置与所述待识别点位间的距离;
根据所述第一地面区域与所述第二地面区域的像素差别数量以及所述距离,确定所述第一地面区域与所述第二地面区域的面积变化信息。
14.一种计算机设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-9任意一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010824916.4A CN111681255B (zh) | 2020-08-17 | 2020-08-17 | 一种对象识别方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010824916.4A CN111681255B (zh) | 2020-08-17 | 2020-08-17 | 一种对象识别方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111681255A CN111681255A (zh) | 2020-09-18 |
CN111681255B true CN111681255B (zh) | 2020-11-13 |
Family
ID=72438641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010824916.4A Active CN111681255B (zh) | 2020-08-17 | 2020-08-17 | 一种对象识别方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111681255B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142193A (zh) * | 2010-01-28 | 2011-08-03 | 大猩猩科技股份有限公司 | 交通违规行为自动侦测系统与方法 |
CN106384532A (zh) * | 2015-07-31 | 2017-02-08 | 富士通株式会社 | 视频数据分析方法、装置以及停车位监控系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333205A (ja) * | 2005-05-27 | 2006-12-07 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理方法及び画像処理プログラム |
US9129524B2 (en) * | 2012-03-29 | 2015-09-08 | Xerox Corporation | Method of determining parking lot occupancy from digital camera images |
CN108572449B (zh) * | 2014-03-31 | 2021-09-14 | 联想(北京)有限公司 | 显示装置和电子设备 |
CN105740836B (zh) * | 2016-02-03 | 2019-04-26 | 安徽清新互联信息科技有限公司 | 一种违法占用应急车道的检测方法 |
CN105608906A (zh) * | 2016-03-29 | 2016-05-25 | 成都理工大学 | 高速公路机动车非法占用应急车道的监控系统及实现方法 |
JP6846230B2 (ja) * | 2017-02-14 | 2021-03-24 | 日立Astemo株式会社 | 車載制御装置及び車載環境認識装置 |
CN110096975B (zh) * | 2019-04-17 | 2021-04-09 | 北京筑梦园科技有限公司 | 一种车位状态识别方法、设备及系统 |
CN111080656A (zh) * | 2019-12-10 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 一种图像处理的方法、图像合成的方法以及相关装置 |
-
2020
- 2020-08-17 CN CN202010824916.4A patent/CN111681255B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142193A (zh) * | 2010-01-28 | 2011-08-03 | 大猩猩科技股份有限公司 | 交通违规行为自动侦测系统与方法 |
CN106384532A (zh) * | 2015-07-31 | 2017-02-08 | 富士通株式会社 | 视频数据分析方法、装置以及停车位监控系统 |
Non-Patent Citations (2)
Title |
---|
城市地下商业空间步行出入口设计研究;潘永峰;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20100115;第C038-55页 * |
基层林业工作站的现状调查及分析;黄恒辉 等;《中国集体经济》;20151205;第52-53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111681255A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3944147A1 (en) | Target detection method, model training method, device, apparatus and storage medium | |
TWI786313B (zh) | 目標跟蹤方法、裝置、介質以及設備 | |
CN111182453B (zh) | 定位方法、装置、电子设备及存储介质 | |
CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
CN111582116B (zh) | 一种视频抹除痕迹检测方法、装置、设备和存储介质 | |
CN112203115B (zh) | 一种视频识别方法和相关装置 | |
CN110766081B (zh) | 一种界面图像检测的方法、模型训练的方法以及相关装置 | |
CN107464290A (zh) | 三维信息展示方法、装置和移动终端 | |
CN112686197B (zh) | 一种数据处理方法和相关装置 | |
CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
CN115937638B (zh) | 模型训练方法、图像处理方法、相关装置及存储介质 | |
CN110347858B (zh) | 一种图片的生成方法和相关装置 | |
CN114722937A (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
CN110544287A (zh) | 一种配图处理方法及电子设备 | |
CN113723159A (zh) | 场景识别模型训练方法、场景识别方法及模型训练装置 | |
CN115471495B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
CN111681255B (zh) | 一种对象识别方法和相关装置 | |
CN110750193B (zh) | 一种基于人工智能的场景拓扑确定方法和装置 | |
CN110795994B (zh) | 路口图像选择方法及装置 | |
CN113819913A (zh) | 一种路径规划方法及装置、计算机设备和存储介质 | |
CN111986251A (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
CN111981975B (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
CN113535055B (zh) | 一种基于虚拟现实播放点读物的方法、设备及存储介质 | |
CN116152289A (zh) | 一种目标对象的跟踪方法、相关装置、设备以及存储介质 | |
CN117935278A (zh) | 一种兴趣点数据的生成方法、装置、相关设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028572 Country of ref document: HK |