CN112053397A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112053397A
CN112053397A CN202010677347.5A CN202010677347A CN112053397A CN 112053397 A CN112053397 A CN 112053397A CN 202010677347 A CN202010677347 A CN 202010677347A CN 112053397 A CN112053397 A CN 112053397A
Authority
CN
China
Prior art keywords
image
detected
target
target area
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010677347.5A
Other languages
English (en)
Inventor
刘伟舟
胡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010677347.5A priority Critical patent/CN112053397A/zh
Publication of CN112053397A publication Critical patent/CN112053397A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了图像处理方法、装置、电子设备及存储介质，该方法包括：建立待检测图像对应的三维结构；获取待检测图像中的目标区域的中心点的法向量；基于摄像头的位姿和待检测图像中的目标区域的中心点的法向量，确定目标区域所对应的正上方采集视角；以正上方采集视角对待检测图像对应的三维结构进行投影，得到正上方采集视角图像。实现了得到更加准确的目标区域的边界区域的位置等信息，提升区域检测的准确性。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉领域，具体涉及图像处理方法、装置、电子设备及存储介质。
背景技术
入侵检测技术是基于摄像头采集的图像实时确定是否有物体进入目标区域的技术，入侵检测技术被广泛应用在用于城市安防进入检测、工厂危险区域入侵警戒、商场区域人流密度分析等多个场景。
由于安装条件的限制，摄像头的安装位置通常在目标区域之外，采集视角相对于目标区域倾斜，一些采集视角相对于目标区域甚至是严重倾斜。
一方面，由于采集视角倾斜于目标区域，可能出现摄像头可能仅拍摄到物体进入目标区域的实际部分的一部分，相应的，监控图像中仅包括物体进入目标区域的实际部分的一部分，造成难以通过监控图像准确地确定物体进入目标区域的实际部分，得到的进入检测结果的准确性较低。
另一方面，在实际的同一种进入情况下，即物体进入同一个目标区域的部分的面积相同的情况，由于采集视角的不同，以不同的采集视角采集的监控图像中的物体进入进入区域的部分的面积不同，以不同的面积与同一个进入检测判断标准例如同一个面积阈值进行比较，可能在实际的同一种进入情况下，得到不同的进入检测结果，从而，造成得到的进入检测结果的准确性较低。
发明内容
为克服相关技术中存在的问题，本申请提供一种图像处理方法、装置、电子设备及存储介质。
根据本申请实施例的第一方面，提供一种图像处理方法，包括：
建立待检测图像对应的三维结构；
获取所述待检测图像中的目标区域的中心点的法向量；
基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角；
以所述正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像。
在一些实施例中，所述方法还包括：
对所述正上方采集视角图像进行检测，确定目标物对应的目标包围框；
基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果。
在一些实施例中，所述基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果包括：
计算所述目标包围框与所述正上方采集视角图像中的目标区域的交并比；
当所述交并比大于设定阈值时，确定指示所述目标包围框对应的目标物进入所述目标区域的目标检测结果。
在一些实施例中，基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角包括：
基于采集所述待检测图像的摄像头的位姿和所述法向量，估计出姿态变换矩阵；
根据所述姿态变换矩阵，确定所述目标区域所对应的正上方采集视角。
在一些实施例中，获取所述待检测图像中的目标区域的中心点的法向量包括:
从所述待检测图像中提取地面特征信息，所述地面特征信息包括：所述待检测图像中的地面的轮廓特征信息、至少一个位于所述待检测图像中的地面上的对象的轮廓特征信息；
基于所述地面特征信息，确定所述待检测图像中的目标区域；
生成所述待检测图像中的目标区域的中心点的法向量。
在一些实施例中，所述待检测图像中的目标区域的中心点为所述待检测图像中的目标区域的重心。
在一些实施例中，在建立待检测图像对应的三维结构之前，所述方法还包括：
基于所述摄像头采集的多个原始采集视角图像，确定所述摄像头的位姿。
根据本申请实施例的第二方面，提供一种图像处理装置，包括：
建立单元，被配置为建立待检测图像对应的三维结构；
获取单元，被配置为获取所述待检测图像中的目标区域的中心点的法向量；
确定单元，被配置为基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角；
投影单元，被配置为以所述正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像。
在一些实施例中，所述装置还包括：
检测单元，被配置为对所述正上方采集视角图像进行检测，确定目标物对应的目标包围框；基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果。
在一些实施例中，检测单元进一步被配置为计算所述目标包围框与所述正上方采集视角图像中的目标区域的交并比；当所述交并比大于设定阈值时，确定指示所述目标包围框对应的目标物进入所述目标区域的目标检测结果。
在一些实施例中，确定单元进一步被配置为基于采集所述待检测图像的摄像头的位姿和所述法向量，估计出姿态变换矩阵；根据所述姿态变换矩阵，确定所述目标区域所对应的正上方采集视角。
在一些实施例中，获取单元进一步被配置为从所述待检测图像中提取地面特征信息，所述地面特征信息包括：所述待检测图像中的地面的轮廓特征信息、至少一个位于所述待检测图像中的地面上的对象的轮廓特征信息；基于所述地面特征信息，确定所述待检测图像中的目标区域；生成所述待检测图像中的目标区域的中心点的法向量。
在一些实施例中，所述待检测图像中的目标区域的中心点为所述待检测图像中的目标区域的重心。
在一些实施例中，位姿确定单元，被配置为在建立待检测图像对应的三维结构之前，基于所述摄像头采集的多个原始采集视角图像，确定所述摄像头的位姿。
本申请实施例提供的图像处理方法、装置，实现了通过基于采集待检测图像的摄像头的位姿和待检测图像中的目标区域的中心点的法向量，确定目标区域所对应的正上方采集视角，相当于将摄像头的采集视角配置为正上方采集视角，以正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像，正上方采集视角是鸟瞰类型的视角，相当于摄像头在鸟瞰地面上的物体的情况下采集图像，从而，可以得到更加准确的目标区域的边界区域的位置等信息，提升区域检测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的图像处理方法的流程图；
图2示出了本申请实施例提供的图像处理装置的结构框图；
图3示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的图像处理方法的流程图，该方法包括：
步骤101，建立待检测图像对应的三维结构。
在本申请中，将用于检测的摄像头采集的图像称之为原始采集视角图像。用于检测的摄像头可以为单目的摄像头。在进行进入检测期间，用于进入检测的摄像头持续地采集原始采集视角图像，形成视频流。
在本申请中，可以进一步将摄像头采集的用于检测是否有物体进入目标区域的原始采集视角图像称之为待检测图像。
待检测图像可以从摄像头采集的视频流中选取出。
每一次利用一个摄像头采集的一个待检测图像进行进入检测，均可以执行步骤101-104，只是每一次进入检测针对的由该摄像头待检测图像不同。因此，步骤101-104是利用一个摄像头采集的一个的原始采集视角图像进行一次进入检测的过程中的步骤。
建立待检测图像对应的三维结构相当于对采集该待检测图像的摄像头针对的进入检测场景进行三维重建。
待检测图像对应的三维结构包括：该待检测图像中的每一个对象的三维结构。
例如，对于一个工厂的目标区域进行进入检测。待检测图像包括：地面、位于地面上的目标区域中的建筑物、行人、车辆、位于地面上的非目标区域中的建筑物、行人、车辆等对象。待检测图像对应的三维结构包括待检测图像中的每一个对象的三维结构。例如，当对进入商场的人流量进行统计时，对于一个商场进行进入检测，待检测图像包括：地面、位于地面上的该商场、邻近该商场的建筑物、邻近该商场的行人、邻近该商场的车辆等物体。待检测图像对应的三维结构包括待检测图像中的每一个对象的三维结构。
由于建筑物对象是固定的，对于一个摄像头而言，该摄像头采集的每一个待检测图像中的建筑物是相同的，该摄像头采集的待检测图像之间只有可能包括的行人、车辆等移动对象不同。因此，在首次执行步骤101之后，可以存储建筑物对象例如商场、工厂中的三维结构，再次执行步骤101时，无需重新建立建筑物对象的三维结构，仅需建立行人、车辆等移动对象的三维结构，与预先存储的建筑物对象的三维结构组成进入检测场景的三维结构，即待检测图像对应的三维结构。
在本申请中，在建立待检测图像对应的三维结构时，可以利用用于深度估计的神经网络首先从待检测图像提取与深度信息相关的特征，基于与深度信息相关的特征，预测出待检测图像中的像素的深度信息。
用于深度估计的神经网络可以为Coarse网络、FCN(Fully ConvolutionalNetworks)网络等。
从而，除了根据待检测图像已有的图像特征信息，获取待检测图像中的每一个像素在R通道的像素值、G通道的像素值、B通道的像素值，还获取每一个像素的深度信息。待检测图像相当于RGB-D图像。
在本申请中，可以利用3D-R2N2网络根据待检测图像中的每一个像素在R通道的像素值、G通道的像素值、B通道的像素值、深度信息进行三维结构重建，得到待检测图像对应的三维结构。
步骤102，获取待检测图像中的目标区域的中心点的法向量。
待检测图像中的目标区域为进入检测场景中实际的目标区域在待检测图像中的表示。换言之，待检测图像中的目标区域可以是指在待检测图像中表示进入检测场景中实际的目标区域的区域。
在本申请中，可以由标注人员对原始采集视角图像中的目标区域的轮廓进行标注。从而，确定对原始采集视角图像中的目标区域的轮廓的各个线段在原始采集视角图像中的位置，确定原始采集视角图像中的目标区域。然后，可以进一步确定待检测图像中的目标区域的中心点，生成待检测图像中的目标区域的中心点的法向量。
待检测图像中的目标区域的中心点的法向量为以待检测图像中的目标区域的中心点为起点的垂直于待检测图像中的目标区域的法向量。
由于待检测图像中的目标区域是相同的，因此，仅需对一个待检测图像进行标注，在确定被标注的待检测图像中的目标区域之后，其他的所有待检测图像中的目标区域也可以确定。
在本申请中，也可以预先利用训练样本对用于检测目标区域的神经网络进行训练。训练样本为原始采集视角图像，对训练样本中的目标区域的轮廓进行标注。使得经过训练的神经网络学习目标区域的轮廓的特征，对待检测图像中的目标区域进行检测。
在一些实施例中，从待检测图像中提取地面特征信息，该地面特征信息包括：该待检测图像中的地面的轮廓特征信息、每一个位于该待检测图像中的地面上的对象的轮廓特征信息；基于该地面特征信息，确定该待检测图像中的目标区域；生成该待检测图像中的目标区域的中心点的法向量。
在本申请中，可以确定待检测图像中的地面在每一个方向的边界线。可以采用已有的地平线估计技术确定待检测图像中的地面在每一个个方向的边界线，在确定待检测图像中的地面在各个方向的边界线之后，可以确定待检测图像中的地面。
然后，可以对待检测图像中的地面上的物体进行边缘检测，以获取待检测图像中的地面上的每一个对象的轮廓特征信息。地面上的对象的轮廓特征信息描述对象在地面上的轮廓。根据对象的轮廓特征信息，可以确定对象在地面上的轮廓。
当目标区域为某一个建筑物在地面上占据的区域时，目标区域的轮廓为该建筑物在地面上的轮廓。某一个建筑物在地面上占据的区域的轮廓是已知的，因此，可以确定每一个对象在地面上的轮廓中哪一个是该建筑物的轮廓，从而，确定目标区域。
当目标区域包括多个建筑物时，则目标区域的轮廓上的边界线与对象在地面上的轮廓上的相应的方向的边界线的相对位置关系是已知的，因此，可以确定目标区域的轮廓在各个方向上的边界线，可以确定目标区域。
在一些实施例中，待检测图像中的目标区域的中心点为所述待检测图像中的目标区域的重心。
在本申请中，可以根据从待检测图像中获取的的地面特征信息，确定目标区域的重心的位置，从而，确定目标区域的重心，将目标区域的重心作为区域的中心点。
例如，目标区域为一个商场在平面上的区域。商场在地面上的轮廓的形状并不是规则的形状，此时，确定商场在地面上的区域的重心，将商场在地面上的区域的重心作为商场在地面上的区域的中心点。
步骤103，基于摄像头的位姿和法向量，确定目标区域所对应的正上方采集视角。
在安防系统中，摄像头的安装位置和视角是已知的，可以从安防系统中的相应的服务器获取摄像头的安装位置和视角，根据摄像头的安装位置和视角，可以确定摄像头的位姿。
在一些实施例中，在建立待检测图像对应的三维结构之前，还包括：基于摄像头采集的多个用于确定位姿的原始采集视角图像，确定该摄像头的位姿。
在本申请中，可以在建立待检测图像对应的三维结构之前，根据摄像头采集的多个用于确定位姿的原始采集视角图像，估计摄像头的位姿。可以首先确定多个用于确定位姿的原始采集视角图像之间匹配的像素点，根据多个原始采集视角图像之间匹配的像素点，计算匹配的像素点与三维空间中的三维点的对应关系，根据匹配的像素点与三维空间中的三维点的对应关系，估计出摄像头的位姿。
在本申请中，可以利用用于估计摄像头的位姿的神经网络GeoNET网络基于多个用于确定位姿的原始采集视角图像，估计摄像头的位姿。
在本申请中，可以基于摄像头的位姿和待检测图像中的目标区域的中心点的法向量，将摄像头的采集视角配置为正上方采集视角，从而，确定目标区域所对应的正上方采集视角。
摄像头的采集视角也可称之为摄像头的拍摄角度，采集视角与坐标轴相关联。采集视角可以是指摄像头的光轴与目标区域的中心点的连线与世界坐标系中的垂直方向的坐标轴即Y轴的夹角。采集视角也可以是指摄像头的光轴与目标区域的中心点的连线与世界坐标系中的水平方向的坐标轴即X轴的夹角。采集视角也可以是指摄像头的光轴与目标区域的中心点的连线与世界坐标系中的Z轴的夹角。采集视角的定义根据实际需求确定，在本申请中不进行限定。
在本申请中，目标区域所对应的正上方采集视角可以是指在三维空间中，摄像头正对三维空间中的目标区域的中心点的采集视角。换言之，在摄像头的采集视角为正上方采集视角时，摄像头的位置位于三维空间中的目标区域的中心点的正上方。
目标区域所对应的正上方采集视角根据采集视角的定义确定。例如，采集视角是指摄像头的光轴与目标区域的中心点的连线与世界坐标系中的垂直方向的坐标轴即Y轴的夹角，则在摄像头的采集视角为正上方视角时，摄像头的光轴与世界坐标系中的垂直方向的坐标轴重合，摄像头正对三维空间中的目标区域的中心点，则正上方采集视角为0度。例如，采集视角是指摄像头的光轴与目标区域的中心点的连线与世界坐标系中的水平方向的坐标轴即X轴的夹角，在摄像头的采集视角为正上方视角时，摄像头的光轴与世界坐标系中的垂直方向的坐标轴重合，则正上方采集视角为90度。
正上方采集视角是鸟瞰类型的视角，相当于摄像头在鸟瞰地面上的物体的情况下采集图像，通过将摄像头的采集视角配置为正上方采集视角，得到正上方采集视角图像，可以确保正上方采集视角图像包括物体进入目标区域的实际部分的全部。
在一些实施例中，基于采集待检测图像的摄像头的位姿和目标区域的中心点的法向量，确定目标区域所对应的正上方采集视角包括：基于采集待检测图像的摄像头的位姿和目标区域的中心点的法向量，估计出姿态变换矩阵；根据姿态变换矩阵，确定目标区域所对应的正上方采集视角。
可以首先利用待检测图像中的目标区域的中心点的法向量和摄像头的位姿，估计出姿态变换矩阵。姿态变换矩阵可以表示摄像头处于正上方采集视角时的位姿与确定出的摄像头的位姿之间的变换关系。
然后，可以根据物体在三维空间中的三维点的位置与在摄像头的实际视角下采集的图像中对应于三维点的像素点的位置之间的映射关系、姿态变换矩阵，确定物体在三维空间中的三维点的位置与在正上方采集视角下采集的图像中对应于三维点的像素点的位置之间的映射关系。根据确定的该映射关系，可以将三维空间中的任意一个三维点映射为位于期望得到的在正上方采集视角下采集的图像中的相应的像素点，以得到在正上方采集视角下采集的正上方采集图像。从而，将摄像头的采集视角配置为正上方采集视角，确定目标区域所对应的正上方采集视角。
应理解，将摄像头的采集视角配置为正上方采集视角并不是从摄像头的实际的采集视角到正上方采集视角的物理上的视角变换，摄像头的实际采集视角依然是由于安装条件的限制而相对于目标区域倾斜的视角。只是由于通过摄像头的位姿和待检测图像中的目标区域的中心点的法向量，将摄像头的采集视角配置为正上方采集视角，使得摄像头相当于具有正上方采集视角。
换言之，通过将摄像头的采集视角配置为正上方采集视角，相当于在目标区域的中心点的正上方设置一个摄像头来采集图像。
步骤104，以正上方采集视角对三维结构进行投影，得到正上方采集视角图像。
在将摄像头的采集视角配置为正上方采集视角之后，以正上方采集视角对待检测图像对应的三维结构进行投影，得到正上方采集视角图像。
待检测图像对应的三维结构包括进入检测场景中的地面上的对象在三维空间中的三维结构，以正上方采集视角对待检测图像对应的三维结构进行投影，得到正上方采集视角图像相当于在摄像头以正上方采集视角对进入检测场景中的地面上的物体进行拍摄的情况下，采集到正上方采集视角图像。以一个视角对一个三维结构进行投影，得到二维图像属于已有的技术，在本申请中不再详细说明投影的过程。
在一些实施例中，还包括：对正上方采集视角图像进行检测，确定目标物对应的目标包围框；基于目标包围框与正上方采集视角图像中的目标区域，确定目标检测结果。
在本申请中，可以首先利用目标检测网络检测正上方采集视角图像中的每一个物体。同时，可以确定正上方采集视角图像中的目标区域，确定正上方采集视角图像中的目标区域的过程参考上述确定待检测图像中的目标区域的过程。
目标检测神经网络可以为Faster RCNN、SSD、YOLO、RefineDet、RetinaNet等。
将正上方采集视角图像输入到目标检测网络中，得到目标检测网络输出检测到的所有物体中的每一个物体的包围框信息。
物体的包围框信息包括：包围物体的矩形的包围框的中心点的位置、包围物体的矩形的包围框的每一个边的边长等。
在本申请中，可以确定在正上方采集视角图像中的位置在正上方采集视角图像中的目标区域的边界附近的物体例如在正上方采集视角图像中的目标区域的边界附近的行人、车辆，将在正上方采集视角图像中的位置在正上方采集视角图像中的目标区域的边界附近的物体作为目标物。
在本申请中，可以将检测到的物体可以称之为目标物，将包围目标物的包围框称之为目标物对应的目标包围框。
正上方采集视角图像中的目标区域为进入检测场景中实际的目标区域在正上方采集视角图像中的表示。换言之，正上方采集视角图像中的目标区域可以是指在正上方采集视角图像中表示进入检测场景中实际的目标区域的区域。
对于每一个目标物，可以将在正上方采集视角图像中该目标物对应的目标包围框占据的区域作为该目标物占据的区域。相应的，可以将在正上方采集视角图像中该目标物对应的目标包围框的面积作为该目标物占据的区域的面积。
对于正上方采集视角图像中的每一个目标物，可以确定该目标物在正上方采集视角图像中的目标区域中的部分的面积即进入目标区域的面积，计算该目标物在正上方采集视角图像中的目标区域中的部分的面积与该目标物占据的区域的面积的比例，即该目标物在正上方采集视角图像中的目标区域中的部分的面积除以该目标物占据的区域的面积的商。当计算出的比例大于比例阈值时，则可以确定该目标物进入目标区域，确定出该目标物的指示该目标物进入目标区域的进入检测结果。
在本申请中，确保正上方采集视角图像包括目标物进入目标区域的实际部分的全部，避免由于采集视角相对于目标区域倾斜导致的监控图像中仅包括目标物进入目标区域的实际部分的一部分的情况，从而，较为准确地确定目标物进入目标区域的实际部分，提升进入检测结果的准确性。
在利用任意一个待检测图像进行的任意一次进入检测中，由于统一将摄像头的采集视角配置为正上方采集视角，得到正上方采集视角图像。确保在实际的同一种进入情况下，正上方采集视角图像中的目标物进入进入区域的部分的面积是相同的，得到的进入检测结果一致。
在一些实施例中，基于目标包围框与正上方采集视角图像中的目标区域，确定目标检测结果包括：计算目标包围框与正上方采集视角图像中的目标区域的交并比(Intersection-Over-Union，简称IOU)；当交并比大于设定阈值时，确定指示目标包围框对应的目标物进入目标区域的目标检测结果。
对于每一个目标物对应的目标包围框，可以计算该目标包围框与正上方采集视角图像中的目标区域的交并比，当该目标包围框与正上方采集视角图像中的目标区域的交并比大于设定阈值时，可以确定出指示该目标包围框对应的目标物进入目标区域的目标检测结果。
请参考图2，其示出了本申请实施例提供的图像处理装置的结构框图。装置包括：建立单元201，获取单元202，确定单元203，投影单元204。
建立单元201被配置为建立待检测图像对应的三维结构；
获取单元202被配置为获取所述待检测图像中的目标区域的中心点的法向量；
确定单元203被配置为基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角；
投影单元204被配置为以所述正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像。
在一些实施例中，图像处理装置还包括：
检测单元，被配置为对所述正上方采集视角图像进行检测，确定目标物对应的目标包围框；基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果。
在一些实施例中，检测单元进一步被配置为计算所述目标包围框与所述正上方采集视角图像中的目标区域的交并比；当所述交并比大于设定阈值时，确定指示所述目标包围框对应的目标物进入所述目标区域的目标检测结果。
在一些实施例中，确定单元203进一步被配置为基于采集所述待检测图像的摄像头的位姿和所述法向量，估计出姿态变换矩阵；根据所述姿态变换矩阵，确定所述目标区域所对应的正上方采集视角。
在一些实施例中，获取单元202进一步被配置为从所述待检测图像中提取地面特征信息，所述地面特征信息包括：所述待检测图像中的地面的轮廓特征信息、至少一个位于所述待检测图像中的地面上的对象的轮廓特征信息；基于所述地面特征信息，确定所述待检测图像中的目标区域；生成所述待检测图像中的目标区域的中心点的法向量。
在一些实施例中，所述待检测图像中的目标区域的中心点为所述待检测图像中的目标区域的重心。
在一些实施例中，图像处理装置还包括：
位姿确定单元，被配置为在建立待检测图像对应的三维结构之前，基于所述摄像头采集的多个用于确定位姿的原始采集视角图像，确定所述摄像头的位姿。
图3是本申请提供的一种电子设备的结构框图。电子设备包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件326被配置为执行电子设备的电源管理，一个有线或无线网络接口350被配置为将电子设备连接到网络，和一个输入输出(I/O)接口358。电子设备可以操作基于存储在存储器332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
建立待检测图像对应的三维结构；
获取所述待检测图像中的目标区域的中心点的法向量；
基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角；
以所述正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述正上方采集视角图像进行检测，确定目标物对应的目标包围框；
基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标包围框与所述正上方采集视角图像中的目标区域，确定目标检测结果包括：
计算所述目标包围框与所述正上方采集视角图像中的目标区域的交并比；
当所述交并比大于设定阈值时，确定指示所述目标包围框对应的目标物进入所述目标区域的目标检测结果。
4.根据权利要求1所述的方法，其特征在于，基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角包括：
基于采集所述待检测图像的摄像头的位姿和所述法向量，估计出姿态变换矩阵；
根据所述姿态变换矩阵，确定所述目标区域所对应的正上方采集视角。
5.根据权利要求1所述的方法，其特征在于，获取所述待检测图像中的目标区域的中心点的法向量包括:
从所述待检测图像中提取地面特征信息，所述地面特征信息包括：所述待检测图像中的地面的轮廓特征信息、至少一个位于所述待检测图像中的地面上的对象的轮廓特征信息；
基于所述地面特征信息，确定所述待检测图像中的目标区域；
生成所述待检测图像中的目标区域的中心点的法向量。
6.根据权利要求1所述的方法，其特征在于，所述待检测图像中的目标区域的中心点为所述待检测图像中的目标区域的重心。
7.根据权利要求1所述的方法，其特征在于，在建立待检测图像对应的三维结构之前，所述方法还包括：
基于所述摄像头采集的多个原始采集视角图像，确定所述摄像头的位姿。
8.一种图像处理装置，其特征在于，所述装置包括：
建立单元，被配置为建立待检测图像对应的三维结构；
获取单元，被配置为获取所述待检测图像中的目标区域的中心点的法向量；
确定单元，被配置为基于采集所述待检测图像的摄像头的位姿和所述法向量，确定所述目标区域所对应的正上方采集视角；
投影单元，被配置为以所述正上方采集视角对所述三维结构进行投影，得到正上方采集视角图像。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202010677347.5A 2020-07-14 2020-07-14 图像处理方法、装置、电子设备及存储介质 Pending CN112053397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010677347.5A CN112053397A (zh) 2020-07-14 2020-07-14 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010677347.5A CN112053397A (zh) 2020-07-14 2020-07-14 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112053397A true CN112053397A (zh) 2020-12-08

Family

ID=73602472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010677347.5A Pending CN112053397A (zh) 2020-07-14 2020-07-14 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112053397A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733852A (zh) * 2021-01-20 2021-04-30 闻泰通讯股份有限公司 区域确定方法、装置、计算机设备和可读存储介质
CN113609953A (zh) * 2021-07-30 2021-11-05 浙江一掌通数字科技有限公司 一种非接触式的掌静脉区域识别方法、系统及存储介质
CN113706608A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN115297315A (zh) * 2022-07-18 2022-11-04 北京城市网邻信息技术有限公司 用于环拍时拍摄中心点的矫正方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733852A (zh) * 2021-01-20 2021-04-30 闻泰通讯股份有限公司 区域确定方法、装置、计算机设备和可读存储介质
CN112733852B (zh) * 2021-01-20 2024-04-26 闻泰通讯股份有限公司 区域确定方法、装置、计算机设备和可读存储介质
CN113609953A (zh) * 2021-07-30 2021-11-05 浙江一掌通数字科技有限公司 一种非接触式的掌静脉区域识别方法、系统及存储介质
CN113706608A (zh) * 2021-08-20 2021-11-26 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN113706608B (zh) * 2021-08-20 2023-11-28 云往(上海)智能科技有限公司 一种预定区域内目标物的位姿检测装置、方法和电子设备
CN115297315A (zh) * 2022-07-18 2022-11-04 北京城市网邻信息技术有限公司 用于环拍时拍摄中心点的矫正方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN112053397A (zh) 图像处理方法、装置、电子设备及存储介质
CN110400363B (zh) 基于激光点云的地图构建方法和装置
CN107615334B (zh) 物体识别装置以及物体识别系统
KR20080020595A (ko) 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템
KR20160106514A (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
JP4848312B2 (ja) 身長推定装置および身長推定方法
JP2020515974A (ja) 歩行者追跡の方法および電子デバイス
CN113313097B (zh) 人脸识别方法、终端及计算机可读存储介质
CA2670021A1 (en) System and method for estimating characteristics of persons or things
JP6617150B2 (ja) 物体検出方法及び物体検出装置
CN112633096A (zh) 客流的监测方法、装置、电子设备及存储介质
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。
US20220366570A1 (en) Object tracking device and object tracking method
CN113496163B (zh) 障碍物识别方法和装置
CN110020572B (zh) 基于视频图像的人数统计方法、装置、设备及存储介质
JP6893812B2 (ja) 物体検出装置
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
CN111339840B (zh) 人脸检测方法和监控系统
JP2018185623A (ja) 物体検出装置
KR20220082433A (ko) 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치
KR101381580B1 (ko) 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템
CN107802468B (zh) 导盲方法及导盲系统
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
CN113516703A (zh) 摄像头覆盖范围检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination