CN115049980A - 基于图像的目标对象确定方法、装置及电子设备 - Google Patents
基于图像的目标对象确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115049980A CN115049980A CN202210688691.3A CN202210688691A CN115049980A CN 115049980 A CN115049980 A CN 115049980A CN 202210688691 A CN202210688691 A CN 202210688691A CN 115049980 A CN115049980 A CN 115049980A
- Authority
- CN
- China
- Prior art keywords
- image
- determining
- target object
- acquisition module
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于图像的目标对象确定方法、装置及电子设备，涉及图像处理技术领域，包括：获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像采集模块所采集的；根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；确定所述第三图像的深度图；根据所述第三图像和所述深度图确定目标对象。本发明通过在监控系统上有两个图像采集模块实时采集的图像，以此来确定两个图像采集模块分别采集的图像之间的视差图，再根据视差图确定视差图对应的深度图，最后根据深度图来确定目标对象，以此能够跟精准的确定目标对象。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像的目标对象确定方法、装置及电子设备。
背景技术
随着信息技术的迅速发展，监控技术也得到越来越广泛的应用。为了安全、管理等方面的需要，在广场、地铁口、码头等人员密集、对象多的场景下，会利用监控技术对这些场景的区域进行监控，以便及时发现这些区域中出现的需要紧急处理的情况。在对特定区域的监控，最重要的是要从获取的图像中准确检测出目标对象，进而对该目标对象进行监控。但是，在现有技术中，检测目标对象的准确性不高，降低了监控的精度。
发明内容
本发明实施例提供一种基于图像的目标对象确定方法、装置及电子设备，有利于更加精确地确定目标对象。
为达到上述目的，本发明采用如下技术方案：
第一方面，提供一种基于图像的目标对象确定方法，其特征在于，所述方法包括：获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像采集模块所采集的；根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；确定所述第三图像的深度图；根据所述第三图像和所述深度图确定目标对象。
根据第一方面所述的方法可知，在监控系统上有两个图像采集模块，可以通过两个图像采集模块实时采集的图像来确定两个图像采集模块分别采集的图像之间的视差图，再根据视差图确定视差图对应的深度图，最后根据深度图来确定目标对象，以此能够跟精准的确定目标对象。
结合第一方面，在一种可能的设计方案中，根据所述第三图像和所述深度图确定目标对象包括：将所述第三图像与所述深度图进行匹配，得到匹配结果；根据所述匹配结果将与监控系统之间的距离小于距离阈值的参考对象确定为目标对象，所述监控系统位于所述第一图像采集模块和所述第二图像采集模块之间。
根据该可能的设计方案可知，本实施例通过结合第三图像和第三图像对应的深度图来确定目标对象，以此提高确定目标对象的准确性。
结合第一方面，在一种可能的设计方案中，将所述第三图像与所述深度图进行匹配，得到匹配结果包括：将所述第三图像输入至语义分割网络中，确定所述第三图像中的参考对象；将所述第三图像输入至实例分割网络中，确定各参考对象的二值掩膜；根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度值，所述深度值指示了所述各参考对象与所述监控系统之间的距离。
根据可能的设计方案可知，本实施通过将第三图像输入至语义分割网络和实例分割网络中，以此对第三图像中的所有像素进行分类以此确定第三图像中的以及确定各参考对象的二值掩膜，可根据各参考对象的二值掩膜来确定各参考对象的深度值，即各参考对象与监控系统的距离，便于后续的目标对象的确定。
结合第一方面，在一种可能的设计方案中，根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度信息包括：根据各所述参考对象的二值掩膜确定各所述参考对象的轮廓像素；确定所述轮廓像素中最上、最下、最左、最右四个目标像素；在所述深度图中确定各所述目标像素的邻域像素区域的中全部像素的深度值和各所述目标像素的深度值进行加权处理，得到各所述参考对象的深度值，所述深度值指示了所述各参考对象与所述第一图像采集模块和第二图像采集模块所在的监控系统之间的距离。
根据可能的设计方案可知，本实施例通过根据各参考对象的轮廓中的目标像素的深度值来确定参考对象的深度值，可减小确定参考对象的深度值的误差。
结合第一方面，在一种可能的设计方案中，根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图包括：确定所述第一图像采集模块和所述第二图像采集模块的相对位置关系，以及所述第一图像采集模块的第一参数和所述第二图像采集模块的第二参数；根据所述相对位置关系、所述第一参数和所述第二参数对所述第一图像和所述第二图像进行校正；根据校正的第一图像和校正后的第二图像进行匹配，确定第三图像。
根据可能的设计方案可知，本实施例通过根据第一图像采集模块和第二图像采集模块各自的参数以及相对位置关系对第一图像和第二图像进行校正，可提高第一图像与第二图像的匹配的成功率。
结合第一方面，在一种可能的设计方案中，确定所述第三图像的深度图包括：根据所述第三图像中各像素点的位置、所述第一参数、所述第二参数和所述相对位置关系，确定各所述像素点的深度；根据各所述像素点的深度确定所述深度图。
结合第一方面，在一种可能的设计方案中，所述方法还包括：若所述目标对象与所述监控系统之间的距离大于第二距离阈值，提示目标对象的存在；若所述目标对象与所述监控系统之间的距离小于第三距离阈值大于第四距离阈值，则提示目标对象正在移动；若所述目标对象与所述监控系统之间的距离小于第四距离阈值，则发出警告提示用户即将与目标对象发生接触。
根据可能的设计方案可知，本实施例可以根据目标对象与监控系统之间的距离实时监控目标对象，以便于提示用户，避免监控系统与目标对象发生接触、碰撞等。
第二方面，提供一种基于图像的目标对象确定装置，其特征在于，所述装置包括：获取模块，用于获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二采集图像是由第二图像采集模块所采集的；第三图像确定模块，用于根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；深度图确定模块，用于确定所述第三图像的深度图；目标对象确定模块，用于根据所述第三图像和所述深度图确定目标对象。
此外，第二方面所述的设备的控制装置的技术效果可以参考第一方面所述的设备的控制方法的技术效果，此处不再赘述。
第三方面，本发明实施例提供了一种电子设备。该电子设备包括：处理器和存储器；该存储器用于存储计算机程序，当该处理器执行该计算机程序时，以使该电子设备执行第一方面中的任意一种实现方式所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面中的任意一种可能的实现方式所述的方法。
附图说明
图1是本发明实施例提供的基于图像的目标对象确定方法应用的监控系统；
图2示出了本发明实施例提供的基于图像的目标对象确定方法流程图；
图3是根据本发明一实施例示出的步骤S220的具体步骤示意图；
图4是根据本发明一实施例示出的步骤S230的具体步骤的示意图；
图5是根据本发明一实施例示出的步骤S240的具体步骤示意图；
图6是根据本发明一实施例示出的步骤S2410的具体步骤的示意图；
图7是根据本发明一实施例示出的步骤S2411的具体步骤的示意图；
图8是根据本发明一实施例示出的步骤S240之后的具体步骤的示意图；
图9是本发明实施例提供的基于图像的目标对象确定装置900的结构示意图；
图10是本发明实施例提供的可读存储介质的结构示意图。
具体实施方式
下面结合附图，对本发明中的技术方案进行描述。
在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。
本发明实施例中，“图像”，“图片”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
请参阅图1，图1示出了本发明实施例提供的一种基于图像的目标对象确定方法，该方法可以应用于监控系统100，其中该监控系统100包括第一图像采集模块110、第二图像采集模块120以及主控模块130。
对于一些实施方式，第一图像采集模块110、第二图像采集模块120用于采集监控系统所处环境的图像，一种示例性的，第一图像采集模块110和第二图像采集模块120可以是位置接近的两个图像采集模块，具体的，第一图像采集模块110和第二图像采集模块120可以是摄像头。
进一步的，主控模块130可以用于对第一图像采集模块110和第二图像采集模块120采集的图像进行处理。一种示例性的，该主控模块130可以为微控制单元(Microcontroller Unit，MCU)。一种示例性的，监控系统100可以为机器人的监控系统，监控系统100还可以为电动汽车的监控系统。
需要说明的是，上述示出的监控系统100仅为说明本实施例，并不作为本发明实施例的限制。
请参阅图2，图2示出了本发明实施例提供的基于图像的目标对象确定方法流程图，该方法可以应用于图1所述的监控系统100。具体的，该方法包括步骤S210至步骤S240。
步骤S210：获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像采集模块所采集的。
可选的，第一图像和第二图像可以分别是监控系统的左摄像头和右摄像头所采集的监控系统当前所处环境的左视点图和右视点图。
步骤S220：根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图。
请参阅图3，图3是根据本发明一实施例示出的步骤S220的具体步骤示意图。具体的，步骤S220包括：
步骤S2201：确定所述第一图像采集模块和所述第二图像采集模块的相对位置关系，以及所述第一图像采集模块的第一参数和所述第二图像采集模块的第二参数。
示例性的，第一图像采集模块和第二图像采集模块可以是第一摄像头和第二摄像头，第一参数和第二参数可以是第一摄像头的内参和外参和第二摄像头的内参和外参。具体的，摄像头的内参包括摄像头的焦距、光心的坐标、内参矩阵以及畸变系数，摄像头的外参包括摄像头的旋转矩阵平移矩阵。
示例性的，第一图像采集模块和第二图像采集模块的相对位置关系包括第一图像采集模块与第二图像采集模块的中心距等。
步骤S2202：根据所述相对位置关系、所述第一参数和所述第二参数对所述第一图像和所述第二图像进行校正。
示例性的，由于第一图像采集模块与第二图像采集模块所采集的图像会存在一定差异，基于此差异，在将第一图像与第二图像进行立体匹配时会由于图像的方法、位置不同等原因导致匹配失败，所以在匹配之前要对第一图像和第二图像进行校正，避免匹配出现问题。
可选的，校正是根据第一参数和第二参数，分别对第一图像和第二图像进行消除畸变和行对准，使得第一图像和第二的成像原点坐标一致、第一图像采集模块和第二图像采集模块的光轴平行、第一图像和第二图像的成像平面共面、对极线行对齐。示例性的，进行校正的具体步骤大致为：首先分别将第一图像好第二图像的像素坐标系通过内参矩阵转换到图像采集模块坐标系(可以理解为相机坐标系)；然后分别对两个相图像采集模块坐标系进行旋转得到新的图像采集模块坐标系(通过左乘旋转矩阵)；再然后针对新的相机坐标分别进行第一图像采集模块和第二图像采集模块的去畸变操作；接着去畸变操作结束后，分别用第一图像采集模块和第二图像采集模块的内参矩阵将第一、第二图像采集模块坐标系重新转换到第一、第二图像像素坐标系；最后并分别用第一、第二源图像的像素值对新第一、第二图像的像素点进行插值。
步骤S2203：根据校正的第一图像和校正后的第二图像进行匹配，确定第三图像。
示例性的，可通过极限约束的方法，将第一图像中的每一像素在第二图像中进行匹配，确定每一像素之间的视差，最后根据每一像素的视差生成视差图，即第三图像。视差是指视差是同一个空间点在两个相机成像中对应的x坐标的差值，它可以通过编码成灰度图来反映出距离的远近，离镜头越近的灰度越亮。可选的，还可通过SGBM算法获取视差图。极线约束(EpipolarConstraint)是指当空间点在两幅图像上分别成像时，已知在一图像中有投影点p1，那么对应另一图像中有投影点p2一定在相对于p1的极线上。
请继续参阅图2，步骤S230：确定所述第三图像的深度图。
图4是根据本发明一实施例示出的步骤S230的具体步骤的示意图，如图4所示，具体的，步骤S230包括：
步骤S2301：根据所述第三图像中各像素点的位置、所述第一参数、所述第二参数和所述相对位置关系，确定各所述像素点的深度。
步骤S2302：根据各所述像素点的深度确定所述深度图。
示例性的，可根据公式：Z＝f*b/d来计算各像素点的对应的深度，其中Z为一像素点的深度；f为归一化后的焦距；b为两图像采集模块的光心之间的距离，也叫作基线距离；d为该像素点的视差值。
请继续参阅图2，步骤S240：根据所述第三图像和所述深度图确定目标对象。
图5是根据本发明一实施例示出的步骤S240的具体步骤示意图，具体的，如图5所示，步骤S240包括：
步骤S2410：将所述第三图像与所述深度图进行匹配，得到匹配结果。
步骤S2420：根据所述匹配结果将与监控系统之间的距离小于距离阈值的对象确定为目标对象，所述监控系统位于所述第一图像采集模块和所述第二图像采集模块之间。
图6是根据本发明一实施例示出的步骤S2410的具体步骤的示意图，如图6所示，具体的，步骤S241包括：
步骤S2411：将所述第三图像输入至语义分割网络中，确定所述第三图像中的参考对象。
示例性的，该语义分割网络可以是Fully Convolution Networks(FCNs)全卷积网络、SegNet网络、U-Net网络、PSPNet网络、DeepLab系列网络等。
步骤S2412：将所述第三图像输入至实例分割网络中，确定各参考对象的二值掩膜。
示例性的，该实例分割网络可以是MaskR-CNN网络、Instance-sensitive FCN网络等。
步骤S2413：根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度值，所述深度值指示了所述各参考对象与所述第一图像采集模块和第二图像采集模块所在的监控系统之间的距离。
图7是根据本发明一实施例示出的步骤S2411的具体步骤的示意图，如图7所示，具体的，步骤S2411包括：
步骤S24111：根据各所述参考对象的二值掩膜确定各所述参考对象的轮廓像素。
步骤S24112：确定所述轮廓像素中最上、最下、最左、最右四个目标像素。
步骤S24113：在所述深度图中确定各所述目标像素的邻域像素区域的中全部像素的深度值和各所述目标像素的深度值进行加权处理，得到各所述参考对象的深度值。
图8是根据本发明一实施例示出的步骤S240之后的具体步骤的示意图，如图8所示，可选的，步骤S240之后，该方法还包括：
步骤S250：若所述目标对象与所述监控系统之间的距离大于第二距离阈值，提示目标对象的存在。
步骤S260：若所述目标对象与所述监控系统之间的距离小于第三距离阈值大于第四距离阈值，则提示目标对象正在移动。
步骤S270：若所述目标对象与所述监控系统之间的距离小于第四距离阈值，则发出警告提示用户即将与目标对象发生接触。
上述方法中，获取所述第一图像采集模块采集的第一图像和所述第二图像采集模块采集的第二图像；根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；确定所述第三图像的深度图；根据所述第三图像和所述深度图确定目标对象。可以通过两个图像采集模块实时采集的图像来确定两个图像采集模块分别采集的图像之间的视差图，再根据视差图确定视差图对应的深度图，最后根据深度图来确定目标对象，以此能够跟精准的确定目标对象。
示例性地，图9是本发明实施例提供的基于图像的目标对象确定装置900的结构示意图。如图9所示，基于图像的目标对象确定装置900包括：获取模块910、第三图像确定模块920、深度图确定模块930以及目标对象确定模块940。
为了便于说明，图9仅示出了该目标对象确定装置900的主要部件。
获取模块910，用于获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像采集模块所采集的；
第三图像确定模块920，用于根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；
深度图确定模块930，用于确定所述第三图像的深度图；
目标对象确定模块940，用于根据所述第三图像和所述深度图确定目标对象。
可选的，目标对象确定模块940包括：匹配单元，用于将所述第三图像与所述深度图进行匹配，得到匹配结果；目标对象确定单元，根据所述匹配结果将监控系统之间的距离小于距离阈值的对象确定为目标对象，所述监控系统位于所述第一图像采集模块和所述第二图像采集模块之间。
可选的，匹配单元包括：语义分割子单元，用于将所述第三图像输入至语义分割网络中，确定所述第三图像中的参考对象；实例分割子单元，用于将所述第三图像输入至实例分割网络中，确定各参考对象的二值掩膜；深度值确定子单元，用于根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度值，所述深度值指示了所述各参考对象与所述监控系统之间的距离。
可选的，深度值确定子单元包括：轮廓像素确定子单元，用于根据各所述参考对象的二值掩膜确定各所述参考对象的轮廓像素；目标像素确定子单元，用于确定所述轮廓像素中最上、最下、最左、最右四个目标像素；参考对象的深度值确定子单元，用于在所述深度图中确定各所述目标像素的邻域像素区域的中全部像素的深度值和各所述目标像素的深度值进行加权处理，得到各所述参考对象的深度值，所述深度值指示了所述各参考对象与所述第一图像采集模块和第二图像采集模块所在的监控系统之间的距离。
可选的，第三图像确定模块920包括：第一确定单元，用于确定所述第一图像采集模块和所述第二图像采集模块的相对位置关系，以及所述第一图像采集模块的第一参数和所述第二图像采集模块的第二参数；校正单元，用于根据所述相对位置关系、所述第一参数和所述第二参数对所述第一图像和所述第二图像进行校正；第三图像确定单元，用于根据校正的第一图像和校正后的第二图像进行匹配，确定第三图像。
可选的，深度图确定模块930包括：第二确定单元，用于根据所述第三图像中各像素点的位置、所述第一参数、所述第二参数和所述相对位置关系，确定各所述像素点的深度；第三确定单元，用于根据各所述像素点的深度确定所述深度图。
可选的，基于图像的目标对象确定装置900还包括提示模块，用于若所述目标对象与所述监控系统之间的距离大于第二距离阈值，提示目标对象的存在；若所述目标对象与所述监控系统之间的距离小于第三距离阈值大于第四距离阈值，则提示目标对象正在移动；若所述目标对象与所述监控系统之间的距离小于第四距离阈值，则发出警告提示用户即将与目标对象发生接触。
此外，基于图像的目标对象确定装置900的技术效果可以参考前述任一设备的控制方法的技术效果，此处不再赘述。
可选地，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得本发明任一实施例所提供的基于图像的目标对象确定方法被执行。
可选地，本发明实施例还提供一种电子设备，用于执行本发明任一实施例所提供的基于图像的目标对象确定装置。
如图10所示，电子设备2000可以包括处理器2001。
可选地，电子设备2000还可以包括存储器2002和/或收发器2003。
其中，处理器2001与存储器2002和收发器2003耦合，如可以通过通信总线连接。
下面结合图10对电子设备2000的各个构成部件进行具体的介绍：
其中，处理器2001是电子设备2000的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器2001是一个或多个中央处理器(central processingunit，CPU)，也可以是特定集成电路(application specific integrated circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(fieldprogrammable gate array，FPGA)。
可选地，处理器2001可以通过运行或执行存储在存储器2002内的软件程序，以及调用存储在存储器2002内的数据，执行电子设备2000的各种功能。
在具体的实现中，作为一种实施例，处理器2001可以包括一个或多个CPU，例如图10中所示出的CPU0和CPU1。
在具体实现中，作为一种实施例，电子设备2000也可以包括多个处理器，例如图10中所示的处理器2001和处理器2004。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
其中，所述存储器2002用于存储执行本发明方案的软件程序，并由处理器2001来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
可选地，存储器2002可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2002可以和处理器2001集成在一起，也可以独立存在，并通过电子设备2000的接口电路(图10中未示出)与处理器2001耦合，本发明实施例对此不作具体限定。
收发器2003，用于与其他电子设备之间的通信。例如，电子设备2000为传感器，收发器2003可以用于与网络设备通信，或者与另一个终端设备通信。又例如，电子设备2000为网络设备，收发器2003可以用于与终端设备通信，或者与另一个网络设备通信。
可选地，收发器2003可以包括接收器和发送器(图10中未单独示出)。其中，接收器用于实现接收功能，发送器用于实现发送功能。
可选地，收发器2003可以和处理器2001集成在一起，也可以独立存在，并通过电子设备2000的接口电路(图10中未示出)与处理器2001耦合，本发明实施例对此不作具体限定。
需要说明的是，图10中示出的电子设备2000的结构并不构成对该电子设备的限定，实际的电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，电子设备2000的技术效果可以参考上述方法实施例所述的设备的控制方法的技术效果，此处不再赘述。
应理解，在本发明实施例中的处理器可以是中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DRRAM)。
上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random accessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于图像的目标对象确定方法，其特征在于，所述方法包括：
获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像采集模块所采集的；
根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；
确定所述第三图像的深度图；
根据所述第三图像和所述深度图确定目标对象。
2.根据权利要求1所述的目标对象确定方法，其特征在于，根据所述第三图像和所述深度图确定目标对象包括：
将所述第三图像与所述深度图进行匹配，得到匹配结果；
根据所述匹配结果将与监控系统之间的距离小于距离阈值的对象确定为目标对象，所述监控系统位于所述第一图像采集模块和所述第二图像采集模块之间。
3.根据权利要求2所述的目标对象确定方法，其特征在于，将所述第三图像与所述深度图进行匹配，得到匹配结果包括：
将所述第三图像输入至语义分割网络中，确定所述第三图像中的参考对象；
将所述第三图像输入至实例分割网络中，确定各参考对象的二值掩膜；
根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度值，所述深度值指示了所述各参考对象与所述监控系统之间的距离。
4.根据权利要求3所述的目标对象确定方法，其特征在于，根据各所述参考对象的二值掩膜，在所述深度图中确定各参考对象的深度信息包括：
根据各所述参考对象的二值掩膜确定各所述参考对象的轮廓像素；
确定所述轮廓像素中最上、最下、最左、最右四个目标像素；
在所述深度图中确定各所述目标像素的邻域像素区域的中全部像素的深度值和各所述目标像素的深度值进行加权处理，得到各所述参考对象的深度值。
5.根据权利要求1所述的目标对象确定方法，其特征在于，根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图包括：
确定所述第一图像采集模块和所述第二图像采集模块的相对位置关系，以及所述第一图像采集模块的第一参数和所述第二图像采集模块的第二参数；
根据所述相对位置关系、所述第一参数和所述第二参数对所述第一图像和所述第二图像进行校正；
根据校正的第一图像和校正后的第二图像进行匹配，确定第三图像。
6.根据权利要求5所述的目标对象确定方法，其特征在于，确定所述第三图像的深度图包括：
根据所述第三图像中各像素点的位置、所述第一参数、所述第二参数和所述相对位置关系，确定各所述像素点的深度；
根据各所述像素点的深度确定所述深度图。
7.根据权利要求1所述的目标对象确定方法，其特征在于，根据所述第三图像和所述深度图确定目标对象之后，所述方法还包括：
若所述目标对象与所述监控系统之间的距离大于第二距离阈值，提示目标对象的存在；
若所述目标对象与所述监控系统之间的距离小于第三距离阈值大于第四距离阈值，则提示目标对象正在移动；
若所述目标对象与所述监控系统之间的距离小于第四距离阈值，则发出警告提示用户即将与目标对象发生接触。
8.一种基于图像的目标对象确定装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像是由第一图像采集模块所采集的，所述第二图像是由第二图像模块所采集的；
第三图像确定模块，用于根据所述第一图像和所述第二图像确定第三图像，所述第三图像为第一图像和第二图像之间的视差图；
深度图确定模块，用于确定所述第三图像的深度图；
目标对象确定模块，用于根据所述第三图像和所述深度图确定目标对象。
9.一种电子设备，其特征在于，包括：处理器，所述处理器与存储器耦合；
所述处理器，用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1-7中任一项所述的目标对象确定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得如权利要求1-7中任一项所述的目标对象确定方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688691.3A CN115049980A (zh) | 2022-06-16 | 2022-06-16 | 基于图像的目标对象确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688691.3A CN115049980A (zh) | 2022-06-16 | 2022-06-16 | 基于图像的目标对象确定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115049980A true CN115049980A (zh) | 2022-09-13 |
Family
ID=83160628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210688691.3A Pending CN115049980A (zh) | 2022-06-16 | 2022-06-16 | 基于图像的目标对象确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049980A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN108898044A (zh) * | 2018-04-13 | 2018-11-27 | 顺丰科技有限公司 | 装载率获取方法、装置、系统及存储介质 |
| CN109640066A (zh) * | 2018-12-12 | 2019-04-16 | 深圳先进技术研究院 | 高精度稠密深度图像的生成方法和装置 |
| KR101988551B1 (ko) * | 2018-01-15 | 2019-06-12 | 충북대학교 산학협력단 | 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법 |
| CN111314689A (zh) * | 2018-12-11 | 2020-06-19 | 纬创资通股份有限公司 | 识别影像中前景物件的方法与电子装置 |
| CN111898396A (zh) * | 2019-05-06 | 2020-11-06 | 北京四维图新科技股份有限公司 | 障碍物检测方法和装置 |
| CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
| CN113473074A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种检测方法、电子设备、检测设备以及存储介质 |
| CN114419131A (zh) * | 2022-01-05 | 2022-04-29 | 河南牧原智能科技有限公司 | 用于获取牲畜体重的方法、设备及计算机可读存储介质 |
-
2022
- 2022-06-16 CN CN202210688691.3A patent/CN115049980A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| KR101988551B1 (ko) * | 2018-01-15 | 2019-06-12 | 충북대학교 산학협력단 | 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법 |
| CN108898044A (zh) * | 2018-04-13 | 2018-11-27 | 顺丰科技有限公司 | 装载率获取方法、装置、系统及存储介质 |
| CN111314689A (zh) * | 2018-12-11 | 2020-06-19 | 纬创资通股份有限公司 | 识别影像中前景物件的方法与电子装置 |
| CN109640066A (zh) * | 2018-12-12 | 2019-04-16 | 深圳先进技术研究院 | 高精度稠密深度图像的生成方法和装置 |
| CN111898396A (zh) * | 2019-05-06 | 2020-11-06 | 北京四维图新科技股份有限公司 | 障碍物检测方法和装置 |
| CN113473074A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种检测方法、电子设备、检测设备以及存储介质 |
| CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
| CN114419131A (zh) * | 2022-01-05 | 2022-04-29 | 河南牧原智能科技有限公司 | 用于获取牲畜体重的方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230225B (zh) | 三维重建的方法和装置 | |
| CN111160178B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| CN107980138B (zh) | 一种虚警障碍物检测方法及装置 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| US10853631B2 (en) | Face verification method and apparatus, server and readable storage medium | |
| CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
| CN111563924B (zh) | 图像深度确定方法及活体识别方法、电路、设备和介质 | |
| CN112106111A (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
| WO2020215257A1 (zh) | 图像立体匹配的方法和辅助驾驶装置 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| WO2022218161A1 (zh) | 用于目标匹配的方法、装置、设备及存储介质 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN111160233A (zh) | 基于三维成像辅助的人脸活体检测方法、介质及系统 | |
| JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
| CN113034565B (zh) | 一种单目结构光的深度计算方法及系统 | |
| CN114764823A (zh) | 自校正的深度计算方法、系统、介质及深度图像处理设备 | |
| CN115049980A (zh) | 基于图像的目标对象确定方法、装置及电子设备 | |
| CN111656404A (zh) | 图像处理方法、系统及可移动平台 | |
| JP2014010100A (ja) | 画像処理装置及び方法、並びに撮像装置 | |
| JP6601893B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| AU2020294259B2 (en) | Object association method, apparatus and system, electronic device, storage medium and computer program | |
| CN114966578A (zh) | 基于拍摄设备的雷达外参标定方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220913 |