CN115578463A - 一种单目图像物体识别方法、装置及电子设备 - Google Patents

一种单目图像物体识别方法、装置及电子设备 Download PDF

Info

Publication number
CN115578463A
CN115578463A CN202211479030.6A CN202211479030A CN115578463A CN 115578463 A CN115578463 A CN 115578463A CN 202211479030 A CN202211479030 A CN 202211479030A CN 115578463 A CN115578463 A CN 115578463A
Authority
CN
China
Prior art keywords
frame image
determining
current frame
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211479030.6A
Other languages
English (en)
Other versions
CN115578463B (zh
Inventor
周斌
张进
蔡广华
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202211479030.6A priority Critical patent/CN115578463B/zh
Publication of CN115578463A publication Critical patent/CN115578463A/zh
Application granted granted Critical
Publication of CN115578463B publication Critical patent/CN115578463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例提供了一种单目图像物体识别方法、装置及电子设备，能够基于单目成像系统实现对目标物体的准确检测定位，降低方案复杂度，减少应用成本。所述方法包括：根据关键点在相邻两帧图像中的像素坐标点确定关键点的深度坐标信息，再结合几何先验信息计算确定所述关键点的横、纵坐标信息；根据多个所述关键点的深度坐标信息与横、纵坐标信息确定目标场景的深度信息密度谱；针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。所述装置及所述电子设备用于执行所述单目图像物体识别方法。

Description

一种单目图像物体识别方法、装置及电子设备
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种单目图像物体识别方法、装置及电子设备。
背景技术
自动驾驶技术在近几年的高速发展中，其中如何以低成本的方式对车辆行人等目标进行检测识别并确定位置信息，是当前自动驾驶技术中的重要问题。通常为了实现上述功能目标，整车设计过程中激光雷达与视觉搭配的方式，但其现有的形式存在成本高昂、安装位置局限、标定方法复杂、增加CPU算力和带宽等情况，无形增加了自动驾驶技术推广的难度以及技术门槛。
发明内容
有鉴于此，本发明实施例提供了一种单目图像物体识别方法、装置及电子设备，能够基于单目成像系统实现对目标物体的准确检测定位，方法流程复杂度大大降低，可以减少算力要求，降低应用成本。
在第一方面，本说明书实施例提供了一种图像识别方法，所述方法包括：
利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像；
通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标；
确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息；
根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息；
根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱；
针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
可选的，通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，包括：
通过所述当前帧图像与所述相邻帧图像进行图像识别，利用参考框在所述当前帧图像与所述相邻帧图像中识别确定参考物体；
对所述参考框中的图像内容进行特征识别，分别在所述当前帧图像与所述相邻帧图像的所述参考框中确定所述参考物体的同一特征点作为所述关键点。
可选的，确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，包括：
确定所述车载前视单目系统对应车辆的行驶速度，以及所述车载前视单目系统的图像拍摄帧率；
根据所述行驶速度与所述图像拍摄帧率计算确定所述车辆位移。
可选的，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息，包括：
根据所述车载前视单目系统相应的像素距离，确定所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标之间的坐标点距离；
根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息。
可选的，其特征在于，根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息，包括：
所述车辆位移、所述坐标点距离、所述成像焦距以及所述深度坐标信息之间所形成的比例关系为：
Figure 768839DEST_PATH_IMAGE001
其中，
Figure 915786DEST_PATH_IMAGE002
表示所述车辆位移，
Figure DEST_PATH_IMAGE003
表示所述坐标点距离，
Figure 274611DEST_PATH_IMAGE004
表示所述成像焦距，
Figure DEST_PATH_IMAGE005
表示所述深度坐标信息；
所述深度坐标信息
Figure 49669DEST_PATH_IMAGE005
：
Figure 973762DEST_PATH_IMAGE006
。
可选的，当所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点只存在纵向分量时，根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息，包括：
Figure DEST_PATH_IMAGE007
Figure 342427DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
Figure 502013DEST_PATH_IMAGE010
其中，
Figure 538102DEST_PATH_IMAGE011
表示所述纵向坐标信息，
Figure 633097DEST_PATH_IMAGE012
表示所述车载前视单目系统在世界坐标系中的投影点，
Figure 879270DEST_PATH_IMAGE013
表示所述车载前视单目系统的高度，
Figure 983493DEST_PATH_IMAGE014
表示所述图像中心点在世界坐标系下对应的映射点，
Figure 608509DEST_PATH_IMAGE015
表示所述图像中心点，
Figure 139984DEST_PATH_IMAGE016
表示所述车载前视单目系统的成像焦距，
Figure 342296DEST_PATH_IMAGE017
表示所述关键点，
Figure 250209DEST_PATH_IMAGE018
表示所述关键点在世界坐标系下对应的映射点。
可选的，当所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点同时存在横向分量与纵向分量时，根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息，包括：
Figure 995311DEST_PATH_IMAGE019
Figure 822322DEST_PATH_IMAGE020
Figure 387295DEST_PATH_IMAGE021
Figure 833320DEST_PATH_IMAGE022
其中，
Figure 557562DEST_PATH_IMAGE023
表示所述横向坐标信息，
Figure 430840DEST_PATH_IMAGE024
表示所述关键点，
Figure 748689DEST_PATH_IMAGE025
表示在所述当前帧图像中所述关键点
Figure 732826DEST_PATH_IMAGE024
在纵向方向上的投影点，
Figure 577154DEST_PATH_IMAGE026
表示投影点
Figure 621333DEST_PATH_IMAGE025
在世界坐标系下对应的映射点，表示所述关键点
Figure 426478DEST_PATH_IMAGE024
在世界坐标系下对应的映射点，
Figure 214306DEST_PATH_IMAGE027
表示所述车载前视单目系统所处位置，
Figure 916070DEST_PATH_IMAGE028
表示所述车载前视单目系统的成像焦距。
可选的，针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息，包括：
通过图像识别在所述目标场景中识别确定所述目标物体；
利用深度学习对所述物体进行边界特征匹配，确定所述目标物体相应的多个边界点；
根据多个所述边界点确定所述目标物体的所述轮廓信息；
根据所述目标物体的多个所述边界点，基于所述深度信息密度谱确定所述目标物体的所述相对位置信息。
在第二方面，本说明书实施例还提供了一种单目图像物体识别装置，包括：
图像获取单元，用于利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像；
关键点识别单元，用于通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标；
深度坐标计算单元，用于确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息；
横纵坐标计算单元，用于根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息；
深度信息密度谱计算单元，用于根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱；以及
物体检测单元，用于针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
在第三方面，本说明书实施例还提供了一种单目图像物体识别电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的单目图像物体识别方法。
从上面可以看出，本说明书实施例所提供的一种单目图像物体识别方法、装置及电子设备，具有如下有益技术效果：
利用相似三角形位置关系，根据目标场景中同一物体上的同一关键点在当前帧图像与相邻真图形中的像素点坐标，计算确定所述目标场景中该同一关键点在世界坐标系下的深度坐标信息；再利用所述关键点在当前帧图像中成像点相应的几何约束关系，结合所述车载前视单目系统相应的几何先验信息，计算确定关键点在世界坐标系下的横向坐标信息、纵向坐标信息，从而可以确定所述关键点的世界坐标数据。采用同样的方式，可以确定所述当前帧图像中多个点相应的世界坐标，进而可以确定出所述目标场景的深度信息密度谱，再结合图像识别与深度学习，可以对目标场景中目标物体进行准确识别与定位。这样的方式仅依靠单目图像即可实现对目标物体的准确识别定位，方法流程复杂度大大降低，可以减少算力要求，降低应用成本。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法示意图；
图2示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中在当前帧图像与相邻帧图像中确定同一关键点的方法示意图；
图3示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中确定深度坐标信息的方法示意图；
图4示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中关键点、关键点的成像点位移以及车辆位移所构成的相似三角形几何关系示意图；
图5示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点只存在纵向分量时，所述关键点与相应映射点之间的几何约束关系示意图；
图6示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点同时存在横向分量与纵向分量时，所述关键点与相应映射点之间的几何约束关系示意图；
图7示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中确定所述目标物体的相对位置信息示意图；
图8示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别装置结构示意图；
图9示出了本说明书一个或多个可选实施例所提供的一种单目图像物体识别电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
自动驾驶技术在近几年的高速发展中，其中如何以低成本的方式对车辆行人等目标进行检测识别并确定位置信息，是当前自动驾驶技术中的重要问题。通常为了实现上述功能目标，整车设计过程中激光雷达与视觉搭配的方式，但其现有的形式存在成本高昂、安装位置局限、标定方法复杂、增加CPU算力和带宽等情况，无形增加了自动驾驶技术推广的难度以及技术门槛。具体的：
（1）采用激光雷达与视觉搭配的方案，相比于单目视觉方案，其成本为其10倍以上，成本高昂；
（2）并且激光雷达与视觉的方案在很多技术细节上还不够成熟，二者的结合更多的会造成目标检测识别的博弈，尤其是多目标和伪目标造成CPU的误判；
（3）激光雷达与视觉的搭配，需要对每一个激光点云和像素点进行立体匹配，特征提取和匹配时对算力有着极高的要求，对整体产品系统设计有着更大的挑战。
针对上述问题，本说明书实施例的技术方案目的在于提出一种单目图像物体识别方法，仅依靠单目成像系统所获取的单目图像，结合单目成像系统相关的已知参数，利用几何约束与几何先验法将二维单目图像中的信息反变换到三维世界坐标中，从而可以确定单目图像深度信息，以便于进一步去的实现对单目图像中的物体检测定位。
基于上述目的，在第一方面，本说明书实施例提供了一种单目图像物体识别方法。
如图1所示，本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法，包括：
S1：利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像。
可以从所述车载前视单目系统所获取的视频流数据中选取所述当前帧图像与所述相邻帧图像。
S2：通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标。
分别对所述当前帧图像与所述相邻帧图像进行内容识别，在所述当前帧图像与所述相邻帧图像中确定同一物体上的同一关键点，进一步的，可以分别在所述当前帧图像与所述相邻帧图像中确定所述关键点的像素点坐标
Figure 131151DEST_PATH_IMAGE029
。
S3：确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息。
从所述车载前视单目系统获取到所述当前帧图像到获取到所述相邻帧图像的这一时段，所述车载前视单目系统对应的车辆发生位移，相应的所述目标场景中同一物体上的同一关键点在单目系统图像中对应的成像点也发生相对位移，同一物体上的关键点与车辆位移以及成像点位移之间构成相似三角形的位置关系。
可以首先确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，在根据所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，利用相似三角形的位置关系，计算确定所述目标场景中该同一物体上的关键点与所述车载前视单目系统的相对距离，从而基于所述相对距离可以确定所述关键点映射到世界坐标系中的深度坐标信息。
其中，可以先确定所述车载前视单目系统对应车辆的行驶速度，以及所述车载前视单目系统的图像拍摄帧率。根据所述图像拍摄帧率确定所述当前帧图像与所述相邻帧图像之间的时间间隔，进而根据所述行驶速度与根据所述图像拍摄帧率所确定的时间间隔计算确定所述车辆位移。
S4：根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息。
基于所述车载前视单目系统的成像结构原理，可以确定所述关键点在世界坐标系中对应的映射点，以及所述关键点在单目图像中成像点之间的几何约束关系，基于所述几何约束关系可以根据所述关键点在所述当前帧图像中的所述像素点坐标以及所述车载前视单目系统相应的几何先验信息，确定所述关键点对应映射点在世界坐标系下的所述横向坐标信息与所述纵向坐标信息。
S5：根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点相应的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱。
确定所述关键点相应的所述深度坐标信息Z、所述横向坐标信息X、所述纵向坐标信息Y ，即可确定所述关键点在世界坐标系下对应映射点的世界坐标(X,Y,Z)。采用同样的方式，可以确定所述当前帧图像中多个点相应的世界坐标，从而确定所述当前帧图像的相应的目标场景的深度信息密度谱。
S6：针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
可以采用图像识别算法对所述当前帧图像进行物体识别检测，并利用深度学习确定出所述目标场景中目标物体的物体轮廓信息，结合所述目标场景的深度信息密度谱，可以准确确定所述目标物体的相对位置信息，从而实现对所述目标物体的识别定位。
所述单目图像物体识别方法，首先利用相似三角形位置关系，根据目标场景中同一物体上的同一关键点在当前帧图像与相邻真图形中的像素点坐标，计算确定所述目标场景中该同一关键点在世界坐标系下的深度坐标信息；再利用所述关键点在当前帧图像中成像点相应的几何约束关系，结合所述车载前视单目系统相应的几何先验信息，计算确定关键点在世界坐标系下的横向坐标信息、纵向坐标信息，从而可以确定所述关键点的世界坐标数据。采用同样的方式，可以确定所述当前帧图像中多个点相应的世界坐标，进而可以确定出所述目标场景的深度信息密度谱，再结合图像识别与深度学习，可以对目标场景中目标物体进行准确识别与定位。这样的方式仅依靠单目图像即可实现对目标物体的准确识别定位，方法流程复杂度大大降低，可以减少算力要求，降低应用成本。
如图2所示，在本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中，通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，包括：
S201：通过所述当前帧图像与所述相邻帧图像进行图像识别，利用参考框在所述当前帧图像与所述相邻帧图像中识别确定参考物体。
可以通过图像识别在所述当前帧图像与所述相邻帧图像中识别确定相同物体，利用参考框将该相同物体框选确定。
S202：对所述参考框中的图像内容进行特征识别，分别在所述当前帧图像与所述相邻帧图像的所述参考框中确定所述参考物体的同一特征点作为所述关键点。
在利用参考框框选确定相同物体之后，对参考框中的图像内容进行进一步的特征识别，从而选定相同物体上的同一特征点作为所述关键点。这样的方式，进行特征识别的对象仅集中在参考矿中的图像内容，能够大大降低特征识别识别范围，减少识别计算工作量，并提高识别计算结果准确度。
如图3所示，在本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息，包括：
S301：根据所述车载前视单目系统相应的像素距离，确定所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标之间的坐标点距离；
S302：根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息。
图4示出了所述目标场景中的物体上的关键点K、关键点在所述当前帧图像与所述相邻帧图像上的成像点位移以及车辆位移所构成的相似三角形几何关系示意图。
根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息，包括：
所述车辆位移D、所述坐标点距离L、所述成像焦距f以及所述深度坐标信息Z之间所形成的比例关系为：
Figure 158012DEST_PATH_IMAGE030
其中，
Figure 749531DEST_PATH_IMAGE031
表示所述车辆位移，
Figure 37293DEST_PATH_IMAGE032
表示所述坐标点距离，
Figure 423275DEST_PATH_IMAGE033
表示所述成像焦距，
Figure 203012DEST_PATH_IMAGE034
表示所述深度坐标信息。
参考图4所示，
Figure 457276DEST_PATH_IMAGE035
表示车辆位移，其长度为
Figure 740489DEST_PATH_IMAGE031
。
所述深度坐标信息
Figure 562952DEST_PATH_IMAGE034
：
Figure 564406DEST_PATH_IMAGE036
。
其中，所述坐标点距离L（图中未示出）可以根据所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标
Figure 622361DEST_PATH_IMAGE037
计算确定。
在本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中，在所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点只存在纵向分量时，所述关键点在世界坐标系中的映射点相对所述图像中心点在世界坐标系中映射点也只存在纵向分量。
如图5所示，为所述关键点与相应映射点之间的几何约束关系示意图。可以根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息。所述纵向坐标信息可以表示为：
Figure 760081DEST_PATH_IMAGE038
Figure 753445DEST_PATH_IMAGE039
Figure 242195DEST_PATH_IMAGE040
Figure 838261DEST_PATH_IMAGE041
其中，
Figure 96067DEST_PATH_IMAGE042
表示所述纵向坐标信息，
Figure 260332DEST_PATH_IMAGE043
表示所述车载前视单目系统在世界坐标系中的投影点，
Figure 970800DEST_PATH_IMAGE044
表示所述车载前视单目系统所处位置，
Figure 104978DEST_PATH_IMAGE045
表示所述图像中心点，
Figure 482869DEST_PATH_IMAGE046
表示所述车载前视单目系统的高度，
Figure 552456DEST_PATH_IMAGE047
表示所述图像中心点在世界坐标系下对应的映射点，
Figure 140433DEST_PATH_IMAGE048
表示所述车载前视单目系统的成像焦距。在图5中，
Figure 953668DEST_PATH_IMAGE049
表示所述关键点，
Figure 186066DEST_PATH_IMAGE050
表示所述关键点在世界坐标系下对应的映射点。
在说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中，在所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点同时存在横向分量与纵向分量时，所述关键点在世界坐标系中的映射点相对所述图像中心点在世界坐标系中映射点也同时存在横向分量与纵向分量。
如图6所示，为所述关键点与相应映射点之间的几何约束关系示意图。可以根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息。其中，所述纵向坐标信息可以采用上述方式计算确定。所述横向坐标信息可以表示为：
Figure 426555DEST_PATH_IMAGE051
Figure 501827DEST_PATH_IMAGE052
Figure 118753DEST_PATH_IMAGE053
Figure 205658DEST_PATH_IMAGE054
其中，
Figure 882627DEST_PATH_IMAGE055
表示所述横向坐标信息，
Figure 905248DEST_PATH_IMAGE056
表示所述车载前视单目系统在世界坐标系中的投影点，
Figure 60285DEST_PATH_IMAGE057
表示所述车载前视单目系统所处位置，
Figure 267276DEST_PATH_IMAGE058
表示所述图像中心点，
Figure 974201DEST_PATH_IMAGE059
表示所述车载前视单目系统的高度，
Figure 633852DEST_PATH_IMAGE060
表示所述图像中心点在世界坐标系下对应的映射点，
Figure 592581DEST_PATH_IMAGE061
表示所述车载前视单目系统的成像焦距。在图6中，
Figure 654078DEST_PATH_IMAGE062
表示所述关键点，
Figure 797483DEST_PATH_IMAGE063
表示在所述当前帧图像中所述关键点
Figure 678851DEST_PATH_IMAGE062
在纵向方向上的投影点，
Figure 175692DEST_PATH_IMAGE064
表示投影点
Figure 216329DEST_PATH_IMAGE063
在世界坐标系下对应的映射点，
Figure 406002DEST_PATH_IMAGE065
表示所述关键点
Figure 40246DEST_PATH_IMAGE062
在世界坐标系下对应的映射点。
如图7所示，在本说明书一个或多个可选实施例所提供的一种单目图像物体识别方法中，针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息，包括：
S701：通过图像识别在所述目标场景中识别确定所述目标物体；
S702：利用深度学习对所述物体进行边界特征匹配，确定所述目标物体相应的多个边界点。
S703：根据多个所述边界点确定所述目标物体的所述轮廓信息；
S704：根据所述目标物体的多个所述边界点，基于所述深度信息密度谱确定所述目标物体的所述相对位置信息。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本说明书实施例还提供了一种单目图像物体识别装置。
参考图8，所述单目图像物体识别装置，包括：
图像获取单元，用于利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像；
关键点识别单元，用于通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标；
深度坐标计算单元，用于确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息；
横纵坐标计算单元，用于根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息；
深度信息密度谱计算单元，用于根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱；以及
物体检测单元，用于针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述关键点识别单元，还用于通过所述当前帧图像与所述相邻帧图像进行图像识别，利用参考框在所述当前帧图像与所述相邻帧图像中识别确定参考物体；对所述参考框中的图像内容进行特征识别，分别在所述当前帧图像与所述相邻帧图像的所述参考框中确定所述参考物体的同一特征点作为所述关键点。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述深度坐标计算单元，还用于确定所述车载前视单目系统对应车辆的行驶速度，以及所述车载前视单目系统的图像拍摄帧率；根据所述行驶速度与所述图像拍摄帧率计算确定所述车辆位移。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述深度坐标计算单元，还用于根据所述车载前视单目系统相应的像素距离，确定所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标之间的坐标点距离；根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述深度坐标计算单元还用于基于相似三角形计算确定所述关键点相应的所述深度坐标信息。所述车辆位移、所述坐标点距离、所述成像焦距以及所述深度坐标信息之间所形成的比例关系为：
Figure 340777DEST_PATH_IMAGE066
其中，
Figure 235921DEST_PATH_IMAGE067
表示所述车辆位移，
Figure 596495DEST_PATH_IMAGE068
表示所述坐标点距离，
Figure 718035DEST_PATH_IMAGE069
表示所述成像焦距，
Figure 556678DEST_PATH_IMAGE070
表示所述深度坐标信息；
所述深度坐标信息
Figure 571907DEST_PATH_IMAGE070
：
Figure 103382DEST_PATH_IMAGE071
。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述横纵坐标计算单元还用于在所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点只存在纵向分量时计算所述纵向坐标信息。所述纵向坐标信息可以表示为：
Figure 446639DEST_PATH_IMAGE072
Figure 354552DEST_PATH_IMAGE073
Figure 224288DEST_PATH_IMAGE074
Figure 661086DEST_PATH_IMAGE075
其中，
Figure 491638DEST_PATH_IMAGE076
表示所述纵向坐标信息，
Figure 796718DEST_PATH_IMAGE077
表示所述车载前视单目系统在世界坐标系中的投影点，
Figure 661906DEST_PATH_IMAGE078
表示所述车载前视单目系统的高度，
Figure 535184DEST_PATH_IMAGE079
表示所述图像中心点在世界坐标系下对应的映射点，
Figure 853033DEST_PATH_IMAGE080
表示所述图像中心点，
Figure 699153DEST_PATH_IMAGE081
表示所述车载前视单目系统的成像焦距，
Figure 418848DEST_PATH_IMAGE082
表示所述关键点，
Figure 463027DEST_PATH_IMAGE083
表示所述关键点在世界坐标系下对应的映射点。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述横纵坐标计算单元还用于在所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点同时存在横向分量与纵向分量时，计算所述横向坐标信息与所述纵向坐标信息。其中，所述横向坐标信息可以表示为：
Figure 392806DEST_PATH_IMAGE084
Figure 180633DEST_PATH_IMAGE085
Figure 754834DEST_PATH_IMAGE086
Figure 969915DEST_PATH_IMAGE087
其中，
Figure 121410DEST_PATH_IMAGE088
表示所述横向坐标信息，
Figure 712929DEST_PATH_IMAGE089
表示所述关键点，
Figure 141636DEST_PATH_IMAGE090
表示在所述当前帧图像中所述关键点
Figure 527618DEST_PATH_IMAGE091
在纵向方向上的投影点，
Figure 431989DEST_PATH_IMAGE092
表示投影点
Figure 296040DEST_PATH_IMAGE090
在世界坐标系下对应的映射点，
Figure 579254DEST_PATH_IMAGE093
表示所述关键点
Figure 526350DEST_PATH_IMAGE091
在世界坐标系下对应的映射点，
Figure 527804DEST_PATH_IMAGE094
表示所述车载前视单目系统所处位置，
Figure 195546DEST_PATH_IMAGE095
表示所述车载前视单目系统的成像焦距。
在说明书一个或多个可选实施例所提供了一种单目图像物体识别装置中，所述物体检测单元还用于通过图像识别在所述目标场景中识别确定所述目标物体；利用深度学习对所述物体进行边界特征匹配，确定所述目标物体相应的多个边界点；根据多个所述边界点确定所述目标物体的所述轮廓信息；根据所述目标物体的多个所述边界点，基于所述深度信息密度谱确定所述目标物体的所述相对位置信息。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的单目图像物体识别方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的单目图像物体识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
在技术发展的初期，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field ProgrammableGate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种单目图像物体识别方法，其特征在于，包括：
利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像；
通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标；
确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息；
根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息；
根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱；
针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
2.根据权利要求1所述的方法，其特征在于，通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，包括：
通过所述当前帧图像与所述相邻帧图像进行图像识别，利用参考框在所述当前帧图像与所述相邻帧图像中识别确定参考物体；
对所述参考框中的图像内容进行特征识别，分别在所述当前帧图像与所述相邻帧图像的所述参考框中确定所述参考物体的同一特征点作为所述关键点。
3.根据权利要求1所述的方法，其特征在于，确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，包括：
确定所述车载前视单目系统对应车辆的行驶速度，以及所述车载前视单目系统的图像拍摄帧率；
根据所述行驶速度与所述图像拍摄帧率计算确定所述车辆位移。
4.根据权利要求1所述的方法，其特征在于，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息，包括：
根据所述车载前视单目系统相应的像素距离，确定所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标之间的坐标点距离；
根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息。
5.根据权利要求4所述的方法，其特征在于，根据所述车辆位移、所述坐标点距离以及所述车载前视单目系统的成像焦距，基于相似三角形计算确定所述关键点相应的所述深度坐标信息，包括：
所述车辆位移、所述坐标点距离、所述成像焦距以及所述深度坐标信息之间所形成的比例关系为：
Figure 659237DEST_PATH_IMAGE001
其中，
Figure 169853DEST_PATH_IMAGE002
表示所述车辆位移，
Figure 684011DEST_PATH_IMAGE003
表示所述坐标点距离，
Figure 813641DEST_PATH_IMAGE004
表示所述成像焦距，
Figure 362434DEST_PATH_IMAGE005
表示所述深度坐标信息；
所述深度坐标信息
Figure 43951DEST_PATH_IMAGE005
：
Figure 45405DEST_PATH_IMAGE006
。
6.根据权利要求1所述的方法，其特征在于，当所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点只存在纵向分量时，根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息，包括：
Figure 978726DEST_PATH_IMAGE007
Figure 382025DEST_PATH_IMAGE008
Figure 234444DEST_PATH_IMAGE009
Figure 457615DEST_PATH_IMAGE010
其中，
Figure 929047DEST_PATH_IMAGE011
表示所述纵向坐标信息，
Figure 311487DEST_PATH_IMAGE012
表示所述车载前视单目系统在世界坐标系中的投影点，
Figure 475752DEST_PATH_IMAGE013
表示所述车载前视单目系统的高度，
Figure 451798DEST_PATH_IMAGE014
表示所述图像中心点在世界坐标系下对应的映射点，
Figure 461343DEST_PATH_IMAGE015
表示所述图像中心点，
Figure 963868DEST_PATH_IMAGE016
表示所述车载前视单目系统的成像焦距，
Figure 767876DEST_PATH_IMAGE017
表示所述关键点，
Figure 231219DEST_PATH_IMAGE018
表示所述关键点在世界坐标系下对应的映射点。
7.根据权利要求1所述的方法，其特征在于，当所述关键点在所述当前帧图像中的所述像素点坐标相比所述当前帧图像的图像中心点同时存在横向分量与纵向分量时，根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息，包括：
Figure 172017DEST_PATH_IMAGE019
Figure 404416DEST_PATH_IMAGE020
Figure 910483DEST_PATH_IMAGE021
Figure 595542DEST_PATH_IMAGE022
其中，
Figure 337102DEST_PATH_IMAGE023
表示所述横向坐标信息，
Figure 424007DEST_PATH_IMAGE024
表示所述关键点，
Figure 100976DEST_PATH_IMAGE025
表示在所述当前帧图像中所述关键点
Figure 273331DEST_PATH_IMAGE026
在纵向方向上的投影点，
Figure 287424DEST_PATH_IMAGE027
表示投影点
Figure 494414DEST_PATH_IMAGE028
在世界坐标系下对应的映射点，
Figure 342285DEST_PATH_IMAGE029
表示所述关键点
Figure 126570DEST_PATH_IMAGE026
在世界坐标系下对应的映射点，
Figure 85299DEST_PATH_IMAGE030
表示所述车载前视单目系统所处位置，
Figure 881216DEST_PATH_IMAGE031
表示所述车载前视单目系统的成像焦距。
8.根据权利要求1所述的方法，其特征在于，针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息，包括：
通过图像识别在所述目标场景中识别确定所述目标物体；
利用深度学习对所述物体进行边界特征匹配，确定所述目标物体相应的多个边界点；
根据多个所述边界点确定所述目标物体的所述轮廓信息；
根据所述目标物体的多个所述边界点，基于所述深度信息密度谱确定所述目标物体的所述相对位置信息。
9.一种单目图像物体识别装置，其特征在于，包括：
图像获取单元，用于利用车载前视单目系统获取目标场景相应的当前帧图像以及所述当前帧图像的相邻帧图像；
关键点识别单元，用于通过图像识别在所述当前帧图像与所述相邻帧图像中确定同一关键点，并分别确定所述关键点在所述当前帧图像与所述相邻帧图像中的像素点坐标；
深度坐标计算单元，用于确定所述当前帧图像与所述相邻帧图像之间时段所对应的车辆位移，根据所述车辆位移以及所述关键点在所述当前帧图像与所述相邻帧图像中的所述像素点坐标，计算确定所述关键点映射到世界坐标系中的深度坐标信息；
横纵坐标计算单元，用于根据所述关键点在所述当前帧图像中的所述像素点坐标结合所述车载前视单目系统相应的几何先验信息，计算确定所述关键点映射到世界坐标系中的横向坐标信息与纵向坐标信息；
深度信息密度谱计算单元，用于根据所述深度坐标信息、所述横向坐标信息与所述纵向坐标信息确定所述关键点的世界坐标信息，基于所述当前帧图像中多个所述关键点相应的所述世界坐标信息确定所述目标场景的深度信息密度谱；以及
物体检测单元，用于针对所述当前帧图像进行物体检测，确定所述目标场景中目标物体的物体轮廓信息，并结合所述深度信息密度谱确定所述目标物体的相对位置信息。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。
CN202211479030.6A 2022-11-24 2022-11-24 一种单目图像物体识别方法、装置及电子设备 Active CN115578463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211479030.6A CN115578463B (zh) 2022-11-24 2022-11-24 一种单目图像物体识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211479030.6A CN115578463B (zh) 2022-11-24 2022-11-24 一种单目图像物体识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115578463A true CN115578463A (zh) 2023-01-06
CN115578463B CN115578463B (zh) 2023-04-07

Family

ID=84590703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211479030.6A Active CN115578463B (zh) 2022-11-24 2022-11-24 一种单目图像物体识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115578463B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN106228608A (zh) * 2016-08-24 2016-12-14 集美大学 一种基于双目的用于物体快速重构的手持装置和方法
CN115331151A (zh) * 2022-08-29 2022-11-11 上海复亚智能科技有限公司 一种视频测速方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
CN106228608A (zh) * 2016-08-24 2016-12-14 集美大学 一种基于双目的用于物体快速重构的手持装置和方法
CN115331151A (zh) * 2022-08-29 2022-11-11 上海复亚智能科技有限公司 一种视频测速方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115578463B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN112102411B (zh) 一种基于语义误差图像的视觉定位方法及装置
CN110095752B (zh) 定位方法、装置、设备和介质
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
US11754701B2 (en) Electronic device for camera and radar sensor fusion-based three-dimensional object detection and operating method thereof
CN111242908B (zh) 一种平面检测方法及装置、平面跟踪方法及装置
US10621446B2 (en) Handling perspective magnification in optical flow processing
US10277889B2 (en) Method and system for depth estimation based upon object magnification
CN111062981B (zh) 图像处理方法、装置及存储介质
CN111959495B (zh) 车辆的控制方法、装置及车辆
JP2013196454A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
CN110458954B (zh) 一种等高线生成方法、装置及设备
CN112991441A (zh) 相机定位方法、装置、电子设备及存储介质
CN104915948A (zh) 用于使用范围传感器选择二维兴趣区域的系统和方法
CN112150522A (zh) 遥感图像的配准方法、装置、设备、存储介质及系统
CN112560615A (zh) 观看屏幕判断方法、系统及电子设备
CN115578463B (zh) 一种单目图像物体识别方法、装置及电子设备
CN116205989A (zh) 基于激光雷达与相机融合的目标检测方法、系统及设备
US10325378B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
CN114755444B (zh) 目标速度测定方法、装置、电子设备及存储介质
US20230377182A1 (en) Augmented reality device for obtaining depth information and method of operating the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant