CN111788605B - 基于多立体成像的深度估计的方法和系统 - Google Patents

基于多立体成像的深度估计的方法和系统 Download PDF

Info

Publication number
CN111788605B
CN111788605B CN201880090517.0A CN201880090517A CN111788605B CN 111788605 B CN111788605 B CN 111788605B CN 201880090517 A CN201880090517 A CN 201880090517A CN 111788605 B CN111788605 B CN 111788605B
Authority
CN
China
Prior art keywords
stereoscopic
image
pairs
stereoscopic imaging
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090517.0A
Other languages
English (en)
Other versions
CN111788605A (zh
Inventor
A·甘古力
小T·P·戴利
郑皓
D·W·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhijia Technology Co ltd
Original Assignee
Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhijia Technology Co ltd filed Critical Zhijia Technology Co ltd
Publication of CN111788605A publication Critical patent/CN111788605A/zh
Application granted granted Critical
Publication of CN111788605B publication Critical patent/CN111788605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本示教涉及自动驾驶中确定深度信息的方法、系统、介质和实施方式。首先，从选自至少两个立体成像对的多个立体成像对获得立体图像。所述至少两个立体成像对具有以相同基线和相同垂直平面安装的立体照相机。来自多个立体成像对的左图像被融合以生成融合的左图像，来自多个立体成像对的右图像被融合以生成融合的右图像。然后，基于融合的左右图像来估计视差，并且可以基于立体图像和视差来计算深度信息。

Description

基于多立体成像的深度估计的方法和系统
相关申请的交叉引用
本申请要求于2017年12月29日提交的美国临时申请62/612,196的优先权，该申请全文并入此处作为参考。
技术领域
本示教主要涉及计算机辅助的感知。具体而言，本示教涉及基于图像估计深度。
背景技术
随着近来在人工智能(AI)方面的技术发展，出现了在不同应用领域中应用AI的浪潮。这包括自动驾驶领域，在该领域中，识别车辆周围的物体和/或障碍物对于避开障碍物并确保安全至关重要。传统而言，在车辆周围安装传感器，以便持续地收集周边数据。接着，对这样收集的数据实时地进行分析，从而检测周围的物体/障碍物。尤其重要的是要意识到也在移动的任何障碍物。例如，需要即时(on-the-fly)地测量本车(egovehicle)附近的任何运动的车辆，尤其是在碰撞过程中朝着本车运动的车辆。
为了有效地控制避障，本车与周围物体/障碍物之间的距离是要估计的重要特征。这涉及对周围的深度的估计。为了便于迅速避开障碍物，还需要即时地进行深度估计。传统上，深度估计依赖于来自多个传感器的一对立体图像中的信息。例如，可以将立体照相机部署在本车上，以获取具有特定的校准后视差的左右图像，并用于以不同的视角捕获周围的场景。基于同一场景的这种立体图像，可以构造场景的深度图并将其用于确定场景中的物体与本车之间的距离。如本领域中已知的，从立体图像构造深度图可能需要大量计算，这使得即时地准确地估计深度信息更加困难。尽管可以使用分辨率较粗糙的图像来加快处理速度，但它牺牲了避障通常所需要的分辨率。
因此，存在这样的需求：提供一种在自动驾驶中估计深度信息的改进的解决方案。
发明内容
这里公开的示教涉及用于在线服务的方法、系统和程序设计。具体而言，本示教涉及用于开发能与用户对话的虚拟代理的方法、系统和程序设计。
在一实例中，公开了一种用于确定自动驾驶中的深度信息的方法。首先，从选自至少两个立体成像对(stereopairs)的多个立体成像对中获取立体图像。所述至少两个立体成像对具有以相同基线和相同垂直平面安装的立体照相机。来自所述多个立体成像对的左图像被融合以生成融合的左图像，来自所述多个立体成像对的右图像被融合以生成融合的右图像。然后，基于融合的左右图像来估计视差，并且可以基于立体图像和视差来计算深度信息。
在另一个实例中，公开了一种用于在自动驾驶中估计深度信息的系统。该系统包括多个立体成像对、左图像融合单元、右图像融合单元、基于立体成像的视差估计器和基于多立体成像的深度估计器。从至少两个立体成像对中选择多个立体成像对，所述至少两个立体成像对具有以相同的基准线和相同的垂直平面安装的立体照相机。左图像融合单元被配置用于融合来自所述多个立体成像对的左图像以生成融合的左图像，右图像融合单元被配置用于融合来自所述多个立体成像对的右图像以生成融合的右图像。基于立体成像的视差估计器被配置为基于融合的左右图像估计视差。基于多立体成像的深度估计器被配置为基于立体图像和视差来计算由立体图像捕获的场景的深度信息。
其他概念涉及用于实现这里给出的关于开发虚拟代理的示教的软件。根据此概念的软件产品包括至少一个机器可读的非暂时性介质以及由该介质承载的信息。该介质承载的信息可以是可执行程序代码数据，与可执行程序代码相关联的参数，和/或与用户、请求、内容有关的信息或与社会群体等有关的信息。
在一实例中，公开了机器可读的非暂时性介质，其中，该介质具有记录在其上的用于在自动驾驶中确定深度信息的信息，该信息在被机器读取时，使得机器会执行多种步骤。首先，从选自至少两个立体成像对的多个立体成像对中获得立体图像。所述至少两个立体成像对具有以相同基线和相同垂直平面安装的立体照相机。来自所述多个立体成像对的左图像被融合以生成融合的左图像，来自所述多个立体成像对的右图像被融合以生成融合的右图像。然后，基于融合的左右图像来估计视差，并且可以基于立体图像和视差来计算深度信息。
另外的新特征一部分在下面的说明中给出，一部分将为本领域技术人员在检视下面的说明书以及附图后明了，或者可以通过制造或运行实例来习得。本示教的新特征可以通过对下面讨论的详细实例中给出的方法、设备及组合的多种实施形态的实践或使用来实现或获得。
附图说明
这里介绍的方法、系统和/或程序设计以示例性实施例的方式进一步介绍。这些示例性实施例将参照附图详细介绍。这些实施例是非限制性的示例性实施例，其中，贯穿多幅附图，类似的参考标号代表类似的结构，且其中：
图1A-1B示出了根据本示教一实施例的多个立体图像获取照相机的配置的俯视图和正视图；
图2A示出了根据本示教一实施例，由具有宽视野的立体照相机获取的第一张图像和由具有窄视野的立体照相机获取的一图像；
图2B示出了根据本示教一实施例，基于由具有宽视野的照相机获取的具有较粗糙分辨率的图像和由具有窄视野的照相机获取的图像的融合图像；
图2C示出了根据本示教一实施例，基于两对立体照相机的宽视野和窄视野生成的融合立体图像；
图3示出了根据本示教一实施例，基于多立体成像的深度估计机制的示例性高层级系统图；
图4是根据本示教一实施例，基于多立体成像的深度估计机制的示例性过程的流程图；
图5A-5B示出了根据本示教的另一实施例，基于多立体成像的深度估计方案；
图6示出了根据本示教另一实施例，基于多立体成像的深度估计机制的示例性高层级系统图；
图7示出了根据本示教的另一不同实施例，基于物体的、基于多立体成像的深度估计；
图8示出了根据本示教的另一实施例，基于物体的、基于多立体成像的深度估计的示例性高层级系统图；
图9是根据本示教的另一实施例，基于物体的，基于多立体成像的深度估计的示例性过程的流程图；
图10示出了可用于实现包含本示教的特定系统的移动设备的架构；以及
图11示出了能用于实现包含本示教的特定系统的计算机的架构。
具体实施方式
在下面的详细介绍中，通过示例的方式给出了多种特定细节，以便提供对相关示教的全面理解。然而，本领域技术人员应当明了，本示教可以在没有这些细节的情况下实现。在其他的实例中，公知的方法、过程、部件和/或电路已经以相对较高的层次介绍而没有给出细节，以避免不必要地模糊本示教的实施形态。
本公开一般涉及系统、方法、介质和其他实施形态，其用于在自动驾驶的情况下为了避障的目的，基于立体图像估计深度。在不同的实施例中，本示教公开了一种高效的系统，方法和介质，用于即时地估计场景的不同部分的深度以实现自动避障。
在自动驾驶中，关键任务是碰撞警告和规避。为此，一项基本任务是能够准确地估计在本车的适当方向上任何物体的深度或距离。传统上，为了估计这样的距离，使用单个立体成像对，该立体成像对要么具有狭窄的视野，其在物体之间的距离较大时，可以准确地估计到物体的距离；要么具有较宽的视野，其在物体处于短范围内时，可以准确地估计到物体的距离。为了有效地检测可能的碰撞和/或生成警告以避免碰撞，需要针对短距离和长距离二者准确地估计深度。
本示教公开了双重或多重立体成像布置，以实现对短距离和长距离的准确的距离估计。图1A-1B示出了根据本示教一实施例的多个立体图像获取照相机的配置的俯视图和正视图。在图1A中的多重立体照相机配置的俯视图中，第一立体成像对中的照相机具有窄视野和长焦距，如110所示。此第一对能够准确估计到处于远的范围内的物体的距离。如120处所示，第二立体成像对中的照相机具有宽视野和较短的焦距。此第二对能够准确估计到处于较短范围内的物体的距离。图1A中的示例性双重立体成像对布置可以扩展到更长的焦距。在图1B中，示出了多重立体照相机配置的正视图。
在一些实施例中，如图1A-1B所示的两个立体成像对具有相同的基线,并且以这样的方式安排：两对中的左照相机位于同一垂直平面上。同样，两对中的右照相机位于同一垂直平面上。以这种方式，两对都具有相同的基线。这样的布置使得来自两个立体成像对的信息可以准确组合。例如，来自第一立体成像对和第二立体成像对的图像可以被融合以实现改善的组合分辨率，这可以增强深度估计的性能。这在图2A-2C中示出。
图2A示出了根据本示教一实施例，由两个左立体照相机获取的两个图像。如图所示，示例性图像210由具有较宽视野的第二立体成像对的左立体照相机获取，示例性图像220由具有窄视野的第一立体成像对的左立体照相机获取。图2B示出了根据本示教一实施例，通过融合具有较粗糙分辨率、宽视野的图像210和具有较细致分辨率、窄视野的图像220而产生的组合图像。当融合时，两个被融合图像中的每一个提供多分辨率融合图像。如图2B所示，图像220在适当的位置处叠加在图像210上，以产生特定区域具有更高分辨率的融合图像230。图2C示出了根据本示教一实施例，基于来自两对立体照相机的较宽和狭窄视野的融合的左右立体图像。可以获取来自两个立体成像对的左图像，然后将其融合在一起，如230中所示。来自两个立体成像对的右图像也可以用于融合，以生成融合图像240。当以这种方式融合时，两个融合图像中的每一个提供多分辨率的融合图像，然后，可用于以更准确的方式估算较短范围和较长范围的视差。于是，基于这样确定的视差，可以在较短和较长范围内以更准确的方式估计深度。
图3示出了根据本示教一实施例，基于多立体成像的深度估计机制300的示例性高层级系统图。在该示出的实施例中，基于多立体成像的深度估计机制300包括：双重立体成像对310，其包括具有较宽视野的立体成像对1310-1和具有窄视野的立体成像对2310-2；左图像融合单元320；右图像融合单元330；图像配准(registration)单元350；基于立体成像的视差估计器360；以及，基于多立体成像的深度估计器370。图4是根据本示教一实施例，基于多立体成像的深度估计机制300的示例性过程的流程图。为了执行深度估计，在410处，经由立体成像对1图像获取单元310-1和第二对2图像获取单元310-2，分别获得两对立体图像，一对具有较宽的视野，另一对具有窄的视野。每对这样获得的立体图像包括左图像和右图像。为了利用多个立体成像信息，左图像融合单元320在420处融合来自不同立体成像对(具有较宽和较窄的视野)的照相机的两个左图像，以生成融合的左图像230(见图2C)。类似地，在430处，右图像融合单元330融合来自不同对的照相机(具有较宽和较窄的视野)的两个右图像，以生成融合的右图像240(见图2C)。在一些实施例中，左图像融合单元320和右图像融合单元330基于例如某些融合模型340执行融合。
基于两个融合的左右图像，图像配准单元350在440处执行融合的左右图像的图像配准。在一些实施例中，可以基于该区域中较高的分辨率基于融合的左图像和右图像的区域来进行配准，以实现改善的配准。基于这种改进的配准结果，基于立体成像的视差估计器360在450处估计左图像和右图像之间的视差，然后，基于多立体成像的深度估计器370可以基于例如一些深度估计模型375，使用该视差在460处执行深度估计。
在图1A-4中，讨论了基于双重立体成像的深度估计。在一些实施例中，具有狭窄视野的附加的一对或更多对立体照相机可用于提供具有较宽视野的图像的不同区域的改进覆盖(coverage)。根据本示教的另一实施例，这在图5A-5B中示出。在图5A中，具有较宽视野的图像210可以与具有窄视野的多个图像510融合，所述多个图像中的每个可被校准以覆盖图像210的特定区域，使得图像210中的不同区域可以与狭窄视野的图像融合。这在图5B中进行了说明，其中，有四对具有狭窄视野的立体照相机，且每一对可被部署为相对于图像210的指定区域提供具有狭窄视野的图像。以这种方式，这四对使得图像210的更多区域中提高的融合分辨率成为可能。
图6示出了根据本示教的另一实施例，如图5B中所示的基于多立体成像的深度估计机制600的示例性高层级系统图。在该实施例中，除了在多个立体成像对610中存在K个立体成像对之外，机制600的构造与机制300类似。由于在该机制600中，存在多于一个具有狭窄视野的立体成像对，因此，左图像和右图像融合单元620-1和620-2(用于将窄视野的多个图像与来自具有较宽视野的立体成像对的左图像和右图像中的每个图像融合)用于基于多于一对对应于狭窄视野图像的图像，生成融合的左右图像。例如，机制600中的左图像融合单元620-1将获取来自不同立体成像对的多个左图像，并将它们相对于来自具有较宽视野的立体成像对的左图像中的不同子区域对齐，以产生融合的左图像。类似地，机制600中的右图像融合单元620-2将从不同的立体成像对获取多个右图像，并且将它们相对于来自具有较宽视野的立体成像对的右图像中的不同子区域对齐，以产生融合的右图像。
要使用的具有窄视野的立体成像对的数量可以取决于应用需求。在一些实施例中，多个立体成像对610可以为狭窄视野的图像提供一定数量的立体成像对，并且可以基于应用需求来控制其中一些的部署。例如，如果6对被指定用于获取狭窄视野的图像，但是在操作中，仅有6对中的子集可以被激活并用于增强深度估计。图7中示出了自适应地确定要使用多少立体成像对的一个示例，其示出了根据本示教的另一实施例的基于物体的、基于多立体成像的深度估计。即，基于场景中检测到的相关物体的数量来确定哪些狭窄视野的立体成像对将用于与较宽视野的图像融合。
如图7所示，在本车的前面，有许多感兴趣的物体，例如，四辆周边车辆，其中，一些在本车的前面，另一些在本车的侧面。为了避免与任何检测到的附近物体发生碰撞，准确估计本车与附近检测到的物体之间的距离非常重要。为了提高针对每个检测到的附近物体的深度估计的质量，用于获取与附近物体相对应的每个区域中具有狭窄视野的图像的立体成像对可被识别并激活，以获取具有更高分辨率的图像。
在本车上，存在多个照相机立体成像对，例如，具有较宽视野的立体成像对和多个(示出4个)具有窄视野的照相机立体成像对。例如，一个照相机立体成像对120(120-L和120-R)用于捕获较宽视野的左右图像，还有四个立体成像对，即110-1、110-2(未标记)、110-3和110-4，其分别具有两个照相机，用于捕获窄视野的左右图像，并被指定为覆盖图像220的特定区域。图中示出，有较宽视野的立体成像对120中的左照相机120-L以较粗的分辨率获取整个场景的左图像220。对于每个检测到的附近车辆，使用覆盖检测到的车辆的区域的特定立体成像对，来获取更高分辨率的左右图像。例如，立体成像对110的左照相机110-1L获取本车左侧的车辆的左图像710-4，而另一立体成像对110-3的左照相机110-4L获取在本车右侧检测到的车辆的左图像710-3。类似地，立体成像对110-2和110-4的左照相机110-2L和110-3L可以获取在场景中检测到的附近不同车辆的左图像，例如，图像区域710-a中的车辆和图像区域710-2中检测到的车辆。然后，还可以激活不同立体成像对的右照相机，以获取其各自指定区域中的右图像。以这种方式，在此所示出的实例中，获取了5对立体图像，即，一对对应于具有较宽视野的左右图像，四对分别对应于一对狭窄视野的左右图像，并分别覆盖检测到附近车辆的特定区域。
在一些实施例中，每一对所覆盖的区域可以是预定的。在这种情况下，如果检测到的附近物体包含被不同对覆盖的两个区域，则覆盖这两个区域的立体成像对都可以被激活。在一些实施例中，可以基于物体检测结果来动态地调整立体成像对将要覆盖的区域。例如，取决于在图像220中检测到附近的车辆或物体的位置，可选择适当的立体成像对，例如，默认情况下覆盖与物体区域接近的区域的一对，且所选对中的左右照相机可以被调整以细化其覆盖区域，从而覆盖检测到物体的区域。例如，这种自适应的调整可以通过改变例如照相机的倾斜、水平和偏航位置以确保其覆盖场景中的特定区域来实现。
图8示出了根据本示教的另一实施例，基于物体的、基于多立体成像的深度估计机制800的示例性高层级系统图。如本文中所论述，机制800针对用于深度估计的多个立体成像对的自适应应用。如图所示，机制800包括为N(N>2)的多个立体成像对，例如810-1，…，810-N，其中一个立体成像对用于获取具有较宽视野的立体图像，而其余的用于获取狭窄视野的立体图像。对于指向狭窄视野的多个立体成像对，每个立体成像对可以与场景中的一块默认覆盖区域关联。
为了基于需要实现可用立体成像对的自适应使用，机制800还包括物体识别单元820、自适应图像获取单元830、左右图像融合单元840-1和840-2、图像配准单元850，基于立体成像的视差估计器860和基于多立体成像的深度估计器870。提供物体识别单元820以基于物体检测模型825来检测场景中的相关物体(例如，附近的车辆或其他物体)。可以基于经由具有较宽视野的照相机获取的图像来执行检测，从而由于其较低的分辨率，不仅可以提供整个场景，而且可以提供检测效率。基于场景中检测到的相关物体，提供自适应图像获取单元830以确定哪些窄视野的立体成像对将用于在检测到相关物体的区域中提供较高分辨率的图像。为此，自适应图像获取单元830可以访问照相机配置835以进行确定。这样的配置可以指示由每个立体成像对覆盖的区域和/或参数，该参数可以相对于每个照相机控制，以调整其在场景的目标区域中的覆盖范围。
自适应图像获取单元830可以基于多种参数来选择具有狭窄视野的立体成像对，例如，检测到的相关物体的数量、如此检测到的相关物体的大小以及每个立体成像对的默认覆盖率等等。例如，检测到的相关物体的数量可以等于或不等于具有狭窄视野的立体成像对的数量。估计的物体大小也可能在选择中起作用。例如，一个物体可能很小，并且部分被较大的物体遮挡，因此，在这种情况下，无需为此较小的物体分配立体成像对。另外，可能不需要每个物体都由一立体成像对覆盖。在某些情况下，一些附加信息可能显示检测到的物体可能无法保证(例如，有汽车形状但尺寸非常小，或随着时间的推移而变得越来越小)具有增强的深度估计，因此自适应图像获取单元830可以忽略这样的物体。在某些情况下，如果调整照相机参数不足以覆盖特定区域，则自适应图像获取单元830可以选择两个立体成像对以覆盖该区域。一旦选择了立体成像对，机制800的其余操作类似于图6所讨论的。
图9是根据本示教的另一实施例，基于物体的、基于多立体成像的深度估计机制800的示例性过程的流程图。在910处，安装在本车上的多个立体成像对810获得较宽视野和窄视野的立体图像。物体识别单元820在920处检测所获取的一些所选图像中的相关物体。如本文所讨论的，在一些实施例中，物体检测可以在具有较宽视野的照相机获取的图像中执行，例如，因为它捕获了整个场景。由于较低分辨率的图像(左和右)，从此类图像中检测物体也可使处理效率更高。
基于检测到的相关物体，自适应图像获取单元830可以在930处确定从哪个窄视野的立体成像对得到的图像将用于后续的处理。如本文所讨论的，该确定可以基于当前照相机的配置835、检测到的相关物体的数量、检测到的物体的特性(诸如大小，遮挡等)、…、以及与每个物体相关联的历史(例如，相同的物体过去变得越来越大，现在越来越小)等。这样的自适应决策产生立体成像对的选择，由之将获取图像以进行深度估计。
在940处，分别通过左右图像融合单元840-1和840-2获得来自所选立体成像对的立体图像，且其在950处用于将来自较宽视野的立体成像对的立体图像和来自窄视野的所选立体成像对的立体图像融合。这样的融合产生两个图像，一个是融合的左图像，另一个是融合的右图像。融合后的左右图像随后由图像配准单元850使用，以在960处执行图像配准。然后，基于立体成像的视差估计器860使用已配准(融合)的左右图像在970处估计视差，基于多立体成像的深度估计器870于是使用该视差在980处计算场景(或相关物体)的深度信息。然后，基于本文讨论的方法估计的深度信息可以用于设计规避策略，该策略包括相应地计算参数，该参数用于控制车辆以避免碰撞或向驾驶员发出警告。
图10示出了可用于实现实施本示教的特定系统的移动装置的架构。此移动装置1000包括但不限于智能电话、平板电脑、音乐播放器、手持式游戏机、全球定位系统(GPS)接收器和可穿戴计算装置(例如眼镜、腕表等)，或者处于任何其他的形态。此实例中的移动装置1000包括：一个或多于一个的中央处理单元(CPU)1040；一个或多于一个的图形处理单元(GPU)1030；显示器1020；存储器1060；通信平台1010，例如无线通信模块；存储器1090；以及一个或多于一个的输入/输出(I/O)装置1050。任何其他合适的部件也可被包括在移动装置1000中，包括但不限于系统总线或控制器(未示出)。如图10所示，移动操作系统1070(例如iOS、Android、Windows Phone等)以及一个或多于一个的应用1080可从存储器1090载入到内存1060中，以便由CPU 1040执行。
为了实现本公开中介绍的多种模块、单元及其功能，计算机硬件平台可用作用于这里介绍的一个或多于一个元件的硬件平台。硬件元件、操作系统和这种计算机的编程语言在性质上是传统式的，并且假定本领域技术人员对它们足够地熟悉，以便将这些技术适应于这里介绍的示教。具有用户接口元件的计算机可用于实现个人计算机(PC)或其他类型的工作站或终端装置，但是，如果合适地编程的话，计算机也可用作服务器。相信本领域技术人员熟悉这种计算机设备的结构、编程和一般运行，因此，附图可能是不言自明的。
图11示出了能用于实现实施本示教的特定系统的计算装置的架构。实现本示教的这种特定的系统具有硬件平台的功能框图，该硬件平台包括用户接口元件。计算机可以是通用计算机或专用计算机。任一或二者都能用于实施本示教。这种计算机1100可用于实现如这里所公开的示教的任何部件。尽管为方便起见示出了仅仅一台这样的计算机，与这里介绍的示教有关的计算机功能可以以分布式在若干个类似的平台上实现，从而分散处理负荷。
例如，计算机1100包括连接到网络的COM端口1150，以促进数据通信。计算机1100还包括中央处理单元(CPU)1120，其采用一个或多于一个处理器的形式，用于执行程序指令。示例性计算机平台包括：内部通信总线1110；不同形式的程序存储器和数据存储器，例如盘1170、只读存储器(ROM)1130或随机访问存储器(RAM)1140，用于将要处理和/或由计算机进行通信的多种数据文件以及将由CPU执行的可能的程序指令。计算机1100还包括I/O部件1160，其支持在计算机和这里的其他部件(例如用户接口元件)之间的输入/输出流。计算机1100也可经由网络通信接收编程和数据。
因此，如上面所概述的本示教的方法的实施形态可以在程序中实现。本技术的程序方面可被看作典型地处于可执行代码和/或相关数据的形式的“产品”或“制品”，其承载在一种机器可读介质上或在机器可读介质中实现。有形的非暂时性“存储器”型介质包括任何或全部用于计算机、处理器等的内存或其他存储器，或者其相关模块，例如多种半导体存储器、带驱动器、盘驱动器等，其可在任何时候为软件编程提供存储。
所有或部分软件有时可通过网络(例如互联网或多种其他电信网络)传送。例如，这种传送可使从一台计算机或处理器向另一台载入软件(例如从搜索引擎操作者或其他增强广告服务器的管理服务器或主机载入实现与本示教相关的计算环境或类似功能的计算环境或其他系统的硬件平台)成为可能。因此，可承载软件元素的另一类型的介质包括光、电和电磁波，例如通过本地装置之间的物理接口、通过有线和光固定网络、通过多种空中链路使用。承载这种波的物理元件(例如有线或无线链路，光链路等)也被看作承载软件的介质。如这里所使用的，除非限制为有形的“存储”介质，例如计算机或机器“可读介质”的术语指参与向处理器提供指令以便执行的任何介质。
因此，机器可读介质可采用多种形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光或磁盘，例如任何计算机等等之中的任何存储装置，其可用于实现附图所示的系统或其任何部件。易失性存储介质包括动态存储器，例如这种计算机平台的主内存。有形传输介质包括同轴电缆、铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采用电或电磁信号或者是声或光波(例如在射频(RF)和红外(IR)数据通信中生成的那些)的形式。计算机可读介质的一般形式因此包括例如软盘、可折叠盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光介质、穿孔卡片纸带、具有孔的图案的任何其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他的存储器芯片或插装盒、载波传输数据或指令、传送这样的载波的电缆或链路、或计算机可从之读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉入将一个或多于一个的指令的一个或多于一个的序列承载到物理处理器，以便执行。
本领域技术人员将会明了，本示教适用于多种修改和/或增强。例如，尽管上面介绍的多种部件的实现可以在硬件装置中实现，其还可实现为仅仅使用软件的解决方案，例如安装在已有的服务器上。另外，这里所公开的示教也可实现为固件、固件/软件组合、固件/硬件组合或是硬件/固件/软件组合。
尽管上面已经介绍了本示教和/或其他实例，将会明了，可对之做出多种修改，这里公开的主题可以以多种形式和/或实例实现，且本示教可以在多种应用场合中应用，这里仅仅介绍了其中的一些。所附权利要求旨在要求落入本示教真实范围内的任何以及全部应用、修改和变型。

Claims (15)

1.一种在计算机上实现的基于多立体成像的深度估计的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于确定驾驶中的深度信息，其包括：
从由至少两个立体成像对中选择的多个立体成像对，获得立体图像，其中，所述至少两个立体成像对具有以相同基准线和相同垂直平面安装的立体照相机，其中所述获得包括：
确定用于接收立体图像的多个立体成像对，其中，确定所述多个立体成像对包括：
从以相对宽的视野捕获场景的立体成像对获得至少一个图像；
从所述至少一个图像中检测一个或多于一个的相关物体；
基于所述一个或多于一个的相关物体和/或其特性，从所述至少两个立体成像对中选择所述多个立体成像对，其中，具有狭窄视野的所述多个立体成像对中的每个被配置为，在所述至少一个图像中，捕获物体被观察到的区域；和
从所述多个立体成像对中的每个接收左立体图像和右立体图像；融合来自所述多个立体成像对的左图像，以生成融合的左图像；
融合来自所述多个立体成像对的右图像，以生成融合的右图像；
基于融合的左右图像，估计视差；以及
基于立体图像和所述视差，计算由立体图像捕获的场景的深度信息。
2.如权利要求1所述的方法，其中，所述至少两个立体成像对中的一个被配置为获取具有相对宽视野的、场景的立体图像，且所述至少两个立体成像对中其余的被配置为获取具有狭窄视野的、场景的立体图像。
3.如权利要求2所述的方法，其中，由具有相对宽视野的立体成像对获取的立体图像捕获场景且处于较粗糙的分辨率。
4.如权利要求2所述的方法，其中，所述至少两个立体成像对中其余的每个被配置为获取更高分辨率的立体图像，具有狭窄视野的立体图像中的每一个捕获场景的一部分。
5.如权利要求1所述的方法，还包括以下至少之一：
基于深度信息，确定规避策略；以及
根据规避策略，生成碰撞警告信号。
6.一种记录有信息的机器可读且非暂时性的介质，该信息用于确定驾驶中的深度信息，其中，该信息一旦被机器读取，使得机器执行：
从由至少两个立体成像对中选择的多个立体成像对，获得立体图像，其中，所述至少两个立体成像对具有以相同基准线和相同垂直平面安装的立体照相机，其中所述获得包括：
确定用于接收立体图像的多个立体成像对，其中，确定所述多个立体成像对包括：
从以相对宽的视野捕获场景的立体成像对获得至少一个图像；
从所述至少一个图像中检测一个或多于一个的相关物体；
基于所述一个或多于一个的相关物体和/或其特性，从所述至少两个立体成像对中选择所述多个立体成像对，其中，具有狭窄视野的所述多个立体成像对中的每个被配置为，在所述至少一个图像中，捕获物体被观察到的区域；和
从所述多个立体成像对中的每个接收左立体图像和右立体图像；
融合来自所述多个立体成像对的左图像，以生成融合的左图像；
融合来自所述多个立体成像对的右图像，以生成融合的右图像；
基于融合的左右图像，估计视差；以及
基于立体图像和视差，计算由立体图像捕获的场景的深度信息。
7.如权利要求6所述的介质，其中，所述至少两个立体成像对中的一个被配置为获取具有相对宽视野的、场景的立体图像，且所述至少两个立体成像对中其余的被配置为获取具有狭窄视野的、场景的立体图像。
8.如权利要求7所述的介质，其中，由具有相对宽视野的立体成像对获取的立体图像捕获场景且处于较粗糙的分辨率。
9.如权利要求6所述的介质，其中，所述至少两个立体成像对中其余的每一个被配置为获取更高分辨率的立体图像，具有狭窄视野的立体图像中的每一个捕获场景的一部分。
10.如权利要求6所述的介质，其中，当信息被机器读取时，还使机器执行：
基于深度信息，确定规避策略；以及
根据规避策略，生成碰撞警告信号。
11.一种用于确定驾驶中的深度信息的系统，包括：
多个立体成像对，被配置用于获得立体图像，其中，所述多个立体成像对是从至少两个立体成像对中选择的，所述至少两个立体成像对具有以相同基准线和相同垂直平面安装的立体照相机；
自适应图像获取单元，该自适应图像获取单元被配置为确定所述多个立体成像对，以从所述多个立体成像对中的每个接收左立体图像和右立体图像；
物体识别单元，其被配置用于：
从以相对宽的视野捕获场景的立体成像对获得至少一个图像；
从所述至少一个图像中检测一个或多于一个的相关物体，其中，检测到的所述一个或多于一个的相关物体和/或其特性将被用于从所述至少两个立体成像对中选择所述多个立体成像对，其中，所述多个立体成像对中的每个被配置为，在所述至少一个图像中，捕获物体被观察到的区域；
左图像融合单元，被配置为融合来自所述多个立体成像对的左图像，以生成融合的左图像；
右图像融合单元，被配置为融合来自所述多个立体成像对的右图像，以生成融合的右图像；
基于立体成像的视差估计器，被配置为基于融合的左右图像估计视差；以及
基于多立体成像的深度估计器，被配置为基于立体图像和视差来计算由立体图像捕获的场景的深度信息。
12.如权利要求11所述的系统，其中，所述至少两个立体成像对中的一个被配置为获取具有相对宽视野的、场景的立体图像，且所述至少两个立体成像对中其余的被配置为获取具有狭窄视野的、场景的立体图像。
13.如权利要求12所述的系统，其中，由具有相对宽视野的立体成像对获取的立体图像捕获场景且处于较粗糙的分辨率。
14.如权利要求12所述的系统，其中，所述至少两个立体成像对中其余的每一个被配置为获取更高分辨率的立体图像，具有狭窄视野的立体图像中的每一个捕获场景的一部分。
15.如权利要求11所述的系统，基于来自至少一些立体成像对的立体图像确定的深度信息被用于以下至少之一：
基于深度信息，确定规避策略；以及
根据规避策略，生成碰撞警告信号。
CN201880090517.0A 2017-12-29 2018-12-26 基于多立体成像的深度估计的方法和系统 Active CN111788605B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762612196P 2017-12-29 2017-12-29
US62/612,196 2017-12-29
PCT/US2018/067546 WO2019133640A1 (en) 2017-12-29 2018-12-26 Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same

Publications (2)

Publication Number Publication Date
CN111788605A CN111788605A (zh) 2020-10-16
CN111788605B true CN111788605B (zh) 2024-03-01

Family

ID=67057723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090517.0A Active CN111788605B (zh) 2017-12-29 2018-12-26 基于多立体成像的深度估计的方法和系统

Country Status (4)

Country Link
US (2) US10957064B2 (zh)
EP (1) EP3732656A4 (zh)
CN (1) CN111788605B (zh)
WO (1) WO2019133640A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
CN111788605B (zh) 2017-12-29 2024-03-01 智加科技公司 基于多立体成像的深度估计的方法和系统
CN111726520B (zh) * 2019-03-20 2021-12-10 株式会社理光 摄影装置、摄影系统、图像处理方法
CN111179330A (zh) * 2019-12-27 2020-05-19 福建（泉州）哈工大工程技术研究院 一种基于卷积神经网络的双目视觉场景深度估计方法
US11847831B2 (en) * 2020-12-30 2023-12-19 Zoox, Inc. Multi-resolution top-down prediction
CN113436241B (zh) * 2021-06-25 2023-08-01 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及系统
US20230179755A1 (en) * 2021-11-09 2023-06-08 Alcon Inc. Stereoscopic imaging apparatus with multiple fixed magnification levels
US11651508B1 (en) 2022-06-02 2023-05-16 Plusai, Inc. Methods and apparatus for depth estimation using stereo cameras in a vehicle system
US11645775B1 (en) 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法
CN102835116A (zh) * 2010-04-01 2012-12-19 诺基亚公司 用于选择立体成像视点对的方法、装置和计算机程序
CN103098478A (zh) * 2010-08-16 2013-05-08 富士胶片株式会社 图像处理设备、图像处理方法、图像处理程序、以及记录介质
CN103366356A (zh) * 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 通用标定系统和方法及其集成成像重构系统和方法
CN103635375A (zh) * 2011-05-24 2014-03-12 内布拉斯加大学董事会 适于对导轨偏转进行成像和测量的视觉系统
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN105592829A (zh) * 2013-07-29 2016-05-18 拜尔普泰戈恩公司 用于外科手术的手术性光学相干断层成像术(oct)及其相关系统和方法
CN105814875A (zh) * 2013-12-06 2016-07-27 谷歌公司 选择用于立体成像的相机对
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7806604B2 (en) 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US8120653B2 (en) * 2006-12-29 2012-02-21 Mirror Lite Video monitoring system for school buses
US8552886B2 (en) * 2010-11-24 2013-10-08 Bcs Business Consulting Services Pte Ltd. Crash warning system for motor vehicles
US8957892B2 (en) * 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
EP2757524B1 (en) 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Depth sensing method and system for autonomous vehicles
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
CN111788605B (zh) 2017-12-29 2024-03-01 智加科技公司 基于多立体成像的深度估计的方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077246A (zh) * 2008-06-24 2011-05-25 汤姆森特许公司 利用运动补偿进行图像的深度提取的系统和方法
CN102835116A (zh) * 2010-04-01 2012-12-19 诺基亚公司 用于选择立体成像视点对的方法、装置和计算机程序
CN103098478A (zh) * 2010-08-16 2013-05-08 富士胶片株式会社 图像处理设备、图像处理方法、图像处理程序、以及记录介质
CN103635375A (zh) * 2011-05-24 2014-03-12 内布拉斯加大学董事会 适于对导轨偏转进行成像和测量的视觉系统
CN103366356A (zh) * 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 通用标定系统和方法及其集成成像重构系统和方法
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN105592829A (zh) * 2013-07-29 2016-05-18 拜尔普泰戈恩公司 用于外科手术的手术性光学相干断层成像术(oct)及其相关系统和方法
CN105814875A (zh) * 2013-12-06 2016-07-27 谷歌公司 选择用于立体成像的相机对
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN106650708A (zh) * 2017-01-19 2017-05-10 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Objective metrics for quality of experience in stereoscopic images;L. Xing 等;《2011 18th IEEE International Conference on Image Processing》;3105-3108 *
基于光线跟踪的虚拟场景立体图像对视差研究;蔡辉跃 等;《南京工程学院学报（自然科学版）》;第10卷(第04期);17-24 *

Also Published As

Publication number Publication date
US11587248B2 (en) 2023-02-21
US20190206075A1 (en) 2019-07-04
EP3732656A1 (en) 2020-11-04
WO2019133640A1 (en) 2019-07-04
EP3732656A4 (en) 2021-09-01
US20210174530A1 (en) 2021-06-10
CN111788605A (zh) 2020-10-16
US10957064B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
CN111788605B (zh) 基于多立体成像的深度估计的方法和系统
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN107329490B (zh) 无人机避障方法及无人机
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
US20180176545A1 (en) Virtual reality display
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
CN110164135B (zh) 一种定位方法、定位装置及定位系统
KR101551026B1 (ko) 차량 검출 방법
JP6328327B2 (ja) 画像処理装置及び画像処理方法
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN110568450B (zh) 传感器控制装置、物体探索系统、物体探索方法及程序
US20180300562A1 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
JP2017162204A (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP2022548073A (ja) カメラシステムに基づくスポーツ計時
JP2014238409A (ja) 距離算出装置及び距離算出方法
CN113071498B (zh) 车辆控制方法、装置、系统、计算机设备及存储介质
KR101340014B1 (ko) 위치 정보 제공 장치 및 방법
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
JP7095537B2 (ja) 画像処理装置、プログラム、情報処理システム、及び制御方法
CN113780050A (zh) 高级驾驶员辅助系统和在其中检测对象的方法
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
WO2021106509A1 (ja) 移動体の制御装置及び方法
JP2013161433A (ja) 車両の周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036531

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant