CN110895675A - 用于确定3d空间中的对象的特征点的坐标的方法 - Google Patents

用于确定3d空间中的对象的特征点的坐标的方法 Download PDF

Info

Publication number
CN110895675A
CN110895675A CN201910846957.0A CN201910846957A CN110895675A CN 110895675 A CN110895675 A CN 110895675A CN 201910846957 A CN201910846957 A CN 201910846957A CN 110895675 A CN110895675 A CN 110895675A
Authority
CN
China
Prior art keywords
point
feature
coordinates
visible
dedicated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910846957.0A
Other languages
English (en)
Other versions
CN110895675B (zh
Inventor
K·卡佐尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN110895675A publication Critical patent/CN110895675A/zh
Application granted granted Critical
Publication of CN110895675B publication Critical patent/CN110895675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

一种用于确定3D空间中的对象的特征点的坐标的方法，所述方法包括以下步骤：按与所述3D空间中的所述对象的所述特征点的预定关系在所述3D空间中设置至少一个专用指示器，其中，每个专用指示器具有在摄像头的视线内的至少一个可见特征；使用所述摄像头拍摄至少一个图像；对所拍摄的至少一个图像执行图像特征检测，以确定每个专用指示器的相应的至少一个可见特征的坐标；以及基于所确定的每个专用指示器的相应的至少一个可见特征的坐标来确定所述3D空间中的所述对象的所述特征点的坐标。

Description

用于确定3D空间中的对象的特征点的坐标的方法
相关申请的交叉引用
本申请要求2018年9月12日提交的欧洲专利申请号EP18194116的优先权权益。
技术领域
本发明涉及一种用于确定3D空间中的对象的特征点的坐标例如以校准在车辆中的3D手势识别系统中使用的对象的方法。
背景技术
乘用车通常配备多媒体系统，而且提供汽车视觉的重要性日益增加，摄像头正在应用于汽车的许多不同区域。例如，可以例如通过提供基于夜视的警告系统应用汽车视觉来增强操作车辆的安全性。在不同的示例中，例如通过启用基于3D手势识别系统的驾驶员界面实现汽车视觉来改善驾驶舒适性和驾驶员体验。
近来，手势识别系统正更多地朝着内部感测系统发展，该内部感测系统不仅专注于手势识别，而且专注于在驾驶时监测驾驶员是否具有正确的位置(例如，驾驶员是否将他的手握在方向盘上)、乘客座位是由成年人占用还是由儿童占用，或者检测车内其它对象(像笔记本等)。
可以在这种内部感测系统中提供的一个特征是允许跟踪驾驶员和乘客这两者的手，例如以检测由所涉及的人指示的手势。
这样的特征通常涉及识别由手指指向的对象，因此需要系统内部表示汽车中的相关对象。例如，为了确定驾驶员的手是否放在方向盘上，需要有关当前位置的信息，或许还需要方向盘的取向。
也可能希望区分驾驶员是指向仪表组、朝向汽车的侧窗或特定后视镜、还是可以由用户控制的任何其它物品。以这种方式，驾驶员可以使用方便的手势控制来选择性地操作汽车的不同装置，例如将特定的行进信息或镜视图映射至仪表组，或者打开或关闭汽车的特定侧窗等等。
为此，汽车的不同对象的位置是由允许在空间(例如，3D笛卡尔坐标系)中的特定位置处进行内部重建(或近似)的点的坐标来表达的。
这种对象的内部重建不需要确定和处理对象的所有点。通常是足以定位对象的特定特征以检测其位置和取向，举例来说，如侧窗的角落或仪表组。对象的这种特征称为特征点，并且被选择以允许底层对象的内部表示(或近似)。
由此可见，提供汽车视觉服务的一个重要挑战是与位置校准过程有关，该位置校准过程旨在映射汽车(特别是汽车内部)的物品和装置，以提供适合于视觉系统图像处理的3D表示。
手势识别系统可能需要不同类型的映射的对象，例如以在操作空间中限定范围(region)和区域，从而提高基于手势的控制的安全性和效率。
例如，映射的对象可以包括：
·排除框-涉及仅存在于视觉系统内部的虚拟对象，以限定手势识别系统应当拒绝所识别的手势的空间。例如，可以将方向盘及其近距离封闭在排除框中，以防止当驾驶员在驾驶时将手放在方向盘上时，对意外手势的检测和手势控制执行。
·排除表面-涉及如下对象：该对象映射对象(例如汽车仪表板)的形状，并且可以位于在汽车仪表板的前方。在该示例中，可能希望仅可以在该表面的前方识别手势，例如当驾驶员正在使用他的手和手指操作排除表面后方的仪表板部件(例如，单选按钮(radiobutton))时防止手势被检测并用于手势控制。
·指向区域-涉及映射真实或虚拟部件的表面的对象，以限定驾驶员可以指向的对象。例如，如果驾驶员指向与侧镜相对应的指向区域，则手势识别系统可以切换汽车仪表板中的显示器以显示由包括在侧镜中的摄像头提供的视频流。
在任何情况下，对象可以划分成两个主要类：可见的对象和不可见的对象。
可见的对象是在汽车视觉系统中使用的摄像头的视场(FOV)中具有所有其特征点的对象。依次地，不可见的对象是具有在摄像头的FOV中不可见的至少一个特征点的对象。
由于不同的原因，对象的特征点可以是不可见的。例如，当从摄像头的视角观察时，该特征点可能在摄像头的FOV之外，可能被障碍物遮挡或覆盖，或者不良的照明条件可能妨碍对象被摄像头正确地曝光和拍摄。应当明白，术语“不可见”和表达“在摄像头的FOV之外”可以互换地使用。
例如，显示器的顶部可以包括位于外部的特征点，因此在摄像头的FOV内是不可见的。因此，这种显示器被视为对于汽车视觉系统是不可见的。
类似地，对于摄像头来说，驾驶员的指尖可能被人体的另一部位(举例来说，如手或上身部位)或者被仪器手柄、袋子、行李箱、衣服或者可以存在于汽车内部的任何其它物品所遮掩。
通常，更直接的是检测对象的可见特征点的坐标。例如，手势识别系统通常是使用3D ToF(飞行时间)摄像头来实现的，从而允许从图像数据中直接提取检测到的可见特征点的3D坐标。在这种情况下，可以通过常规的图像特征或模式识别算法在图像中检测可见特征点。
由此可见，对不可见的特征点的检测可以代表更困难和具有挑战性的任务。
方法是已知的并且在现有技术中用于解决该问题并且通常涉及执行人工测量。例如，这种方法可以包括使用卷尺或其它仪表装置来测量和手动地映射与摄像头的坐标系相对的不可见的特征点的坐标。
这种方法非常慢且难以执行、容易出错，而且可能需要繁琐的试错步骤来以足够的精度校准相应的坐标。
鉴于上述，本发明的一个目的是提供一种用于确定对象的坐标的改进方法。
发明内容
本公开提供了一种根据独立权利要求的方法(其可以是计算机实现的方法)、计算机系统以及非暂时性计算机可读介质。实施方式是在从属权利要求、说明书以及附图中给出的。
在一个方面，本公开致力于提供一种用于确定3D空间中的对象的特征点的坐标的方法，所述方法包括以下步骤：按与所述特征点的预定关系在所述3D空间中设置至少一个专用指示器，其中每个专用指示器具有在摄像头的视线内的至少一个可见特征；使用所述摄像头拍摄至少一个图像；对所拍摄的至少一个图像执行图像特征检测，以确定每个专用指示器的相应的至少一个可见特征的坐标；以及基于所确定的每个专用指示器的相应的至少一个可见特征的坐标来确定所述特征点的坐标。
换句话说，可以将一个或更多个专用指示器设置在3D空间中(例如，公共(或单个)图像或帧或样本中的多个专用指示器；或者例如在多个图像或帧或样本中的每一个中的不同位置和取向上的一个专用指示器)，使得一个或更多个特征是摄像头可见的(换句话说：在摄像头的视场中)，并且使得所述一个或更多个专用指示器按与特征点的预定(空间)关系来加以设置。所述特征点可能位于摄像头视场之外(换句话说：所述特征点可能是不可见的)。所述特征点可以是用于进一步处理的相关点，例如，所述特征点可以是汽车的预定组件上的点，或者可以是被用于限定在3D手势识别系统中使用的排除框、排除表面或指向区域的点。
应当明白，各种实施方式不限于所述(至少部分可见的)专用指示器与所述(不可见的)特征点之间的任何特定关系，只要所述关系可以被用于基于所述专用指示器的一个或更多个可见特征来确定所述特征点的位置即可。
可以确定所述可见特征的坐标。应当明白，可以确定每个可见特征的坐标，并且尽管使用了单数表达“坐标”，但每个坐标可以包括多于一个的标量数。例如，每个坐标可以是三维矢量(例如，由三个实数表示)，该坐标可以表示3D空间中的点的位置或矢量的方向。可以参照特定的基础和/或坐标系(例如，原点在摄像头中的笛卡尔坐标系)给出所述坐标。
按与所述特征点的预定关系设置所述一个或更多个专用指示器可以提供所述可见特征的坐标与所述(不可见)特征点之间的关系。因此，一旦知道所述可见特征的坐标，就可以基于所述可见特征的坐标并且基于所述可见特征的坐标与所述特征点(其可以在所述摄像头的视场之外)之间的关系来确定所述(不可见的)特征点的坐标。
应当明白，根据各种实施方式，一旦已知所述一个或更多个专用指示器上的所述一个或更多个特征的坐标，所述一个或更多个专用指示器上的所述一个或更多个特征与所述预定关系(所述一个或更多个专用指示器是根据所述预定关系相对于所述特征点来设置的)之间的关系就允许确定所述特征点的坐标。
根据另一方面，所述至少一个专用指示器可以具有在所述摄像头的视线内的至少两个可见点以及不在所述摄像头的视线内的一个不可见点。所述至少一个可见特征可以包括所述至少两个可见点。按与所述3D空间中的所述对象的所述特征点的所述预定关系在所述3D空间中设置所述至少一个专用指示器的步骤可以包括：将所述至少一个专用指示器的不可见点设置在所述3D空间中的所述对象的所述特征点上或者靠近所述特征点设置。
利用具有两个可见点和一个不可见点的专用指示器，可以将所述不可见点可以设置在所述特征点上，使得基于所述两个可见点的检测到的坐标(对应于所述位置)并且基于所述两个可见点与所述不可见点之间的已知关系，可以确定所述特征点的坐标(所述特征点的坐标与所述不可见点的坐标相同，因为所述不可见点被设置在所述特征点上)。
根据另一方面，所述至少一个专用指示器可以包括第一专用指示器和第二专用指示器；其中，所述第一专用指示器的在所述摄像头的视线内的所述至少一个可见特征包括第一参考点和第一方向矢量；其中，所述第二专用指示器的在所述摄像头的视线内的所述至少一个可见特征包括第二参考点和第二方向矢量；并且其中，确定每个专用指示器的相应的至少一个可见特征的坐标的步骤包括：确定所述第一参考点的位置、所述第一方向矢量的方向、所述第二参考点的位置以及所述第二方向矢量的方向。
根据另一方面，按与所述特征点的所述预定关系在所述3D空间中设置所述至少一个专用指示器的步骤可以包括：在所述3D空间中设置所述第一专用指示器使得从所述第一参考点到所述特征点的方向由所述第一方向矢量来表示，并且在所述3D空间中设置所述第二专用指示器使得从所述第二参考点到所述特征点的方向由所述第二方向矢量来表示。
根据另一方面，所述特征点的坐标可以基于这样的点的坐标来确定，即，在所述点中，通过所确定的第一参考点的位置并且具有与所确定的第一方向矢量的方向相对应的方向的第一条线与通过所确定的第二参考点的位置并且具有与所确定的第二方向矢量的方向相对应的方向的第二条线之间的距离包括最小值。
利用两个专用指示器，每个专用指示器都具有(可见)参考点和(可见)方向，并且在设置所述专用指示器使得它们的方向指向所述特征点的情况下，可以将所述特征点的坐标确定为由所述两个专用指示器的相应参考点和相应方向所限定的两条线的交点。应当明白，如果设置所述专用指示器使得它们各自的方向(从相应的参考点开始)精确地指向所述特征点，则所述两条线在所述特征点处相交，并且相交的点是所述特征点。如果相应方向中的至少一个方向未精确指向所述特征点，则所述交点可能不是所述特征点(但如果所述线与所述特征点的偏差较小(例如低于预定阈值)，则可能接近所述特征点)，或者所述两条线可能不相交。如果所述线不相交，则代替使用所述交点，可以将所述线之间的距离最小的点确定为所述特征点的位置。
根据另一方面，所述至少一个专用指示器可以包括在所述摄像头的视线内具有多个可见特征的专用指示器，其中，所述多个可见特征可以包括设置在参考圆上的多个点；并且其中，确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤可以包括：确定设置在所述参考圆上的所述多个点的相应位置。
根据另一方面，按与所述特征点的所述预定关系在所述3D空间中设置所述至少一个专用指示器的步骤可以包括：在所述3D空间中设置所述专用指示器使得所述参考圆的中心与所述特征点重合(coincide)。
根据另一方面，所述方法还可以包括以下步骤：基于设置在所述参考圆上的所确定的多个点来确定观察到的圆，并且其中，所述特征点的坐标可以基于所观察到的圆的中心来确定。
利用具有多个(可见)参考点的专用指示器，并且在设置所述专用指示器使得通过所述多个参考点的圆的中心与所述特征点重合的情况下，可以将所述特征点的坐标确定为通过确定的参考点的圆的中心。应当明白，如果确定了三个参考点的位置，则可以确定通过具有所确定的位置的所述三个点的圆。然而，如果确定三个以上的点(换句话说：四个或更多个点)，并且如果所述三个以上的所确定的位置不在圆上，那么可能无法确定通过这三个以上的点的圆，而相反可以将满足针对所确定的点的预定标准的圆用于确定圆，并且可以将该圆的中心确定为所述特征点的位置。例如，可以使用最小最小二乘法来确定圆，使得所述圆与所确定的位置之间的距离的平均和是最小的。
根据另一方面，所述3D空间可以对应于车辆的内部空间。根据另一方面，所述特征点可以是车窗的特征点，优选为所述车窗的角落，或者是车镜的特征点，优选为外后视镜的角落。根据另一方面，所述特征点可以是在3D手势识别系统中使用的排除框、排除表面或指向区域中的特征点。
根据另一方面，设置步骤、拍摄步骤以及执行图像特征检测的步骤被迭代地执行。在示例中，确定特征点的坐标可以包括在所述迭代中。
例如，所述方法可以从设置步骤开始，然后进行至拍摄步骤和执行图像特征检测的步骤。然后，可以确定所述特征点的坐标。随后，可以确定是否要执行另一次迭代。如果确定要执行另一次迭代，则可以重复设置步骤、拍摄步骤、执行图像特征检测的步骤以及确定所述特征点的坐标的步骤(利用所述专用指示器的不同位置和方向)。在确定所述特征点的坐标时，不仅可以使用当前确定的每个专用指示器的相应的至少一个可见特征的坐标(换句话说：当前迭代的每个专用指示器的相应的至少一个可见特征的坐标)，而且可以使用先前迭代的每个专用指示器的相应的至少一个可见特征的相应坐标以及在先前迭代中已经确定的特征点的坐标，来确定当前迭代中的特征点的坐标。
再接着，可以确定是否要执行另一次迭代。可以重复这个迭代(换句话说：设置、拍摄、执行图像特征检测以及确定所述特征点的坐标的循环)，直到确定不再执行进一步的迭代。例如，如果确定所确定的特征点的坐标的准确度是足够的(例如，如果在当前迭代之后所确定的特征点的坐标的变化低于预定阈值)，则可以确定不再执行进一步的迭代。
根据另一方面，至少一个指定(designated)指示器对应于设置在所述3D空间中的至少一个物理物品，优选为具有指向所述3D空间中的对象的特征点的端部的细长物理物品，优选为包括塑料和/或纸张的物理物品。
在示例中，一种用于校准3D空间中的对象的方法，所述方法包括以下步骤：在3D空间中设置专用指示器，其中，所述专用指示器具有在摄像头的视线内的至少两个可见点，和不在所述摄像头的视线内的不可见点；使用所述摄像头拍摄图像；在所拍摄的图像上执行图像特征点检测，以确定所述专用指示器的所述至少两个可见点的坐标；以及基于所确定的专用指示器的所述至少两个可见点的坐标来确定所述专用指示器的所述不可见点的坐标，其中，所确定的专用指示器的所述不可见点的坐标对应于3D空间中的对象的特征点的坐标。
换句话说，专用指示器至少部分地设置在摄像头的FOV中。所述专用指示器可以表示具有可以由所述摄像头拍摄的视觉特征的任何物理对象。应当明白，校准对象可以是或可以包括确定所述对象的特征点的坐标。
因此，所述指定指示器对应于设置在所述3D空间中的物理物品，举例来说，如具有指向所述3D空间中的对象的特征点的端部的细长物理物品。优选地，所述指定指示器具有箭头或指示器形状，并且还优选包括塑料或纸张。
在任何情况下，所述专用指示器具有在所述摄像头的视线内的至少两个可见点，并且还具有不在所述摄像头的视线内的不可见点。
在利用摄像头拍摄图像之后，将拍摄的图像用于检测和定位所述专用指示器的所述至少两个可见点。
更具体地，在所拍摄的图像上执行图像特征点检测，以确定所述专用指示器的所述至少两个可见点的坐标。举例来说，如上所述，手势识别系统可以使用3D ToF(飞行时间)摄像头来实现，从而允许从图像数据中直接提取所述专用指示器的可见点的3D坐标。以这种方式，可以通过常规的图像特征或模式识别算法在图像中检测所述可见点。
然后，基于所确定的专用指示器的所述至少两个可见点的坐标来确定所述专用指示器的所述不可见点的坐标。
在这方面，所确定的专用指示器的所述不可见点的坐标已经被设置成对应于所述3D空间中的对象的特征点的坐标，例如通过将所述专用指示器的所述不可见点设置在对象的对所述摄像头不可见的特征点上或者靠近该特征点设置。
由此可见，基于所述指定指示器的所述至少两个可见点的坐标来确定所述3D空间中的对象的不可见特征点。
该方法允许确定和校准对所述摄像头至少部分不可见的对象坐标。如上所述，这可以有用于校准3D空间中的不可见对象的内部重建(或近似)，例如用于在汽车中实现手势识别系统。
在该示例中，所述3D空间可以对应于乘用车辆的内部和/或外部空间。例如，可以将所确定的专用指示器的不可见点设置成对应于车窗的特征点，优选为所述车窗的角落，或者是车镜的特征点，优选为外后视镜的角落。另选地，所述专用指示器的所述不可见点可以对应于例如在手势识别系统中使用的排除框、排除表面或指向区域，或者任何其它类型的映射对象的特征点。
在示例中，将所确定的专用指示器的所述至少两个可见点的坐标用于确定所述3D空间中的平移矢量，其中，所述平移矢量限定所述专用指示器的所述可见点中的一个与所述专用指示器的所述不可见点之间的空间差异。
为此，可以将所确定的专用指示器的所述至少两个可见点的坐标用于确定所述3D空间中的所述平移矢量的取向。
因此，如果已知所述平移矢量的长度和方向，则所述专用指示器的所述不可见点的坐标可以通过将所述平移矢量添加至所述专用指示器的相应可见点(或者从所述专用指示器的相应可见点中减去)来确定。
例如，在3D X,Y,Z笛卡尔坐标系中，具有坐标长度(dx,dy,dz)的平移矢量可以使用以下归一化表示来加以有效描述：
T＝[dx,dy,dz]＝D·[nx,ny,nz]，
其中，D等于所述平移矢量T的长度，并且[nx,ny,nz]表示在所述3D空间中指向所述专用指示器的所述至少两个可见点之间的单位长度矢量，即，使得长度关系为：
nx2+ny2+nz2＝1，并且
dx2+dy2+dz2＝D2。
因此，所述单位长度矢量[nx,ny,nz]的取向限定所述平移矢量T的取向。
在示例中，对所拍摄的图像执行图像处理方法以确定所述3D空间中的所述平移矢量的取向。例如，如果所述摄像头是飞行时间(ToF)摄像头(例如在手势识别系统中)，则所述图像数据可以包括确定所述平移矢量的取向的信息。
更具体地，可以将所述飞行时间(ToF)摄像头图像用于确定距所述指定指示器的至少两个可见点(例如沿着所述指定指示器放置的两个可见点)的至少两个深度信号。所述深度信号分别对应于从摄像头到所述指定指示器上的所述可见点的距离，由此可以用于确定所述指定指示器的第一坐标和第二坐标。这允许计算指示所述指定指示器的取向的方向的矢量。
例如，可以通过沿着所述指示器放置三个高反射部件来提供所述指示器上的所述两个可见点，并且可以将所述两个可见点设置在所述高反射部件之间。应当明白，这只是示例，而且可以提供用于检测指示器(和所述指示器上的可见点)的各种方法以及深度采样方法。
在示例中，所述指定指示器在其表面上设置有图案，并且将所拍摄的摄像头图像用于执行所述图案的立体分析，以便确定所述3D空间中的所述平移矢量的取向。
例如，所述图案可以对应于在所述专用指示器的可见表面上印刷的或以其它方式设置的框或线图案，并且该框或线图案根据所述指定指示器的取向改变了它的如从所述摄像头的角度看到的立体图。
例如，可以将框的侧壁长度之间的立体差异用作指示携带所述框形图案的所述指定指示器的取向的指示物。
所述平移矢量的长度可以通过测量所述专用指示器的所述可见点中的一个与所述专用指示器的所述不可见点之间的距离来确定。
在示例中，通过使用测量装置(例如手动地并且在通过使用所述摄像头拍摄所述图像之前)并且还优选地通过使用卷尺或激光测量仪测量装置来测量所述距离。
应当明白，所述各种方法可以是计算机实现的方法。
在另一方面，本公开致力于一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述计算机硬件组件被配置成执行本文所述的方法(例如计算机实现的方法)的若干或所有步骤。所述计算机系统可以是车辆的一部分。
所述计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元以及至少一个非暂时性数据存储部)。应当明白，可以提供进一步的计算机硬件组件并用于在所述计算机系统中执行所述计算机实现的方法的步骤。所述非暂时性数据存储部和/或存储器单元可以包括计算机程序，该计算机程序用于指令所述计算机例如使用所述处理单元和所述至少一个存储器单元来执行本文所述的(计算机实现的)方法的若干或所有步骤或各方面。
在另一方面，本公开致力于一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所述的方法(例如，计算机实现的方法)的若干或所有步骤或各方面的指令。所述计算机可读介质可以被配置为：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁介质；固态驱动器(SSD)；诸如闪存的只读存储器(ROM)；等等。而且，所述计算机可读介质可以被配置为能经由诸如互联网连接的数据连接来访问的数据存储部。所述计算机可读介质例如可以是在线数据存储库或云存储。
本公开还致力于一种计算机程序，所述计算机程序用于指令计算机执行本文所述的方法(例如，计算机实现的方法)的若干或所有步骤或各方面。
附图说明
本发明进一步的实施方式在下面的附图描述中进行描述。下面，借助于实施方式并且参照附图，对本发明进行说明，其中示出了：
图1是示出可见特征点和不可见特征点的摄像头FOV，
图2是汽车内部的摄像头拍摄的图像，
图3是由平移矢量交叠的摄像头FOV，
图4是拍摄指定指示器的摄像头FOV，
图5是拍摄参考点和方向矢量的摄像头FOV；
图6是例示线之间的最小距离的摄像头FOV；
图7是拍摄圆上的多个点的摄像头FOV，
图8A是例示用于校准3D空间中的对象的方法的流程图，以及
图8B是例示用于确定3D空间中的对象的特征点的坐标的方法的流程图。
具体实施方式
下面，关于组件方向进行的任何陈述都是相对于图中所示的位置作出的，并且在实际应用位置上可以自然地变化。
图1示出了包括摄像头110的摄像头排布结构100的俯视图。在示例中，摄像头110可以表示安装至汽车内天花板的飞行时间(ToF)摄像头，例如以拍摄用于驾驶员手势控制的图像。
图2示出了已由这种摄像头拍摄到的图像的示例。在不同的示例中，根据要实现的驾驶员手势控制系统，即，根据由所拍摄的图像所提供的期望视角，可以将摄像头110安装至仪表板或者安装至更靠近车辆的侧面或窗户的天花板。
在图1中，摄像头具有受镜头角度边界120限制的FOV。此外，障碍物130位于摄像头110的FOV中并且进一步限制了摄像头图像覆盖范围。
例如，图1中所示的点140既在摄像头110的FOV内也不被障碍物130遮挡。因此，如果点140表示对象的特征点(举例来说，如车窗的角落)，则该特征点表示对象的视点140。
相比之下，点150位于摄像头110的FOV之外，因此仅可以表示对象的不可见点150，例如位于摄像头覆盖范围之外的车窗角落。
类似地，点160位于对象130的后面，因此被遮掩并且对于摄像头110是不可见的。因此，该点160也仅可以表示对象的不可见点160，例如隐藏在车辆内部的椅背或人的后面的车窗角落。
如上详细说明的，提供汽车视觉服务的重要挑战是与校准过程有关的，该校准过程旨在将汽车(特别是汽车内部)的物品和装置映射至适合于视觉系统图像处理的3D坐标表示。
例如，手势识别系统可能需要在操作空间中限定范围和区域，以提高基于手势的控制的安全性和效率。特别是，这种系统可能需要确定和校准例如上面提及的排除框、排除表面以及指向区域的坐标，所述排除框、排除表面以及指向区域可以包括具有在摄像头的FOV中不可见的至少一个特征点的对象。
鉴于此，本发明基于可见点的坐标(即，基于如从摄像头视角看为可见的坐标)来确定对象的不可见点的坐标。
在这方面，图1示出了如果可见点140的坐标是已知的，并且如果相对于可见点140获知对不可见点(150、160)的定位，则可以计算不可见点(150、160)的坐标。
例如，图1示出了在相应的3D空间中的从可见点140开始并且在不可见点150结束的第一平移矢量170。类似地，第二平移矢量180从可见点140开始并且在不可见点160结束。
因此，通过将平移矢量(170、180)添加到可见点140的坐标，可以分别确定不可见点150和不可见点160两者的坐标。
图3中示出了如从摄像头110视角看到的、连接可见点140和不可见点150的平移矢量170的这种场景。
在该示例中，为了确定平移矢量170，通过对平移矢量150的至少两个点进行图像处理来估计平移矢量150的取向。
更具体地，如图4所示，将专用指示器200设置在3D空间中，其中，专用指示器200具有在摄像头110的视线内的至少两个可见点140、190。
此外，专用指示器200提供该专用指示器200的可见点140与不可见点210之间的联接，其中，专用指示器200的不可见点210不在摄像头110的视线内。
在该示例中，指定指示器200对应于具有指向3D空间中的对象的不可见特征点150的端部210的细长物理物品。更具体地，指定指示器200具有箭头或指示器形状，并且例如包括刚性塑料或纸张，或者由将可见点190和不可见点210联接的在3D空间中具有直线连接的细绳形成。
因此，如图4所示，专用指示器200的不可见点210对应于对象的不可见特征点210的坐标，例如对应于汽车侧窗的角。
在设置专用指示器200之后，摄像头110拍摄图4所示的对应FOV图像，并用于确定专用指示器200的可见点(140、190)的坐标。
为此，在该示例中，摄像头110提供飞行时间(ToF)摄像头图像，该ToF摄像头图像被用于确定距指定指示器200的两个可见点(140、190)的两个深度信号。
因此，该深度信号分别对应于从摄像头110到指定指示器上的可见点(140、190)的距离。由此可见，对两个可见点(140、190)的坐标进行计算并用于确定专用指示器200的取向的方向。如上说明的，专用指示器200的取向的方向对应于图1、图3以及图4中所示的平移矢量170的取向的方向。
在图4所示的示例中，平移矢量170的长度是通过测量专用指示器200的更靠近中心的可见点190与专用指示器200的不可见点210之间的距离来确定的。为此，通过使用常规的激光测量仪测量装置并且在通过摄像头110拍摄图像之前手动测量所述距离。
因此，所确定的平移矢量170T具有坐标长度(dx,dy,dz)，这可以使用以下归一化表示来加以有效描述：
T＝[dx,dy,dz]＝D·[nx,ny,nz]，
其中，D等于所确定的平移矢量200的长度，并且[nx,ny,nz]表示具有所确定的、专用指示器170在3D空间中的取向的方向的单位长度矢量。
由此可见，通过将平移矢量200T添加至专用指示器200的更靠近中心的可见点190的坐标来确定专用指示器200的不可见点210的坐标。
由于所确定的专用指示器200的不可见点210的坐标对应于对象的不可见特征点的坐标，因此该方法允许以有效且鲁棒的方式来确定和校准对象的这种不可见点，以减少劳动力并提高精度。
下面，对利用参考点和方向矢量的实施方式进行描述。
图5示出了拍摄参考点和方向矢量的摄像头FOV。可以提供具有坐标P1＝(x1,y1,z1)的第一参考点502。具有坐标(换句话说：方向)u＝(ux,uy,uz)的第一方向矢量504可以与第一参考点502相关。可以提供具有坐标P2＝(x2,y2,z2)的第二参考点506。具有坐标(换句话说：方向)w＝(wx,wy,wz)的第二方向矢量508可以与第二参考点506相关。
与参照图4描述的实施方式相比，本实施方式可以提供至少两个方向矢量(DV)连同可见参考点(类似于图4的实施方式)，但可能不需要指示器的长度(提供平移矢量)。可以按与上述相同的方式共同安装方向矢量和参考点。例如，可以设置两个(专用)指示器。第一指示器可以包括第一参考点502和第一方向矢量504。第二指示器可包括第二参考点506和第二方向矢量508。第一参考点502、第一方向矢量504、第二参考点506以及第二方向矢量508可以是可见特征(换句话说：它们可以在视场120中)。在实施方式中，指示器可以与不可见点150物理地对准(使得例如来自方向矢量的方向上的点的线穿过不可见点150)。在另一实施方式中，指示器与不可见点对准，而与不可见点150没有任何物理连接；例如，操作者可以仅粗略地将指示器对准以指向不可见点150，或者可以使用激光指示器来设置指示器，使得方向矢量指向不可见点150(例如通过设置专用指示器使得激光指示器指向不可见点150)。可以将激光指示器设置在专用指示器上，并且可以与专用指示器的参考点以及专用指示器的方向矢量固定对准地进行设置(使得激光指示器指向专用指示器的方向矢量的方向，并且激光指示器的线穿过参考点)。
应当明白，代替具有在一个帧(或样本或图像)中具有两个(或更多个)相应位置和取向的两个(或更多个)专用指示器，可以仅设置一个专用指示器，并且可以在几个帧中提供所述一个专用指示器的相应位置和取向(例如，每个帧中的一个位置和一个方向；该专用指示器可以在每个帧中具有不同的位置和取向，但在每个帧中，该专用指示器可以按与特征点的预定关系设置)。
根据各种实施方式，假设方向矢量504、508指向不可见点150。相应方向矢量的锚点在已知的可见参考点(例如，第一方向矢量504的第一点502以及第二方向矢量508的第二点506)中。
具有了所有这些数据，可以通过以下方式限定连接参考点502、506与不可见点150的3D空间中的线方程：
Figure BDA0002195569670000141
Figure BDA0002195569670000142
n和m是实数(n,m∈R)，它们可以指示不可见点150距参考点502、506有多远(就方向矢量而言)。
应当明白，尽管为简单起见例示了两条线，但可以使用任意数量的线。可以为每对DV和参考点限定这样的线。对于每两条非平行线，可以分别找到m的值mo以及n的值no，对于值mo和值no来说，点(Pmo∈l1和Pno∈l2)之间的距离是最小的。例如，如果线相交，那么这将是线相交的点(使得Pmo与Pno之间的距离等于零)。
在实施方式中，可以拍摄指示器的几个样本(或图像或帧)(在每个样本上可见一个指示器)，并且可以确定线(由指示器限定)之间的距离最小的点的坐标。可以针对每两个矢量确定该点，并且可以提供后处理(例如，去除异常值，或检查矢量共线性)。可以在考虑到先前确定的点以及基于进一步的帧的另一点的情况下来迭代地执行该确定。结果，所确定的点可以会聚至不可见点(不管专用指示器是否只是粗略地指向不可见点，例如通过基于人类操作者的视觉判断的粗略对准，或者更准确地例如使用激光指示器)。在使用激光指示器时，会聚可能更快。
图6示出了例示线之间的最小距离的摄像头FOV。例如，例示了第一线l1 602和第二线l2 604。
如果方向矢量504、508指向不可见点150，则可以假设Pmo点和Pno点这两者的坐标的平均IP限定不可见点150的坐标：
Figure BDA0002195569670000151
计算mo和no的任务可以是优化任务，在该优化任务中，必须找到将m和n这两者的值映射成点之间的距离的函数的全局最小值。设限定这样的距离函数：
Figure BDA0002195569670000152
由于根函数不改变子函数的单调性，因此当采用平方距离函数进行优化时，结果(换句话说：全局最小值)保持不变。因此，要找到全局最小值的函数可以具有以下形式：
dsql1l2：dsq(m，n)＝d2(m，n)
＝(x1+uxm-x2-wxn)2+(y1+uym-y2-wyn)2
+(z1+uzm-z2-wzn)2
为了检查以下函数是否具有最小值，可以检查其导出矩阵的行列式的符号。应当明白，以下公式不包括所有计算细节和变换，但这些公式例示了计算背后的概念构思。
出于检查导出矩阵的行列式的这种目的，可以计算偏导数：
·
Figure BDA0002195569670000153
·
Figure BDA0002195569670000154
·
Figure BDA0002195569670000161
然后，该导出矩阵的行列式可以如下：
Figure BDA0002195569670000162
如果该行列式的值大于零，那么该函数具有极值点。假设对于两条非平行线，将始终满足这个条件，可以计算m和n这两者的最优值。为了做到这一点，可以求解第一偏导数等于零的方程：
Figure BDA0002195569670000163
Figure BDA0002195569670000164
Figure BDA0002195569670000165
Figure BDA0002195569670000166
为了使下一个公式更透彻，引入以下表示：
·
Figure BDA0002195569670000167
·
Figure BDA0002195569670000168
·
Figure BDA0002195569670000169
·m＝na+b
应用所提供的表示：
Figure BDA00021955696700001610
Figure BDA0002195569670000171
Figure BDA0002195569670000172
Figure BDA0002195569670000173
Figure BDA0002195569670000174
上述公式允许确定m和n这两者的最优值，它们分别限定了线l1与线l2上的其间距离最小的点。
例如，概括起来，可以提供以下步骤以基于第一参考点502、第一方向矢量504、第二参考点506以及第二方向矢量508来确定不可见点150的位置：
1.找到第一可见点(换句话说：第一参考点502)的坐标。
2.找到指示器上的三个反射点的坐标(就像素而言)。
3.找到指示器上的两个中间点的坐标(就像素而言)。
4.使用深度信号(VP1)将中间点的像素坐标转换成3D坐标。
5.计算3D空间中的第一方向矢量(DV1)504。
6.针对第二个可见点(VP2)(换句话说：针对第二参考点506)和第二方向矢量(DV2)508重复步骤1至步骤5。
7.计算偏导数矩阵的行列式的值。如果该函数具有极值点，则根据所提供的公式计算m和n这两者的最优值。
8.计算最优点(Pmo和Pno)的坐标。
9.计算作为Pmo与Pno之间的中间点的不可见点(IP)的坐标。
应当明白，参照图4、图5以及图6所示的实施方式仅仅是FOV的可见部分(包括可见特征)可以如何用于计算不可见点的坐标的示例。虽然这些实施方式例示了可见点与不可见点之间的关系的一些示例，但应当明白，进一步的这种关系是可能的。例如，根据各种实施方式，可以基于确定圆的中间(换句话说：中心)来确定不可见点的坐标：
图7示出了拍摄圆上的多个点的摄像头FOV。可以在圆上设置多个可见点702。所述圆可以具有圆半径704，并且基于多个可见点702，可以确定不可见点150的坐标。例如，基于未设置在直线上的每三个可见点702的坐标，可以确定圆的属性(例如圆的中心点和圆的半径)。如果三个以上的点是可见的，那么可以确定几个圆的属性(对于所述三个以上的点中的每个三个点的子集)，或者可以使用回归(例如均方)方法来确定贯穿所述三个以上的点最佳拟合的圆的坐标(例如确定这样的圆的坐标，既，使所述圆与这些点中的每个点之间的均方距离最小化)。在实施方式中，专用指示器可以包括所述圆的中心和所述多个可见点。在另一实施方式中，可以设置多个专用指示器(或者在多个样本中拍摄的一个专用指示器)，这些指示器全部指向特征点，因此，所述指示器上的可见点形成(虚拟)圆，其中所述特征点作为该圆的中心。
上述各种实施方式可以具有不同的特征。因此，根据具体要求或事例规格，可以选择不同的实施方式。表1描绘了不同实施方式的比较。准确度反映了测量结果与不可见参考点的已知或接受的值的接近程度。精度反映了可重现的测量的程度(无论它们与所接受的值有多接近)。
实施方式 应用 准确度 精度
平移矢量(图4) 靠近FOV的对象 OK OK
方向矢量(图5、图6) 对象靠近和远离FOV 取决于样本数量 取决于样本数量
圆的中间(图7) 距离FOV不太远的对象 OK OK
表1
图8A中所示的框图提供了用于校准3D空间中的对象的对应方法300的概要。
在步骤310中，在相应的3D空间中设置专用指示器200，其中，专用指示器200具有在摄像头110的视线内的至少两个可见点140、190和不在摄像头110的视线内的不可见点210。在步骤320中，通过使用摄像头110来拍摄对应的图像。
在后续步骤330中，在所拍摄的图像上执行图像特征点检测，以确定专用指示器200的所述至少两个可见点140、190的坐标。
接着，在步骤340中，基于专用指示器200的所述至少两个可见点140、190的坐标来确定专用指示器200的不可见点210的坐标，其中，所确定的专用指示器200的不可见点210的坐标对应于3D空间中的对象的特征点150的坐标。
图8B示出了例示根据各种实施方式的用于确定3D空间中的对象的特征点的坐标的方法的流程图800。在810，可以按与特征点(150)的预定关系在3D空间(310)中设置至少一个专用指示器(200)。每个专用指示器(200)可以具有在摄像头(110)的视线内的至少一个可见特征。在820，可以使用摄像头(320)拍摄至少一个图像。在830，可以对拍摄的至少一个图像(330)执行图像特征检测，以确定每个专用指示器(200)的相应的至少一个可见特征的坐标。在840，可以基于所确定的每个专用指示器(200)的相应的至少一个可见特征的坐标来确定特征点(150)的坐标。
可以针对专用指示器(200)的不同的位置和取向重复步骤810、步骤820、步骤830，换句话说：可以迭代地执行步骤810、步骤820、步骤830。在实施方式中，在步骤810、步骤820、步骤830的每次处理之后，可以执行步骤840，并且可以确定步骤810、步骤820、步骤830的另一次迭代是否是必需的。例如，可以确定所确定的特征点的坐标(步骤840)与前一迭代相比是否已经改变，并且如果特征点的坐标变化低于预定阈值，则所述迭代可以停止，并且可以提供特征点的当前坐标作为最终结果。
根据各种实施方式，至少一个专用指示器(200)可以具有在摄像头(110)的视线内的至少两个可见点(140、190)，和不在摄像头(110)的视线内的一个不可见点；其中，所述至少一个可见特征包括所述至少两个可见点(140、190)。按与3D空间中的对象的特征点(150)的预定关系在该3D空间(310)中设置所述至少一个专用指示器(200)的步骤可以包括：将所述至少一个专用指示器(200)的不可见点设置在3D空间中的对象的特征点(150)上或者靠近所述特征点设置。
根据各种实施方式，所述至少一个专用指示器(200)可以包括第一专用指示器和第二专用指示器。第一专用指示器的在摄像头的视线内的所述至少一个可见特征可以包括第一参考点和第一方向矢量。第二专用指示器的在摄像头的视线内的所述至少一个可见特征可以包括第二参考点和第二方向矢量。确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤可以包括：确定第一参考点的位置、第一方向矢量的方向、第二参考点的位置以及第二方向矢量的方向。
根据各种实施方式，按与特征点(150)的预定关系在3D空间中设置所述至少一个专用指示器的步骤包括：在3D空间中设置第一专用指示器使得从第一参考点到特征点(150)的方向由第一方向矢量来表示，并且在3D空间中设置第二专用指示器使得从第二参考点到特征点(150)的方向由第二方向矢量来表示。
根据各种实施方式，特征点(150)的坐标可以基于这样的点的坐标来确定，即，在所述点中，通过所确定的第一参考点的位置并且具有与所确定的第一方向矢量的方向相对应的方向的第一条线与通过所确定的第二参考点的位置并且具有与所确定的第二方向矢量的方向相对应的方向的第二条线之间的距离包括最小值。
根据各种实施方式，所述至少一个专用指示器(200)可以包括具有在摄像头的视线内的多个可见特征的专用指示器，其中，所述多个可见特征包括设置在参考圆上的多个点。确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤可以包括：确定设置在参考圆上的所述多个点的相应位置。
根据各种实施方式，按与特征点(150)的预定关系在3D空间中设置所述至少一个专用指示器的步骤包括：在3D空间中设置专用指示器使得参考圆的中心与特征点(150)重合。
根据各种实施方式，所述方法还可以包括以下步骤：基于设置在参考圆上的所确定的多个点来确定观察到的圆。特征点(150)的坐标可以基于所观察到的圆的中心来确定。
根据各种实施方式，所述3D空间可以对应于车辆的内部空间。
根据各种实施方式，特征点(150)可以是车窗的特征点，优选为所述车窗的角落，或者是车镜的特征点，优选为外后视镜的角落。
根据各种实施方式，特征点(150)可以是在3D手势识别系统中使用的排除框、排除表面或指向区域中的特征点。
根据各种实施方式，所述至少一个指定指示器(200)可以对应于设置在3D空间中的至少一个物理物品，优选为具有指向所述3D空间中的所述对象的所述特征点(150)的端部(210)的细长物理物品(200)，优选为包括塑料和/或纸张的物理物品。
上述步骤(310、320、330、340、810、820、830和/或840)和/或进一步的步骤中的每一个可以由计算机硬件组件来执行。
以下示例涉及进一步的实施方式。
根据示例1，一种用于校准3D空间中的对象的方法(300)，所述方法包括以下步骤：在所述3D空间中设置专用指示器(步骤310)，其中，所述专用指示器(200)具有在摄像头(110)的视线内的至少两个可见点(140、190)，和不在所述摄像头(110)的视线内的不可见点(210)；使用所述摄像头拍摄图像(步骤320)；在所拍摄的图像上执行图像特征点检测，以确定所述专用指示器(200)的所述至少两个可见点(140、190)的坐标(步骤330)；以及基于所确定的专用指示器(200)的所述至少两个可见点(140、190)的坐标来确定所述专用指示器的所述不可见点的坐标(步骤340)，其中，所确定的专用指示器(200)的所述不可见点(210)的坐标对应于所述3D空间中的对象的特征点(150)的坐标。
根据示例2，示例1的主题还包括以下内容：确定所述专用指示器(200)的所述不可见点的坐标的步骤(340)包括：使用所确定的专用指示器(200)的所述至少两个可见点(140、190)的坐标来确定所述3D空间中的平移矢量(170、180)，其中，所述平移矢量(170、180)限定所述专用指示器(200)的所述可见点(140、190)中的一个与所述专用指示器(200)的所述不可见点(210)之间的空间差异。
根据示例3，示例2的主题还包括以下内容：确定所述平移矢量(170、180)的步骤包括：使用所确定的专用指示器(200)的所述至少两个可见点(140、190)的坐标来确定所述3D空间中的平移矢量(200)的取向，优选为确定归一化平移矢量取向，所述归一化平移矢量取向表示在所述3D空间中指向所述专用指示器(200)的所述至少两个可见点(140、190)之间的单位长度矢量。
根据示例4，示例3的主题还包括以下内容：对所拍摄的图像执行图像处理以确定所述3D空间中的所述平移矢量(170、180)的取向。
根据示例5，示例4的主题还包括以下内容：所述摄像头(110)是飞行时间(ToF)摄像头(110)，并且其中，对所拍摄的图像执行图像处理以确定所述3D空间中的所述平移矢量的取向的步骤包括：使用所述飞行时间(ToF)摄像头(110)图像来确定距沿着所述指定指示器(200)的至少两个点(140、190)的至少两个深度信号，优选为确定距沿着所述指定指示器(200)放置的反射带的至少两个点(14、190)的深度信号。
根据示例6，示例5的主题包括以下内容：所确定的深度信号被用于计算所述指定指示器上的点之间的空间差异，其中，所述点对应于所述指定指示器(200)的视点(140、190)。
根据示例7，示例4的主题包括以下内容：对所拍摄的图像执行图像处理以确定所述3D空间中的所述平移矢量的取向的步骤包括：执行对沿着所述指定指示器(200)检测到的图案的立体分析。
根据示例8，示例3至7中任一项的主题还包括以下内容：通过测量所述专用指示器(200)的所述可见点(140、190)中的一个与所述专用指示器(200)的所述不可见点(210)之间的距离来确定所述3D空间中的所述平移矢量(200)的长度。
根据示例9，示例8的主题包括以下内容：所述测量所述距离的步骤是通过使用确定所述专用指示器(200)的长度的测量装置，优选为卷尺或激光测量仪测量装置来执行的。
根据示例10，示例8或9中任一项的主题还包括以下内容：在通过使用所述摄像头(310)拍摄所述图像之前执行所述测量距离的步骤。
根据示例11，示例1至10中任一项的主题还包括以下内容：所述3D空间对应于车辆的内部空间。
根据示例12，示例11的主题包括以下内容：所述专用指示器(200)的所述不可见点(210)对应于车窗的特征点(150)，优选为所述车窗的角落(150)，或者是车镜的特征点(150)，优选为外后视镜的角落(150)。
根据示例13，示例11的主题包括以下内容：所述专用指示器(200)的所述不可见点(210)对应于在3D手势识别系统中使用的排除框、排除表面或指向区域中的特征点(150)。
根据示例14，示例1至13中任一项的主题还包括以下内容：所述指定指示器(200)对应于设置在所述3D空间中的至少一个物理物品，优选为具有指向所述3D空间中的所述对象的所述特征点(150)的端部(210)的细长物理物品(200)，优选为包括塑料和/或纸张的物理物品。
标号列表
100， 摄像头排布结构
110， 摄像头
120， 摄像头FOV边界
130， 障碍物
140、190 视点
150、160 对象的不可见特征点
170、180， 平移矢量
200， 专用指示器
210， 专用指示器的不可见点
300， 用于校准3D空间中的对象的方法
310， 设置专用指示器
320， 通过摄像头拍摄图像
330， 确定可见点的坐标
340， 确定不可见点的坐标
502， 第一参考点
504， 第一方向矢量
506， 第二参考点
508， 第二方向矢量
602， 第一条线
604， 第二条线
702， 多个可见点
704， 圆半径
800， 例示了根据各种实施方式的方法的流程图
810， 设置至少一个专用指示器
820， 拍摄图像
830， 执行图像特征检测
840， 确定特征点的坐标

Claims (15)

1.一种用于确定3D空间中的对象的特征点(150)的坐标的方法，所述方法包括：
按与所述特征点(150)的预定关系在所述3D空间中设置至少一个专用指示器(200)的步骤(310)，其中，每个专用指示器(200)具有在摄像头(110)的视线内的至少一个可见特征；
使用所述摄像头拍摄至少一个图像的步骤(320)；
对所拍摄的至少一个图像执行图像特征检测以确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤(330)；以及
基于所确定的每个专用指示器(200)的相应的至少一个可见特征的坐标来确定所述特征点(150)的坐标的步骤。
2.根据权利要求1所述的方法，
其中，所述至少一个专用指示器(200)具有在所述摄像头(110)的视线内的至少两个可见点(140、190)以及不在所述摄像头(110)的视线内的一个不可见点；其中，所述至少一个可见特征包括所述至少两个可见点(140、190)；并且
其中，按与所述3D空间中的所述对象的所述特征点(150)的所述预定关系在所述3D空间中设置所述至少一个专用指示器(200)的步骤(310)包括：将所述至少一个专用指示器(200)的不可见点设置在所述3D空间中的所述对象的所述特征点(150)上或者靠近所述特征点(150)设置。
3.根据权利要求1至2中的任一项所述的方法，
其中，所述至少一个专用指示器(200)包括第一专用指示器和第二专用指示器；
其中，所述第一专用指示器的在所述摄像头的视线内的所述至少一个可见特征包括第一参考点和第一方向矢量；
其中，所述第二专用指示器的在所述摄像头的视线内的所述至少一个可见特征包括第二参考点和第二方向矢量；并且
其中，确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤包括：确定所述第一参考点的位置、所述第一方向矢量的方向、所述第二参考点的位置以及所述第二方向矢量的方向。
4.根据权利要求3所述的方法，
其中，按与所述特征点(150)的所述预定关系在所述3D空间中设置所述至少一个专用指示器的步骤包括：在所述3D空间中设置所述第一专用指示器使得从所述第一参考点到所述特征点(150)的方向由所述第一方向矢量来表示，并且在所述3D空间中设置所述第二专用指示器使得从所述第二参考点到所述特征点(150)的方向由所述第二方向矢量来表示。
5.根据权利要求3至4中的一项所述的方法，
其中，所述特征点(150)的坐标基于这样的点的坐标来确定：在所述点处，通过所确定的第一参考点的位置并且具有与所确定的第一方向矢量的方向相对应的方向的第一条线与通过所确定的第二参考点的位置并且具有与所确定的第二方向矢量的方向相对应的方向的第二条线之间的距离包括最小值。
6.根据权利要求1至5中的任一项所述的方法，
其中，所述至少一个专用指示器(200)包括在所述摄像头的视线内具有多个可见特征的专用指示器，其中，所述多个可见特征包括设置在参考圆上的多个点；并且
其中，确定每个专用指示器(200)的相应的至少一个可见特征的坐标的步骤包括：确定设置在所述参考圆上的所述多个点的相应位置。
7.根据权利要求6所述的方法，
其中，按与所述特征点(150)的所述预定关系在所述3D空间中设置所述至少一个专用指示器的步骤包括：在所述3D空间中设置所述专用指示器使得所述参考圆的中心与所述特征点(150)重合。
8.根据权利要求6至7中的任一项所述的方法，所述方法还包括以下步骤：
基于设置在所述参考圆上的所确定的多个点来确定观察到的圆；并且
其中，基于所观察到的圆的中心来确定所述特征点(150)的坐标。
9.根据权利要求1至8中的至少一项所述的方法，
其中，所述3D空间对应于车辆的内部空间。
10.根据权利要求1至9中的至少一项所述的方法，
其中，所述特征点(150)是车窗的特征点，优选为所述车窗的角落，或者是车镜的特征点，优选为外后视镜的角落，或者是在3D手势识别系统中使用的排除框、排除表面或指向区域中的特征点。
11.根据权利要求1至10中的至少一项所述的方法，
其中，设置的步骤、拍摄的步骤以及执行图像特征检测的步骤被迭代地执行。
12.根据权利要求1至11中的至少一项所述的方法，其中，所述至少一个指定指示器(200)对应于设置在所述3D空间中的至少一个物理物品，优选为具有指向所述3D空间中的所述对象的所述特征点(150)的端部(210)的细长物理物品(200)，优选为包括塑料和/或纸张的物理物品。
13.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至12中的至少一项所述的方法。
14.根据权利要求13所述的计算机系统，其中，所述计算机系统包括飞行时间摄像头。
15.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括用于执行根据权利要求1至12中的至少一项所述的方法的指令。
CN201910846957.0A 2018-09-12 2019-09-09 用于确定3d空间中的对象的特征点的坐标的方法 Active CN110895675B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP18194116 2018-09-12
EP18194116.2 2018-09-12
EP19191839.0A EP3623996A1 (en) 2018-09-12 2019-08-14 Method for determining a coordinate of a feature point of an object in a 3d space
EP19191839.0 2019-08-14

Publications (2)

Publication Number Publication Date
CN110895675A true CN110895675A (zh) 2020-03-20
CN110895675B CN110895675B (zh) 2023-11-14

Family

ID=63762178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910846957.0A Active CN110895675B (zh) 2018-09-12 2019-09-09 用于确定3d空间中的对象的特征点的坐标的方法

Country Status (3)

Country Link
US (1) US11087491B2 (zh)
EP (1) EP3623996A1 (zh)
CN (1) CN110895675B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949707B2 (en) * 2019-02-27 2021-03-16 Here Global B.V. Method, apparatus, and system for generating feature correspondence from camera geometry

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150199019A1 (en) * 2014-01-16 2015-07-16 Denso Corporation Gesture based image capturing system for vehicle
US20150317527A1 (en) * 2011-12-29 2015-11-05 Intel Corporation System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
CN105323575A (zh) * 2014-07-29 2016-02-10 日立麦克赛尔株式会社 影像显示系统、三维影像指示装置以及影像显示装置
US20160132126A1 (en) * 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
JP6354054B1 (ja) * 2017-07-03 2018-07-11 国際航業株式会社 撮影支援装置、及び撮影方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US8138938B2 (en) * 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
US8692768B2 (en) * 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US9182838B2 (en) * 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
US8823641B2 (en) 2012-05-22 2014-09-02 Delphi Technologies, Inc. System for projecting 3D images and detecting gestures
US20130325256A1 (en) 2012-05-29 2013-12-05 Delphi Technologies, Inc. Non-contact gesture recognition system and method
EP2746805B1 (de) 2012-12-21 2017-07-12 Delphi Technologies, Inc. Ultraschallinnenraumüberwachungsanlage für ein Kraftfahrzeug
US20140350942A1 (en) 2013-05-23 2014-11-27 Delphi Technologies, Inc. Vehicle human machine interface with gaze direction and voice recognition
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
EP3070645A1 (en) 2015-03-20 2016-09-21 Delphi Technologies, Inc. Apparatus and method for automatically testing a gesture recognition device
US20170190336A1 (en) 2016-01-04 2017-07-06 Delphi Technologies, Inc. Automated Vehicle Operation Based On Gesture To Pedestrian
US20170191838A1 (en) 2016-01-04 2017-07-06 Delphi Technologies, Inc. Automated vehicle route selection based on occupant interest
EP3203412A1 (en) 2016-02-05 2017-08-09 Delphi Technologies, Inc. System and method for detecting hand gestures in a 3d space
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
US20180157268A1 (en) 2016-12-06 2018-06-07 Delphi Technologies, Inc. Taxi client identification for automated vehicles
US20190126889A1 (en) 2017-11-02 2019-05-02 Aptiv Technologies Limited Hands-free access method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317527A1 (en) * 2011-12-29 2015-11-05 Intel Corporation System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US20150199019A1 (en) * 2014-01-16 2015-07-16 Denso Corporation Gesture based image capturing system for vehicle
CN105323575A (zh) * 2014-07-29 2016-02-10 日立麦克赛尔株式会社 影像显示系统、三维影像指示装置以及影像显示装置
US20160132126A1 (en) * 2014-11-07 2016-05-12 Alexander van Laack System for information transmission in a motor vehicle
CN105584368A (zh) * 2014-11-07 2016-05-18 威斯通全球技术公司 用于在机动车中传输信息的系统
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
JP6354054B1 (ja) * 2017-07-03 2018-07-11 国際航業株式会社 撮影支援装置、及び撮影方法

Also Published As

Publication number Publication date
EP3623996A1 (en) 2020-03-18
US11087491B2 (en) 2021-08-10
CN110895675B (zh) 2023-11-14
US20200082564A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
JP6197388B2 (ja) 距離測定装置、距離測定方法、およびプログラム
JP4919036B2 (ja) 移動物体認識装置
WO2019137065A1 (zh) 图像处理方法、装置、车载抬头显示系统及车辆
US8885049B2 (en) Method and device for determining calibration parameters of a camera
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
JP2018028535A (ja) 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
JP2018535402A (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
CN107016705A (zh) 计算机视觉系统中的地平面估计
KR20170032403A (ko) 사발형 이미징 시스템에서의 물체 추적
US20140085409A1 (en) Wide fov camera image calibration and de-warping
CN108603933B (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
US9612655B2 (en) Method for inputting a control command for a component of a motor vehicle
CN108932737A (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
US20060115144A1 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN111238490B (zh) 视觉定位方法、装置以及电子设备
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
CN118004035B (zh) 一种基于车载投影仪的辅助驾驶方法、装置及电子设备
WO2006123438A1 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant