CN111507168A - 通过二维摄像估计乘客状态的方法以及装置 - Google Patents

通过二维摄像估计乘客状态的方法以及装置 Download PDF

Info

Publication number
CN111507168A
CN111507168A CN202010074007.3A CN202010074007A CN111507168A CN 111507168 A CN111507168 A CN 111507168A CN 202010074007 A CN202010074007 A CN 202010074007A CN 111507168 A CN111507168 A CN 111507168A
Authority
CN
China
Prior art keywords
specific
point
vehicle
passengers
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010074007.3A
Other languages
English (en)
Other versions
CN111507168B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申東洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507168A publication Critical patent/CN111507168A/zh
Application granted granted Critical
Publication of CN111507168B publication Critical patent/CN111507168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种通过二维摄像估计乘客状态的方法以及装置。该方法包括：步骤(a)，当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，乘客状态检出装置将所述2D内部图像输入到姿势估计网络，从而使姿势估计网络从2D内部图像中获取与每个一个以上乘客相对应的一个以上姿势点；以及步骤(b)，乘客状态检出装置，(i)通过参照预设的像素角度表，并以车辆的预设基准点为基准，计算与每个乘客相对应的所述姿势点的位置信息，(ii)通过参照与每个乘客相对应的所述姿势点的所述位置信息，检测每个所述乘客状态。

Description

通过二维摄像估计乘客状态的方法以及装置
技术领域
本发明涉及一种通过2D摄像机检出乘客状态的方法以及装置，更具体地，涉及一种通过利用从安装有鱼眼镜头的2D摄像机获取的车辆的2D内部图像来检出乘客状态的方法以及装置{METHOD AND DEVICE FOR ESTIMATING PASSENGER STATUSES IN 2 DIMENSIONIMAGE SHOT BY USING 2 DIMENSION CAMERA WITH FISHEYE LENS}。
背景技术
通常，为了用户的方便和安全，车辆安装有各种安全装置。
尤其是，在发生车祸时，通过利用诸如驾驶员等乘客与安全装置的距离，启动用于激活安全装置的各种应用，从而保护乘客的安全。
例如，当由于车祸而展开安全气囊时，如果安全气囊与乘客之间的距离较远，则安全气囊的充气时间会增加；如果安全气囊与乘客之间的距离较短，则安全气囊的充气时间会缩短。因此，可以根据安全气囊与乘客之间的距离，有效的展开安全气囊，从而防止了与车辆碰撞引起的二次伤害。
另外，通过利用与驾驶员的距离，检出驾驶员在驾驶中弯腰等异常动作情况，并发出警报，从而防止了由于分心等原因引起的事故，其中，驾驶员是属于乘客中的一部分。
通过利用各种传感器测量与乘客的距离，从而启动上述的安全装置。
然而，针对乘客的各种不同位置以及变化的驾驶环境，当使用传感器测量与乘客的距离时，难以准确地获取相关的传感信息，因此，需要适用多种用于检测距离的传感器，从而具有费用增加的缺点。
因此，本发明提供了一种用于测量乘客的身体位置的方法，该方法比起现有技术费用更低。
发明内容
本发明的目的在于解决上述的所有问题。
本发明的另一目的在于在不增加额外费用的情况下，检出一个以上乘客的一个以上乘客状态。
本发明的又一个目的在于在不受驾驶环境影响的情况下检出乘客状态。
本发明的又一个目的在于通过将待处理的信息进行最小化来检出乘客状态。
如上所述，为了实现本发明的目的并实现后述的本发明的特征效果，本发明提供的特征结构如下。
根据本发明的一实施例，提供一种通过分析车辆的内部图像来检出一个以上乘客状态的方法，该方法包括以下步骤：
步骤(a)、当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，乘客状态检出装置将所述2D内部图像输入到姿势估计网络，从而使所述姿势估计网络从所述2D内部图像中获取与每个一个以上乘客相对应的一个以上姿势点；以及
步骤(b)、所述乘客状态检出装置，(i)通过参照预设的像素角度(pixel-angle)表格，并以所述车辆的预设基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，(ii)通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态；
其中，在所述车辆内部安装有以网格单元(grid cells)组成的网格板(gridboard)的条件下，所述像素角度表是由每个垂直角度以及每个水平角度形成的表格，所述每个垂直角度以及每个水平角度由第一线和每个第二线形成，并与所述网格单元的每个角落的每个像素相对应，所述第一线连接所述摄像机以及由所述摄像机拍摄的网格图像上的所述网格板的上端中心，所述每个第二线连接所述摄像机以及所述每个角落。
根据本发明的一实施例，在所述步骤(b)中，所述乘客状态检出装置(i)利用每个所述乘客所对应的所述姿势点中的特定姿势点所在的特定网格单元角落的所述位置信息，并通过双线性插值法(bilinear interpolation)获取所述特定姿势点的特定高度；(ii)利用所述网格单元的所述角落的所述垂直角度以及所述水平角度，并通过由双线性插值法获取所述特定姿势点的特定垂直角度以及特定水平角度；(iii)通过参照所述特定高度、所述特定垂直角度以及所述特定水平角度获取所述特定姿势点与所述基准点之间的特定车轴方向距离以及特定车宽方向距离。
根据本发明的一实施例，在由所述车辆的总车轴方向以及总车宽方向形成的平面上分别投影所述基准点以及所述特定姿势点，分别获取投影的基准点以及投影的特定姿势点，其中，所述特定车轴方向是所述投影的基准点与所述投影的特定姿势点之间的距离，所述特定车宽方向是从所述投影的基准点向总车轴方向延长的基线与所述投影的姿势点之间的距离。
根据本发明的一实施例，还包括步骤(c)，所述乘客状态检出装置，(i)在所述车辆处于紧急情况时，指示所述车辆的至少一个应用，根据每个所述乘客的状态来启动，从而保护所述乘客，或(ii)通过参照每个所述乘客的情况，分析每个所述乘客的一个以上的行动模式，从而确认所述每个乘客的每个驾驶安全状态。
根据本发明的一实施例，在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上特征张量(feature tensor)，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上通道；(ii)通过关键点热图以及部分亲和字段提取机形成与每个所述特征张量相对应，且具有一个以上通道的至少一个关键点热图以及至少一个部分亲和字段；(iii)通过关键点检测器从所述关键点提取一个以上关键点，并通过参照所述部分亲和字段对提取的所述关键点进行分组，从而形成与每个所述乘客相对应的所述姿势点。
根据本发明的一实施例，在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上通道；(ii)通过完全卷积网络(fully convolutionnetwork)对所述对特征张量进行完全卷积运算，从而形成一个以上的热图；(iii)从所述热图中获取所述姿势点。
根据本发明的另一实施例，提供一种通过分析车辆的内部图像来检出一个以上乘客状态的乘客状态检出装置，所述装置包括：
至少一个用于存储至少一个指令的存储器；以及
至少一个处理器，其用于执行所述指令，其中，所述处理器执行以下步骤，包括：
步骤(I)，当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，将所述2D内部图像输入到姿势估计网络中，从而使所述姿势估计网络从所述2D内部图像中获取与每个一个以上乘客相对应的一个以上的姿势点，以及步骤(II)，(i)通过参照预定的像素角度(pixel-angle)表格，并以所述车辆预设的基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，并(ii)通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态；
其中，在所述车辆内部安装有以网格单元(grid cells)组成的网格板(gridboard)的条件下，所述像素角度表格是由每个垂直角度以及每个水平角度形成的表格，所述每个垂直角度以及每个水平角度由第一线和每个第二线形成，并与所述网格单元的每个角落的每个像素相对应，所述第一线连接所述摄像机以及由所述摄像机拍摄的网格图像上的所述网格板的上端中心，所述每个第二线连接所述摄像机以及所述每个角落。
根据本发明的一实施例，在所述步骤(II)中，所述处理器(i)利用每个所述乘客所对应的所述姿势点中的特定姿势点所在的特定网格单元角落的所述位置信息，并通过双线性插值法(bilinear interpolation)获取所述特定姿势点的特定高度；(ii)利用所述网格单元的所述角落的所述垂直角度以及所述水平角度，并通过双线性插值法获取所述特定姿势点的特定垂直角度以及特定水平角度；(iii)通过参照所述特定高度、所述特定垂直角度以及所述特定水平角度获取所述特定姿势点与所述基准点之间的特定车轴方向距离以及特定车宽方向距离。
根据本发明的一实施例，在由所述车辆的总车轴方向以及总车宽方向形成的平面上分别投影所述基准点以及所述特定姿势点，分别获取投影的基准点以及投影的特定姿势点，其中，所述特定车轴方向是所述投影的基准点与所述投影的特定姿势点之间的距离，所述特定车宽方向是从所述投影的基准点向总车轴方向延长的基线与所述投影的姿势点之间的距离。
根据本发明的一实施例，还包括步骤(III)，(i)在所述车辆处于紧急情况时，指示所述车辆的至少一个应用，根据每个所述乘客的状态来启动，从而保护所述乘客，或(ii)通过参照每个所述乘客的情况，分析每个所述乘客的一个以上的行动模式，从而确认所述每个乘客的每个驾驶安全状态。
根据本发明的一实施例，在步骤(I)中，所述处理器使所述姿势估计网络，(i)通过特征提取网络输出一个以上特征张量(feature tensor)，其中，所述特征张量与2D内部图像相对应，并具有一个以上通道；(ii)通过关键点热图以及部分亲和字段提取机形成与每个所述特征张量相对应，且具有一个以上通道的至少一个关键点热图以及至少一个部分亲和字段；(iii)通过关键点检测器从所述关键点提取一个以上关键点，并通过参照所述部分亲和字段对提取的所述关键点进行分组，从而形成与每个所述乘客相对应的所述姿势点。
根据本发明的一实施例，在所述步骤(I)中，所述处理器使所述姿势估计网络，(i)通过特征提取网络输出的一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上的通道；(ii)通过完全卷积网络(fully convolution network)对所述对特征张量进行完全卷积运算，从而形成一个以上的热图；(iii)从所述热图中获取所述姿势点。
本发明通分析使用摄像机拍摄的车辆内部的2D内部图像来检出乘客状态，因此，与现有的传感器方法相比，降低了费用。
本发明通过分析使用照摄像机拍摄的汽车内部的2D室内图像来检出乘客状态，从而不受车辆周围环境影响的情况下可以检出乘客状态。
本发明通过分析使用照摄像机拍摄的汽车内部的2D室内图像来检出乘客状态，与现有的传感器方法相比，需要处理的信息量较少，因此，与现有的传感器方法相比，可以提高处理信息的速度。
附图说明
以下用于说明本发明实施例的附图仅是本发明实施例的一部分，并且本发明所属技术领域的技术人员(以下简称“技术人员”)无需进行创造性劳动即可基于这些附图获得其他附图。
图1为根据本发明一实施例的通过使用至少一2D摄像机检出至少一个乘客状态的乘客状态检出装置的示意图；
图2为根据本发明一实施例，用于通过使用2D摄像机检出乘客状态的摄像机安装情况以及以摄像机为基准的车辆坐标的示意图；
图3为根据本发明一实施例的通过使用2D摄像机检出乘客的至少一个姿势点以检出乘客状态的步骤的示意图；
图4为根据本发明一实施例的通过使用2D摄像机检出乘客的至少一个姿势点以检出乘客状态的方法的示意图；
图5为根据本发明一实施例的通过使用2D摄像机检出乘客状态的方法中用于确认姿势点位置的栅格板的示意图；
图6为根据本发明一实施例的通过使用2D摄像机检出乘客状态的方法中与用于确认姿势点位置的网格板相对应的像素角度表格的示意图；
图7为根据本发明一实施例的通过使用2D摄像机检出乘客状态的方法中的通过使用像素角度表格测量与特定姿势点相对应的高度以及角度的步骤的示意图；
图8为根据本发明一实施例的通过使用2D摄像机检出乘客状态的方法中检出姿势点的车轴方向距离的步骤的图；
图9为根据本发明一实施例的通过使用2D摄像机检出乘客状态的方法中检出姿势点的车宽方向距离的步骤的图。
具体实施方式
参阅附图，以下对发明实施的特定实施例详细说明，使本领域技术人员可以完全实施本发明。应当理解，本发明的各种实施例尽管不同，但不一定是相互排斥的。例如，在不脱离本发明的精神和范围的情况下，可以以其他实施例实现根据一实施例所描述的特征形状、结构以及特性。另外，应当理解，在不脱离本公开的精神和范围的情况下，可以修改每个公开的实施例内的各个组件的位置或布置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在合适地解释时，仅由其权利要求以及附加全部等同范围的权利要求来限定。在附图中，相似的附图标记通过各种方面，表示相同或相似的功能。
此外，在本发明的详细描述和权利要求中，术语“包括”及其变化形式并不旨在排除其他技术特征、附加物、组件或步骤。本发明的其他目的、优点以及特征的一部分从说明书中，另一部分从本发明的实施中向本领域技术人员揭示。以下示例和附图将作为示例提供，但并非在于限制本发明。
本发明中所提及的任何图像可以包括与已铺设或未铺设的道路有关的图像，在这种情况下，可以假设为可能出现在与道路有关的场景中的物体(；例如：车辆、人、动物、植物、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是本发明的范围不限于此。作为另一示例，本发明中提及的任何图像可以包括与道路都不相关的图像(例如：与未铺设的道路、巷道、空地、海洋、湖泊，河流、山、森林、沙漠、天空、室内有关的图像)。在这种情况下，可假设为可能出现未铺设的道路、巷道、空地、海洋、湖泊，河流、山、森林、沙漠、天空、室内环境中的物体(例如：车辆、人、动物、植物、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是本发明的范围不限于此。
以下，参照附图详细说明关于本发明的优选实施例，使本发明所属技术领域的普通技术人员可以容易的实现本发明。
图1为根据本发明一实施例的通过使用至少一2D摄像机检出至少一个乘客状态的乘客状态检出装置的示意图。参照图1，乘客状态检出装置100可以包括存储器110与处理器120，其中，存储器110用于存储指令，以使用2D摄像机检出乘客状态，处理器120对应于储存在存储器中的指令，其用于执行使用2D摄像机检出乘客状态的步骤。
具体地，乘客状态检出装置100通常可以通过使用至少一个计算装置与(例如，计算机处理器、存储器、储存器、输入装置以及输出装置、包括其他现有计算组件的装置；路由器、交换机等电子通信装置；网络附加存储(NAS)装置以及存储区域网络(SAN)等电子信息存储系统)至少一个计算机软件(使计算装置以特定方式充当计算机软件的指令)的组合来实现期望的系统性能。
另外，计算装置的处理器可以包括MPU(Micro Processing Unit)或CPU(CentralProcessing Unit)、高速缓冲存储器(Cache Memory)、数据总线(Data Bus)等的硬件配置。另外，计算装置可以进一步包括操作系统与实现特定目的的应用软件的配置。
然而，虽然对计算装置如上述进行了描述，但计算装置不排除包括用于实现本发明的处理器，存储器，介质或任何其他计算组件的任何组合的集成装置。
下面，说明通过根据本发明一实施例的乘客状态检出装置100分析2D摄像机拍摄的车辆内部的至少一个2D内部图像来检出乘客状态的方法。
首先，参照图2，可以获取由安装在车辆内部的至少一个摄像机10拍摄的车辆的2D内部图像，此时，2D内部图像可以包括至少一个乘客，例如车辆的驾驶员。
其中，摄像机10可以安装在车辆内部的前方顶部区域中，并且可以通过从预设的基准点到摄像机10的安装点的垂直距离来获取摄像机10的安装高度。而且，基准点可以设置为车辆内部的地板，车辆座椅，车辆仪表板等，但是本发明的范围不限于此，基准点可以设置为用于车辆中获取垂直高度的任何位置。基准点可以是车辆在紧急情况下保护乘客的车辆应用位置，例如，安全气囊等安装的位置。
而且，摄像机10可以是2D摄像机，并且可以具有至少一个鱼眼镜头(fisheyelens)，其中所述鱼眼镜头可以将车辆内部以宽视野拍摄。
此时，x轴可以与车辆的车宽方向相对应的设置，y轴可以与高度方向，即，摄像机的高度方向相对应的设置，z轴可以与车辆的车抽方向相对应的设置。
接下来，参照图3，乘客状态检出装置100通过姿势估计网络从2D内部图像中获取与每个乘客相对应的姿势点(pp1,pp2,…,ppn)。其中，所述姿势估计网利用计算机视觉技术。
实施例一中，参照图4，如果获取了2D内部图像，则姿势估计网络150可以将2D内部图像输入到特征提取网络151中，从而使特征提取网络151将卷积运算应用于2D内部图像，从而生成一个以上特征张量，其中，所述特征张量具有一个以上与2D内部图像相对应的通道。此时，特征提取网络151可以使一个以上卷积块将多个卷积运算应用于2D内部图像，其中，所述卷积块包括可执行至少一个卷积运算的一个以上卷积层。
并且，姿势估计网络150可以将特征张量输入到关键点热图与部分亲和字段提取机152中，从而使关键点热图与部分亲和字段提取机152形成与每个特征张量相对应的一个以上关键点热图以及一个以上部分亲和字段。其中，关键点热图与部分亲和字段提取机152可以包括完全卷积网络。进一步地，关键点热图与部分亲和字段提取机152可以包括一个以上1×1卷积层，其中，所述1×1卷积层将至少一个1×1卷积运算应用于特征张量。
另外，关键点热图的含义是表示热的热度(heat)和图的组合，可以将以颜色表示的各种信息在规定图像上面形成热分布形状的图形。
并且，部分亲和字段可以是表示关键点之间关系的一种矢量图。即，部分亲和字段可以是表示特定关键点与其他关键点连接的图，并且还可以是表示每一双关键点热图中包括的每个关键点的相互连接概率的图。
其中，关键点热图与部分亲和度字段提取机152可以通过使用二分匹配(bipartite matching)来检测关键点之间的关系，从而生成部分亲和字段。即，可以通过二分匹配来确认每个关键点与乘客的关系以及关键点之间的关系。
此后，姿势估计网络150将关键点热图与部分亲和字段由关键点检测器153输入，从而使关键点检测器153从每个关键点热图提取至少一个关键点，通过参照部分亲和字段将提取的关键点分组，从而检出与位于2D内部图像中的每个乘客的姿势点，其中，所述姿势点与每个乘客相对应。此时，关键点检测器153可以从每个姿势点热图的每个通道中提取最高点，即，可以提取具有最高热值的每个点。其中，所述点是与每个姿势点热图相对应的每个关键点，并且，在被提取的关键点中配对彼此可连接的概率最高的关键点，从而通过参照部分亲和字段来对所提取的关键点进行分组，并获取最终结果的姿势点。例如，当被提取的关键点中第二关键点被确定为与第一关键点连接的可能性最高时，可以执行将被提取的关键点中的第一关键点和被提取的关键点中的第二关键点连接成一双的步骤。其中，可以针对所有提取的关键点执行这些步骤。结果，被提取的关键点可以分类成一个以上的组。此时，可以根据2D内部图像中乘客的数量来确定组的数量。
另一实施例中，乘客状态检出装置100使姿势估计网络150，(i)通过特征提取网络输出一个以上特征张量，其中，所述特征张量与所述2D内部图像相对应，且具有一个以上通道；(ii)通过完全卷积网络对所述特征张量进行完全卷积运算，从而形成至少一个热图；(iii)从所述热图中可以获取所述姿势点。
此外，可以通过各种方式获取姿势点，并且本发明不限制对获取乘客姿势点的方法。
即，姿势估计网络可以通过使用CPM(Convolutional Pose Machines)、卷积神经网络、完全卷积网络或热图等来获取乘客的姿势点。
接下来，乘客状态检出装置100，(i)可以通过参照预定的像素角度(pixel-angle)表格，并以所述车辆的预设基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，并且(ii)可以通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态。
其中，所述像素角度表格是，在车内部安装有以网格单元(grid cells)组成的网格板(grid board)的条件下，由第一线和第二线形成的每个垂直角度以及每个水平角度与所述网格单元每个角落的每个像素相对应形成的表格，所述第一线连接2D摄像机以及由安装有鱼眼镜头的摄像机拍摄的网格图像上的网格板的上端中心TC，所述每个第二线连接2D摄像机以及所述每个角落SP。
实施例一中，参照图5，网格板安装至车辆内部的摄像机正面方向，其中所述网格板是以2英寸边长的网格单元组成，并且通过利用安装有鱼眼镜头的2D摄像机拍摄网格板获取网格图像，其中，所述网格图像是2D图像。
并且，可以从网格图像中检出网格单元的每个角落SP的像素值。此时，如果网格板无法完全填充车辆的内部时，可以将其假想延伸。
然后，可以计算每个高度，其中，所述高度是从基准点到每个网格单元的每个角落SP的垂直距离。
并且，(i)测量由第一线和第二线形成的每个垂直角度以及每个水平角度，(ii)每个垂直角度以及每个水平角度与每个像素相配可以形成像素角度表格，其中，所述像素与网格单元的每个角落相对应。其中，第一线连接2D摄像机以及所述网格图像上的网格板的上端中心TC，所述每个第二线连接2D摄像机以及网格图像上所述每个角落SP。
其中，参照图6，不同于在网格单元的所有角落SP测量角度，可以通过测量从上端中心垂直方向的角落的垂直角度θ，并导出表示这些关系的数学式，从而获取位于从上端中心垂直方向的所有像素中的垂直角度θ，而且，可以通过测量从上端中心水平方向的角落的水平角度
Figure BDA0002378004640000101
并导出表示这些关系的数学式，从而获取位于从上端中心水平方向的所有像素中的水平角度
Figure BDA0002378004640000102
另外，可以在摄像机位置处使用激光指示器测量第一线和第二线之间的角度。通过使用激光指示器，测量上端中心TC与角落SP之间的旋转角度，从而测量第一线与第二线之间的角度。
另外，在“通过三角测量从单个2d图像中获得深度和几何图形”，Y Salih，ASMalik-多媒体和博览会研讨会(ICMEW)，2012’(“Depth and geometry from a single 2dimage using triangulation”,Y Salih,AS Malik-Multimedia and Expo Workshops(ICMEW),2012’)论文中公开了从2D摄像机获取图像深度的方法。
然而，上述论文中假设了图像上的宽度和高度彼此形成线性比例，从而可以按一定的间隔分割，即，假设了可以从图像中计算出角度。但是，现有车辆的车辆应用通常利用鱼眼镜头，用于保证宽视角，因此不可能按线形进行一定间隔的分割。
因此，由于鱼眼镜头引起的歪曲，被分割成非线性分割，因此上诉研究方法无法使用。
即，普通摄像机的FOV(Field Of View)约为60度至70度，因此不能拍摄车辆整体的内部。因此，在这种情况下，必须使用鱼眼镜头，但是由于鱼眼镜头中歪曲的图像难以恢复为未歪曲的状态，因此无法使用上述研究论文提供的方法。
因此，本发明通过使用如上述所述的与具有非线性间隔的2D内部图像相对应的网格板来生成像素角度表格，其中，所述像素角度表格表示网格单元的每个角落的测量角度，并通过使用像素角度表格来检测乘客的姿势点的深度。
即，参照图7，乘客状态检出装置100利用每个乘客所对应的姿势点中的特定姿势点PP所在的特定网格单元角落(SP1、SP2、SP3、SP4)的述位置信息，并通过双线性插值法(bilinear interpolation)来获取特定姿势点PP的特定高度。
实施例一中，乘客状态检出装置100，通过(i)利用特定姿势点PP所在的特定网格单元角落(SP1、SP2、SP3、SP4)中角落SP1和角落SP2的高度的双线性插值法，或者(ii)利用角落SP3和角落SP4的高度的双线性插值法，可以获取特定姿势点PP的特定高度。
并且，乘客状态检出装置100通过双线性插值法，可以获取特定姿势点PP的特定垂直角度以及特定水平角度，其中，所述双线性插值法利用特定姿势点PP所在的特定网格单元角落(SP1、SP2、SP3、SP4)的位置信息中所包含的垂直角度以及水平角度。
实施例一中，乘客状态检出装置100(i)通过双线性插值法，其中所述双线性插值法利用特定网格单元角落(SP1、SP2、SP3、SP4)的垂直角度以及水平角度，计算(i-1)特定姿势点PP在垂直方向上与特定网格单元的平面相交的接触点(RP1、RP3)以及(i-2)特定姿势点PP在水平方向上与特定网格单元的平面相交的接触点(RP2、RP4)中的垂直角度和水平角度，或(ii)如图6所示，从由数学式形成的像素角度表格可以检索每个接触点(RP1,RP2,RP3,RP4)的垂直角度与水平角度。
并且，乘客状态检出装置100通过双线性插值法，可以获取特定姿势点PP的特定垂直角度，其中，所述双线性插值法利用接触点RP1的垂直角度和接触点RP3的垂直角度。乘客状态检出装置100还可以通过双线性插值法，获取特定姿势点PP的特定水平角度，其中，所述双线性插值法利用接触点RP2的水平角度和接触点RP3的水平角度。
此后，乘客状态检出装置100可以通过参照特定姿势点的特定高度、特定姿势点的特定垂直角度以及特定姿势点的特定水平角度，获取特定姿势点与基准点之间的特定车抽方向的距离以及特定车宽方向距离。
实施例一中，参照图8，在已获取基准点的摄像机10的高度H、特定姿势点PP的高度Y以及特定姿势点PP的特定垂直角度θ时，乘客状态检出装置100通过以下数学式1可以测量特定姿势点PP与基准点之间的特定车轴方向距离Z。其中，在由车辆的总车轴方向以及总车宽方向形成的平面上分别投影基准点以及特定姿势点(PP)，并分别获取投影的基准点以及投影的特定姿势点情况下，特定车轴方向距离Z可以是投影的基准点与投影的特定姿势点之间的距离。
[数学式1]:
Z2＝H×tan(θ)
Figure BDA0002378004640000121
Z＝Z2-Z1
即，根据数学式1,乘客状态检出装置100通过利用摄像机的高度H与特定姿势点PP之间的垂直角度，可以计算触点A与基准点O之间的距离Z2。其中，接触点A是穿过摄像机10与特定姿势点PP的线与基准点所对应的平面接触点。并且，乘客状态检出装置100通过利用计算的接触点A与基准点O之间的距离Z2、摄像机10的高度H以及特定姿势点PP的高度Y，可以计算接触点A与特定姿势点PP之间的车宽方向距离Z1。之后，乘客状态检出装置100通过利用接触点A与特定姿势点PP之间的车宽方向距离Z1以及接触点A与基准点O之间的距离Z2，可以计算特定姿势点PP的车宽方向距离Z。
此后，参照图9，在获取(i)特定姿势点PP的水平角度、(ii)使用数学式1获取的距离Z2以及(iii)使用数学式1获取的车宽方向距离Z的条件下，乘客状态检出装置100通过以下数学式2可以计算特定姿势点PP与基准点之间的特定车宽方向距离X。其中，在由车辆的总车轴方向以及总车宽方向形成的平面上分别投影基准点以及特定姿势点(PP)，并分别获取投影的基准点以及投影的特定姿势点情况下，特定车宽方向距离X可以是从投影的姿势点沿整个车宽方向延长的基准线与投影的姿势点之间的距离。
[数学式2]
Figure BDA0002378004640000131
Figure BDA0002378004640000132
Figure BDA0002378004640000133
即，根据数学式2,通过利用(i)接触点A与特定姿势点PP之间的车宽方向距离Z2以及(ii)特定姿势点PP的特定水平角度，计算接触点B与基准点之间的距离T2，其中，所述接触点B是从基准点0向车宽方向延长的线与从接触点A延长的线接触点。并且，乘客状态检出装置100通过利用接触点B与基准点之间的距离T2以及特定姿势点PP的特定水平角度，可以计算接触点A与接触点B之间的距离X2，而且，还通过利用接触点A与接触点B之间的距离X2、接触点A与基准点O之间的距离Z2以及特定姿势点PP的车宽方向距离Z，可以计算特定姿势点PP的车宽方向距离X。
接下来，如上所述，乘客状况检出装置100通过测量摄像机与每个乘客相对应的每个姿势之间的每个距离，可以识别出关于乘客状态的信息，即，乘客所在的高度、乘客在车辆内左右方向上的位置以及从基准点到乘客之间的距离等信息，从而根据识别出的乘客状态，可以为乘客的安全以及便利启动各种车辆应用。
实施例一中，乘客状态检出装置100在上述车辆处于紧急情况时，指示所述车辆的至少一个应用(例如，气囊)，根据每个所述乘客的状态来启动，从而保护所述乘客。
而且，乘客状态检出装置100可以通过参照每个乘客状态来分析每个乘客的动作模式，从而可以确认每个乘客的驾驶安全状态。
实施例一中，乘客状态检出装置100通过使用乘客的姿势点的位置信息的移动模式，可以判断诸如驾驶员等乘客是否正在疲劳驾驶状态、是否正在低头的危险状态以及是否由于疾病等原因无法保持适当的驾驶姿势等，从而根据乘客的状态发出警报或启动用于紧急情况的车辆应用。
如上所述，本发明通过对由摄像机获取的内部图像进行姿势估计，从而检出与乘客相对应的姿势点，而且对所检出的姿势点通过单个摄像机的进行深度估计，并利用估计到的深度识别出乘客的座椅位置、乘客所在的高度、与乘客之间的距离等，从而根据识别出的乘客的状态启动车辆应用。
而且，上述的本发明的实施例可以通过各种计算机组件执行的程序指令的形式实现，并可写入计算机可读取记录介质。所述计算机可读取记录介质可以包括单独或组合的程序指令、数据文件、数据结构等。所述计算机可读取记录介质上记录的程序指令可能是为本发明专门设计和构成的，也可能是公开计算机软件领域的普通技术人员后可以使用。所述计算机可读取记录介质的示例包括硬盘、软盘和磁带等磁介质，CD-ROM、DVD等光记录介质，光磁软盘(floptical disk)等磁光介质(magneto-optical media)，以及ROM、RAM和闪存等储存并执行程序指令且特殊构成的硬件装置。程序指令的实施例还包括通过编译器产生的机器语言代码，以及可以应用解释器等通过计算机执行的高级语言代码。所述硬件装置可构成为一个以上软件模块来运行并执行本发明的步骤，反之亦然。
以上通过具体的构成要素等特殊事项和限定的实施例及附图对本发明进行了说明，这仅仅是为了帮助对本发明更全面理解而提供，所以本发明不能仅限于所述实施例，本发明所属技术领域的普通技术人员，可以从这些记载中进行各种修改和变形。
因此，本发明的思想不应仅限于所述实施例，后述的权利要求以及与此权利要求范围等同或等效变化的所有内容均属于本发明思想的范围内。

Claims (12)

1.一种通过分析车辆的内部图像来检出一个以上乘客状态的方法，其中，该方法包括以下步骤：
步骤(a)、当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，乘客状态检出装置将所述2D内部图像输入到姿势估计网络，从而使所述姿势估计网络从所述2D内部图像中获取与每个一个以上乘客相对应的一个以上的姿势点；以及
步骤(b)、所述乘客状态检出装置，(i)通过参照预设的像素角度表格，并以所述车辆的预设基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，并且(ii)通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态；
其中，在所述车辆内部安装有以网格单元组成的网格板的条件下，所述像素角度表格是由每个垂直角度以及每个水平角度形成的表格，所述每个垂直角度以及每个水平角度由第一线和每个第二线形成，并与所述网格单元的每个角落的每个像素相对应，所述第一线连接所述摄像机以及由所述摄像机拍摄的网格图像上的所述网格板的上端中心，所述每个第二线连接所述摄像机以及所述每个角落。
2.如权利要求1所述的方法，其中，在所述步骤(b)中，所述乘客状态检出装置，(i)利用每个所述乘客所对应的所述姿势点中的特定姿势点所在的特定网格单元的角落的所述位置信息，并通过双线性插值法获取所述特定姿势点的特定高度；(ii)利用所述网格单元的所述角落的所述垂直角度以及所述水平角度，并通过双线性插值法获取所述特定姿势点的特定垂直角度以及特定水平角度；(iii)通过参照所述特定高度、所述特定垂直角度以及所述特定水平角度获取所述特定姿势点与所述基准点之间的特定车轴方向距离和特定车宽方向距离。
3.如权利要求2所述的方法，其中，在由所述车辆的总车轴方向以及总车宽方向形成的平面上分别投影所述基准点以及所述特定姿势点，分别获取投影的基准点以及投影的特定姿势点，其中所述特定车轴方向是所述投影的基准点与所述投影的特定姿势点之间的距离，所述特定车宽方向是从所述投影的基准点向总车轴方向延长的基线与所述投影的姿势点之间的距离。
4.如权利要求1所述的方法，其中，还包括步骤(c)，所述乘客状态检出装置，(i)在所述车辆处于紧急情况时，指示所述车辆的至少一个应用，根据每个所述乘客的状态来启动，从而保护所述乘客，或(ii)通过参照每个所述乘客的情况，分析每个所述乘客的一个以上的行动模式，从而确认所述每个乘客的每个驾驶安全状态。
5.如权利要求1所述的方法，其中，在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，且具有一个以上通道；(ii)通过关键点热图以及部分亲和字段提取机形成与每个所述特征张量相对应，且具有一个以上通道的至少一个关键点热图以及至少一个部分亲和字段；(iii)通过关键点检测器从所述关键点提取一个以上关键点，并通过参照所述部分亲和字段对提取的所述关键点进行分组，从而形成与每个所述乘客相对应的所述姿势点。
6.如权利要求1所述的方法，其中，在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上通道；(ii)通过完全卷积网络对所述对特征张量进行完全卷积运算，从而形成一个以上的热图；(iii)从所述热图中获取所述姿势点。
7.一种通过分析车辆的内部图像来检出一个以上乘客状态的乘客状态检出装置，所述装置包括：
至少一个用于存储至少一个指令的存储器；以及
至少一个处理器，其用于执行所述指令，其中，所述处理器执行以下步骤，包括：
步骤(I)、当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，将所述2D内部图像输入到姿势估计网络中，从而使所述姿势估计网络从所述2D内部图像中获取与每个一个以上乘客相对应的一个以上的姿势点，以及
步骤(II)、(i)通过参照预定的像素角度表格，并以所述车辆预设的基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，并且(ii)通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态；
其中，在所述车辆内部安装有以网格单元组成的网格板的条件下，所述像素角度表格是由每个垂直角度以及每个水平角度形成的表格，所述每个垂直角度以及每个水平角度由第一线和每个第二线形成，并与所述网格单元的每个角落的每个像素相对应，所述第一线连接所述摄像机以及由所述摄像机拍摄的网格图像上的所述网格板的上端中心，所述每个第二线连接所述摄像机以及所述每个角落。
8.如权利要求7所述的装置，其中，在所述步骤(II)中，所述处理器(i)利用每个所述乘客所对应的所述姿势点中的特定姿势点所在的特定网格单元角落的所述位置信息，并通过双线性插值法获取所述特定姿势点的特定高度；(ii)利用所述网格单元的所述角落的所述垂直角度以及所述水平角度，并通过双线性插值法获取所述特定姿势点的特定垂直角度以及特定水平角度；(iii)通过参照所述特定高度、所述特定垂直角度以及所述特定水平角度获取所述特定姿势点与所述基准点之间的特定车轴方向距离以及特定车宽方向距离。
9.如权利要求8所述的装置，其中，在由所述车辆的总车轴方向以及总车宽方向形成的平面上分别投影所述基准点以及所述特定姿势点，分别获取投影的基准点以及投影的特定姿势点，其中，所述特定车轴方向是所述投影的基准点与所述投影的特定姿势点之间的距离，所述特定车宽方向是从所述投影的基准点向总车轴方向延长的基线与所述投影的姿势点之间的距离。
10.如权利要求7所述的装置，其中，还包括步骤(III)，(i)在所述车辆处于紧急情况时，指示所述车辆的至少一个应用，根据每个所述乘客的状态来启动，从而保护所述乘客，或(ii)通过参照每个所述乘客的情况，分析每个所述乘客的一个以上的行动模式，从而确认所述每个乘客的每个驾驶安全状态。
11.如权利要求7所述的装置，其中，在步骤(I)中，所述处理器使所述姿势估计网络，(i)通过特征提取网络输出一个以上特征张量，其中，所述特征张量与2D内部图像相对应，并具有一个以上通道；(ii)通过关键点热图以及部分亲和字段提取机形成与每个所述特征张量相对应，且具有一个以上通道的至少一个关键点热图以及至少一个部分亲和字段；(iii)通过关键点检测器从所述关键点提取一个以上关键点，并通过参照所述部分亲和字段对提取的所述关键点进行分组，从而形成与每个所述乘客相对应的所述姿势点。
12.如权利要求7所述的装置，其中，在所述步骤(I)中，所述处理器使所述姿势估计网络，(i)通过特征提取网络输出的一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上的通道；(ii)通过完全卷积网络(fully convolutionnetwork)对所述对特征张量进行完全卷积运算，从而形成一个以上的热图；(iii)从所述热图中获取所述姿势点。
CN202010074007.3A 2019-01-30 2020-01-22 通过二维摄像估计乘客状态的方法以及装置 Active CN111507168B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798527P 2019-01-30 2019-01-30
US62/798,527 2019-01-30
US16/731,087 2019-12-31
US16/731,087 US10657396B1 (en) 2019-01-30 2019-12-31 Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens

Publications (2)

Publication Number Publication Date
CN111507168A true CN111507168A (zh) 2020-08-07
CN111507168B CN111507168B (zh) 2023-08-15

Family

ID=70736444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074007.3A Active CN111507168B (zh) 2019-01-30 2020-01-22 通过二维摄像估计乘客状态的方法以及装置

Country Status (5)

Country Link
US (1) US10657396B1 (zh)
EP (1) EP3690724B1 (zh)
JP (1) JP6979229B2 (zh)
KR (1) KR102349979B1 (zh)
CN (1) CN111507168B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763467A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、计算设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669348B (zh) * 2020-12-18 2023-11-28 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN113569828B (zh) * 2021-09-27 2022-03-08 南昌嘉研科技有限公司 一种人体姿态识别方法、系统、存储介质及设备
EP4372700A1 (en) * 2022-11-18 2024-05-22 Aptiv Technologies AG A system and method for interior sensing in a vehicle
GB202319263D0 (en) 2023-12-15 2024-01-31 Mercedes Benz Group Ag System and method for determining occupancy in a region of interest

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307077A (ja) * 2000-04-19 2001-11-02 Tokai Rika Co Ltd 乗員検知システム
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
KR20090113481A (ko) * 2008-04-28 2009-11-02 경북대학교 산학협력단 텐서 기반 데이터 생성 모델을 이용한 영상 데이터 분류방법 및 장치
JP2012085026A (ja) * 2010-10-08 2012-04-26 Toshiba Alpine Automotive Technology Corp 画像処理装置及び画像処理方法
US20150278617A1 (en) * 2012-10-26 2015-10-01 Nec Corporation Device, method and program for measuring number of passengers
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN107428302A (zh) * 2015-04-10 2017-12-01 罗伯特·博世有限公司 利用车辆内部相机的占用者尺寸和姿势的检测
CN108447094A (zh) * 2018-03-20 2018-08-24 清华大学 一种单目彩色相机的姿态估算方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
JP2004530202A (ja) * 2001-03-05 2004-09-30 シーメンス　アクチエンゲゼルシヤフト たとえば乗員保護システムのための画像の歪みを除去する方法および装置
ATE321689T1 (de) * 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
JP2004295572A (ja) * 2003-03-27 2004-10-21 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置及びその撮像方法
JP4309926B2 (ja) * 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
GB201116960D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
GB2525655B (en) * 2014-05-01 2018-04-25 Jaguar Land Rover Ltd Dynamic lighting apparatus and method
US10043083B2 (en) * 2015-10-27 2018-08-07 Thunder Power New Energy Vehicle Development Company Limited Intelligent rear-view mirror system
JP6617830B2 (ja) * 2016-04-28 2019-12-11 富士通株式会社 骨格推定装置、骨格推定方法および骨格推定プログラム
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus
WO2018000037A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for identifying pose of cameras in a scene
JP2018151693A (ja) * 2017-03-09 2018-09-27 株式会社デンソーテン 運転支援装置および運転支援方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
US10339401B2 (en) * 2017-11-11 2019-07-02 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307077A (ja) * 2000-04-19 2001-11-02 Tokai Rika Co Ltd 乗員検知システム
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
KR20090113481A (ko) * 2008-04-28 2009-11-02 경북대학교 산학협력단 텐서 기반 데이터 생성 모델을 이용한 영상 데이터 분류방법 및 장치
JP2012085026A (ja) * 2010-10-08 2012-04-26 Toshiba Alpine Automotive Technology Corp 画像処理装置及び画像処理方法
US20150278617A1 (en) * 2012-10-26 2015-10-01 Nec Corporation Device, method and program for measuring number of passengers
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state
CN107428302A (zh) * 2015-04-10 2017-12-01 罗伯特·博世有限公司 利用车辆内部相机的占用者尺寸和姿势的检测
CN108447094A (zh) * 2018-03-20 2018-08-24 清华大学 一种单目彩色相机的姿态估算方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUTHY P, ET AL.: "3D Human Pose Tracking inside Car using Single RGB Spherical Camera" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763467A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、计算设备及介质
CN113763467B (zh) * 2021-01-04 2024-06-18 北京沃东天骏信息技术有限公司 图像处理方法、装置、计算设备及介质

Also Published As

Publication number Publication date
EP3690724A1 (en) 2020-08-05
US10657396B1 (en) 2020-05-19
CN111507168B (zh) 2023-08-15
JP6979229B2 (ja) 2021-12-08
EP3690724B1 (en) 2024-03-06
KR20200094657A (ko) 2020-08-07
EP3690724C0 (en) 2024-03-06
JP2020123342A (ja) 2020-08-13
KR102349979B1 (ko) 2022-01-12

Similar Documents

Publication Publication Date Title
CN111507168B (zh) 通过二维摄像估计乘客状态的方法以及装置
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
US10757395B2 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
CN105141945B (zh) 环景摄像机系统(vpm)在线校准
US10878288B2 (en) Database construction system for machine-learning
US10484665B2 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
CN107636679B (zh) 一种障碍物检测方法及装置
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
EP2169589A2 (en) Image processing device for vehicle and corresponding method and computer program product
US20140085409A1 (en) Wide fov camera image calibration and de-warping
CN104204721A (zh) 单个相机距离估计
WO2017051480A1 (ja) 画像処理装置及び画像処理方法
US11783507B2 (en) Camera calibration apparatus and operating method
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
US11910092B2 (en) Panoramic look-around view generation method, in-vehicle device and in-vehicle system
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
CN107209930B (zh) 环视图像稳定方法和装置
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
KR20200094075A (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
CN111260733B (zh) 车载环视多相机系统的外参数估计方法及其系统
KR20220153802A (ko) 캘리브레이션 방법 및 장치
WO2019072911A1 (en) METHOD FOR DETERMINING A REGION OF INTEREST IN AN IMAGE CAPTURED BY A CAMERA OF A MOTOR VEHICLE, CONTROL SYSTEM, CAMERA SYSTEM AND MOTOR VEHICLE
CN112183241B (zh) 基于单目图像的目标检测方法和装置
WO2006123438A1 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant