CN114312580A - 确定车辆内乘员的座位及车辆控制方法及装置 - Google Patents

确定车辆内乘员的座位及车辆控制方法及装置 Download PDF

Info

Publication number
CN114312580A
CN114312580A CN202111682157.3A CN202111682157A CN114312580A CN 114312580 A CN114312580 A CN 114312580A CN 202111682157 A CN202111682157 A CN 202111682157A CN 114312580 A CN114312580 A CN 114312580A
Authority
CN
China
Prior art keywords
seat
target
detection frame
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111682157.3A
Other languages
English (en)
Other versions
CN114312580B (zh
Inventor
李阳阳
许亮
毛宁元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202111682157.3A priority Critical patent/CN114312580B/zh
Publication of CN114312580A publication Critical patent/CN114312580A/zh
Priority to PCT/CN2022/124919 priority patent/WO2023124384A1/zh
Priority to KR1020247024146A priority patent/KR20240124371A/ko
Application granted granted Critical
Publication of CN114312580B publication Critical patent/CN114312580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Seats For Vehicles (AREA)
  • Air Bags (AREA)

Abstract

本公开提供了一种确定车辆内乘员的座位及车辆控制方法及装置，包括：获取车辆内的车辆图像；确定车辆图像中多个第一座位区域；基于车辆图像检测车辆内的乘员，确定车辆图像中各乘员的检测框；针对每一个乘员的检测框，基于检测框与各第一座位区域的第一匹配度，确定与检测框对应的座位；确定车辆图像中多个第二座位区域；针对基于第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于目标乘员的检测框与各第二座位区域的第二匹配度，确定与目标乘员的检测框对应的目标第二座位区域；根据与目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及目标乘员的检测框确定目标乘员的检测框对应的座位。

Description

确定车辆内乘员的座位及车辆控制方法及装置
技术领域
本公开涉及智能驾驶技术领域，具体而言，涉及一种确定车辆内乘员的座位及车辆控制方法及装置。
背景技术
随着汽车产业的高速发展，除汽车必备的发动机等重要零部件的迭代更新外，许多新兴的与汽车产业相关的技术也在随着汽车产业的高速发展而诞生，其中就包括车辆智能驾驶技术。在车辆智能驾驶技术中，为了能够实现让车辆根据人的动作做出与之相应的反馈的效果，就需要预先将人与车辆座位进行绑定，进而再根据人的不同的动作由车辆内的智能系统做出相应的判断。
相关技术中，当人与车辆座位进行绑定时，经常会出现因为坐姿或身高等客观因素导致人与车辆座位出现绑定错误的情况，因此，对于如何让人与车辆座位正确的进行绑定成为亟待解决的问题。
发明内容
本公开实施例至少提供一种确定车辆内乘员的座位及车辆控制方法及装置。
第一方面，本公开实施例提供了一种确定车辆内乘员的座位的方法，包括：
获取车辆内的车辆图像；
确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
本公开所提供的方案中，在通过第一座位区域无法确定座位的目标乘员的检测框的情况下，扩大了第一座位区域的区域范围，并基于扩大区域范围的第二座位区域，再确定目标乘员的检测框对应的座位，由此可以降低乘员与座位匹配或绑定失败的概率，提升乘员座位匹配的成功率。
一种可能的实施方式中，所述确定所述车辆图像中多个第一座位区域，包括：
根据所述车辆的座位分布配置信息，确定所述车辆图像中每一个座位对应的第一座位区域。
不同车型的座位分布配置信息可能不同，通过车辆的座位分布配置信息，可以更加精准的确定出第一座位区域。
一种可能的实施方式中，所述针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位，包括：
按照预设顺序遍历各第一座位区域，针对遍历至的每一个第一座位区域：
计算所述检测框与所述第一座位区域的交叠度，作为所述检测框与所述第一座位区域的第一匹配度；
在所述第一匹配度达到第一阈值、且所述第一座位区域对应的座位未绑定其他检测框的情况下，将所述第一座位区域对应的座位绑定至所述检测框，并确定所述检测框对应的座位为所述第一座位区域对应的座位。
在所述第一匹配度达到第一阈值时，去检测所述第一座椅区域是否绑定有其他检测框，可以避免一个座椅区域绑定多个检测框，进而避免在基于绑定结果进行车辆控制时，影响车辆的行驶。
一种可能的实施方式中，所述检测框包括人脸检测框或人体检测框。
一种可能的实施方式中，所述基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域，包括：
针对每一个目标乘员的检测框，按照预设顺序遍历所述第二座位区域，针对遍历至的每一个第二座位区域：
计算所述目标乘员的检测框与所述第二座位区域的交叠度，作为所述第二匹配度；
在所述第二匹配度达到第二阈值的情况下，确定所述第二座位区域为与目标乘员的检测框对应的目标第二座位区域。
通过这种方法，可以先检测出目标成员是哪一排成员，或哪一列成员，然后再去进行进一步的座位绑定，由此可以提高绑定结果的精度。
一种可能的实施方式中，所述根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位，包括：
基于所述目标乘员的检测框与所述目标第二座位区域每一个座位的位置范围，确定所述目标乘员的检测框的中心点落入的所述位置范围对应的座位为所述目标乘员的检测框对应的候选座位；
在所述候选座位未绑定至其他检测框的情况下，确定所述候选座位为与所述目标乘员的检测框对应的座位，并将所述候选座位对应的座位绑定至所述目标乘员的检测框。
一种可能的实施方式中，所述基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域，还包括：
针对遍历至的每一个第二座位区域，在所述交叠度未达到第二阈值的情况下，确定与所述目标乘员的检测框的交叠面积最大的第二座位区域为目标第二座位区域。
一种可能的实施方式中，所述方法还包括：
在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
第二方面，本公开实施例还提供一种车辆控制方法，包括：
获取车辆图像；
基于第一方面或第一方面任一种可能的实施方式所述的确定车辆内乘员的座位的方法，确定各座位区域对应的用户检测框；
检测目标检测框内的目标用户做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
基于上述实施例中所述的确定车辆内乘员的座位的方法，当用于车辆控制时，可以响应于用户发出的动作指令，根据用户的动作和其座位进行针对性的反馈，提升了用户在使用车辆时的交互感受。
第三方面，本公开实施例还提供一种确定车辆内乘员的座位的装置，包括：
获取模块，用于获取车辆内的车辆图像；
第一确定模块，用于确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
第二确定模块，用于基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
第三确定模块，用于针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
第四确定模块，用于确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
第五确定模块，用于针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
第六确定模块，用于根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
在一种可能的实施方式中，所述第一确定模块，在确定所述车辆图像中多个第一座位区域时，用于：
根据所述车辆的座位分布配置信息，确定所述车辆图像中每一个座位对应的第一座位区域。
在一种可能的实施方式中，所述第三确定模块，在针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位时，用于：
按照预设顺序遍历各第一座位区域，针对遍历至的每一个第一座位区域：
计算所述检测框与所述第一座位区域的交叠度，作为所述检测框与所述第一座位区域的第一匹配度；
在所述第一匹配度达到第一阈值、且所述第一座位区域对应的座位未绑定其他检测框的情况下，将所述第一座位区域对应的座位绑定至所述检测框，并确定所述检测框对应的座位为所述第一座位区域对应的座位。
在一种可能的实施方式中，所述检测框包括人脸检测框或人体检测框。
在一种可能的实施方式中，所述第五确定模块，在基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域时，用于：
针对每一个目标乘员的检测框，按照预设顺序遍历所述第二座位区域，针对遍历至的每一个第二座位区域：
计算所述目标乘员的测框与所述第二座位区域的交叠度，作为所述第二匹配度；
在所述第二匹配度达到第二阈值的情况下，确定所述第二座位区域为与目标乘员的检测框对应的目标第二座位区域。
在一种可能的实施方式中，所述第六确定模块，在根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位时，用于：
基于所述目标乘员的检测框与所述目标第二座位区域每一个座位的位置范围，确定所述目标乘员的检测框的中心点落入的所述位置范围对应的座位为所述目标乘员的检测框对应的候选座位；
在所述候选座位未绑定至其他检测框的情况下，确定所述候选座位为与所述目标乘员的检测框对应的座位，并将所述候选座位对应的座位绑定至所述目标乘员的检测框。
在一种可能的实施方式中，所述第五确定模块，在基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域时，还用于：
针对遍历至的每一个第二座位区域，在所述交叠度未达到第二阈值的情况下，确定与所述目标乘员的检测框的交叠面积最大的第二座位区域为目标第二座位区域。
在一种可能的实施方式中，所述第七确定模块，还用于：
在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
第四方面，本公开实施例还提供一种车辆控制装置，包括：
获取模块，用于获取车辆图像；
第八确定模块，用于基于第一方面或第一方面任一种可能的实施方式所述的确定车辆内乘员的座位的方法，确定各座位区域对应的用户检测框；
检测模块，用于检测目标检测框内的目标用户做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，所述任一计算机可读存储介质上存储有计算机程序，所述任一计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤，或执行上述第二方面的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种确定车辆内乘员的座位的方法的流程图；
图2示出了本公开实施例所提供的一种4人座车辆的第一座位区域的划分方式示意图；
图3示出了本公开实施例所提供的一种确定与所述检测框对应的座位的流程图；
图4示出了本公开实施例所提供的一种检测框与第一座位区域之间交叠度计算方式的示意图；
图5(a)示出了本公开实施例所提供的一种按排划分的4人座车辆的第二座位区域的示意图；
图5(b)示出了本公开实施例所提供的一种按列划分的4人座车辆的第二座位区域的示意图；
图6示出了本公开实施例所提供的一种确定与所述目标乘员的检测框对应的目标第二座位区域的流程图；
图7(a)示出了本公开实施例所提供的一种确定与所述目标乘员的检测框对应的目标第二座位区域的示意图；
图7(b)示出了本公开实施例所提供的另一种确定与所述目标乘员的检测框对应的目标第二座位区域的示意图；
图8示出了本公开实施例所提供的一种基于目标第二座位区域确定所述目标乘员的检测框对应的座位的流程图；
图9示出了本公开实施例所提供的一种基于目标第二座位区域确定所述目标乘员的检测框对应的座位的示意图；
图10示出了本公开实施例所提供的一种在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位的示意图；
图11示出了本公开实施例所提供的一种车辆控制方法的流程图；
图12示出了本公开实施例所提供的一种确定车辆内乘员的座位的装置的架构示意图；
图13示出了本公开实施例所提供的一种车辆控制装置的架构示意图；
图14示出了本公开实施例所提供的一种计算机设备1400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在现有的已公开的关于人与车辆座位绑定的技术中，当人与车辆座位进行绑定时，经常会出现因为人的坐姿或身高等客观因素造成机器无法识别的情况，例如儿童身形较小、身高不够且易动，机器监测时监测不到。
并且，在现有的已公开的关于人与车辆座位绑定的技术中，当人与车辆座位进行绑定时，一般仅采取一种绑定方式，并且只进行一次绑定，无相关兜底策略，容易造成执行设备误判的情况，从而导致人与车辆座位出现绑定错误的情况。
基于上述研究，本公开提供了一种确定车辆内乘员的座位的方法，在通过第一座位区域无法确定座位的目标乘员的检测框的情况下，扩大了第一座位区域的区域范围，并基于扩大区域范围的第二座位区域，再确定目标乘员的检测框对应的座位，由此可以降低乘员与座位匹配或绑定失败的概率，提升乘员座位匹配的成功率。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种确定车辆内乘员的座位的方法、车辆控制方法进行详细介绍，本公开实施例所提供的确定车辆内乘员的座位的方法、车辆控制方法的执行主体车辆控制设备(如轨交驾驶舱智能分析盒、公交驾驶舱智能分析盒)，或服务器。
参见图1所示，为本公开实施例提供的确定车辆内乘员的座位的方法的流程图，所述方法包括步骤101～步骤107，其中：
步骤101、获取车辆内的车辆图像；
步骤102、确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
步骤103、基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
步骤104、针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
步骤105、确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
步骤106、针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
步骤107、根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
下面将对步骤101～步骤107进行详细介绍。
针对步骤101、
在一种可能的实施方式中，在获取车辆内的车辆图像时，可以响应于满足图像采集触发条件，获取车辆内的车辆图像。
其中，所述满足图像采集触发条件，获取车辆的车辆图像，可以具体实现为以下所描述的多种场景中任意一种：
场景A、驾驶员打开车辆使车辆启动。具体的，车辆可以通过打火或者通电的方式进行启动，在车辆启动后，车辆电路系统接通，车辆接入网络，开始获取车辆内的车辆图像。
场景B、驾驶员打开车门或者触发汽车启动开关，其中，触发汽车启动开关可以通过下列方式进行，打开车辆远程遥控开关、插入车辆启动钥匙或者使用可穿戴设备接触车体等。具体的，在检测到驾驶员打开车门或者触发汽车启动开关后，获取车辆内的车辆图像。
场景C、车辆行驶中，按照预设的周期定期采集车辆内的图像，即可以每隔一段时间获取一次车辆内的车辆图像。
所述车辆图像为包含车内环境的图像，示例性的，车辆图像的内容可以包括车舱内所有的座位、车辆内人以及其他的宠物等。
在一种可能的实施方式中，所述车辆图像可以使用驾驶员监控系统(drivermonitoring system,DMS)进行采集获取，在采集时可以使用DMS摄像头进行拍摄。在使用DMS采集车辆图像时，因为车辆内的情况实时都在动态的变化，所以在车辆行驶过程中需要实时采集车辆图像。
实际应用中，由于在车辆驾驶过程中，车辆内的乘员所坐的位置可能会发生变化，对于采集的每一帧车辆图像，都可以基于步骤102～步骤107来确定检测框与座位区域。
在一种可能的实施方式中，或者可以使用时间段间隔采集和确定乘员座位的方式，在进行一次采集后，经过预设时间间隔，针对于当前的车辆情况再次进行车辆图像的采集。采用此方式可以降低DMS系统的采集压力，减少资源占用。在实际使用中，可以将预设的时间段设置的尽可能小，使DMS系统更加及时的针对于车辆内的车辆情况进行车辆图像更新，做到在减少资源占用的同时，也可以尽量降低采集的车辆图像与实时车辆内车辆情况的误差。
在一种可能的实施方式中，当满足图像采集触发条件后，服务器执行获取车辆内的车辆图像的操作。具体的，可以在检测到车辆接入预设的系统后，所述预设的系统对应的服务器可以检测所述车辆是否满足图像采集触发条件。若此时检测到车辆满足图像采集触发条件，则可以由服务器向车载摄像头或与车载摄像头连接的车载主机发出车辆图像获取请求，从而获取车辆内的车辆图像。
其中，所述车辆接入预设的系统，示例性的，可以是指通过车载系统(例如车辆自带导航系统)接入预设的系统；或者可以通过驾驶人自带的可穿戴设备(例如智能手表等)，接入到预设的系统中。
若车辆仅仅只是接入预设的系统但是并未满足图像采集触发条件时，为了减少资源占用，服务器可以不获取车辆内的车辆图像。
在另一种可能的实施方式中，车辆无需接入至预设的系统，在车辆满足图像采集触发条件后，由车载主机端直接获取车辆内的车辆图像。采用此种方式，可以由车辆端的DMS系统直接对于车辆进行实时监控，采集车辆内的车辆图像，提升车辆使用的安全性。
以上两种实施方式可以在特定的场景下结合使用，具体的，当车辆因为极端情况无法接入服务器时，例如，汽车泡水熄火、车辆行驶至无信号路段等，可以由车辆内置的DMS系统对于车辆的车辆内的车辆情况进行检测，更新当前的车辆图像；当车辆恢复至正常情况后，可以继续由服务器获取车辆内的车辆图像。
针对步骤102、
在获取到车辆内的车辆图像后，可以确定所述车辆图像中多个第一座位区域。
其中，每一个所述第一座位区域为车辆内部的一个独立可乘坐的座位区域，在划分第一座位区域时，可以将车辆内部每一个独立可乘坐的座位划分为一个第一座位区域，一个车辆内有多个第一座位区域。示例性的，如图2，在图2中展示了一种4人座车辆的第一座位区域的划分方式。
其中，此4人座车辆分别包含4个座位，左上为驾驶人座位、右上为副驾驶人座位、左下与右下分别对应两个乘员座位，每一个座位均可单独乘坐至少一名乘坐人。在划分第一座位区域时，将每一个座位划可以对应一个第一座位区域，因此，此4人座车辆包含4个第一座位区域，分别是驾驶人座位区域、副驾驶人座位区域、乘员A座位区域、乘员B座位区域。
在一种可能的实施方式中，在确定所述车辆图像中多个第一座位区域时，可以根据所述车辆的座位分布配置信息，确定所述车辆图像中每一个座位对应的第一座位区域。
所述车辆的座位分布配置信息示例性的可以包括车辆内部的各个座位的第一座位范围信息、车辆的座位位置排布以及座位数量等。
确定所述车辆的座位分布配置信息的方式时，示例性的可以根据所述车辆的车型信息，确定与所述车型信息对应的座位分布配置信息。
具体的，可以预先存储车型信息与座位分布配置信息的对应关系，在确定所述车辆的座位分布配置信息，可以基于所述对应关系，查找与所述车型信息对应的座位分布配置信息。
其中，在确定所述车辆的车型信息时，若车辆可执行预设的自动上报车型信息的策略，可以在车辆接入预设的系统时，由车辆自动上报车型信息；若乘员使用的车型过老无法执行预设的自动上报的策略，可以由乘员自行上报相关的车型信息。
其中，所述第一座位范围信息可以包括该车型的车舱内的第一座位区域的对应的图像坐标范围信息，该图像坐标范围信息可以是在用于采集上述车辆图像的摄像头固定安装在车内之后，通过对采集的车内图像的座位进行划分并计算相应各座位区域的边界坐标获得的。基于所述第一座位区域的对应的坐标范围信息，可以从所述车辆图像中划分出各第一座位区域。
针对步骤103、
所述检测框包括人脸检测框或人体检测框，在一种可能的实施方式中，在确定所述车辆图像中各乘员的检测框时，可以将所述车辆图像输入至预先训练的检测模型中，确定所述车辆图像中各乘员分别对应的检测框。
在一种可能的实施方式中，用于检测人脸检测框的检测模型可以是第一模型，用于检测人体检测框的检测模型可以是第二模型，所述第一模型和所述第二模型的监督数据可以不同，所述第一模型的监督数据可以是预先标注的人脸框，所述第二模型的监督数据可以是预先标注的人体框。
或者，在另外一种可能的实施方式中，用于检测人脸检测框的检测模型和用于检测人体检测框的检测模型可以是同一检测模型，该检测模型的监督数据包括两种，即预先标注的人脸框和预先标注的人体框。
在实际应用中，步骤102、与步骤103、可以基于图1顺序同步执行；或者先后执行步骤102、与步骤103，关于以上两个步骤的先后区分，本方案不作过多的限制。
针对步骤104、
上述检测框与各第一座位区域之间的第一匹配度表示空间位置的相关性，可以基于检测框与各第一座位区域之间的交叠面积、交叠度等得出。
在一种可能的实现方式中，可以针对每一个乘员的检测框与各第一座位区域进行匹配，具体可以计算检测框与第一座位区域的交叠面积，确定车舱内的多个座位区域中与检测框交叠面积最大的座位区域为该检测框对应的座位，从而确定出该检测框内的乘员所乘坐的座位。
在一种可能的实施方式中，在所述针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位时，具体的，可通过步骤301～步骤303实现：
步骤301、按照预设顺序遍历各第一座位区域；
在一种可能的实施方式中，在按照预设顺序遍历各第一座位区域时，可以从驾驶人座位开始进行先从左至右，再从上至下的方式进行遍历。示例性的，如图2所示，图2中含有4个第一座位区域，在遍历各第一座位区域时，可以依次按照驾驶人座位、副驾驶人座位、乘员A座位、乘员B座位的顺序依次进行遍历。
在另一种可能的实施方式中，可以从驾驶人座位开始进行先从上至下，再从左至右的方式进行遍历。示例性的，如图2所示，图2中含有4个第一座位区域，在遍历各第一座位区域时，可以依次按照驾驶人座位、乘员A座位、副驾驶人座位、乘员B座位的顺序依次进行遍历。
针对遍历至的每一个第一座位区域，执行步骤302和步骤303：
步骤302、计算所述检测框与所述第一座位区域的交叠度，作为所述检测框与所述第一座位区域的第一匹配度；
所述交叠度例如可以是交并比(Intersection-over-Union，IoU)，具体为检测框与第一座位区域之间交集与并集的比值。示例性的，如图4所示，图4中所述第一座位区域为驾驶人座位区域，其中，中间灰色突出部分为驾驶人座位区域与检测框共同包含的区域，即并集区域；驾驶人座位区域与检测框所有区域的综合为交集区域，将交集区域与并集区域做出比值，即得到驾驶人座位区域与检测框的交叠度，将此交叠度作为所述检测框与所述驾驶人座位区域的第一匹配度。
步骤303、在所述第一匹配度达到第一阈值、且所述第一座位区域对应的座位未绑定其他检测框的情况下，将所述第一座位区域对应的座位绑定至所述检测框，并确定所述检测框对应的座位为所述第一座位区域对应的座位。
在按照预设顺序遍历第一座位区域时，可以检测第一座位区域是否绑定其他检测框。一个第一座位区域绑定至某一个检测框，表明该第一座位区域为该检测框对应的乘员的乘坐位置，通常情况下该第一座位区域不能乘坐多人，故而在所述第一匹配度达到第一阈值时，去检测所述第一座椅区域是否与其他检测框绑定，可以避免一个座椅区域绑定多个检测框，出现多个人乘坐于同一座位的不合理的检测结果。
在一种可能的实施方式中，所述第一座位区域中，人脸检测框的第一阈值与人体检测框各自对应的第一阈值可以不同。由于多个不同座位区域与采集车辆图像的摄像头之间的距离和相对角度可能存在差异，每个座位区域的人脸检测框可以分别对应一个第一阈值，每个座位区域的人体检测框可以分别对应一个第一阈值。
在一种可能的实施方式中，针对当前遍历至的第一座位区域，如果一个检测框与该第一座位区域的第一匹配度达到对应的第一阈值，且该第一座位区域对应的座位未绑定其他检测框，则将该所述第一座位区域对应的座位作为所述检测框对应的座位，并将该第一座位区域绑定至与其第一匹配度达到对应的第一阈值的检测框。
进一步的，在一种可能的实施方式中，若某乘员的人脸检测框与所述第一座位区域计算的第一匹配度达到对应的第一阈值，但是该乘员的人体检测框与所述第一座位区域的第一匹配度未达到对应的第一阈值，则将第一座位区域与该乘员的人脸检测框进行绑定，确定所述人脸检测框对应的座位为所述第一座位区域对应的座位，进而将该乘员的人脸与第一座位区域对应的座位进行绑定。
反之，若某乘员的人体检测框与所述第一座位区域计算的第一匹配度达到对应的第一阈值，但是该乘员的人脸检测框与所述第一座位区域计算的第一匹配度未达到对应的第一阈值，则将第一座位区域与该乘员的人体检测框进行绑定，确定所述人体检测框对应的座位为所述第一座位区域对应的座位，进而将该乘员的人体与第一座位区域对应的座位进行绑定。
在实际应用中，可以采取双重匹配的方式，先后就人体检测框与人脸检测框分别进行座位区域匹配，一个乘员的人体检测框和人脸检测框中的任一检测框与第一座位区域的第一匹配度达到第一阈值，则将该乘员的人脸检测框和人体检测框都与所述第一座位区域进行绑定，进而将该乘员与第一座位区域进行绑定，以此来提升绑定的效率。
在另一种可能的实施方式中，可以采取单独只使用人体检测框或者人脸检测框的方式进行座位区域匹配，具体的，若仅使用人脸检测框进行检测，若人脸检测框与第一座位区域的第一匹配度达到对应的第一阈值，且所述第一座位区域对应的座位未绑定其他检测框，则将则将该人脸检测框与第一座位区域进行绑定，确定所述人脸检测框对应的座位为所述第一座位区域对应的座位，进而将该乘员的人脸与第一座位区域进行绑定；若第一匹配度不超过对应的匹配阈值，则不绑定。使用人体检测框进行检测的方法与使用人脸检测框进行检测的方法类似，在此将不再赘述。
针对步骤105、
所述第二座位区域的区域范围大于所述第一座位区域，在一种可能的实施方式中，所述第二座位区域为包含部分车辆空隙间隔的座位区域，每个第二座位区域对应一排座位或一列座位。
在一种可能的实施方式中，可以基于已经确定的第一座位区域，确定第二座位区域。具体的，可以基于已经确定的第一座位区域与车辆图像，补充第一座位区域的部分间隔空隙，将每一排或一列确定为一个第二座位区域；再针对车辆的车型信息划分第二座位区域内的多个区域，具体的，在每一个第二座位区域对应一排座位，则示例性地可以按照如下方式对每一个第二座位区域进行进一步划分：若车辆每一排有两个座位，则在1/2处进行划分，划分为左列区域和右列区域；若车辆每一排有三个座位，则在1/3处进行划分，以此类推。
在另一种可能的实施方式中，可以基于车辆图像直接确定第二座位区域。具体的，按照排进行划分时，可以直接去掉车辆图像内的每排的空隙间隔，将车辆内的每一排确定为一个第二座位区域，再划分第二座位区域内的左列区域和右列区域；相似的，按照列进行划分时，可以直接去掉车辆图像内的每列的空隙间隔，将车辆内的每一列确定为一个第二座位区域，再划分第二座位区域内的上列区域和下列区域
示例性的，如图5(a)所示，图5(a)示出的是一种按排划分的4人座车辆的第二座位区域的示意图，其中，图5(a)中包含两个第二座位区域，分别为第二座位区域A与第二座位区域B；每一排包括左列区域和右列区域，每个左列区域和每个右列区域都分别对应一个座位。
或者，示例性的，如图5(b)所示，图5(b)示出的是一种按列划分的4人座车辆的第二座位区域的示意图，其中，图5(b)中包含两个第二座位区域，分别为第二座位区域C与第二座位区域D；每一排包括前排区域和后排区域，每个前排区域和每个后排区域都分别对应一个座位。
针对步骤106、
在一种可能的实施方式中，针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，在基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域时，如图6，可以通过步骤601～步骤603实现，其中：
步骤601、针对每一个目标乘员的检测框，按照预设顺序遍历所述第二座位区域，针对遍历至的每一个第二座位区域；
在一种可能的实施方式中，在按照预设顺序遍历所述第二座位区域时，在出现多排或者多列座位的情况时，可以根据实际情况按照从驾驶人座位所在的第二座位区域开始，逐排或者逐列的进行遍历。
针对遍历至的每一个第二座位区域，执行以下步骤602和步骤603：
步骤602、计算所述目标乘员的检测框与所述第二座位区域的交叠度，作为所述第二匹配度；
步骤603、在所述第二匹配度达到第二阈值的情况下，确定所述第二座位区域为与目标乘员的检测框对应的目标第二座位区域。
示例性的，如图7(a)，分别计算目标乘员的检测框与第二座位区域E、目标乘员的检测框与第二座位区域F的交叠度作为对应的第二匹配度，若目标乘员的检测框与第二座位区域E对应的第二匹配度达到第二阈值，则确定所述第二座位区域E为与目标乘员的检测框对应的目标第二座位区域。
在一种可能的实施方式中，针对遍历至的每一个第二座位区域，在所述交叠度未达到第二阈值的情况下，可以确定与所述目标乘员的检测框的交叠面积最大的第二座位区域为目标第二座位区域。
示例性的，如图7(b)，所述目标乘员的检测框与第二座位区域G交叠面积最大，则将所述第二座位区域G确定为所述目标乘员的检测框对应的目标第二座位区域。
针对步骤107、
在一种的可能的实施方式中，在所述根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位时，可以如图8，包含步骤801～步骤802，其中：
步骤801、基于所述目标乘员的检测框与所述目标第二座位区域每一个座位的位置范围，确定所述目标乘员的检测框的中心点落入的所述位置范围对应的座位为所述目标乘员的检测框对应的候选座位；
在确定所述目标乘员的检测框的中心点落入的所述位置范围时，在一种可能的实施方式中，可以通过计算目标乘员的检测框与所述每一个座位的位置范围的中心点的欧式距离进行判断，示例性的，如图9，计算目标乘员的检测框与左列区域与右列区域之间中心点的欧式距离，即目标乘员的检测框与两中心点间的直线距离。
然后，将直线距离最短的所述位置范围对应的座位，确定为所述目标乘员的检测框对应的候选座位。在如图9中，所述待绑定的目标乘员的检测框的中心点距离左列区域的距离相对距离右列区域的距离更短，确定左列区域对应的座位作为所述目标乘员的检测框对应的候选座位。
在另一种可能的实施方式中，可以分别计算所述目标乘员的检测框与所述目标第二座位区域每一个座位之间的交集，取交集大者，确定为所述目标乘员的检测框对应的候选座位。
示例性的，如图9，所述待绑定的目标乘员的检测框与左列区域的交集相较于右列区域的更大，则确定左列区域对应的座位为所述目标乘员的检测框对应的候选座位。
步骤802、在所述候选座位未绑定至其他检测框的情况下，确定所述候选座位为与所述目标乘员的检测框对应的座位，并将所述候选座位对应的座位绑定至所述目标乘员的检测框。
在一种可能的实施方式中，在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
具体的，可以先分别确定目标乘员的检测框与各第一座位区域的中心点；再根据中心点，将两中心点间直线距离最短的，且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
示例性的，如图10，其中图10包含多个第二座位区域，分别为第一座位区域A、第一座位区域B、第一座位区域C与第一座位区域D，所述目标乘员的检测框并未与以上所述的四个第一座位区域有相交区域。由于所述目标乘员的检测框的中心点与第一座位区域A中心点的直线距离最短的，且未绑定其他检测框，因此将第一座位区域A确定为与所述目标乘员的检测框对应的座位。
基于本方案提出的确定车辆内乘员的座位的方法，本公开实施例还提供了一种车辆控制方法，参见图11所示，为本公开实施例提供的一种车辆控制方法的示意图，包括以下几个步骤：
步骤1101、获取车辆图像；
步骤1102、基于上述实施例所述的确定车辆内乘员的座位的方法，确定各座位区域对应的检测框；
步骤1103、检测目标检测框内的目标乘员做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
在实际应用中，基于上述实施例所提出的确定车辆内乘员的座位的方法，可以实现车辆的控制，具体的，响应于乘员的目标动作所对应的目标指令，车辆针对于所述目标指令执行对应的目标操作。
示例性的，所述车辆控制方法可以应用于智能驾驶领域，当检测到目标乘员所对应的目标检测框与目标座位区域绑定后。当乘车人做出指示“打开车窗”的手势后，车辆根据乘车人的手势指令，以及乘车人所乘坐的位置，打开对应车门上方的车窗。例如，当发出该手势指令的乘客为副驾座位的乘客时，可以打开副驾一侧车门上方的车窗，由此实现了基于乘员座位检测的针对性控制。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与确定车辆内乘员的座位的方法对应的确定车辆内乘员的座位的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述确定车辆内乘员的座位的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图12所示，为本公开实施例提供的一种确定车辆内乘员的座位的装置的架构示意图，所述装置包括：获取模块1201、第一确定模块1202、第二确定模块1203、第三确定模块1204、第四确定模块1205、第五确定模块1206、第六确定模块1207；其中，
获取模块1201，用于获取车辆内的车辆图像；
第一确定模块1202，用于确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
第二确定模块1203，用于基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
第三确定模块1204，用于针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
第四确定模块1205，用于确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
第五确定模块1206，用于针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
第六确定模块1207，用于根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
在一种可能的实施方式中，所述第一确定模块1202，在确定所述车辆图像中多个第一座位区域时，用于：
根据所述车辆的座位分布配置信息，确定所述车辆图像中每一个座位对应的第一座位区域。
在一种可能的实施方式中，所述第三确定模块1204，在针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位时，用于：
按照预设顺序遍历各第一座位区域，针对遍历至的每一个第一座位区域：
计算所述检测框与所述第一座位区域的交叠度，作为所述检测框与所述第一座位区域的第一匹配度；
在所述第一匹配度达到第一阈值、且所述第一座位区域对应的座位未绑定其他检测框的情况下，将所述第一座位区域对应的座位绑定至所述检测框，并确定所述检测框对应的座位为所述第一座位区域对应的座位。
在一种可能的实施方式中，所述检测框包括人脸检测框或人体检测框。
在一种可能的实施方式中，所述第五确定模块1206，在基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域时，用于：
针对每一个目标乘员的检测框，按照预设顺序遍历所述第二座位区域，针对遍历至的每一个第二座位区域：
计算所述目标乘员的测框与所述第二座位区域的交叠度，作为所述第二匹配度；
在所述第二匹配度达到第二阈值的情况下，确定所述第二座位区域为与目标乘员的检测框对应的目标第二座位区域。
在一种可能的实施方式中，所述第六确定模块1207，在根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位时，用于：
基于所述目标乘员的检测框与所述目标第二座位区域每一个座位的位置范围，确定所述目标乘员的检测框的中心点落入的所述位置范围对应的座位为所述目标乘员的检测框对应的候选座位；
在所述候选座位未绑定至其他检测框的情况下，确定所述候选座位为与所述目标乘员的检测框对应的座位，并将所述候选座位对应的座位绑定至所述目标乘员的检测框。
在一种可能的实施方式中，所述第五确定模块1206，在基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域时，还用于：
针对遍历至的每一个第二座位区域，在所述交叠度未达到第二阈值的情况下，确定与所述目标乘员的检测框的交叠面积最大的第二座位区域为目标第二座位区域。
在一种可能的实施方式中，所述第七确定模块1208，还用于：
在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与车辆控制方法对应的车辆控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述确定车辆内乘员的座位的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图13所示，为本公开实施例提供的一种车辆控制装置的架构示意图，所述装置包括：获取模块1301、第八确定模块1302、检测模块1303；其中，
获取模块1301，用于获取车辆图像；
第八确定模块1302，用于基于以上实施例所述的确定车辆内乘员的座位的方法，确定各座位区域对应的检测框；
检测模块1303，用于检测目标检测框内的目标乘员做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图14所示，为本公开实施例提供的计算机设备1400的结构示意图，包括处理器1401、存储器1402、和总线1403。其中，存储器1402用于存储执行指令，包括内存14021和外部存储器14022；这里的内存14021也称内存储器，用于暂时存放处理器1401中的运算数据，以及与硬盘等外部存储器14022交换的数据，处理器1401通过内存14021与外部存储器14022进行数据交换，当计算机设备1400运行时，处理器1401与存储器1402之间通过总线1403通信，使得处理器1401在执行以下指令：
获取车辆内的车辆图像；
确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；；
确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
或者，处理器1401也可以执行以下指令：
获取车辆图像；
基于以上实施例所述的确定车辆内乘员的座位的方法，确定各座位区域对应的检测框；
检测目标检测框内的目标乘员做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
本公开实施例还提供一种计算机可读存储介质，所述任一计算机可读存储介质上存储有计算机程序，所述任一计算机程序被处理器运行时执行上述方法实施例中所述的确定车辆内乘员的座位的方法、车辆控制方法的步骤。其中，所述任一存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，所述任一计算机产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的确定车辆内乘员的座位的方法、车辆控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应所述任一理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者所述任一技术方案的部分可以以软件产品的形式体现出来，所述任一计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种确定车辆内乘员的座位的方法，其特征在于，包括：
获取车辆内的车辆图像；
确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
2.根据权利要求1所述的方法，其特征在于，所述确定所述车辆图像中多个第一座位区域，包括：
根据所述车辆的座位分布配置信息，确定所述车辆图像中每一个座位对应的第一座位区域。
3.根据权利要求1或2所述的方法，其特征在于，所述针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位，包括：
按照预设顺序遍历各第一座位区域，针对遍历至的每一个第一座位区域：
计算所述检测框与所述第一座位区域的交叠度，作为所述检测框与所述第一座位区域的第一匹配度；
在所述第一匹配度达到第一阈值、且所述第一座位区域对应的座位未绑定其他检测框的情况下，将所述第一座位区域对应的座位绑定至所述检测框，并确定所述检测框对应的座位为所述第一座位区域对应的座位。
4.根据权利要求3所述的方法，其特征在于，所述检测框包括人脸检测框或人体检测框。
5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域，包括：
针对每一个目标乘员的检测框，按照预设顺序遍历所述第二座位区域，针对遍历至的每一个第二座位区域：
计算所述目标乘员的检测框与所述第二座位区域的交叠度，作为所述第二匹配度；
在所述第二匹配度达到第二阈值的情况下，确定所述第二座位区域为与目标乘员的检测框对应的目标第二座位区域。
6.根据权利要求5所述的方法，其特征在于，所述根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位，包括：
基于所述目标乘员的检测框与所述目标第二座位区域每一个座位的位置范围，确定所述目标乘员的检测框的中心点落入的所述位置范围对应的座位为所述目标乘员的检测框对应的候选座位；
在所述候选座位未绑定至其他检测框的情况下，确定所述候选座位为与所述目标乘员的检测框对应的座位，并将所述候选座位对应的座位绑定至所述目标乘员的检测框。
7.根据权利要求5所述的方法，其特征在于，所述基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域，还包括：
针对遍历至的每一个第二座位区域，在所述交叠度未达到第二阈值的情况下，确定与所述目标乘员的检测框的交叠面积最大的第二座位区域为目标第二座位区域。
8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：
在未确定与所述目标乘员的检测框对应的目标第二座位区域的情况下，将对应的第一座位区域距离所述目标乘员的检测框最近的、且未绑定其他检测框的座位确定为与所述目标乘员的检测框对应的座位。
9.一种车辆控制方法，其特征在于，包括：
获取车辆图像；
基于权利要求1～8任一所述的确定车辆内乘员的座位的方法，确定各座位区域对应的检测框；
检测目标检测框内的目标乘员做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
10.一种确定车辆内乘员的座位的装置，其特征在于，包括：
获取模块，用于获取车辆内的车辆图像；
第一确定模块，用于确定所述车辆图像中多个第一座位区域，每个第一座位区域对应一个座位；
第二确定模块，用于基于所述车辆图像检测所述车辆内的乘员，确定所述车辆图像中各乘员的检测框；
第三确定模块，用于针对每一个所述乘员的检测框，基于所述检测框与各第一座位区域的第一匹配度，确定与所述检测框对应的座位；
第四确定模块，用于确定所述车辆图像中多个第二座位区域，每个第二座位区域对应一排座位或一列座位；
第五确定模块，用于针对基于所述第一匹配度未确定出对应的目标第一座位区域的目标乘员的检测框，基于所述目标乘员的检测框与各第二座位区域的第二匹配度，确定与所述目标乘员的检测框对应的目标第二座位区域；
第六确定模块，用于根据与所述目标第二座位区域对应的一排座位或一列座位中的每一个座位的位置范围，以及所述目标乘员的检测框确定所述目标乘员的检测框对应的座位。
11.一种车辆控制装置，其特征在于，包括：
获取模块，用于获取车辆图像；
第八确定模块，用于基于权利要求1～8任一所述的确定车辆内乘员的座位的方法，确定各座位区域对应的检测框；
检测模块，用于检测目标检测框内的目标乘员做出的目标动作，基于所述目标动作以及所述目标检测框对应的座位区域进行车辆控制。
12.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的确定车辆内乘员的座位的方法的步骤，或执行如权利要求9所述的车辆控制方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一项所述的确定车辆内乘员的座位的方法的步骤，或执行如权利要求9所述的车辆控制方法的步骤。
CN202111682157.3A 2021-12-31 2021-12-31 确定车辆内乘员的座位及车辆控制方法及装置 Active CN114312580B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111682157.3A CN114312580B (zh) 2021-12-31 2021-12-31 确定车辆内乘员的座位及车辆控制方法及装置
PCT/CN2022/124919 WO2023124384A1 (zh) 2021-12-31 2022-10-12 确定车辆内乘员的座位及车辆控制方法、装置、电子设备、介质和程序产品
KR1020247024146A KR20240124371A (ko) 2021-12-31 2022-10-12 차량 내의 탑승자의 좌석을 결정하는 방법 및 차량 제어 방법, 장치, 전자 기기, 매체 및 프로그램 제품

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111682157.3A CN114312580B (zh) 2021-12-31 2021-12-31 确定车辆内乘员的座位及车辆控制方法及装置

Publications (2)

Publication Number Publication Date
CN114312580A true CN114312580A (zh) 2022-04-12
CN114312580B CN114312580B (zh) 2024-03-22

Family

ID=81023728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111682157.3A Active CN114312580B (zh) 2021-12-31 2021-12-31 确定车辆内乘员的座位及车辆控制方法及装置

Country Status (3)

Country Link
KR (1) KR20240124371A (zh)
CN (1) CN114312580B (zh)
WO (1) WO2023124384A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124384A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 确定车辆内乘员的座位及车辆控制方法、装置、电子设备、介质和程序产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016128182A1 (de) * 2015-02-10 2016-08-18 Siemens Aktiengesellschaft Verfahren zum betreiben eines fahrzeugs und fahrzeug
JP2016203910A (ja) * 2015-04-27 2016-12-08 トヨタ自動車株式会社 乗員検知装置および乗員検知方法
CN107392094A (zh) * 2017-06-14 2017-11-24 蔚来汽车有限公司 自动调整车载音响音效模式的系统和方法
CN110103820A (zh) * 2019-04-24 2019-08-09 深圳市轱辘汽车维修技术有限公司 一种检测车辆中人员的异常行为的方法、装置及终端设备
US20190303695A1 (en) * 2016-12-20 2019-10-03 Denso Corporation Occupant detection apparatus, occupant detection system, and occupant detection method
CN110414406A (zh) * 2019-07-23 2019-11-05 广汽蔚来新能源汽车科技有限公司 车内对象监管方法、装置、系统、车载终端和存储介质
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN111008566A (zh) * 2019-11-06 2020-04-14 湖北工业大学 一种基于深度学习的针对校车学生下车遗漏检测装置及方法
CN111275002A (zh) * 2020-02-18 2020-06-12 上海商汤临港智能科技有限公司 一种图像处理方法、装置及电子设备
CN111460938A (zh) * 2020-03-20 2020-07-28 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置
CN111738158A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 交通工具的控制方法及装置、电子设备和存储介质
CN113159004A (zh) * 2021-05-27 2021-07-23 苏州大学 轨道交通车厢客流估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112208475B (zh) * 2019-07-09 2023-02-03 奥迪股份公司 用于车辆乘员的安全保护系统、车辆及相应的方法和介质
IT201900011403A1 (it) * 2019-07-10 2021-01-10 Ambarella Int Lp Detecting illegal use of phone to prevent the driver from getting a fine
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置
CN114312580B (zh) * 2021-12-31 2024-03-22 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016128182A1 (de) * 2015-02-10 2016-08-18 Siemens Aktiengesellschaft Verfahren zum betreiben eines fahrzeugs und fahrzeug
JP2016203910A (ja) * 2015-04-27 2016-12-08 トヨタ自動車株式会社 乗員検知装置および乗員検知方法
US20190303695A1 (en) * 2016-12-20 2019-10-03 Denso Corporation Occupant detection apparatus, occupant detection system, and occupant detection method
CN107392094A (zh) * 2017-06-14 2017-11-24 蔚来汽车有限公司 自动调整车载音响音效模式的系统和方法
CN110103820A (zh) * 2019-04-24 2019-08-09 深圳市轱辘汽车维修技术有限公司 一种检测车辆中人员的异常行为的方法、装置及终端设备
CN110414406A (zh) * 2019-07-23 2019-11-05 广汽蔚来新能源汽车科技有限公司 车内对象监管方法、装置、系统、车载终端和存储介质
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN111008566A (zh) * 2019-11-06 2020-04-14 湖北工业大学 一种基于深度学习的针对校车学生下车遗漏检测装置及方法
CN111275002A (zh) * 2020-02-18 2020-06-12 上海商汤临港智能科技有限公司 一种图像处理方法、装置及电子设备
WO2021164395A1 (zh) * 2020-02-18 2021-08-26 上海商汤临港智能科技有限公司 图像处理方法、装置、电子设备及计算机程序产品
CN111460938A (zh) * 2020-03-20 2020-07-28 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置
CN111738158A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 交通工具的控制方法及装置、电子设备和存储介质
CN113159004A (zh) * 2021-05-27 2021-07-23 苏州大学 轨道交通车厢客流估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹立波;刘曜;周雪桂;: "基于视频图像的汽车乘员位置追踪算法研究", 中国机械工程, no. 08, pages 1126 - 1130 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124384A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 确定车辆内乘员的座位及车辆控制方法、装置、电子设备、介质和程序产品

Also Published As

Publication number Publication date
WO2023124384A1 (zh) 2023-07-06
KR20240124371A (ko) 2024-08-16
CN114312580B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US10229333B1 (en) Apparatuses, systems and methods for determining vehicle operator distractions
JP6507015B2 (ja) 運転者状態判定装置
US10860872B2 (en) Virtual vehicle occupant rendering
JP2022530605A (ja) 子供状態検出方法及び装置、電子機器、記憶媒体
US9996757B1 (en) Apparatuses, systems, and methods for detecting various actions of a vehicle operator
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
US11738773B2 (en) System for controlling autonomous vehicle for reducing motion sickness
US20070133884A1 (en) Method of locating a human eye in a video image
CN113329904A (zh) 使用注视参数和运动参数的映射的酒精锁装置和系统
CN115107786B (zh) 一种用于智能汽车的驾驶行为纠正系统及方法
CN114312580B (zh) 确定车辆内乘员的座位及车辆控制方法及装置
US20240169744A1 (en) Apparatuses, systems and methods for generation and transmission of vehicle operation mode data
US20220230474A1 (en) Activity identification method and apparatus
CN112215093A (zh) 一种车辆驾驶能力水平的评价方法及装置
US20220172494A1 (en) Apparatuses, systems and methods for generating a vehicle driver signature
JP2024103618A (ja) 車両、車両の制御方法、及びコンピュータプログラム
EP4310799A1 (en) Seat belt wearing determination apparatus
CN117373002A (zh) 乘坐乘客身高估计
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP6772775B2 (ja) 運転支援装置および運転支援方法
Schäffer et al. Hand Over, Move Over, Take Over-What Automotive Developers Have to Consider Furthermore for Driver’s Take-Over
KR102486161B1 (ko) 차량, 차량의 제어 방법 및 영상 탐색 장치
Luo et al. Detecting driver cognition alertness state from visual activities in normal and emergency scenarios
Husen et al. Continuous Car Driving intention recognition with syntactic pattern approach
JP7438045B2 (ja) 情報記録装置、情報記録方法及び情報記録システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40063397

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant