CN110765936B - 车门控制方法及装置、系统、车、电子设备和存储介质 - Google Patents

车门控制方法及装置、系统、车、电子设备和存储介质 Download PDF

Info

Publication number
CN110765936B
CN110765936B CN201911006853.5A CN201911006853A CN110765936B CN 110765936 B CN110765936 B CN 110765936B CN 201911006853 A CN201911006853 A CN 201911006853A CN 110765936 B CN110765936 B CN 110765936B
Authority
CN
China
Prior art keywords
image
information
vehicle
depth
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911006853.5A
Other languages
English (en)
Other versions
CN110765936A (zh
Inventor
吴阳平
肖琴
娄松亚
李通
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201911006853.5A priority Critical patent/CN110765936B/zh
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210441785.0A priority patent/CN114937294A/zh
Publication of CN110765936A publication Critical patent/CN110765936A/zh
Priority to KR1020227013533A priority patent/KR20220066155A/ko
Priority to JP2022518839A priority patent/JP2022549656A/ja
Priority to SG11202110895QA priority patent/SG11202110895QA/en
Priority to PCT/CN2020/092601 priority patent/WO2021077738A1/zh
Priority to US17/489,686 priority patent/US20220024415A1/en
Application granted granted Critical
Publication of CN110765936B publication Critical patent/CN110765936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F15/76—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects responsive to devices carried by persons or objects, e.g. magnets or reflectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/45—Control modes
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/852—Sensors
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/531—Doors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/546—Tailgates

Abstract

本公开涉及一种车门控制方法及装置、系统、车、电子设备和存储介质。所述方法包括：控制设置于车的图像采集模组采集视频流；基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息；若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。

Description

车门控制方法及装置、系统、车、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种车门控制方法及装置、系统、车、电子设备和存储介质。
背景技术
目前，用户需要通过车钥匙(例如机械钥匙或者遥控钥匙)进行车门控制。对于用户而言，特别是对于喜好运动的用户而言，携带车钥匙存在不便捷的问题。另外，车钥匙存在损坏、失效或丢失的风险。
发明内容
本公开提供了一种车门控制技术方案。
根据本公开的一方面，提供了一种车门控制方法，包括：
控制设置于车的图像采集模组采集视频流；
基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息；
若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；
若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：
基于所述视频流，确定开门意图信息；
所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，包括：
基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述基于所述视频流，确定开门意图信息，包括：
确定所述视频流中相邻帧的图像的交并比；
根据所述相邻帧的图像的交并比，确定开门意图信息。
在一种可能的实现方式中，所述确定所述视频流中相邻帧的图像的交并比，包括：
将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
在一种可能的实现方式中，所述根据所述相邻帧的图像的交并比，确定开门意图信息，包括：
缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；
确定缓存的交并比的平均值；
若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述基于所述视频流，确定开门意图信息，包括：
确定所述视频流中最新采集的多帧图像中人体区域的面积；
根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
在一种可能的实现方式中，所述根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，包括：
若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述基于所述视频流，确定开门意图信息，包括：
若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，且所述开门意图信息为有意开门，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：
对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，包括：
基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：
对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
所述基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息，包括：
基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，所述对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息，包括：
对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；
基于所述物体检测结果，确定所述人的物体携带信息。
在一种可能的实现方式中，所述对所述视频流中的至少一张图像进行物体检测，得到物体检测结果，包括：
检测所述视频流中的至少一张图像中人体的边界框；
对所述边界框对应的区域进行物体检测，得到物体检测结果。
在一种可能的实现方式中，所述基于所述物体检测结果，确定所述人的物体携带信息，包括：
若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；
基于所述距离，确定所述人的物体携带信息。
在一种可能的实现方式中，所述基于所述物体检测结果，确定所述人的物体携带信息，还包括：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
所述基于所述距离，确定所述人的物体携带信息，包括：
基于所述距离和所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述基于所述距离和所述尺寸，确定所述人的物体携带信息，包括：
若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
在一种可能的实现方式中，所述基于所述物体检测结果，确定所述人的物体携带信息，包括：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
基于所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的后备箱门上的图像采集模组采集视频流。
在一种可能的实现方式中，在所述确定所述控制信息包括控制所述车的后备箱门打开之后，所述方法还包括：
在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制所述后备箱门打开。
在一种可能的实现方式中，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。
在一种可能的实现方式中，在控制所述车门打开之后，所述方法还包括：
在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。
在一种可能的实现方式中，所述自动关门条件包括以下一项或多项：
控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；
控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；
所述车门打开的时长达到第二预设时长。
在一种可能的实现方式中，所述人脸识别包括人脸认证；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。
在一种可能的实现方式中，所述人脸识别还包括活体检测；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；
基于所述第一图像和所述第一深度图进行活体检测。
在一种可能的实现方式中，所述人脸识别还包括权限认证；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
基于所述视频流中的第一图像获取所述人的开门权限信息；
基于所述人的开门权限信息进行权限认证。
在一种可能的实现方式中，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
在一种可能的实现方式中，所述人具有开门权限的车门的信息为所有车门或者后备箱门。
在一种可能的实现方式中，所述方法还包括以下一项或两项：
根据所述图像采集模组采集的人脸图像进行用户注册；
根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
在一种可能的实现方式中，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；
所述注册信息还包括所述上传的人脸图像对应的开门权限信息。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的室外部的图像采集模组采集车外的视频流。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述控制设置于车的室内部的图像采集模组采集车内的视频流，包括：
在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述方法还包括：
获取所述车的乘坐人员调节座椅的信息；
根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息，包括：
根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述方法还包括：
基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；
根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，所述根据所述人对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节，包括：
确定所述乘车人员落座的座椅的位置信息；
根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，在所述控制设置于车的图像采集模组采集视频流之前，所述方法还包括：
经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；
响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；
响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；
所述控制设置于车的图像采集模组采集视频流，包括：
经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
在一种可能的实现方式中，所述经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备，包括：
在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述基于所述第一图像和所述第一深度图进行活体检测，包括：
基于所述第一图像，更新所述第一深度图，得到第二深度图；
基于所述第一图像和所述第二深度图，确定活体检测结果。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；
基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
在一种可能的实现方式中，所述基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图，包括：
确定所述第一深度图中的深度失效像素；
从所述多个像素的深度预测值中获取所述深度失效像素的深度预测值以及所述深度失效像素的多个周围像素的深度预测值；
从所述多个像素的关联信息中获取所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度；
基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的更新后的深度值，包括：
基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；
基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值，包括：
将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。
在一种可能的实现方式中，所述基于所述第一图像，确定所述第一图像中多个像素的深度预测值，包括：
基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：
将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：
对所述第一图像和所述第一深度图进行融合处理，得到融合结果；
基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述基于所述第一图像，确定所述第一图像中多个像素的关联信息，包括：
将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，包括：
从所述第一图像中获取人脸的图像；
基于所述人脸的图像，更新所述第一深度图。
在一种可能的实现方式中，所述从所述第一图像中获取人脸的图像，包括：
获取所述第一图像中人脸的关键点信息；
基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
在一种可能的实现方式中，所述获取所述第一图像中人脸的关键点信息，包括：
对所述第一图像进行人脸检测，得到人脸所在区域；
对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
从所述第一深度图中获取人脸的深度图；
基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
在一种可能的实现方式中，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：
将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。
在一种可能的实现方式中，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：
对所述第一图像进行特征提取处理，得到第一特征信息；
对所述第二深度图进行特征提取处理，得到第二特征信息；
基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
在一种可能的实现方式中，所述基于所述第一特征信息和所述第二特征信息，确定活体检测结果，包括：
对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；
基于所述第三特征信息，确定活体检测结果。
在一种可能的实现方式中，所述基于所述第三特征信息，确定活体检测结果，包括：
基于所述第三特征信息，得到所述人脸为活体的概率；
根据所述人脸为活体的概率，确定活体检测结果。
在一种可能的实现方式中，在所述得到人脸识别结果之后，所述方法还包括：
响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
根据本公开的一方面，提供了一种车门控制装置，包括：
第一控制模块，用于控制设置于车的图像采集模组采集视频流；
人脸识别模块，用于基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
第一确定模块，用于基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息；
第一获取模块，用于若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；
第二控制模块，用于若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
在一种可能的实现方式中，所述装置还包括：
第二确定模块，用于基于所述视频流，确定开门意图信息；
所述第一确定模块，用于：
基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第二确定模块用于：
确定所述视频流中相邻帧的图像的交并比；
根据所述相邻帧的图像的交并比，确定开门意图信息。
在一种可能的实现方式中，所述第二确定模块用于：
将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
在一种可能的实现方式中，所述第二确定模块用于：
缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；
确定缓存的交并比的平均值；
若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第二确定模块用于：
确定所述视频流中最新采集的多帧图像中人体区域的面积；
根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
在一种可能的实现方式中，所述第二确定模块用于：
若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第二确定模块用于：
若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，且所述开门意图信息为有意开门，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述装置还包括：
第三确定模块，用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
所述第一确定模块用于：
基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，所述装置还包括：
第三确定模块，用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
所述第一确定模块用于：
基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，所述第三确定模块用于：
对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；
基于所述物体检测结果，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：
检测所述视频流中的至少一张图像中人体的边界框；
对所述边界框对应的区域进行物体检测，得到物体检测结果。
在一种可能的实现方式中，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；
基于所述距离，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
所述基于所述距离，确定所述人的物体携带信息，包括：
基于所述距离和所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：
若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
在一种可能的实现方式中，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
基于所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第一控制模块用于：
控制设置于车的后备箱门上的图像采集模组采集视频流。
在一种可能的实现方式中，所述装置还包括：
第三控制模块，用于在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制所述后备箱门打开。
在一种可能的实现方式中，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。
在一种可能的实现方式中，所述装置还包括：
第四控制模块，用于在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。
在一种可能的实现方式中，所述自动关门条件包括以下一项或多项：
控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；
控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；
所述车门打开的时长达到第二预设时长。
在一种可能的实现方式中，所述人脸识别包括人脸认证；
所述人脸识别模块用于：
基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。
在一种可能的实现方式中，所述人脸识别还包括活体检测；
所述人脸识别模块用于：
经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；
基于所述第一图像和所述第一深度图进行活体检测。
在一种可能的实现方式中，所述人脸识别还包括权限认证；
所述人脸识别模块用于：
基于所述视频流中的第一图像获取所述人的开门权限信息；
基于所述人的开门权限信息进行权限认证。
在一种可能的实现方式中，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
在一种可能的实现方式中，所述人具有开门权限的车门的信息为所有车门或者后备箱门。
在一种可能的实现方式中，所述装置还包括以下一项或两项：
第一注册模块，用于根据所述图像采集模组采集的人脸图像进行用户注册；
第二注册模块，用于根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
在一种可能的实现方式中，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；
所述注册信息还包括所述上传的人脸图像对应的开门权限信息。
在一种可能的实现方式中，所述第一控制模块用于：
控制设置于车的室外部的图像采集模组采集车外的视频流。
在一种可能的实现方式中，所述第一控制模块用于：
控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述第一控制模块用于：
在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述装置还包括：
第二获取模块，用于获取所述车的乘坐人员调节座椅的信息；
生成或更新模块，用于根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述生成或更新模块用于：
根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述装置还包括：
第三获取模块，用于基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；
座椅调节模块，用于根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，所述座椅调节模块用于：
确定所述乘车人员落座的座椅的位置信息；
根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，所述装置还包括：
搜索模块，用于经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；
建立模块，用于响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；
唤醒模块，用于响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；
所述第一控制模块用于：
经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
在一种可能的实现方式中，所搜索模块用于：
在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。
在一种可能的实现方式中，所述装置还包括：
第七控制模块，用于若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述装置还包括：
第五控制模块，用于若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述装置还包括：
第六控制模块，用于在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述第一图像，更新所述第一深度图，得到第二深度图；
基于所述第一图像和所述第二深度图，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；
基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
在一种可能的实现方式中，所述人脸识别模块用于：
确定所述第一深度图中的深度失效像素；
从所述多个像素的深度预测值中获取所述深度失效像素的深度预测值以及所述深度失效像素的多个周围像素的深度预测值；
从所述多个像素的关联信息中获取所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度；
基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；
基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述人脸识别模块用于：
将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块用于：
将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块用于：
对所述第一图像和所述第一深度图进行融合处理，得到融合结果；
基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块用于：
将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。
在一种可能的实现方式中，所述人脸识别模块用于：
从所述第一图像中获取人脸的图像；
基于所述人脸的图像，更新所述第一深度图。
在一种可能的实现方式中，所述人脸识别模块用于：
获取所述第一图像中人脸的关键点信息；
基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
在一种可能的实现方式中，所述人脸识别模块用于：
对所述第一图像进行人脸检测，得到人脸所在区域；
对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
在一种可能的实现方式中，所述人脸识别模块用于：
从所述第一深度图中获取人脸的深度图；
基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
在一种可能的实现方式中，所述人脸识别模块用于：
将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。
在一种可能的实现方式中，所述人脸识别模块用于：
对所述第一图像进行特征提取处理，得到第一特征信息；
对所述第二深度图进行特征提取处理，得到第二特征信息；
基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块用于：
对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；
基于所述第三特征信息，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块用于：
基于所述第三特征信息，得到所述人脸为活体的概率；
根据所述人脸为活体的概率，确定活体检测结果。
在一种可能的实现方式中，所述装置还包括：
密码解锁模块，用于响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
根据本公开的一方面，提供了一种车门控制系统，包括：存储器、物体检测模组、人脸识别模组和图像采集模组；所述人脸识别模组分别与所述存储器、所述物体检测模组和所述图像采集模组连接，所述物体检测模组与所述图像采集模组连接；所述人脸识别模组还设置有用于与车门域控制器连接的通信接口，所述人脸识别模组通过所述通信接口向所述车门域控制器发送用于解锁和弹开车门的控制信息。
在一种可能的实现方式中，还包括：与所述人脸识别模组连接的蓝牙模块；所述蓝牙模块包括在与预设标识的蓝牙设备蓝牙配对连接成功或者搜索到所述预设标识的蓝牙设备时唤醒所述人脸识别模组的微处理器和与所述微处理器连接的蓝牙传感器。
在一种可能的实现方式中，所述图像采集模组包括图像传感器和深度传感器。
在一种可能的实现方式中，所述深度传感器包括双目红外传感器，所述双目红外传感器的两个红外摄像头设置在所述图像传感器的摄像头的两侧。
在一种可能的实现方式中，所述图像采集模组还包括至少一个补光灯，所述至少一个补光灯设置在所述双目红外传感器的红外摄像头和所述图像传感器的摄像头之间，所述至少一个补光灯包括用于所述图像传感器的补光灯和用于所述深度传感器的补光灯中的至少一种。
在一种可能的实现方式中，所述图像采集模组还包括激光器，所述激光器设置在所述深度传感器的摄像头和所述图像传感器的摄像头之间。
在一种可能的实现方式中，还包括：用于解锁车门的密码解锁模块，所述密码解锁模块与所述人脸识别模组连接。
在一种可能的实现方式中，所述密码解锁模块包括触控屏和键盘中的一项或两项。
在一种可能的实现方式中，所述车载人脸解锁系统还包括：电池模组，所述电池模组与所述人脸识别模组连接。
根据本公开的一方面，提供了一种车，所述车包括上述车门控制系统，所述车门控制系统与所述车的车门域控制器连接。
在一种可能的实现方式中，所述图像采集模组设置在所述车的室外部。
在一种可能的实现方式中，所述图像采集模组设置在以下至少一个位置上：所述车的B柱、至少一个车门、至少一个后视镜。
在一种可能的实现方式中，所述图像采集模组设置在所述车的室内部。
在一种可能的实现方式中，所述人脸识别模组设置在所述车内，所述人脸识别模组经CAN总线与所述车门域控制器连接。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述车门控制方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述车门控制方法。
在本公开实施例中，通过控制设置于车的图像采集模组采集视频流，基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果，基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息，若所述车门的状态信息为未解锁，则控制所述车门解锁并打开，和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开，由此能够基于人脸识别自动为用户开车门，而无需用户手动拉开车门，提高用车的便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出本公开实施例提供的车门控制方法的流程图。
图2示出车的B柱的示意图。
图3示出本公开实施例提供的车门控制方法中图像采集模组的安装高度与可识别的身高范围的示意图。
图4a示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的示意图。
图4b示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的另一示意图。
图5示出本公开实施例提供的车门控制方法的一示意图。
图6示出本公开实施例提供的车门控制方法的另一示意图。
图7示出根据本公开实施例的活体检测方法的一个示例的示意图。
图8示出根据本公开实施例的活体检测方法中基于第一图像和第二深度图，确定第一图像中的人脸的活体检测结果的一个示例的示意图。
图9示出本公开实施例提供的车门控制方法中的深度预测神经网络的示意图。
图10示出本公开实施例提供的车门控制方法中的关联度检测神经网络的示意图。
图11示出本公开实施例提供的车门控制方法中深度图更新的一示例性的示意图。
图12示出本公开实施例提供的车门控制方法中周围像素的示意图。
图13示出本公开实施例提供的车门控制方法中周围像素的另一示意图。
图14示出根据本公开实施例的车门控制装置的框图。
图15示出本公开实施例提供的车门控制系统的框图。
图16示出根据本公开实施例的车门控制系统的示意图。
图17示出本公开实施例提供的车的示意图。
图18示出本公开实施例提供的一种电子设备800的框图。
图19示出本公开实施例提供的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本公开实施例提供的车门控制方法的流程图。所述车门控制方法的执行主体可以是车门控制装置。在一些可能的实现方式中，所述车门控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，所述车门控制方法包括S11至步骤S15。
在步骤S11中，控制设置于车的图像采集模组采集视频流。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：控制设置于车的室外部的图像采集模组采集车外的视频流。在该实现方式中，图像采集模组可以安装在车的室外部，通过控制设置于车的室外部的图像采集模组采集车外的视频流，由此能够基于车外的视频流检测车外的人的上车意图。
在一种可能的实现方式中，图像采集模组可以安装在以下至少一个位置上：所述车的B柱、至少一个车门、至少一个后视镜。本公开实施例中的车门可以包括人进出的车门(例如左前门、右前门、左后门、右后门)，也可以包括车的后备箱门等。图2示出车的B柱的示意图。例如，图像采集模组可以安装在B柱上离地130cm至160cm处，图像采集模组的水平识别距离可以为30cm至100cm，在此不作限定。图3示出本公开实施例提供的车门控制方法中图像采集模组的安装高度与可识别的身高范围的示意图。在图3所示的示例中，图像采集模组的安装高度为160cm，可识别的身高范围为140cm至190cm。
在一个示例中，图像采集模组可以安装在车的两根B柱和后备箱上。其中，每根B柱上可以安装朝向前排乘车人员(驾驶员或副驾驶员)上车位置的图像采集模组和朝向后排乘车人员上车位置的图像采集模组。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：控制设置于车的室内部的图像采集模组采集车内的视频流。在该实现方式中，图像采集模组可以安装在车的室内部，通过控制设置于车的室内部的图像采集模组采集车内的视频流，由此能够基于车内的视频流检测车内的人的下车意图。
作为该实现方式的一个示例，所述控制设置于车的室内部的图像采集模组采集车内的视频流，包括：在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。在该示例中，通过在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流，由此既能保证安全，也能节省功耗。
在步骤S12中，基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果。
例如，可以基于所述视频流中的第一图像进行人脸识别，得到人脸识别结果。其中，所述第一图像可以包含人体或者人脸的至少一部分。第一图像可以为从视频流中选取的图像，其中，可以通过多种方式从视频流中选取图像。在一个具体例子中，第一图像为从视频流中选取的满足预设质量条件的图像，该预设质量条件可以包括下列中的一种或任意组合：是否包含人体或人脸、人体或人脸是否位于图像的中心区域、人体或人脸是否完整地包含在图像中、人体或人脸在图像中所占比例、人体或人脸的状态(例如人体朝向、人脸角度)、图像清晰度、图像曝光度，等等，本公开实施例对此不做限定。
在一种可能的实现方式中，所述人脸识别包括人脸认证；所述基于所述视频流中的至少一张图像进行人脸识别，包括：基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。在该实现方式中，人脸认证用于提取采集的图像中的人脸特征，将采集的图像中的人脸特征与预注册的人脸特征进行比对，判断是否属于同一个人的人脸特征，例如可以判断采集的图像中的人脸特征是否属于车主或者临时用户(例如车主的朋友或者快递员等)的人脸特征。
在一种可能的实现方式中，所述人脸识别还包括活体检测；所述基于所述视频流中的至少一张图像进行人脸识别，包括：经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；基于所述第一图像和所述第一深度图进行活体检测。在该实现方式中，活体检测用于验证是否是活体，例如可以用于验证是否是人体。
在一个示例中，可以先进行活体检测再进行人脸认证。例如，若人的活体检测结果为人为活体，则触发人脸认证流程；若人的活体检测结果为人为假体，则不触发人脸认证流程。
在另一个示例中，可以先进行人脸认证再进行活体检测。例如，若人脸认证通过，则触发活体检测流程；若人脸认证不通过，则不触发活体检测流程。
在另一个示例中，可以同时进行活体检测和人脸认证。
在本公开实施例中，深度传感器表示用于采集深度信息的传感器。本公开实施例不对深度传感器的工作原理和工作波段进行限定。
在本公开实施例中，图像采集模组的图像传感器和深度传感器可以分开设置，也可以一起设置。例如，图像采集模组的图像传感器和深度传感器分开设置可以为，图像传感器采用RGB(Red，红；Green，绿；Blue，蓝)传感器或红外传感器，深度传感器采用双目红外传感器或者TOF(Time of Flight，飞行时间)传感器；图像采集模组的图像传感器和深度传感器一起设置可以为，图像采集模组采用RGBD(Red，红；Green，绿；Blue，蓝；Deep，深度)传感器实现图像传感器和深度传感器的功能。
作为一个示例，图像传感器为RGB传感器。若图像传感器为RGB传感器，则图像传感器采集到的图像为RGB图像。
作为另一个示例，图像传感器为红外传感器。若图像传感器为红外传感器，则图像传感器采集到的图像为红外图像。其中，红外图像可以为带光斑的红外图像，也可以为不带光斑的红外图像。
在其他示例中，图像传感器可以为其他类型的传感器，本公开实施例对此不做限定。
作为一个示例，深度传感器为三维传感器。例如，深度传感器为双目红外传感器、飞行时间TOF传感器或者结构光传感器，其中，双目红外传感器包括两个红外摄像头。结构光传感器可以为编码结构光传感器或者散斑结构光传感器。通过深度传感器获取人的深度图，可以获得高精度的深度图。本公开实施例利用包含人脸的深度图进行活体检测，能够充分挖掘人脸的深度信息，从而能够提高活体检测的准确性。
在一个示例中，TOF传感器采用基于红外波段的TOF模组。在该示例中，通过采用基于红外波段的TOF模组，能够降低外界光线对深度图拍摄造成的影响。
在本公开实施例中，第一深度图和第一图像相对应。例如，第一深度图和第一图像分别为深度传感器和图像传感器针对同一场景采集到的，或者，第一深度图和第一图像为深度传感器和图像传感器在同一时刻针对同一目标区域采集到的，但本公开实施例对此不做限定。
图4a示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的示意图。在图4a所示的示例中，图像传感器为RGB传感器，图像传感器的摄像头为RGB摄像头，深度传感器为双目红外传感器，深度传感器包括两个红外(IR)摄像头，双目红外传感器的两个红外摄像头设置在图像传感器的RGB摄像头的两侧。其中，两个红外摄像头基于双目视差原理采集深度信息。
在一个示例中，图像采集模组还包括至少一个补光灯，该至少一个补光灯设置在双目红外传感器的红外摄像头和图像传感器的摄像头之间，该至少一个补光灯包括用于图像传感器的补光灯和用于深度传感器的补光灯中的至少一种。例如，若图像传感器为RGB传感器，则用于图像传感器的补光灯可以为白光灯；若图像传感器为红外传感器，则用于图像传感器的补光灯可以为红外灯；若深度传感器为双目红外传感器，则用于深度传感器的补光灯可以为红外灯。在图4a所示的示例中，在双目红外传感器的红外摄像头和图像传感器的摄像头之间设置红外灯。例如，红外灯可以采用940nm的红外线。
在一个示例中，补光灯可以处于常开模式。在该示例中，在图像采集模组的摄像头处于工作状态时，补光灯处于开启状态。
在另一个示例中，可以在光线不足时开启补光灯。例如，可以通过环境光传感器获取环境光强度，并在环境光强度低于光强阈值时判定光线不足，并开启补光灯。
图4b示出本公开实施例提供的车门控制方法中图像传感器和深度传感器的另一示意图。在图4b所示的示例中，图像传感器为RGB传感器，图像传感器的摄像头为RGB摄像头，深度传感器为TOF传感器。
在一个示例中，图像采集模组还包括激光器，激光器设置在深度传感器的摄像头和图像传感器的摄像头之间。例如，激光器设置在TOF传感器的摄像头和RGB传感器的摄像头之间。例如，激光器可以为VCSEL(Vertical Cavity Surface Emitting Laser，垂直腔面发射激光器)，TOF传感器可以基于VCSEL发出的激光采集深度图。
在本公开实施例中，深度传感器用于采集深度图，图像传感器用于采集二维图像。需要说明的是，尽管以RGB传感器和红外传感器为例对图像传感器进行了说明，并以双目红外传感器、TOF传感器和结构光传感器为例对深度传感器进行了说明，但本领域技术人员能够理解，本公开实施例应不限于此。本领域技术人员可以根据实际应用需求选择图像传感器和深度传感器的类型，只要分别能够实现对二维图像和深度图的采集即可。
在一种可能的实现方式中，所述人脸识别还包括权限认证；所述基于所述视频流中的至少一张图像进行人脸识别，包括：基于所述视频流中的第一图像获取所述人的开门权限信息；基于所述人的开门权限信息进行权限认证。根据该实现方式，可以为不同的用户设置不同的开门权限信息，从而能够提高车的安全性。
作为该实现方式的一个示例，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
例如，所述人具有开门权限的车门的信息可以为所有车门或者后备箱门。例如，车主或者车主的家人、朋友具有开门权限的车门可以是所有车门，快递员或者物业工作人员具有开门权限的车门可以是后备箱门。其中，车主可以为其他人员设置具有开门权限的车门的信息。
例如，人具有开门权限的时间可以是所有时间，或者可以是预设时间段。例如，车主或者车主的家人具有开门权限的时间可以是所有时间。车主可以为其他人员设置具有开门权限的时间。例如，在车主的朋友向车主借车的应用场景中，车主可以为朋友设置具有开门权限的时间为两天。又如，在快递员联系车主后，车主可以为快递员设置具有开门权限的时间为2019年9月29日13:00-14:00。
例如，人对应的开门权限次数可以是不限次数或者有限次数。例如，车主或者车主的家人、朋友对应的开门权限次数可以是不限次数。又如，快递员对应的开门权限次数可以是有限次数，例如1次。
在步骤S13中，基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：基于所述视频流，确定开门意图信息；所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，包括：基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，开门意图信息可以是有意开门或者无意开门。其中，有意开门可以是有意上车、有意下车、有意向后备箱放置物品或者有意从后备箱取出物品。例如，在视频流是通过B柱上的图像采集模组采集得到的情况下，若开门意图信息为有意开门，则可以表示人有意上车或者有意放置物品，若开门意图信息为无意开门，则可以表示人无意上车且无意放置物品；在视频流是通过后备箱门上的图像采集模组采集得到的情况下，若开门意图信息为有意开门，则可以表示人有意向后备箱放置物品(例如行李)，若开门意图信息为无意开门，则可以表示人无意向后备箱放置物品。
在一种可能的实现方式中，可以基于所述视频流中的多帧图像，确定开门意图信息，由此能够提高所确定的开门意图信息的准确性。
作为该实现方式的一个示例，所述基于所述视频流，确定开门意图信息，包括：确定所述视频流中相邻帧的图像的交并比(Intersection over Union，IoU)；根据所述相邻帧的图像的交并比，确定开门意图信息。
在一个例子中，所述确定所述视频流中相邻帧的图像的交并比，可以包括：将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
在另一个例子中，所述确定所述视频流中相邻帧的图像的交并比，可以包括：将所述视频流中相邻帧的图像中人脸的边界框的交并比，确定为所述相邻帧的图像的交并比。
在一个例子中，所述根据所述相邻帧的图像的交并比，确定开门意图信息，可以包括：缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；确定缓存的交并比的平均值；若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。例如，N等于10，第一预设值等于0.93，第一预设时长等于1.5秒。当然，N、第一预设值和第一预设时长的具体数值可以根据实际应用场景需求进行灵活设置。在这个例子中，缓存的N个交并比是最新采集的N组相邻帧的图像的交并比。当采集到新的图像时，在缓存中删除最旧的一个交并比，并将最新采集到的图像与上一采集到的图像的交并比存入缓存中。
例如，N等于3，最新采集的4张图像为图像1、图像2、图像3和图像4，其中，图像4为最新采集的图像，此时缓存的交并比包括图像1与图像2的交并比I12、图像2与图像3的交并比I23、图像3与图像4的交并比I34，此时缓存的交并比的平均值为I12、I23和I34的平均值。若I12、I23和I34的平均值大于第一预设值，则通过图像采集模组继续采集图像5，并删除交并比I12，缓存图像4与图像5的交并比I45，此时缓存的交并比的平均值I23、I34和I45的平均值。若缓存的交并比的平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门，否则可以确定所述开门意图信息为无意开门。
在另一个例子中，所述根据所述相邻帧的图像的交并比，确定开门意图信息，可以包括：若交并比大于第一预设值的相邻帧的连续组数大于第二预设值，则确定所述开门意图信息为有意开门。
在以上示例中，通过确定所述视频流中相邻帧的图像的交并比，并根据所述相邻帧的图像的交并比，确定开门意图信息，由此能够准确地确定人的开门意图。
作为该实现方式的另一个示例，所述基于所述视频流，确定开门意图信息，包括：确定所述视频流中最新采集的多帧图像中人体区域的面积；根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
在一个例子中，所述根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，可以包括：若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
在另一个例子中，所述根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，可以包括：若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。其中，最新采集的多帧图像中人体区域的面积逐渐增大，可以指采集时间距离当前时间较近的图像中人体区域的面积大于采集时间距离当前时间较远的图像中人体区域的面积，或者可以指采集时间距离当前时间较近的图像中人体区域的面积大于或等于采集时间距离当前时间较远的图像中人体区域的面积。
在以上示例中，通过确定所述视频流中最新采集的多帧图像中人体区域的面积，并根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，由此能够准确地确定人的开门意图。
作为该实现方式的另一个示例，所述基于所述视频流，确定开门意图信息，包括：确定所述视频流中最新采集的多帧图像中人脸区域的面积；根据所述最新采集的多帧图像中人脸区域的面积，确定所述开门意图信息。
在一个例子中，所述根据所述最新采集的多帧图像中人脸区域的面积，确定所述开门意图信息，可以包括：若所述最新采集的多帧图像中人脸区域的面积均大于第二预设面积，则确定所述开门意图信息为有意开门。
在另一个例子中，所述根据所述最新采集的多帧图像中人脸区域的面积，确定所述开门意图信息，可以包括：若所述最新采集的多帧图像中人脸区域的面积逐渐增大，则确定所述开门意图信息为有意开门。其中，最新采集的多帧图像中人脸区域的面积逐渐增大，可以指采集时间距离当前时间较近的图像中人脸区域的面积大于采集时间距离当前时间较远的图像中人脸区域的面积，或者可以指采集时间距离当前时间较近的图像中人脸区域的面积大于或等于采集时间距离当前时间较远的图像中人脸区域的面积。
在以上示例中，通过确定所述视频流中最新采集的多帧图像中人脸区域的面积，并根据所述最新采集的多帧图像中人脸区域的面积，确定所述开门意图信息，由此能够准确地确定人的开门意图。
在本公开实施例中，通过基于所述开门意图信息对所述车的至少一车门进行控制，能够降低在用户无意开门的情况下打开车门的可能性，从而能够提高车的安全性。
在一种可能的实现方式中，所述基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，且所述开门意图信息为有意开门，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息，包括：基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。在该实现方式中，可以基于所述人脸识别结果和所述人的物体携带信息进行车门控制，而无需考虑开门意图信息。
作为该实现方式的一个示例，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。根据该示例，在所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体时，能够自动为用户打开车门，而无需用户手动打开车门。
作为该实现方式的一个示例，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。根据该示例，在所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体时，可以自动为用户打开后备箱门，由此在所述人携带预设类别的物体时，无需用户手动打开后备箱门。
在一种可能的实现方式中，在所述基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；所述基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息，包括：基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在该实现方式中，人的物体携带信息可以表示人携带的物体的信息。例如，人的物体携带信息可以表示人是否携带物体；又如，人的物体携带信息可以表示人携带的物体的类别。
根据该实现方式，在用户不方便开车门(例如用户携带手提包、购物袋、拉杆箱、雨伞等物品)时，自动为用户弹开车门(例如车的左前门、右前门、左后门、右后门、后备箱门)，由此在用户手提物品或者下雨等场景中，能够大大方便用户上车以及向后备箱放置物品。采用该实现方式，在用户接近车辆时，无需刻意做动作(如触摸按钮或做手势)，就能够自动触发人脸识别流程，从而能够自动为用户打开车门，而无需用户腾出手来解锁或打开车门，从而能够提高用户上车以及向后备箱放置物品的体验。
作为该实现方式的一个示例，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在该示例中，若人的物体携带信息为人携带物体，则可以确定人当前不方便手动拉开车门，例如，人当前手提重物或者手拿雨伞等。
作为该实现方式的一个示例，所述对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息，包括：对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；基于所述物体检测结果，确定所述人的物体携带信息。例如，可以对所述视频流中的第一图像进行物体检测，得到物体检测结果。
在该示例中，通过对所述视频流中的至少一张图像进行物体检测，得到物体检测结果，并基于所述物体检测结果，确定所述人的物体携带信息，由此能够准确地得到人的物体携带信息。
在该示例中，可以将物体检测结果作为人的物体携带信息。例如，物体检测结果包括雨伞，则所述人的物体携带信息包括雨伞；又如，物体检测结果包括雨伞和拉杆箱，则所述人的物体携带信息包括雨伞和拉杆箱；又如，物体检测结果为空，则所述人的物体携带信息可以为空。
在该示例中，可以采用物体检测网络对视频流中的至少一张图像进行物体检测，其中，物体检测网络可以基于深度学习架构。在该示例中，可以不对物体检测网络能够识别的物体的类别进行限定，本领域技术人员可以根据实际应用场景需求灵活设置物体检测网络所能够识别的物体的类别。例如，物体检测网络能够识别的物体的类别包括雨伞、拉杆箱、小推车、婴儿车、手提包、购物袋等。通过采用物体检测网络对视频流中的至少一张图像进行物体检测，能够提高物体检测的准确性和速度。
在该示例中，所述对所述视频流中的至少一张图像进行物体检测，得到物体检测结果，可以包括：检测所述视频流中的至少一张图像中人体的边界框；对所述边界框对应的区域进行物体检测，得到物体检测结果。例如，可以检测所述视频流的第一图像中人体的边界框；对所述第一图像中所述边界框对应的区域进行物体检测。其中，所述边界框对应的区域可以表示所述边界框限定的区域。在该示例中，通过检测视频流中的至少一张图像中人体的边界框，并对所述边界框对应的区域进行物体检测，由此能够避免视频流中的图像中的背景部分对物体检测产生干扰，从而能够提高物体检测的准确性。
在该示例中，所述基于所述物体检测结果，确定所述人的物体携带信息，可以包括：若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；基于所述距离，确定所述人的物体携带信息。
在一个示例中，若所述距离小于预设距离，则可以确定所述人的物体携带信息为所述人携带物体。在这个例子中，在确定人的物体携带信息时，可以仅考虑物体与人的手部之间的距离，而无需考虑物体的尺寸。
在另一个例子中，所述基于所述物体检测结果，确定所述人的物体携带信息，还可以包括：若所述物体检测结果为检测到物体，则获取所述物体的尺寸；所述基于所述距离，确定所述人的物体携带信息，包括：基于所述距离和所述尺寸，确定所述人的物体携带信息。在这个例子中，在确定人的物体携带信息时，可以同时考虑物体与人的手部之间的距离以及物体的尺寸。
其中，所述基于所述距离和所述尺寸，确定所述人的物体携带信息，可以包括：若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
在该示例中，预设距离可以为0，或者预设距离可以设置为大于0。
在该示例中，所述基于所述物体检测结果，确定所述人的物体携带信息，可以包括：若所述物体检测结果为检测到物体，则获取所述物体的尺寸；基于所述尺寸，确定所述人的物体携带信息。在这个例子中，在确定人的物体携带信息时，可以仅考虑物体的尺寸，而无需考虑物体与人的手部之间的距离。例如，若所述尺寸大于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
作为该实现方式的一个示例，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。其中，预设类别可以表示适合放在后备箱的物体的类别。例如，预设类别可以包括拉杆箱等。图5示出本公开实施例提供的车门控制方法的一示意图。在图5所示的示例中，若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体(例如拉杆箱)，则确定所述控制信息包括控制所述车的后备箱门打开。在该示例中，通过若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开，由此在人携带预设类别的物体时，能够自动为其打开后备箱门，方便其向后备箱放置物体。
作为该实现方式的一个示例，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。在该示例中，通过若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开，由此能够自动非驾驶员打开适合其乘坐的座位对应的车门。
在一种可能的实现方式中，基于所述人脸识别结果和所述开门意图信息，所述确定所述车的至少一车门对应的控制信息，可以包括：基于所述人脸识别结果和所述开门意图信息，确定采集所述视频流的图像采集模组对应的车门对应的控制信息。其中，采集所述视频流的图像采集模组对应的车门可以根据所述图像采集模组的位置确定。例如，若视频流是通过安装在左侧B柱且朝向前排乘车人员上车位置的图像采集模组采集得到的，则采集所述视频流的图像采集模组对应的车门可以是左前门，由此可以基于所述人脸识别结果和所述开门意图信息，确定所述车的左前门对应的控制信息；若视频流是通过安装在左侧B柱且朝向后排乘车人员上车位置的图像采集模组采集得到的，则采集所述视频流的图像采集模组对应的车门可以是左后门，由此可以基于所述人脸识别结果和所述开门意图信息，确定所述车的左后门对应的控制信息；若视频流是通过安装在右侧B柱且朝向前排乘车人员上车位置的图像采集模组采集得到的，则采集所述视频流的图像采集模组对应的车门可以是右前门，由此可以基于所述人脸识别结果和所述开门意图信息，确定所述车的右前门对应的控制信息；若视频流是通过安装在右侧B柱且朝向后排乘车人员上车位置的图像采集模组采集得到的，则采集所述视频流的图像采集模组对应的车门可以是右后门，由此可以基于所述人脸识别结果和所述开门意图信息，确定所述车的右后门对应的控制信息；若视频流是通过安装在后备箱门上的图像采集模组采集得到的，则采集所述视频流的图像采集模组对应的车门可以是后备箱门，由此可以基于所述人脸识别结果和所述开门意图信息，确定所述车的后备箱门对应的控制信息。
在步骤S14中，若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息。
在本公开实施例中，所述车门的状态信息可以为未解锁、已解锁且未打开、已打开。
在步骤S15中，若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
在本公开实施例中，控制车门打开可以指控制车门弹开，以使用户可以通过打开的车门(例如前门或者后门)进入车内，或者可以通过打开的车门(例如后备箱门或者后门)放置物品。通过控制车门打开，由此在车门解锁后，无需用户手动拉开车门。
在一种可能的实现方式中，可以通过向车门域控制器发送所述车门对应的解锁指令和打开指令，控制所述车门解锁并打开；可以通过向车门域控制器发送所述车门对应的打开指令，控制所述车门打开。
在一个示例中，车门控制装置的SoC(System on Chip，系统级芯片)可以向车门域控制器发送车门解锁指令、打开指令和关闭指令，以对车门进行控制。
图6示出本公开实施例提供的车门控制方法的另一示意图。在图6所示的示例中，可以通过B柱上安装的图像采集模组采集视频流，基于所述视频流得到人脸识别结果和开门意图信息，并基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述控制设置于车的图像采集模组采集视频流，包括：控制设置于车的后备箱门上的图像采集模组采集视频流。在该实现方式中，可以在后备箱门上安装图像采集模组，以基于后备箱门上的图像采集模组采集的视频流，检测向后备箱放置物体或者从后备箱取出物体的意图。
在一种可能的实现方式中，在所述确定所述控制信息包括控制所述车的后备箱门打开之后，所述方法还包括：在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制所述后备箱门打开。根据该实现方式，若乘车人员在上车前向后备箱放置物体，则在该乘车人员下车时，可以自动为其打开后备箱门，由此无需乘车人员手动拉开后备箱门，且能够起到提醒乘车人员取走后备箱中的物体的作用。
在一种可能的实现方式中，在控制所述车门打开之后，所述方法还包括：在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。在该实现方式中，通过在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁，由此能够提高车的安全。
作为该实现方式的一个示例，所述自动关门条件包括以下一项或多项：控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；所述车门打开的时长达到第二预设时长。
在一个示例中，若人具有开门权限的车门仅包括后备箱门，则可以在控制后备箱门打开的时长达到第二预设时长时，控制后备箱门关闭，例如，第二预设时长可以为3分钟。例如，快递员具有开门权限的车门仅包括后备箱门，则可以在控制后备箱门打开的时长达到第二预设时长时，控制后备箱门关闭，由此既能满足快递员往后备箱中放置快递的需求，又能够提高车的安全性。
在一种可能的实现方式中，所述方法还包括以下一项或两项：根据所述图像采集模组采集的人脸图像进行用户注册；根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
在一个示例中，根据图像采集模组采集的人脸图像进行车主注册，包括：在检测到触摸屏上的注册按钮被点击时，请求用户输入密码，在密码验证通过后，启动图像采集模组中的RGB摄像头获取人脸图像，并根据获取的人脸图像进行注册，提取该人脸图像中的人脸特征作为预注册的人脸特征，以在后续人脸认证时基于该预注册的人脸特征进行人脸比对。
在一个示例中，根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到车上，其中，注册信息包括采集或上传的人脸图像。在该示例中，用户(例如车主)可以通过手机App(Application，应用)向TSP(Telematics Service Provider，汽车远程服务提供商)云端发送注册请求，其中，注册请求可以携带第一终端采集或上传的人脸图像，例如，第一终端采集的人脸图像可以是用户自己(车主)的人脸图像，第一终端上传的人脸图像可以是用户自己(车主)、用户的朋友或者快递员等的人脸图像；TSP云端将注册请求发送给车门控制装置的车载T-Box(Telematics Box，远程信息处理器)，车载T-Box根据注册请求激活人脸识别功能，并将注册请求中携带的人脸图像中的人脸特征作为预注册的人脸特征，以在后续人脸认证时基于该预注册的人脸特征进行人脸比对。
作为该实现方式的一个示例，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；所述注册信息还包括所述上传的人脸图像对应的开门权限信息。例如，临时用户可以为快递员等。在该示例中，车主可以为快递员等临时用户设置开门权限信息。
在一种可能的实现方式中，所述方法还包括：获取所述车的乘坐人员调节座椅的信息；根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。其中，所述乘坐人员对应的座椅偏好信息可以反映所述乘坐人员乘坐所述车时调节座椅的偏好信息。在该实现方式中，通过生成或者更新所述乘坐人员对应的座椅偏好信息，由此在所述乘车人员下次乘坐所述车时，能够根据所述乘坐人员对应的座椅偏好信息自动进行座椅调节，以提高所述乘坐人员的乘车体验。
在一种可能的实现方式中，所述根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息，包括：根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。在该实现方式中，所述乘坐人员对应的座椅偏好信息不仅可以与所述乘坐人员调节座椅的信息相关联，还可以与所述乘坐人员落座的座椅的位置信息相关联，即，可以为乘车人员记录不同位置的座椅对应的座椅偏好信息，从而能够提高进一步提高用户的乘车体验。
在一种可能的实现方式中，所述方法还包括：基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。在该实现方式中，通过根据所述乘车人员对应的座椅偏好信息，自动为乘车人员调节座椅信息，而无需乘车人员手动调节，从而能够提高乘车人员驾车或乘车的体验。
在一个示例中，可以调节座椅的高低、前后、靠背和温度等中的一项或多项。
作为该实现方式的一个示例，所述根据所述人对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节，包括：确定所述乘车人员落座的座椅的位置信息；根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。在该实现方式中，通过根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，自动为乘车人员调节座椅信息，而无需乘车人员手动调节，从而能够提高乘车人员驾车或乘车的体验。
在其他可能的实现方式中，还可以基于所述人脸识别结果，获取乘车人员对应的其他个性化信息，例如灯光信息、温度信息、空调风力信息、音乐信息等，并根据获取的个性化信息进行自动设置。
在一种可能的实现方式中，在所述控制设置于车的图像采集模组采集视频流之前，所述方法还包括：经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；所述控制设置于车的图像采集模组采集视频流，包括：经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
作为该实现方式的一个示例，所述经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备，包括：在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。在该示例中，在车熄火前无需通过蓝牙模块搜索预设标识的蓝牙设备，或者，在车熄火前以及在车处于熄火状态但车门不处于锁闭状态时无需通过蓝牙模块搜索预设标识的蓝牙设备，由此能够进一步降低功耗。
作为该实现方式的一个示例，蓝牙模块可以为低功耗蓝牙(BLE，Bluetooth LowEnergy)模块。在该示例中，在车处于熄火状态或处于熄火且车门锁闭状态时，蓝牙模块可以处于广播模式，每隔一定的时间(例如100毫秒)向周围广播一个广播数据包。周围的蓝牙设备在执行扫描动作时，若接收到蓝牙模块广播出来的广播数据包，则向该蓝牙模块发送扫描请求，该蓝牙模块可以响应于扫描请求，向发送该扫描请求的蓝牙设备返回扫描响应数据包。在该实现方式中，若接收到预设标识的蓝牙设备发来的扫描请求，则确定搜索到该预设标识的蓝牙设备。
作为该实现方式的另一个示例，在车处于熄火状态或处于熄火且车门锁闭状态时，蓝牙模块可以处于扫描状态，若扫描到预设标识的蓝牙设备，则确定搜索到预设标识的蓝牙设备。
作为该实现方式的一个示例，蓝牙模块与人脸识别模组可以集成在人脸识别系统中。
作为该实现方式的另一个示例，蓝牙模块可以独立于人脸识别系统。即，蓝牙模块可以设置在人脸识别系统的外部。
该实现方式不对蓝牙模块的最大搜索距离进行限定，在一个示例中，最大搜索距离可以为30m左右。
在该实现方式中，蓝牙设备的标识可以指蓝牙设备的唯一标识符。例如，蓝牙设备的标识可以为蓝牙设备的ID、名称或者地址等。
在该实现方式中，预设标识可以是基于蓝牙安全连接技术预先和车的蓝牙模块配对成功的设备的标识。
在该实现方式中，预设标识的蓝牙设备的数量可以为一个或多个。例如，若蓝牙设备的标识为蓝牙设备的ID，则可以预设一个或多个有权限开车门的蓝牙ID。例如，在预设标识的蓝牙设备的数量为一个的情况下，该预设标识的蓝牙设备可以为车主的蓝牙设备；在预设标识的蓝牙设备的数量为多个的情况下，该多个预设标识的蓝牙设备可以包括车主的蓝牙设备以及车主的家人、朋友、预先注册的联系人的蓝牙设备。其中，预先注册的联系人可以为预先注册的快递员或者物业工作人员等。
在该实现方式中，蓝牙设备可以是任何具有蓝牙功能的移动设备，例如，蓝牙设备可以是手机、可穿戴设备或者电子钥匙等。其中，可穿戴设备可以为智能手环或者智能眼镜等。
作为该实现方式的一个示例，若预设标识的蓝牙设备的数量为多个，则响应于搜索到任意一个预设标识的蓝牙设备，建立蓝牙模块与该预设标识的蓝牙设备的蓝牙配对连接。
作为该实现方式的一个示例，响应于搜索到预设标识的蓝牙设备，蓝牙模块对该预设标识的蓝牙设备进行身份认证，在身份认证通过后，再建立蓝牙模块与预设标识的蓝牙设备的蓝牙配对连接，由此能够提高蓝牙配对连接的安全性。
在该实现方式中，在未与预设标识的蓝牙设备建立蓝牙配对连接时，人脸识别模组可以处于休眠状态以保持低功耗运行，从而能够降低刷脸开车门方式的运行功耗，并且能够在携带预设标识的蓝牙设备的用户到达车门前，使人脸识别模组处于可工作状态，在携带预设标识的蓝牙设备的用户到达车门时，图像采集模组采集到第一图像后能够通过唤醒的人脸识别模组快速进行人脸图像处理，进而能够提高人脸识别效率，改善用户体验。因此，本公开实施例既能满足低功耗运行的要求，也能满足快速开车门的要求。
在该实现方式中，若搜索到预设标识的蓝牙设备，则可以在很大程度上表明携带预设标识的蓝牙设备的用户(例如车主)进入蓝牙模块的搜索范围内。此时，通过响应于搜索到预设标识的蓝牙设备，建立蓝牙模块与预设标识的蓝牙设备的蓝牙配对连接，并响应于蓝牙配对连接成功，唤醒人脸识别模组并控制图像采集模组采集视频流，由此基于蓝牙配对连接成功再唤醒人脸识别模组的方式，能够有效减少误唤醒人脸识别模组的概率，甚至能够避免误唤醒人脸识别模组，从而能够提高用户体验，有效降低人脸识别模组的功耗。此外，相对于超声波、红外等短距离传感器技术，基于蓝牙的配对连接方式具有安全性高和支持较大的距离的优点。实践表明，携带预设标识的蓝牙设备的用户通过这段距离(蓝牙配对连接成功时用户与车之间的距离)到达车的时间，与车唤醒人脸识别模组由休眠状态转换为工作状态的时间大致匹配，由此在用户到达车门时，能够立即通过唤醒的人脸识别模组进行人脸识别开车门，而无需在用户到达车门后让用户等待人脸识别模组被唤醒，进而能够提高人脸识别效率，改善用户体验。另外，在蓝牙配对连接的过程中，用户无感知，从而能够进一步提高用户体验。因此，该实现方式通过基于蓝牙配对连接成功唤醒人脸识别模组的方式提供了一种能够较好地权衡人脸识别模组功耗节省、用户体验和安全性等各方面的解决方案。
在另一种可能的实现方式中，可以响应于用户触摸人脸识别模组，唤醒所述人脸识别模组。根据该实现方式，在用户忘带手机或其他蓝牙设备时，也能使用人脸解锁开门的功能。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。该实现方式通过在唤醒人脸识别模组后预设时间内未采集到人脸图像时，控制人脸识别模组进入休眠状态，由此能够降低功耗。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。该实现方式通过在唤醒人脸识别模组后预设时间内未通过人脸识别时，控制人脸识别模组进入休眠状态，由此能够降低功耗。
在一种可能的实现方式中，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。在该实现方式中，通过在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态，由此能够提高人脸开门的安全性，并能够降低功耗。
在另一种可能的实现方式中，在所述控制设置于车的图像采集模组采集视频流之前，所述方法还包括：经设置于车的蓝牙模块搜索预设标识的蓝牙设备；响应于搜索到所述预设标识的蓝牙设备，唤醒设置于所述车的人脸识别模组；所述控制设置于车的图像采集模组采集视频流，包括：经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
在一种可能的实现方式中，在所述得到人脸识别结果之后，所述方法还包括：响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
在该实现方式中，密码解锁是人脸识别解锁的备选方案。人脸识别失败的原因可以包括活体检测结果为人为假体、人脸认证失败、图像采集失败(例如摄像头故障)和识别次数超过预定次数等中的至少一项。当人不通过人脸识别时，启动密码解锁流程。例如，可以通过B柱上的触摸屏获取用户输入的密码。在一个示例中，在连续输入M次错误的密码后，密码解锁将失效，例如，M等于5。
在一种可能的实现方式中，所述基于所述第一图像和所述第一深度图进行活体检测，包括：基于所述第一图像，更新所述第一深度图，得到第二深度图；基于所述第一图像和所述第二深度图，确定活体检测结果。
在该实现方式中，可以基于第一图像，更新第一深度图中一个或多个像素的深度值，得到第二深度图。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
其中，深度图中的深度失效像素可以指深度图中包括的深度值无效的像素，即深度值不准确或与实际情况明显不符的像素。深度失效像素的个数可以为一个或多个。通过更新深度图中的至少一个深度失效像素的深度值，使得深度失效像素的深度值更为准确，有助于提高活体检测的准确率。
在一些实施例中，第一深度图为带缺失值的深度图，通过基于第一图像修复第一深度图，得到第二深度图，其中，可选地，对第一深度图的修复包括对缺失值的像素的深度值的确定或补充，但本公开实施例不限于此。
在本公开实施例中，可以通过多种方式更新或修复第一深度图。在一些实施例中，直接利用第一图像进行活体检测，例如直接利用第一图像更新第一深度图。在另一些实施例中，对第一图像进行预处理，并基于预处理后的第一图像进行活体检测。例如，所述基于所述第一图像，更新所述第一深度图，包括：从所述第一图像中获取所述人脸的图像；基于所述人脸的图像，更新所述第一深度图。
可以通过多种方式从第一图像中截取人脸的图像。作为一个示例，对第一图像进行人脸检测，得到人脸的位置信息，例如人脸的边界框(bounding box)的位置信息，并基于人脸的位置信息从第一图像中截取人脸的图像。例如，从第一图像中截取人脸的限定框所在区域的图像作为人脸的图像，再例如，将人脸的限定框放大一定倍数并从第一图像中截取放大后的限定框所在区域的图像作为人脸的图像。作为另一个示例，所述从所述第一图像中获取人脸的图像，包括：获取所述第一图像中人脸的关键点信息；基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
可选地，所述获取所述第一图像中人脸的关键点信息，包括：对所述第一图像进行人脸检测，得到所述人脸所在区域；对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
可选地，人脸的关键点信息可以包括人脸的多个关键点的位置信息。例如，人脸的关键点可以包括眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点和人脸轮廓关键点等中的一项或多项。其中，眼睛关键点可以包括眼睛轮廓关键点、眼角关键点和瞳孔关键点等中的一项或多项。
在一个示例中，基于人脸的关键点信息，确定人脸的轮廓，并根据人脸的轮廓，从第一图像中截取人脸的图像。与通过人脸检测得到的人脸的位置信息相比，通过关键点信息得到的人脸的位置更为准确，从而有利于提高后续活体检测的准确率。
可选地，可以基于第一图像中人脸的关键点，确定第一图像中人脸的轮廓，并将第一图像中人脸的轮廓所在区域的图像或放大一定倍数后得到的区域的图像确定为人脸的图像。例如，可以将第一图像中基于人脸的关键点确定的椭圆形区域确定为人脸的图像，或者可以将第一图像中基于人脸的关键点确定的椭圆形区域的最小外接矩形区域确定为人脸的图像，但本公开实施例对此不作限定。
这样，通过从第一图像中获取人脸的图像，基于人脸的图像进行活体检测，能够降低第一图像中的背景信息对活体检测产生的干扰。
在本公开实施例中，可以对获取到的原始深度图进行更新处理。或者，在一些实施例中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：从所述第一深度图中获取人脸的深度图；基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
作为一个示例，获取第一图像中人脸的位置信息，并基于人脸的位置信息，从第一深度图中获取人脸的深度图。其中，可选地，可以预先对第一深度图和第一图像进行配准或对齐处理，但本公开实施例对此不做限定。
这样，通过从第一深度图中获取人脸的深度图，并基于第一图像，更新人脸的深度图，得到第二深度图，由此能够降低第一深度图中的背景信息对活体检测产生的干扰。
在一些实施例中，在获取第一图像和第一图像对应的第一深度图之后，根据图像传感器的参数以及深度传感器的参数，对齐第一图像和第一深度图。
作为一个示例，可以对第一深度图进行转换处理，以使得转换处理后的第一深度图和第一图像对齐。例如，可以根据深度传感器的参数和图像传感器的参数，确定第一转换矩阵，并根据第一转换矩阵，对第一深度图进行转换处理。相应地，可以基于第一图像的至少一部分，对转换处理后的第一深度图的至少一部分进行更新，得到第二深度图。例如，基于第一图像，对转换处理后的第一深度图进行更新，得到第二深度图。再例如，基于从第一图像中截取的人脸的图像，对从第一深度图中截取的人脸的深度图进行更新，得到第二深度图，等等。
作为另一个示例，可以对第一图像进行转换处理，以使得转换处理后的第一图像与第一深度图对齐。例如，可以根据深度传感器的参数和图像传感器的参数，确定第二转换矩阵，并根据第二转换矩阵，对第一图像进行转换处理。相应地，可以基于转换处理后的第一图像的至少一部分，对第一深度图的至少一部分进行更新，得到第二深度图。
可选地，深度传感器的参数可以包括深度传感器的内参数和/或外参数，图像传感器的参数可以包括图像传感器的内参数和/或外参数。通过对齐第一深度图和第一图像，能够使第一深度图和第一图像中相应的部分在两个图像中的位置相同。
在上文的例子中，第一图像为原始图像(例如RGB或红外图像)，而在另一些实施例中，第一图像也可以指从原始图像中截取的人脸的图像，类似地，第一深度图也可以指从原始深度图中截取的人脸的深度图，本公开实施例对此不做限定。
图7示出根据本公开实施例的活体检测方法的一个示例的示意图。在图7示出的例子中，第一图像为RGB图像，将RGB图像和第一深度图进行对齐校正处理，并将处理后的图像输入到人脸关键点模型中进行处理，得到RGB人脸图(人脸的图像)和深度人脸图(人脸的深度图)，并基于RGB人脸图对深度人脸图进行更新或修复。这样，能够降低后续的数据处理量，提高活体检测效率和准确率。
在本公开实施例中，人脸的活体检测结果可以为人脸为活体或者人脸为假体。
在一些实施例中，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。或者，通过其他活体检测算法对第一图像和第二深度图进行处理，得到活体检测结果。
在一些实施例中，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：对所述第一图像进行特征提取处理，得到第一特征信息；对所述第二深度图进行特征提取处理，得到第二特征信息；基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
其中，可选地，特征提取处理可以通过神经网络或其他机器学习算法实现，提取到的特征信息的类型可选地可以通过对样本的学习得到，本公开实施例对此不做限定。
在某些特定场景(如室外强光场景)下，获取到的深度图(例如深度传感器采集到的深度图)可能会出现部分面积失效的情况。此外，正常光照下，由于眼镜反光、黑色头发或者黑色眼镜边框等因素也会随机引起深度图局部失效。而某些特殊的纸质能够使得打印出的人脸照片产生类似的深度图大面积失效或者局部失效的效果。另外，通过遮挡深度传感器的主动光源也可以使得深度图部分失效，同时假体在图像传感器的成像正常。因此，在一些深度图的部分或全部失效的情况下，利用深度图区分活体和假体会造成误差。因此，在本公开实施例中，通过对第一深度图进行修复或更新，并利用修复或更新后的深度图进行活体检测，有利于提高活体检测的准确率。
图8示出根据本公开实施例的活体检测方法中基于第一图像和第二深度图，确定第一图像中的人脸的活体检测结果的一个示例的示意图。
在该示例中，将第一图像和第二深度图输入到活体检测神经网络中进行活体检测处理，得到活体检测结果。
如图8所示，该活体检测神经网络包括两个分支，即第一子网络和第二子网络，其中，第一子网络用于对第一图像进行特征提取处理，得到第一特征信息，第二子网络用于对第二深度图进行特征提取处理，得到第二特征信息。
在一个可选示例中，第一子网络可以包括卷积层、下采样层和全连接层。
例如，第一子网络可以包括一级卷积层、一级下采样层和一级全连接层。其中，该级卷积层可以包括一个或多个卷积层，该级下采样层可以包括一个或多个下采样层，该级全连接层可以包括一个或多个全连接层。
又如，第一子网络可以包括多级卷积层、多级下采样层和一级全连接层。其中，每级卷积层可以包括一个或多个卷积层，每级下采样层可以包括一个或多个下采样层，该级全连接层可以包括一个或多个全连接层。其中，第i级卷积层后级联第i级下采样层，第i级下采样层后级联第i+1级卷积层，第n级下采样层后级联全连接层，其中，i和n均为正整数，1≤i≤n，n表示深度预测神经网络中卷积层和下采样层的级数。
或者，第一子网络可以包括卷积层、下采样层、归一化层和全连接层。
例如，第一子网络可以包括一级卷积层、一个归一化层、一级下采样层和一级全连接层。其中，该级卷积层可以包括一个或多个卷积层，该级下采样层可以包括一个或多个下采样层，该级全连接层可以包括一个或多个全连接层。
又如，第一子网络可以包括多级卷积层、多个归一化层和多级下采样层和一级全连接层。其中，每级卷积层可以包括一个或多个卷积层，每级下采样层可以包括一个或多个下采样层，该级全连接层可以包括一个或多个全连接层。其中，第i级卷积层后级联第i个归一化层，第i个归一化层后级联第i级下采样层，第i级下采样层后级联第i+1级卷积层，第n级下采样层后级联全连接层，其中，i和n均为正整数，1≤i≤n，n表示第一子网络中卷积层、下采样层的级数和归一化层的个数。
作为一个示例，对第一图像进行卷积处理，得到第一卷积结果；对第一卷积结果进行下采样处理，得到第一下采样结果；基于第一下采样结果，得到第一特征信息。
例如，可以通过一级卷积层和一级下采样层对第一图像进行卷积处理和下采样处理。其中，其中，该级卷积层可以包括一个或多个卷积层，该级下采样层可以包括一个或多个下采样层。
又如，可以通过多级卷积层和多级下采样层对第一图像进行卷积处理和下采样处理。其中，每级卷积层可以包括一个或多个卷积层，每级下采样层可以包括一个或多个下采样层。
例如，对第一卷积结果进行下采样处理，得到第一下采样结果，可以包括：对第一卷积结果进行归一化处理，得到第一归一化结果；对第一归一化结果进行下采样处理，得到第一下采样结果。
例如，可以将第一下采样结果输入全连接层，通过全连接层对第一下采样结果进行融合处理，得到第一特征信息。
可选地，第二子网络和第一子网络具有相同的网络结构，但具有不同的参数。或者，第二子网络具有与第一子网络不同的网络结构，本公开实施例对此不做限定。
如图8所示，活体检测神经网络还包括第三子网络，用于对第一子网络得到的第一特征信息和第二子网络得到的第二特征信息进行处理，得到第一图像中的人脸的活体检测结果。可选地，第三子网络可以包括全连接层和输出层。例如，输出层采用softmax函数，若输出层的输出为1，则表示人脸为活体，若输出层的输出为0，则表示人脸为假体，但本公开实施例对第三子网络的具体实现不做限定。
作为一个示例，所述基于所述第一特征信息和所述第二特征信息，确定活体检测结果，包括：对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；基于所述第三特征信息，确定活体检测结果。
例如，通过全连接层对第一特征信息和第二特征信息进行融合处理，得到第三特征信息。
在一些实施例中，所述基于所述第三特征信息，确定活体检测结果，包括：基于所述第三特征信息，得到所述人脸为活体的概率；根据所述人脸为活体的概率，确定活体检测结果。
例如，若人脸为活体的概率大于第二阈值，则确定人脸的活体检测结果为人脸为活体。再例如，若人脸为活体的概率小于或等于第二阈值，则确定人脸的活体检测结果为假体。
在另一些实施例中，基于第三特征信息，得到人脸为假体的概率，并根据人脸为假体的概率，确定人脸的活体检测结果。例如，若人脸为假体的概率大于第三阈值，则确定人脸的活体检测结果为人脸为假体。再例如，若人脸为假体的概率小于或等于第三阈值，则确定人脸的活体检测结果为活体。
在一个例子中，可以将第三特征信息输入Softmax层中，通过Softmax层得到人脸为活体或假体的概率。例如，Softmax层的输出包括两个神经元，其中，一个神经元代表人脸为活体的概率，另一个神经元代表人脸为假体的概率，但本公开实施例不限于此。
在本公开实施例中，通过获取第一图像和第一图像对应的第一深度图，基于第一图像，更新第一深度图，得到第二深度图，基于第一图像和第二深度图，确定第一图像中的人脸的活体检测结果，由此能够完善深度图，从而提高活体检测的准确性。
在一种可能的实现方式中，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
具体地，基于第一图像确定第一图像中多个像素的深度预测值，并基于多个像素的深度预测值对第一深度图进行修复完善。
具体地，通过对第一图像进行处理，得到第一图像中多个像素的深度预测值。例如，将第一图像输入到深度预测深度网络中进行处理，得到多个像素的深度预测结果，例如，得到第一图像对应的深度预测图，但本公开实施例对此不做限定。
在一些实施例中，所述基于所述第一图像，确定所述第一图像中多个像素的深度预测值，包括：基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
作为一个示例，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。或者，通过其他方式对第一图像和第一深度图进行处理，得到多个像素的深度预测值，本公开实施例对此不做限定。
图9示出本公开实施例提供的车门控制方法中的深度预测神经网络的示意图。如图9所示，可以将第一图像和第一深度图输入到深度预测神经网络进行处理，得到初始深度估计图。基于初始深度估计图，可以确定第一图像中多个像素的深度预测值。例如，初始深度估计图的像素值为第一图像中的相应像素的深度预测值。
深度预测神经网络可以通过多种网络结构实现。在一个示例中，深度预测神经网络包括编码部分和解码部分。其中，可选地，编码部分可以包括卷积层和下采样层，解码部分包括反卷积层和/或上采样层。此外，编码部分和/或解码部分还可以包括归一化层，本公开实施例对编码部分和解码部分的具体实现不做限定。在编码部分，随着网络层数的增加，特征图的分辨率逐渐降低，特征图的数量逐渐增多，从而能够获取丰富的语义特征和图像空间特征；在解码部分，特征图的分辨率逐渐增大，解码部分最终输出的特征图的分辨率与第一深度图的分辨率相同。
在一些实施例中，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：对所述第一图像和所述第一深度图进行融合处理，得到融合结果；基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
在一个示例中，可以对第一图像和第一深度图进行连接(concat)，得到融合结果。
在一个示例中，对融合结果进行卷积处理，得到第二卷积结果；基于第二卷积结果进行下采样处理，得到第一编码结果；基于第一编码结果，确定第一图像中多个像素的深度预测值。
例如，可以通过卷积层对融合结果进行卷积处理，得到第二卷积结果。
例如，对第二卷积结果进行归一化处理，得到第二归一化结果；对第二归一化结果进行下采样处理，得到第一编码结果。在这里，可以通过归一化层对第二卷积结果进行归一化处理，得到第二归一化结果；通过下采样层对第二归一化结果进行下采样处理，得到第一编码结果。或者，可以通过下采样层对第二卷积结果进行下采样处理，得到第一编码结果。
例如，对第一编码结果进行反卷积处理，得到第一反卷积结果；对第一反卷积结果进行归一化处理，得到深度预测值。在这里，可以通过反卷积层对第一编码结果进行反卷积处理，得到第一反卷积结果；通过归一化层对第一反卷积结果进行归一化处理，得到深度预测值。或者，可以通过反卷积层对第一编码结果进行反卷积处理，得到深度预测值。
例如，对第一编码结果进行上采样处理，得到第一上采样结果；对第一上采样结果进行归一化处理，得到深度预测值。在这里，可以通过上采样层对第一编码结果进行上采样处理，得到第一上采样结果；通过归一化层对第一上采样结果进行归一化处理，得到深度预测值。或者，可以通过上采样层对第一编码结果进行上采样处理，得到深度预测值。
此外，通过对第一图像进行处理，得到第一图像中多个像素的关联信息。其中，第一图像中多个像素的关联信息可以包括第一图像的多个像素中每个像素与其周围像素之间的关联度。其中，像素的周围像素可以包括像素的至少一个相邻像素，或者包括与该像素间隔不超过一定数值的多个像素。例如，如图12所示，像素5的周围像素包括与其相邻的像素1、像素2、像素3、像素4、像素6、像素7、像素8和像素9，相应地，第一图像中多个像素的关联信息包括像素1、像素2、像素3、像素4、像素6、像素7、像素8和像素9与像素5之间的关联度。作为一个示例，第一像素与第二像素之间的关联度可以利用第一像素与第二像素的相关性来度量，其中，本公开实施例可以采用相关技术确定像素之间的相关性，在此不再赘述。
在本公开实施例中，可以通过多种方式确定多个像素的关联信息。在一些实施例中，所述基于所述第一图像，确定所述第一图像中多个像素的关联信息，包括：将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。例如，得到第一图像对应的关联特征图。或者，也可以通过其他算法得到多个像素的关联信息，本公开实施例对此不做限定。
图10示出本公开实施例提供的车门控制方法中的关联度检测神经网络的示意图。如图10所示，将第一图像输入到关联度检测神经网络进行处理，得到多张关联特征图。基于多张关联特征图，可以确定第一图像中多个像素的关联信息。例如，某一像素的周围像素指的是与该像素的距离等于0的像素，即，该像素的周围像素指的是与该像素相邻的像素，则关联度检测神经网络可以输出8张关联特征图。例如，在第一张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi-1,j-1与像素Pi,j之间的关联度，其中，Pi,j表示第i行第j列的像素；在第二张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi-1,j与像素Pi,j之间的关联度；在第三张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi-1,j+1与像素Pi,j之间的关联度；在第四张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi,j-1与像素Pi,j之间的关联度；在第五张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi,j+1与像素Pi,j之间的关联度；在第六张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi+1,j-1与像素Pi,j之间的关联度；在第七张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi+1,j与像素Pi,j之间的关联度；在第八张关联特征图中，像素Pi,j的像素值＝第一图像中像素Pi+1,j+1与像素Pi,j之间的关联度。
关联度检测神经网络可以通过多种网络结构实现。作为一个示例，关联度检测神经网络可以包括编码部分和解码部分。其中，编码部分可以包括卷积层和下采样层，解码部分可以包括反卷积层和/或上采样层。编码部分还可以包括归一化层，解码部分也可以包括归一化层。在编码部分，特征图的分辨率逐渐降低，特征图的数量逐渐增多，从而获取丰富的语义特征和图像空间特征；在解码部分，特征图的分辨率逐渐增大，解码部分最终输出的特征图的分辨率与第一图像的分辨率相同。在本公开实施例中，关联信息可以为图像，也可以为其他数据形式，例如矩阵等。
作为一个示例，将第一图像输入到关联度检测神经网络进行处理，得到第一图像中多个像素的关联信息，可以包括：对第一图像进行卷积处理，得到第三卷积结果；基于第三卷积结果进行下采样处理，得到第二编码结果；基于第二编码结果，得到第一图像中多个像素的关联信息。
在一个示例中，可以通过卷积层对第一图像进行卷积处理，得到第三卷积结果。
在一个示例中，基于第三卷积结果进行下采样处理，得到第二编码结果，可以包括：对第三卷积结果进行归一化处理，得到第三归一化结果；对第三归一化结果进行下采样处理，得到第二编码结果。在该示例中，可以通过归一化层对第三卷积结果进行归一化处理，得到第三归一化结果；通过下采样层对第三归一化结果进行下采样处理，得到第二编码结果。或者，可以通过下采样层对第三卷积结果进行下采样处理，得到第二编码结果。
在一个示例中，基于第二编码结果，确定关联信息，可以包括：对第二编码结果进行反卷积处理，得到第二反卷积结果；对第二反卷积结果进行归一化处理，得到关联信息。在该示例中，可以通过反卷积层对第二编码结果进行反卷积处理，得到第二反卷积结果；通过归一化层对第二反卷积结果进行归一化处理，得到关联信息。或者，可以通过反卷积层对第二编码结果进行反卷积处理，得到关联信息。
在一个示例中，基于第二编码结果，确定关联信息，可以包括：对第二编码结果进行上采样处理，得到第二上采样结果；对第二上采样结果进行归一化处理，得到关联信息。在示例中，可以通过上采样层对第二编码结果进行上采样处理，得到第二上采样结果；通过归一化层对第二上采样结果进行归一化处理，得到关联信息。或者，可以通过上采样层对第二编码结果进行上采样处理，得到关联信息。
当前的TOF、结构光等3D传感器，在室外容易受到阳光的影响，导致深度图有大面积的空洞缺失，从而影响3D活体检测算法的性能。本公开实施例提出的基于深度图自完善的3D活体检测算法，通过对3D传感器检测到的深度图的完善修复，提高了3D活体检测算法的性能。
在一些实施例中，在得到多个像素的深度预测值和关联信息之后，基于多个像素的深度预测值和关联信息，对第一深度图进行更新处理，得到第二深度图。图11示出本公开实施例提供的车门控制方法中深度图更新的一示例性的示意图。在图11所示的例子中，第一深度图为带缺失值的深度图，得到的多个像素的深度预测值和关联信息分别为初始深度估计图和关联特征图，此时，将带缺失值的深度图、初始深度估计图和关联特征图输入到深度图更新模块(例如深度更新神经网络)中进行处理，得到最终深度图，即第二深度图。
在一种可能的实现方式中，所述基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图，包括：确定所述第一深度图中的深度失效像素；从所述多个像素的深度预测值中获取深度失效像素的深度预测值以及深度失效像素的多个周围像素的深度预测值；从所述多个像素的关联信息中获取深度失效像素与深度失效像素的多个周围像素之间的关联度；基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
在本公开实施例中，可以通过多种方式确定深度图中的深度失效像素。作为一个示例，将第一深度图中深度值等于0的像素确定为深度失效像素，或将第一深度图中不具有深度值的像素确定为深度失效像素。
在该示例中，对于带缺失值的第一深度图中有值的部分(即深度值不为0)，我们认为其深度值是正确可信的，对这部分不进行更新，保留原始的深度值。而对第一深度图中深度值为0的像素的深度值进行更新。
作为另一个示例，深度传感器可以将深度失效像素的深度值设置为一个或多个预设数值或预设范围。在示例中，可以将第一深度图中深度值等于预设数值或者属于预设范围的像素确定为深度失效像素。
本公开实施例也可以基于其他统计方式确定第一深度图中的深度失效像素，本公开实施例对此不做限定。
在该实现方式中，可以将第一图像中与深度失效像素位置相同的像素的深度值确定为深度失效像素的深度预测值，类似地，可以将第一图像中与深度失效像素的周围像素位置相同的像素的深度值确定为深度失效像素的周围像素的深度预测值。
作为一个示例，深度失效像素的周围像素与深度失效像素之间的距离小于或等于第一阈值。
图12示出本公开实施例提供的车门控制方法中周围像素的示意图。例如，第一阈值为0，则只将邻居像素作为周围像素。例如，像素5的邻居像素包括像素1、像素2、像素3、像素4、像素6、像素7、像素8和像素9，则只将像素1、像素2、像素3、像素4、像素6、像素7、像素8和像素9作为像素5的周围像素。
图13示出本公开实施例提供的车门控制方法中周围像素的另一示意图。例如，第一阈值为1，则除了将邻居像素作为周围像素，还将邻居像素的邻居像素作为周围像素。即，除了将像素1、像素2、像素3、像素4、像素6、像素7、像素8和像素9作为像素5的周围像素，还将像素10至像素25作为像素5的周围像素。
作为一个示例，所述基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的更新后的深度值，包括：基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
作为另一个示例，基于深度失效像素的周围像素的深度预测值以及深度失效像素与该周围像素之间的关联度，确定该周围像素对于深度失效像素的有效深度值；基于深度失效像素的各个周围像素对于深度失效像素的有效深度值，以及深度失效像素的深度预测值，确定深度失效像素的更新后的深度值。例如，可以将深度失效像素的某一周围像素的深度预测值与该周围像素对应的关联度的乘积，确定为该周围像素对于深度失效像素的有效深度值，其中，该周围像素对应的关联度指的是该周围像素与深度失效像素之间的关联度。例如，可以确定深度失效像素的各个周围像素对于深度失效像素的有效深度值之和与第一预设系数的乘积，得到第一乘积；确定深度失效像素的深度预测值与第二预设系数的乘积，得到第二乘积；将第一乘积与第二乘积之和确定为深度失效像素的更新后的深度值。在一些实施例中，第一预设系数与第二预设系数之和为1。
在一个示例中，所述基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值，包括：将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。例如，像素5为深度失效像素，则深度失效像素5的深度关联值为
Figure BDA0002243018020000261
深度失效像素5的更新后的深度值
Figure BDA0002243018020000262
其中，
Figure BDA0002243018020000263
wi表示像素i与像素5之间的关联度，Fi表示像素i的深度预测值。
在另一个示例中，确定深度失效像素的多个周围像素中每个周围像素与深度失效像素之间的关联度和每个周围像素的深度预测值的乘积；将乘积的最大值确定为深度失效像素的深度关联值。
在一个示例中，将深度失效像素的深度预测值与深度关联值之和确定为深度失效像素的更新后的深度值。
在另一个示例中，确定深度失效像素的深度预测值与第三预设系数的乘积，得到第三乘积；确定深度关联值与第四预设系数的乘积，得到第四乘积；将第三乘积与第四乘积之和确定为深度失效像素的更新后的深度值。在一些实施例中，第三预设系数与第四预设系数之和为1。
在一些实施例中，非深度失效像素在第二深度图中的深度值等于该非深度失效像素在第一深度图中的深度值。
在另一些实施例中，也可以对非深度失效像素的深度值进行更新，以得到更准确的第二深度图，从而能够进一步提高活体检测的准确性。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了车门控制装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种车门控制方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图14示出根据本公开实施例的车门控制装置的框图。如图14所示，所述车门控制装置包括：第一控制模块21，用于控制设置于车的图像采集模组采集视频流；人脸识别模块22，用于基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；第一确定模块23，用于基于所述人脸识别结果，确定所述车的至少一车门对应的控制信息；第一获取模块24，用于若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；第二控制模块25，用于若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
在一种可能的实现方式中，所述装置还包括：第二确定模块，用于基于所述视频流，确定开门意图信息；所述第一确定模块23，用于：基于所述人脸识别结果和所述开门意图信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第二确定模块用于：确定所述视频流中相邻帧的图像的交并比；根据所述相邻帧的图像的交并比，确定开门意图信息。
在一种可能的实现方式中，所述第二确定模块用于：将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
在一种可能的实现方式中，所述第二确定模块用于：缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；确定缓存的交并比的平均值；若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第二确定模块用于：确定所述视频流中最新采集的多帧图像中人体区域的面积；根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
在一种可能的实现方式中，所述第二确定模块用于：若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第二确定模块用于：若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功，且所述开门意图信息为有意开门，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述装置还包括：第三确定模块，用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；所述第一确定模块23用于：基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，所述装置还包括：第三确定模块，用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；所述第一确定模块23用于：基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
在一种可能的实现方式中，所述第三确定模块用于：对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；基于所述物体检测结果，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：检测所述视频流中的至少一张图像中人体的边界框；对所述边界框对应的区域进行物体检测，得到物体检测结果。
在一种可能的实现方式中，所述第三确定模块用于：若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；基于所述距离，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：若所述物体检测结果为检测到物体，则获取所述物体的尺寸；所述基于所述距离，确定所述人的物体携带信息，包括：基于所述距离和所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第三确定模块用于：若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
在一种可能的实现方式中，所述第三确定模块用于：若所述物体检测结果为检测到物体，则获取所述物体的尺寸；基于所述尺寸，确定所述人的物体携带信息。
在一种可能的实现方式中，所述第一控制模块21用于：控制设置于车的后备箱门上的图像采集模组采集视频流。
在一种可能的实现方式中，所述装置还包括：第三控制模块，用于在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制所述后备箱门打开。
在一种可能的实现方式中，所述第一确定模块23用于：若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。
在一种可能的实现方式中，所述装置还包括：第四控制模块，用于在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。
在一种可能的实现方式中，所述自动关门条件包括以下一项或多项：控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；所述车门打开的时长达到第二预设时长。
在一种可能的实现方式中，所述人脸识别包括人脸认证；所述人脸识别模块22用于：基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。
在一种可能的实现方式中，所述人脸识别还包括活体检测；所述人脸识别模块22用于：经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；基于所述第一图像和所述第一深度图进行活体检测。
在一种可能的实现方式中，所述人脸识别还包括权限认证；所述人脸识别模块22用于：基于所述视频流中的第一图像获取所述人的开门权限信息；基于所述人的开门权限信息进行权限认证。
在一种可能的实现方式中，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
在一种可能的实现方式中，所述人具有开门权限的车门的信息为所有车门或者后备箱门。
在一种可能的实现方式中，所述装置还包括以下一项或两项：第一注册模块，用于根据所述图像采集模组采集的人脸图像进行用户注册；第二注册模块，用于根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
在一种可能的实现方式中，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；所述注册信息还包括所述上传的人脸图像对应的开门权限信息。
在一种可能的实现方式中，所述第一控制模块21用于：控制设置于车的室外部的图像采集模组采集车外的视频流。
在一种可能的实现方式中，所述第一控制模块21用于：控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述第一控制模块21用于：在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。
在一种可能的实现方式中，所述装置还包括：第二获取模块，用于获取所述车的乘坐人员调节座椅的信息；生成或更新模块，用于根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述生成或更新模块用于：根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
在一种可能的实现方式中，所述装置还包括：第三获取模块，用于基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；座椅调节模块，用于根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，所述座椅调节模块用于：确定所述乘车人员落座的座椅的位置信息；根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
在一种可能的实现方式中，所述装置还包括：搜索模块，用于经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；建立模块，用于响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；唤醒模块，用于响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；所述第一控制模块21用于：经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
在一种可能的实现方式中，所搜索模块用于：在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。
在一种可能的实现方式中，所述装置还包括：第七控制模块，用于若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述装置还包括：第五控制模块，用于若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述装置还包括：第六控制模块，用于在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述第一图像，更新所述第一深度图，得到第二深度图；基于所述第一图像和所述第二深度图，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
在一种可能的实现方式中，所述人脸识别模块22用于：确定所述第一深度图中的深度失效像素；从所述多个像素的深度预测值中获取所述深度失效像素的深度预测值以及所述深度失效像素的多个周围像素的深度预测值；从所述多个像素的关联信息中获取所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度；基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
在一种可能的实现方式中，所述人脸识别模块22用于：将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块22用于：将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块22用于：对所述第一图像和所述第一深度图进行融合处理，得到融合结果；基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
在一种可能的实现方式中，所述人脸识别模块22用于：将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。
在一种可能的实现方式中，所述人脸识别模块22用于：从所述第一图像中获取人脸的图像；基于所述人脸的图像，更新所述第一深度图。
在一种可能的实现方式中，所述人脸识别模块22用于：获取所述第一图像中人脸的关键点信息；基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
在一种可能的实现方式中，所述人脸识别模块22用于：对所述第一图像进行人脸检测，得到人脸所在区域；对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
在一种可能的实现方式中，所述人脸识别模块22用于：从所述第一深度图中获取人脸的深度图；基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
在一种可能的实现方式中，所述人脸识别模块22用于：将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。
在一种可能的实现方式中，所述人脸识别模块22用于：对所述第一图像进行特征提取处理，得到第一特征信息；对所述第二深度图进行特征提取处理，得到第二特征信息；基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块22用于：对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；基于所述第三特征信息，确定活体检测结果。
在一种可能的实现方式中，所述人脸识别模块22用于：基于所述第三特征信息，得到所述人脸为活体的概率；根据所述人脸为活体的概率，确定活体检测结果。
在一种可能的实现方式中，所述装置还包括：密码解锁模块，用于响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图15示出本公开实施例提供的车门控制系统的框图。如图15所示，所述车门控制系统包括：存储器41、物体检测模组42、人脸识别模组43和图像采集模组44；所述人脸识别模组43分别与所述存储器41、所述物体检测模组42和所述图像采集模组44连接，所述物体检测模组42与所述图像采集模组44连接；所述人脸识别模组43还设置有用于与车门域控制器连接的通信接口，所述人脸识别模组通过所述通信接口向所述车门域控制器发送用于解锁和弹开车门的控制信息。
在一种可能的实现方式中，所述车门控制系统还包括：与所述人脸识别模组43连接的蓝牙模块45；所述蓝牙模块45包括在与预设标识的蓝牙设备蓝牙配对连接成功或者搜索到所述预设标识的蓝牙设备时唤醒所述人脸识别模组43的微处理器451和与所述微处理器451连接的蓝牙传感器452。
在一种可能的实现方式中，存储器41可以包括闪存(Flash)和DDR3(Double DateRate 3，第三代双倍数据率)内存中的至少一项。
在一种可能的实现方式中，人脸识别模组43可以采用SoC(System on Chip，系统级芯片)实现。
在一种可能的实现方式中，人脸识别模组43通过CAN(Controller Area Network，控制器局域网络)总线与车门域控制器连接。
在一种可能的实现方式中，所述图像采集模组44包括图像传感器和深度传感器。
在一种可能的实现方式中，深度传感器包括双目红外传感器和飞行时间TOF传感器中的至少一项。
在一种可能的实现方式中，深度传感器包括双目红外传感器，双目红外传感器的两个红外摄像头设置在图像传感器的摄像头的两侧。例如，在图4a所示的示例中，图像传感器为RGB传感器，图像传感器的摄像头为RGB摄像头，深度传感器为双目红外传感器，深度传感器包括两个IR(红外)摄像头，双目红外传感器的两个红外摄像头设置在图像传感器的RGB摄像头的两侧。
在一种可能的实现方式中，图像采集模组44还包括至少一个补光灯，该至少一个补光灯设置在双目红外传感器的红外摄像头和图像传感器的摄像头之间，该至少一个补光灯包括用于图像传感器的补光灯和用于深度传感器的补光灯中的至少一种。例如，若图像传感器为RGB传感器，则用于图像传感器的补光灯可以为白光灯；若图像传感器为红外传感器，则用于图像传感器的补光灯可以为红外灯；若深度传感器为双目红外传感器，则用于深度传感器的补光灯可以为红外灯。在图4a所示的示例中，在双目红外传感器的红外摄像头和图像传感器的摄像头之间设置红外灯。例如，红外灯可以采用940nm的红外线。
在一个示例中，补光灯可以处于常开模式。在该示例中，在图像采集模组的摄像头处于工作状态时，补光灯处于开启状态。
在另一个示例中，可以在光线不足时开启补光灯。例如，可以通过环境光传感器获取环境光强度，并在环境光强度低于光强阈值时判定光线不足，并开启补光灯。
在一种可能的实现方式中，所述图像采集模组44还包括激光器，所述激光器设置在所述深度传感器的摄像头和所述图像传感器的摄像头之间。例如，在图4b所示的示例中，图像传感器为RGB传感器，图像传感器的摄像头为RGB摄像头，深度传感器为TOF传感器，激光器设置在TOF传感器的摄像头和RGB传感器的摄像头之间。例如，激光器可以为VCSEL，TOF传感器可以基于VCSEL发出的激光采集深度图。
在一个示例中，深度传感器通过LVDS(Low-Voltage Differential Signaling，低电压差分信号)接口与人脸识别模组43连接。
在一种可能的实现方式中，所述车载人脸解锁系统还包括：用于解锁车门的密码解锁模块46，所述密码解锁模块46与所述人脸识别模组43连接。
在一种可能的实现方式中，所述密码解锁模块46包括触控屏和键盘中的一项或两项。
在一个示例中，触摸屏通过FPD-Link(Flat Panel Display Link，平板显示器链路)与人脸识别模组43连接。
在一种可能的实现方式中，所述车载人脸解锁系统还包括：电池模组47，所述电池模组47与所述人脸识别模组43连接。在一个示例中，所述电池模组47还与所述微处理器451连接。
在一种可能的实现方式中，存储器41、人脸识别模组43、蓝牙模块45和电池模组47可以搭建在ECU(Electronic Control Unit，电子控制单元)上。
图16示出根据本公开实施例的车门控制系统的示意图。在图16所示的示例中，人脸识别模组采用SoC101实现，存储器包括闪存(Flash)102和DDR3内存103，蓝牙模块包括蓝牙传感器(Bluetooth)104和微处理器(MCU，Microcontroller Unit)105，SoC101、闪存102、DDR3内存103、蓝牙传感器104、微处理器105和电池模组(Power Management)106搭建在ECU100上，图像采集模组包括深度传感器(3D Camera)200，深度传感器200通过LVDS接口与SoC101连接，密码解锁模块包括触控屏(Touch Screen)300，触摸屏300通过FPD-Link与SoC101连接，SoC101通过CAN总线与车门域控制器400连接。
图17示出本公开实施例提供的车的示意图。如图17所示，车包括车门控制系统51，所述车门控制系统51与所述车的车门域控制器52连接。
在一种可能的实现方式中，所述图像采集模组设置在所述车的室外部。
在一种可能的实现方式中，所述图像采集模组设置在以下至少一个位置上：所述车的B柱、至少一个车门、至少一个后视镜。
在一种可能的实现方式中，所述图像采集模组设置在所述车的室内部。
在一种可能的实现方式中，所述人脸识别模组设置在所述车内，所述人脸识别模组经CAN总线与所述车门域控制器连接。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。其中，所述计算机可读存储介质可以是非易失性计算机可读存储介质，或者可以是易失性计算机可读存储介质。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的车门控制方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的车门控制方法的操作。
本公开实施例还提供一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图18示出本公开实施例提供的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图18，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi、2G、3G、4G/LTE、5G或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图19示出本公开实施例提供的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图19，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows
Figure BDA0002243018020000321
或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (138)

1.一种车门控制方法，其特征在于，包括：
控制设置于车的图像采集模组采集视频流；
基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息；
若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；
若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息之前，所述方法还包括：
基于所述视频流，确定开门意图信息；
所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述视频流，确定开门意图信息，包括：
确定所述视频流中相邻帧的图像的交并比；
根据所述相邻帧的图像的交并比，确定开门意图信息。
4.根据权利要求3所述的方法，其特征在于，所述确定所述视频流中相邻帧的图像的交并比，包括：
将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
5.根据权利要求3所述的方法，其特征在于，所述根据所述相邻帧的图像的交并比，确定开门意图信息，包括：
缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；
确定缓存的交并比的平均值；
若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。
6.根据权利要求2所述的方法，其特征在于，所述基于所述视频流，确定开门意图信息，包括：
确定所述视频流中最新采集的多帧图像中人体区域的面积；
根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息，包括：
若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
8.根据权利要求6所述的方法，其特征在于，所述基于所述视频流，确定开门意图信息，包括：
若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
10.根据权利要求1至8中任意一项所述的方法，其特征在于，所述基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
11.根据权利要求2至8中任意一项所述的方法，其特征在于，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
12.根据权利要求2至8中任意一项所述的方法，其特征在于，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
13.根据权利要求1至8中任意一项所述的方法，其特征在于，所述对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息，包括：
对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；
基于所述物体检测结果，确定所述人的物体携带信息。
14.根据权利要求13所述的方法，其特征在于，所述对所述视频流中的至少一张图像进行物体检测，得到物体检测结果，包括：
检测所述视频流中的至少一张图像中人体的边界框；
对所述边界框对应的区域进行物体检测，得到物体检测结果。
15.根据权利要求13所述的方法，其特征在于，所述基于所述物体检测结果，确定所述人的物体携带信息，包括：
若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；
基于所述距离，确定所述人的物体携带信息。
16.根据权利要求15所述的方法，其特征在于，所述基于所述物体检测结果，确定所述人的物体携带信息，还包括：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
所述基于所述距离，确定所述人的物体携带信息，包括：
基于所述距离和所述尺寸，确定所述人的物体携带信息。
17.根据权利要求16所述的方法，其特征在于，所述基于所述距离和所述尺寸，确定所述人的物体携带信息，包括：
若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
18.根据权利要求13所述的方法，其特征在于，所述基于所述物体检测结果，确定所述人的物体携带信息，包括：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
基于所述尺寸，确定所述人的物体携带信息。
19.根据权利要求18所述的方法，其特征在于，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的后备箱门上的图像采集模组采集视频流。
20.根据权利要求10所述的方法，其特征在于，在所述确定所述控制信息包括控制所述车的后备箱门打开之后，所述方法还包括：
在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制所述后备箱门打开。
21.根据权利要求11所述的方法，其特征在于，所述基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息，包括：
若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。
22.根据权利要求1至8中任意一项所述的方法，其特征在于，在控制所述车门打开之后，所述方法还包括：
在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。
23.根据权利要求22所述的方法，其特征在于，所述自动关门条件包括以下一项或多项：
控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；
控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；
所述车门打开的时长达到第二预设时长。
24.根据权利要求1至8中任意一项所述的方法，其特征在于，所述人脸识别包括人脸认证；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。
25.根据权利要求24所述的方法，其特征在于，所述人脸识别还包括活体检测；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；
基于所述第一图像和所述第一深度图进行活体检测。
26.根据权利要求24所述的方法，其特征在于，所述人脸识别还包括权限认证；
所述基于所述视频流中的至少一张图像进行人脸识别，包括：
基于所述视频流中的第一图像获取所述人的开门权限信息；
基于所述人的开门权限信息进行权限认证。
27.根据权利要求26所述的方法，其特征在于，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
28.根据权利要求27所述的方法，其特征在于，所述人具有开门权限的车门的信息为所有车门或者后备箱门。
29.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法还包括以下一项或两项：
根据所述图像采集模组采集的人脸图像进行用户注册；
根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
30.根据权利要求29所述的方法，其特征在于，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；
所述注册信息还包括所述上传的人脸图像对应的开门权限信息。
31.根据权利要求1至8中任意一项所述的方法，其特征在于，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的室外部的图像采集模组采集车外的视频流。
32.根据权利要求1至8中任意一项所述的方法，其特征在于，所述控制设置于车的图像采集模组采集视频流，包括：
控制设置于车的室内部的图像采集模组采集车内的视频流。
33.根据权利要求32所述的方法，其特征在于，所述控制设置于车的室内部的图像采集模组采集车内的视频流，包括：
在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。
34.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法还包括：
获取所述车的乘坐人员调节座椅的信息；
根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
35.根据权利要求34所述的方法，其特征在于，所述根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息，包括：
根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
36.根据权利要求1至8中任意一项所述的方法，其特征在于，所述方法还包括：
基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；
根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
37.根据权利要求36所述的方法，其特征在于，所述根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节，包括：
确定所述乘车人员落座的座椅的位置信息；
根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
38.根据权利要求1至8中任意一项所述的方法，其特征在于，在所述控制设置于车的图像采集模组采集视频流之前，所述方法还包括：
经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；
响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；
响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；
所述控制设置于车的图像采集模组采集视频流，包括：
经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
39.根据权利要求38所述的方法，其特征在于，所述经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备，包括：
在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。
40.根据权利要求38所述的方法，其特征在于，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。
41.根据权利要求38所述的方法，其特征在于，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。
42.根据权利要求38所述的方法，其特征在于，在所述唤醒设置于所述车的人脸识别模组之后，所述方法还包括：
在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。
43.根据权利要求25所述的方法，其特征在于，所述基于所述第一图像和所述第一深度图进行活体检测，包括：
基于所述第一图像，更新所述第一深度图，得到第二深度图；
基于所述第一图像和所述第二深度图，确定活体检测结果。
44.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
45.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；
基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
46.根据权利要求45所述的方法，其特征在于，所述基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图，包括：
确定所述第一深度图中的深度失效像素；
从所述多个像素的深度预测值中获取所述深度失效像素的深度预测值以及所述深度失效像素的多个周围像素的深度预测值；
从所述多个像素的关联信息中获取所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度；
基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
47.根据权利要求46所述的方法，其特征在于，所述基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的更新后的深度值，包括：
基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；
基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
48.根据权利要求47所述的方法，其特征在于，所述基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值，包括：
将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。
49.根据权利要求45所述的方法，其特征在于，所述基于所述第一图像，确定所述第一图像中多个像素的深度预测值，包括：
基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
50.根据权利要求49所述的方法，其特征在于，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：
将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。
51.根据权利要求49所述的方法，其特征在于，所述基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值，包括：
对所述第一图像和所述第一深度图进行融合处理，得到融合结果；
基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
52.根据权利要求45所述的方法，其特征在于，所述基于所述第一图像，确定所述第一图像中多个像素的关联信息，包括：
将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。
53.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像，更新所述第一深度图，包括：
从所述第一图像中获取人脸的图像；
基于所述人脸的图像，更新所述第一深度图。
54.根据权利要求53所述的方法，其特征在于，所述从所述第一图像中获取人脸的图像，包括：
获取所述第一图像中人脸的关键点信息；
基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
55.根据权利要求54所述的方法，其特征在于，所述获取所述第一图像中人脸的关键点信息，包括：
对所述第一图像进行人脸检测，得到人脸所在区域；
对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
56.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像，更新所述第一深度图，得到第二深度图，包括：
从所述第一深度图中获取人脸的深度图；
基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
57.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：
将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。
58.根据权利要求43所述的方法，其特征在于，所述基于所述第一图像和所述第二深度图，确定活体检测结果，包括：
对所述第一图像进行特征提取处理，得到第一特征信息；
对所述第二深度图进行特征提取处理，得到第二特征信息；
基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
59.根据权利要求58所述的方法，其特征在于，所述基于所述第一特征信息和所述第二特征信息，确定活体检测结果，包括：
对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；
基于所述第三特征信息，确定活体检测结果。
60.根据权利要求59所述的方法，其特征在于，所述基于所述第三特征信息，确定活体检测结果，包括：
基于所述第三特征信息，得到所述人脸为活体的概率；
根据所述人脸为活体的概率，确定活体检测结果。
61.根据权利要求1至8中任意一项所述的方法，其特征在于，在所述得到人脸识别结果之后，所述方法还包括：
响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
62.一种车门控制装置，其特征在于，包括：
第一控制模块，用于控制设置于车的图像采集模组采集视频流；
人脸识别模块，用于基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果；
第三确定模块，用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；
第一确定模块，用于基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息；
第一获取模块，用于若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息；
第二控制模块，用于若所述车门的状态信息为未解锁，则控制所述车门解锁并打开；和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
63.根据权利要求62所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于基于所述视频流，确定开门意图信息；
所述第一确定模块，用于：
基于所述人脸识别结果、所述开门意图信息和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息。
64.根据权利要求63所述的装置，其特征在于，所述第二确定模块用于：
确定所述视频流中相邻帧的图像的交并比；
根据所述相邻帧的图像的交并比，确定开门意图信息。
65.根据权利要求64所述的装置，其特征在于，所述第二确定模块用于：
将所述视频流中相邻帧的图像中人体的边界框的交并比，确定为所述相邻帧的图像的交并比。
66.根据权利要求64所述的装置，其特征在于，所述第二确定模块用于：
缓存最新采集的N组相邻帧的图像的交并比，其中，N为大于1的整数；
确定缓存的交并比的平均值；
若所述平均值大于第一预设值的持续时间达到第一预设时长，则确定所述开门意图信息为有意开门。
67.根据权利要求63所述的装置，其特征在于，所述第二确定模块用于：
确定所述视频流中最新采集的多帧图像中人体区域的面积；
根据所述最新采集的多帧图像中人体区域的面积，确定所述开门意图信息。
68.根据权利要求67所述的装置，其特征在于，所述第二确定模块用于：
若所述最新采集的多帧图像中人体区域的面积均大于第一预设面积，则确定所述开门意图信息为有意开门。
69.根据权利要求67所述的装置，其特征在于，所述第二确定模块用于：
若所述最新采集的多帧图像中人体区域的面积逐渐增大，则确定所述开门意图信息为有意开门。
70.根据权利要求62至69中任意一项所述的装置，其特征在于，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
71.根据权利要求62至69中任意一项所述的装置，其特征在于，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
72.根据权利要求63至69中任意一项所述的装置，其特征在于，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带物体，则确定所述控制信息包括控制所述车的至少一车门打开。
73.根据权利要求63至69中任意一项所述的装置，其特征在于，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功，所述开门意图信息为有意开门，且所述人的物体携带信息为所述人携带预设类别的物体，则确定所述控制信息包括控制所述车的后备箱门打开。
74.根据权利要求62至69中任意一项所述的装置，其特征在于，所述第三确定模块用于：
对所述视频流中的至少一张图像进行物体检测，得到物体检测结果；
基于所述物体检测结果，确定所述人的物体携带信息。
75.根据权利要求74所述的装置，其特征在于，所述第三确定模块用于：
检测所述视频流中的至少一张图像中人体的边界框；
对所述边界框对应的区域进行物体检测，得到物体检测结果。
76.根据权利要求74所述的装置，其特征在于，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体与所述人的手部之间的距离；
基于所述距离，确定所述人的物体携带信息。
77.根据权利要求76所述的装置，其特征在于，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
所述基于所述距离，确定所述人的物体携带信息，包括：
基于所述距离和所述尺寸，确定所述人的物体携带信息。
78.根据权利要求77所述的装置，其特征在于，所述第三确定模块用于：
若所述距离小于或等于预设距离，且所述尺寸大于或等于预设尺寸，则确定所述人的物体携带信息为所述人携带物体。
79.根据权利要求74所述的装置，其特征在于，所述第三确定模块用于：
若所述物体检测结果为检测到物体，则获取所述物体的尺寸；
基于所述尺寸，确定所述人的物体携带信息。
80.根据权利要求79所述的装置，其特征在于，所述第一控制模块用于：
控制设置于车的后备箱门上的图像采集模组采集视频流。
81.根据权利要求79所述的装置，其特征在于，所述装置还包括：
第三控制模块，用于在根据设置于所述车的室内部的图像采集模组采集的视频流确定所述人离开所述室内部，或者在检测到所述人的开门意图信息为有意下车的情况下，控制后备箱门打开。
82.根据权利要求72所述的装置，其特征在于，所述第一确定模块用于：
若所述人脸识别结果为人脸识别成功且不为驾驶员，所述开门意图信息为有意开门，且所述人的物体携带信息为携带物体，则确定所述控制信息包括控制所述车的至少一非驾驶座车门打开。
83.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括：
第四控制模块，用于在满足自动关门条件的情况下，控制所述车门关闭，或者，控制所述车门关闭并上锁。
84.根据权利要求83所述的装置，其特征在于，所述自动关门条件包括以下一项或多项：
控制所述车门打开的开门意图信息为有意上车，且根据所述车的室内部的图像采集模组采集的视频流确定有意上车的人已落座；
控制所述车门打开的开门意图信息为有意下车，且根据所述车的室内部的图像采集模组采集的视频流确定有意下车的人已离开所述室内部；
所述车门打开的时长达到第二预设时长。
85.根据权利要求62至69中任意一项所述的装置，其特征在于，所述人脸识别包括人脸认证；
所述人脸识别模块用于：
基于所述视频流中的第一图像和预注册的人脸特征进行人脸认证。
86.根据权利要求85所述的装置，其特征在于，所述人脸识别还包括活体检测；
所述人脸识别模块用于：
经所述图像采集模组中的深度传感器采集所述视频流中的第一图像对应的第一深度图；
基于所述第一图像和所述第一深度图进行活体检测。
87.根据权利要求85所述的装置，其特征在于，所述人脸识别还包括权限认证；
所述人脸识别模块用于：
基于所述视频流中的第一图像获取所述人的开门权限信息；
基于所述人的开门权限信息进行权限认证。
88.根据权利要求87所述的装置，其特征在于，所述人的开门权限信息包括以下一项或多项：所述人具有开门权限的车门的信息、所述人具有开门权限的时间、所述人对应的开门权限次数。
89.根据权利要求88所述的装置，其特征在于，所述人具有开门权限的车门的信息为所有车门或者后备箱门。
90.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括以下一项或两项：
第一注册模块，用于根据所述图像采集模组采集的人脸图像进行用户注册；
第二注册模块，用于根据第一终端采集或上传的人脸图像进行远程注册，并将注册信息发送到所述车上，其中，所述第一终端为车主对应的终端，所述注册信息包括采集或上传的人脸图像。
91.根据权利要求90所述的装置，其特征在于，所述第一终端上传的人脸图像包括第二终端向所述第一终端发送的人脸图像，所述第二终端为临时用户对应的终端；
所述注册信息还包括所述上传的人脸图像对应的开门权限信息。
92.根据权利要求62至69中任意一项所述的装置，其特征在于，所述第一控制模块用于：
控制设置于车的室外部的图像采集模组采集车外的视频流。
93.根据权利要求62至69中任意一项所述的装置，其特征在于，所述第一控制模块用于：
控制设置于车的室内部的图像采集模组采集车内的视频流。
94.根据权利要求93所述的装置，其特征在于，所述第一控制模块用于：
在所述车的行驶速度为0且所述车内有人的情况下，控制设置于车的室内部的图像采集模组采集车内的视频流。
95.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述车的乘坐人员调节座椅的信息；
生成或更新模块，用于根据所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
96.根据权利要求95所述的装置，其特征在于，所述生成或更新模块用于：
根据所述乘坐人员落座的座椅的位置信息，以及所述乘坐人员调节座椅的信息，生成或者更新所述乘坐人员对应的座椅偏好信息。
97.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于基于所述人脸识别结果，获取乘车人员对应的座椅偏好信息；
座椅调节模块，用于根据所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
98.根据权利要求97所述的装置，其特征在于，所述座椅调节模块用于：
确定所述乘车人员落座的座椅的位置信息；
根据所述乘车人员落座的座椅的位置信息，以及所述乘车人员对应的座椅偏好信息，对所述乘车人员落座的座椅进行调节。
99.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括：
搜索模块，用于经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备；
建立模块，用于响应于搜索到所述预设标识的蓝牙设备，建立所述蓝牙模块与所述预设标识的蓝牙设备的蓝牙配对连接；
唤醒模块，用于响应于所述蓝牙配对连接成功，唤醒设置于所述车的人脸识别模组；
所述第一控制模块用于：
经唤醒的所述人脸识别模组控制所述图像采集模组采集视频流。
100.根据权利要求99所述的装置，其特征在于，所搜索模块用于：
在所述车处于熄火状态或处于熄火且车门锁闭状态时，经设置于所述车的蓝牙模块搜索预设标识的蓝牙设备。
101.根据权利要求99所述的装置，其特征在于，所述装置还包括：
第七控制模块，用于若在预设时间内未采集到人脸图像，则控制所述人脸识别模组进入休眠状态。
102.根据权利要求99所述的装置，其特征在于，所述装置还包括：
第五控制模块，用于若在预设时间内未通过人脸识别，则控制所述人脸识别模组进入休眠状态。
103.根据权利要求99所述的装置，其特征在于，所述装置还包括：
第六控制模块，用于在所述车的行驶速度不为0的情况下，控制所述人脸识别模组进入休眠状态。
104.根据权利要求86所述的装置，其特征在于，所述人脸识别模块用于：
基于所述第一图像，更新所述第一深度图，得到第二深度图；
基于所述第一图像和所述第二深度图，确定活体检测结果。
105.根据权利要求104所述的装置，其特征在于，所述人脸识别模块用于：
基于所述第一图像，对所述第一深度图中的深度失效像素的深度值进行更新，得到所述第二深度图。
106.根据权利要求104的装置，其特征在于，所述人脸识别模块用于：
基于所述第一图像，确定所述第一图像中多个像素的深度预测值和关联信息，其中，所述多个像素的关联信息指示所述多个像素之间的关联度；
基于所述多个像素的深度预测值和关联信息，更新所述第一深度图，得到第二深度图。
107.根据权利要求106所述的装置，其特征在于，所述人脸识别模块用于：
确定所述第一深度图中的深度失效像素；
从所述多个像素的深度预测值中获取所述深度失效像素的深度预测值以及所述深度失效像素的多个周围像素的深度预测值；
从所述多个像素的关联信息中获取所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度；
基于所述深度失效像素的深度预测值、所述深度失效像素的多个周围像素的深度预测值、以及所述深度失效像素与所述深度失效像素的周围像素之间的关联度，确定所述深度失效像素的更新后的深度值。
108.根据权利要求107所述的装置，其特征在于，所述人脸识别模块用于：
基于所述深度失效像素的周围像素的深度预测值以及所述深度失效像素与所述深度失效像素的多个周围像素之间的关联度，确定所述深度失效像素的深度关联值；
基于所述深度失效像素的深度预测值以及所述深度关联值，确定所述深度失效像素的更新后的深度值。
109.根据权利要求108所述的装置，其特征在于，所述人脸识别模块用于：
将所述深度失效像素与每个周围像素之间的关联度作为所述每个周围像素的权重，对所述深度失效像素的多个周围像素的深度预测值进行加权求和处理，得到所述深度失效像素的深度关联值。
110.根据权利要求106所述的装置，其特征在于，所述人脸识别模块用于：
基于所述第一图像和所述第一深度图，确定所述第一图像中多个像素的深度预测值。
111.根据权利要求110所述的装置，其特征在于，所述人脸识别模块用于：
将所述第一图像和所述第一深度图输入到深度预测神经网络进行处理，得到所述第一图像中多个像素的深度预测值。
112.根据权利要求110所述的装置，其特征在于，所述人脸识别模块用于：
对所述第一图像和所述第一深度图进行融合处理，得到融合结果；
基于所述融合结果，确定所述第一图像中多个像素的深度预测值。
113.根据权利要求106所述的装置，其特征在于，所述人脸识别模块用于：
将所述第一图像输入到关联度检测神经网络进行处理，得到所述第一图像中多个像素的关联信息。
114.根据权利要求104所述的装置，其特征在于，所述人脸识别模块用于：
从所述第一图像中获取人脸的图像；
基于所述人脸的图像，更新所述第一深度图。
115.根据权利要求114所述的装置，其特征在于，所述人脸识别模块用于：
获取所述第一图像中人脸的关键点信息；
基于所述人脸的关键点信息，从所述第一图像中获取所述人脸的图像。
116.根据权利要求115所述的装置，其特征在于，所述人脸识别模块用于：
对所述第一图像进行人脸检测，得到人脸所在区域；
对所述人脸所在区域的图像进行关键点检测，得到所述第一图像中所述人脸的关键点信息。
117.根据权利要求104所述的装置，其特征在于，所述人脸识别模块用于：
从所述第一深度图中获取人脸的深度图；
基于所述第一图像，更新所述人脸的深度图，得到所述第二深度图。
118.根据权利要求104所述的装置，其特征在于，所述人脸识别模块用于：
将所述第一图像和所述第二深度图输入到活体检测神经网络进行处理，得到活体检测结果。
119.根据权利要求104所述的装置，其特征在于，所述人脸识别模块用于：
对所述第一图像进行特征提取处理，得到第一特征信息；
对所述第二深度图进行特征提取处理，得到第二特征信息；
基于所述第一特征信息和所述第二特征信息，确定活体检测结果。
120.根据权利要求119所述的装置，其特征在于，所述人脸识别模块用于：
对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；
基于所述第三特征信息，确定活体检测结果。
121.根据权利要求120所述的装置，其特征在于，所述人脸识别模块用于：
基于所述第三特征信息，得到所述人脸为活体的概率；
根据所述人脸为活体的概率，确定活体检测结果。
122.根据权利要求62至69中任意一项所述的装置，其特征在于，所述装置还包括：
密码解锁模块，用于响应于所述人脸识别结果为人脸识别失败，激活设置于所述车的密码解锁模块以启动密码解锁流程。
123.一种车门控制系统，其特征在于，包括：存储器、物体检测模组、人脸识别模组和图像采集模组；所述人脸识别模组分别与所述存储器、所述物体检测模组和所述图像采集模组连接，所述物体检测模组与所述图像采集模组连接；所述人脸识别模组还设置有用于与车门域控制器连接的通信接口，所述人脸识别模组通过所述通信接口向所述车门域控制器发送用于解锁和弹开车门的控制信息；所述图像采集模组用于采集视频流；所述物体检测模组用于对所述视频流中的至少一张图像进行物体检测，确定人的物体携带信息；所述人脸识别模组用于基于所述视频流中的至少一张图像进行人脸识别，得到人脸识别结果，并基于所述人脸识别结果和所述人的物体携带信息，确定所述车的至少一车门对应的控制信息；所述车门域控制器用于若所述控制信息包括控制所述车的任一车门打开，则获取所述车门的状态信息，若所述车门的状态信息为未解锁，则控制所述车门解锁并打开，和/或，若所述车门的状态信息为已解锁且未打开，则控制所述车门打开。
124.根据权利要求123所述的车门控制系统，其特征在于，还包括：与所述人脸识别模组连接的蓝牙模块；所述蓝牙模块包括在与预设标识的蓝牙设备蓝牙配对连接成功或者搜索到所述预设标识的蓝牙设备时唤醒所述人脸识别模组的微处理器和与所述微处理器连接的蓝牙传感器。
125.根据权利要求123或124所述的车门控制系统，其特征在于，所述图像采集模组包括图像传感器和深度传感器。
126.根据权利要求125所述的车门控制系统，其特征在于，所述深度传感器包括双目红外传感器，所述双目红外传感器的两个红外摄像头设置在所述图像传感器的摄像头的两侧。
127.根据权利要求126所述的车门控制系统，其特征在于，所述图像采集模组还包括至少一个补光灯，所述至少一个补光灯设置在所述双目红外传感器的红外摄像头和所述图像传感器的摄像头之间，所述至少一个补光灯包括用于所述图像传感器的补光灯和用于所述深度传感器的补光灯中的至少一种。
128.根据权利要求125所述的车门控制系统，其特征在于，所述图像采集模组还包括激光器，所述激光器设置在所述深度传感器的摄像头和所述图像传感器的摄像头之间。
129.根据权利要求123或124所述的车门控制系统，其特征在于，还包括：用于解锁车门的密码解锁模块，所述密码解锁模块与所述人脸识别模组连接。
130.根据权利要求129所述的车门控制系统，其特征在于，所述密码解锁模块包括触控屏和键盘中的一项或两项。
131.根据权利要求123或124所述的车门控制系统，其特征在于，所述车门控制系统还包括：电池模组，所述电池模组与所述人脸识别模组连接。
132.一种车，其特征在于，所述车包括权利要求123至131中任意一项所述的车门控制系统，所述车门控制系统与所述车的车门域控制器连接。
133.根据权利要求132所述的车，其特征在于，所述图像采集模组设置在所述车的室外部。
134.根据权利要求133所述的车，其特征在于，所述图像采集模组设置在以下至少一个位置上：所述车的B柱、至少一个车门、至少一个后视镜。
135.根据权利要求132所述的车，其特征在于，所述图像采集模组设置在所述车的室内部。
136.根据权利要求132至135中任意一项所述的车，其特征在于，所述人脸识别模组设置在所述车内，所述人脸识别模组经CAN总线与所述车门域控制器连接。
137.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至61中任意一项所述的方法。
138.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至61中任意一项所述的方法。
CN201911006853.5A 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质 Active CN110765936B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202210441785.0A CN114937294A (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质
CN201911006853.5A CN110765936B (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质
KR1020227013533A KR20220066155A (ko) 2019-10-22 2020-05-27 차량의 도어 제어 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
JP2022518839A JP2022549656A (ja) 2019-10-22 2020-05-27 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体
SG11202110895QA SG11202110895QA (en) 2019-10-22 2020-05-27 Vehicle door control method, apparatus, and system, vehicle, electronic device, and storage medium
PCT/CN2020/092601 WO2021077738A1 (zh) 2019-10-22 2020-05-27 车门控制方法及装置、系统、车、电子设备和存储介质
US17/489,686 US20220024415A1 (en) 2019-10-22 2021-09-29 Vehicle door control method, apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911006853.5A CN110765936B (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210441785.0A Division CN114937294A (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110765936A CN110765936A (zh) 2020-02-07
CN110765936B true CN110765936B (zh) 2022-05-06

Family

ID=69332728

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911006853.5A Active CN110765936B (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质
CN202210441785.0A Pending CN114937294A (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210441785.0A Pending CN114937294A (zh) 2019-10-22 2019-10-22 车门控制方法及装置、系统、车、电子设备和存储介质

Country Status (6)

Country Link
US (1) US20220024415A1 (zh)
JP (1) JP2022549656A (zh)
KR (1) KR20220066155A (zh)
CN (2) CN110765936B (zh)
SG (1) SG11202110895QA (zh)
WO (1) WO2021077738A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765936B (zh) * 2019-10-22 2022-05-06 上海商汤智能科技有限公司 车门控制方法及装置、系统、车、电子设备和存储介质
CN111332252B (zh) * 2020-02-19 2022-11-29 上海商汤临港智能科技有限公司 车门解锁方法、装置、系统、电子设备和存储介质
CN111401153A (zh) * 2020-02-28 2020-07-10 中国建设银行股份有限公司 封闭式自助设备出入控制的方法和装置
CN113421358B (zh) * 2020-03-03 2023-05-09 比亚迪股份有限公司 车锁控制系统、车锁控制方法及车辆
CN212447430U (zh) * 2020-03-30 2021-02-02 上海商汤临港智能科技有限公司 车门解锁系统
CN113548010A (zh) * 2020-04-15 2021-10-26 长城汽车股份有限公司 基于人脸识别的无钥匙进入的控制系统和方法
WO2021212504A1 (zh) * 2020-04-24 2021-10-28 上海商汤临港智能科技有限公司 车辆和车舱域控制器
CN111516640B (zh) * 2020-04-24 2022-01-04 上海商汤临港智能科技有限公司 车门控制方法、车辆、系统、电子设备和存储介质
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆
CN213056931U (zh) * 2020-08-11 2021-04-27 上海商汤临港智能科技有限公司 车辆
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
EP4009677A1 (en) * 2020-12-01 2022-06-08 Nordic Semiconductor ASA Synchronization of auxiliary activity
CN112590706A (zh) * 2020-12-18 2021-04-02 上海傲硕信息科技有限公司 无感人脸识别车门解锁系统
CN112684722A (zh) * 2020-12-18 2021-04-20 上海傲硕信息科技有限公司 低功耗电源控制电路
US20220316261A1 (en) * 2021-03-30 2022-10-06 Ford Global Technologies, Llc Vehicle closure assembly actuating method and system
CN113279652A (zh) * 2021-05-31 2021-08-20 的卢技术有限公司 一种车门防夹控制方法、装置、电子设备及可读存储介质
SE545778C2 (en) * 2021-09-24 2024-01-09 Assa Abloy Ab Electronic lock comprising a first credential interface and a second credential interface
CN114619993B (zh) * 2022-03-16 2023-06-16 上海齐感电子信息科技有限公司 基于人脸识别汽车控制方法及其系统、设备及存储介质
CN114906094B (zh) * 2022-04-21 2023-11-14 重庆金康赛力斯新能源汽车设计院有限公司 一种控制汽车后背门的方法、控制装置、设备及存储介质
DE102022204236B3 (de) 2022-04-29 2023-06-07 Volkswagen Aktiengesellschaft Notentriegelung eines Kraftfahrzeugs
FR3135482A1 (fr) * 2022-05-11 2023-11-17 Vitesco Technologies Système de gestion d’un capteur de détection d’une intention d’ouvrir et/ou déverrouiller un ouvrant du véhicule automobile

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027171A (zh) * 2016-01-20 2017-08-08 麦恩电子有限公司 用于车辆区域配置的特征描述数据
CN107719303A (zh) * 2017-09-05 2018-02-23 观致汽车有限公司 一种车辆门窗开启控制系统、方法及车辆
CN108343342A (zh) * 2018-01-24 2018-07-31 金龙联合汽车工业（苏州）有限公司 客车安全行车门控系统及控制方法
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN109882019A (zh) * 2019-01-17 2019-06-14 同济大学 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN110259323A (zh) * 2019-06-18 2019-09-20 威马智慧出行科技（上海）有限公司 汽车车门控制方法、电子设备及汽车
CN110335389A (zh) * 2019-07-01 2019-10-15 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090243791A1 (en) * 2008-03-28 2009-10-01 Partin Dale L Mini fob with improved human machine interface
CN110765936B (zh) * 2019-10-22 2022-05-06 上海商汤智能科技有限公司 车门控制方法及装置、系统、车、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027171A (zh) * 2016-01-20 2017-08-08 麦恩电子有限公司 用于车辆区域配置的特征描述数据
CN107719303A (zh) * 2017-09-05 2018-02-23 观致汽车有限公司 一种车辆门窗开启控制系统、方法及车辆
CN108343342A (zh) * 2018-01-24 2018-07-31 金龙联合汽车工业（苏州）有限公司 客车安全行车门控系统及控制方法
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN109882019A (zh) * 2019-01-17 2019-06-14 同济大学 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN110259323A (zh) * 2019-06-18 2019-09-20 威马智慧出行科技（上海）有限公司 汽车车门控制方法、电子设备及汽车
CN110335389A (zh) * 2019-07-01 2019-10-15 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于隐马尔科夫模型的深度视频哺乳母猪高危动作识别;薛月菊 等;《农业工程学报》;20190731;第35卷(第13期);第184-190页 *

Also Published As

Publication number Publication date
SG11202110895QA (en) 2021-10-28
CN114937294A (zh) 2022-08-23
CN110765936A (zh) 2020-02-07
JP2022549656A (ja) 2022-11-28
KR20220066155A (ko) 2022-05-23
WO2021077738A1 (zh) 2021-04-29
US20220024415A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN110765936B (zh) 车门控制方法及装置、系统、车、电子设备和存储介质
CN110335389B (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
TWI785312B (zh) 車門解鎖方法及其裝置、車載人臉解鎖系統、車、電子設備和儲存媒體
CN111332252B (zh) 车门解锁方法、装置、系统、电子设备和存储介质
US20230079783A1 (en) System, method, and computer program for enabling operation based on user authorization
CN111516640B (zh) 车门控制方法、车辆、系统、电子设备和存储介质
CN210793099U (zh) 与车辆控制系统通信的认证系统
CN110268408B (zh) 用于汽车的双因素生物测定认证
CN111382642A (zh) 人脸属性识别方法及装置、电子设备和存储介质
KR20230125091A (ko) 승객 관련 물품 손실 완화
TW201532940A (zh) 電梯控制系統
CN103434484A (zh) 车载识别认证装置、移动终端、智能车钥控制系统及方法
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
CN111739201A (zh) 车辆的交互方法及装置、电子设备、存储介质和车辆
CN111626086A (zh) 活体检测方法、装置及系统、电子设备和存储介质
CN206954184U (zh) 一种启动汽车的装置
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
KR20140111138A (ko) 테일 게이트 작동 시스템 및 그 방법
CN115171678A (zh) 语音识别方法、装置、电子设备、存储介质及产品
CN112937479A (zh) 车辆控制方法及装置、电子设备和存储介质
KR101151719B1 (ko) 바이오 인식 출입 관리 시스템
US20240095317A1 (en) Method and System For Device Access Control
CN114663864A (zh) 车窗的控制方法、装置、电子设备及存储介质
CN117292557A (zh) 一种基于3d立体可视化动态监控的停车场管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant