CN113799730A - 车辆控制系统及车辆控制方法 - Google Patents

车辆控制系统及车辆控制方法 Download PDF

Info

Publication number
CN113799730A
CN113799730A CN202110533317.1A CN202110533317A CN113799730A CN 113799730 A CN113799730 A CN 113799730A CN 202110533317 A CN202110533317 A CN 202110533317A CN 113799730 A CN113799730 A CN 113799730A
Authority
CN
China
Prior art keywords
vehicle
person
door
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110533317.1A
Other languages
English (en)
Inventor
茂吕泽亮
刘海嵩
中岛章
大熊显至
丸山弘明
松尾祥和
东嵩士
山口文彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN113799730A publication Critical patent/CN113799730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1001—Alarm systems associated with another car fitting or mechanism, e.g. door lock or knob, pedals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2054—Means to switch the anti-theft system on or off by foot gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013—Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras

Abstract

本发明提供车辆控制系统及车辆控制方法。在控制车门的动作的车辆控制中，能够确保车辆的安全性，并且，针对所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。该车辆控制系统具备取得车辆的外部环境的图像、即车外图像的车外图像取得部、取得车辆的车室内的图像、即车内图像的车内图像取得部、基于车外图像及车内图像分别识别上述车辆的车外人物及车内人物的动作的人物识别部、以及控制车辆的门的状态的门控制部，门控制部在基于人物识别部中的识别结果识别出接近车辆的车外人物的情况下，当判断为车内人物对接近的车外人物正在进行预先决定的规定的动作时，执行门的打开动作。

Description

车辆控制系统及车辆控制方法
技术领域
本发明涉及车载装备的动作控制，尤其是涉及控制与车门的开闭相关的动作的车辆控制系统及车辆控制方法。
背景技术
以往，提出了使用图像认证的车辆的进入系统(例如参照专利文献1)。上述进入系统具备根据电波、超声波、红外线或车辆的周边图像来检测接近了车辆的人的周边监视单元，在检测到接近了车辆的人的情况下，对人进行拍摄，执行基于虹膜的本人确认。然后，上述进入系统在确认到是本人的情况下，将门解锁。
根据上述以往的进入系统，预先登记有虹膜图像的利用者仅通过接近车辆就能够将门解锁，因此，能够减轻利用者乘坐车辆时的负担。另一方面，作为期望进行与门解锁等门开闭动作相关的自动动作的场景，不仅考虑所登记的利用者本人的乘车的情况，还考虑例如在该利用者使用该车辆去迎接其他人物这样的场面下该其他人物乘车的情况。
在该情况下，作为伴随着上述其他人物的接近而将车门自动解锁的方法，考虑将用于判断接近了车辆的人物是否为作为迎接对象的人物的信息预先登记于车辆的方法。但是，在一个一个地登记伴随着车辆利用而可能乘车的人物时，伴随着利用的准备作业变得繁琐，是不方便的。
现有技术文献
专利文献
专利文献1：日本特开2003-138817号公报
发明内容
发明要解决的问题
本发明的目的在于，在控制与车辆的门开闭相关的动作的车辆控制中，能够确保车辆的安全性，并且，针对所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。
用于解决问题的手段
本发明的一个方案是一种车辆控制系统，其中，具备：车外图像取得部，其取得车辆的外部环境的图像、即车外图像；车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；人物识别部，其基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及门控制部，其控制所述车辆的门的状态，所述门控制部在基于所述人物识别部中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。
根据本发明的其他方案，所述门控制部在所述车内人物和接近的所述车外人物分别将彼此作为对象人物而正在进行预先决定的规定的动作中的任意动作的情况下，执行所述门的打开动作。
根据本发明的其他方案，所述规定的动作是将面部或视线朝向对象人物持续规定时间以上的动作。
根据本发明的其他方案，所述规定的动作是朝向对象人物在面部形成规定的表情或者进行规定的姿势的动作。
根据本发明的其他方案，所具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，当将接近的所述车外人物作为对象人物而正在进行所述规定的动作的所述车内人物不是所述登记用户时，所述门控制部向所述车辆的所述登记用户进行规定的通知，当该登记用户针对所述规定的通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
根据本发明的其他方案，具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，当所述人物识别部识别出多个接近的所述车外人物时，所述门控制部对所述登记用户进行包含所述识别出的多个接近的所述车外人物的面部图像在内的通知，当该登记用户针对该通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
根据本发明的其他方案，所述门控制部针对所述识别出的多个接近的所述车外人物中的所述车内人物的所述规定的动作的对象人物，不使该对象人物的面部图像包含在所述通知内。
根据本发明的其他方案，所述打开动作是将所述门打开的自动动作、或者将所述门设定为从所述车辆的外部打开的状态的动作。
本发明的其他方案是一种车辆控制方法，该车辆控制方法由进行车辆的控制的计算机执行，其中，该车辆控制方法具备以下步骤：取得所述车辆的外部环境的图像、即车外图像；取得所述车辆的车室内的图像、即车内图像；基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及控制所述车辆的门的状态，在所述控制的步骤中，在基于所述识别的步骤中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。
发明的效果
根据本发明，在控制与车辆的门开闭相关的动作的车辆控制中，能够确保车辆的安全性，并且，针对所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。
附图说明
图1是示出利用具备本发明的一实施方式的车辆控制系统的车辆的场景的一例的图。
图2是示出本发明的一实施方式的车辆控制系统的结构的图。
图3是示出图2所示的车辆控制系统的动作的步骤的一例的流程图。
附图标记说明
100…车辆控制系统，102…车辆，104…通信网络，106…利用管理服务器，108…车站，110…前座摄像头，112…后座摄像头，114…前置摄像头，116…右侧摄像头，118…左侧摄像头，120…后置摄像头，122…驾驶席门，124…助手席门，126…后部右门，128…后部左门，130、132、140、142、144、146、148、150…人物，160…便携终端，200…车载网络总线，202…车辆控制装置，204…图像取得装置，206…用户管理装置，208…BCM，210…TCU，212…UI控制装置，214…近距离通信装置，216…远距离通信装置，218…处理装置，220…显示装置，222…触摸面板，224…扬声器，226…麦克风，230、240、250…处理装置，232…车外图像取得部，234…车内图像取得部，242、252…存储装置，244…用户确定部，246…用户信息取得部，248…车内人物信息，249…用户信息，254…人物识别部，256…门控制部。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。图1是示出利用本发明的一实施方式的车辆控制系统的场景的一例的图。本实施方式的车辆控制系统100例如由搭载于车辆102的多个电子控制装置(ECU，Electronic Control Unit：电控单元)构成，对车辆102的座席门的打开动作进行控制。
车辆控制系统100经由通信网络104，例如与设置于车辆102的外部的利用管理服务器106以能够通信的方式连接。通信网络104例如能够是因特网等开放网络、或者私有网络。利用管理服务器106保持针对车辆102的预先登记的利用者(登记用户)的信息。
车辆102具备拍摄车室内的车内摄像头，即前座摄像头110及后座摄像头112。前座摄像头110例如设置于室内镜，拍摄车室内的车辆102的前半部分的区域。后座摄像头112例如设置于车室内的车顶内表面，拍摄车室内的后半部分的区域。
此外，车辆102具备拍摄车外的周围环境的车外摄像头，即前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120。前置摄像头114例如设置于前保险杠，拍摄周围环境中的车辆102的前方区域。右侧摄像头116及左侧摄像头118例如设置于车辆102的右侧支柱及左侧支柱，分别拍摄周围环境中的车辆102的右侧区域及左侧区域。此外，后置摄像头120例如设置于后保险杠或尾门上部，拍摄周围环境中的车辆102的后方区域。
车辆102例如可以由作为该车辆102的利用者而预先登记于利用管理服务器106的多个登记用户分别利用。车辆102例如可以是私家车、共享汽车等。
在图1所示的例子中，车辆102具备作为前部座席门的驾驶席门122及助手席门124、以及作为后部座席门的后部右门126及后部左门128这4个门。车辆102的车辆控制系统100基于位于车辆102的车室内的人物(车内人物)的行动和位于车辆102的外部的人物(车外人物)的行动，来控制车辆102的上述4个门的打开动作。
这里，门的打开动作是指为了使车外人物乘入车辆102而设定门的状态的动作，除了单纯的门锁的解锁之外，还可以包含通过设置于门的致动器将该门自动打开的动作。此外，例如在用于门开闭的把手(门把手或门手柄)被收纳于门主体内这一类型的门中，在上述门锁的解锁中，可以包含通过致动器将上述门把手从门主体中取出而能够由车外人物进行门的打开操作的情况。
在图1所示的场景中，例如，车辆102的当前的利用者(当前用户)即作为登记用户的人物130与作为非登记用户的人物132一起乘坐于车辆102，去迎接到达车站108的熟人。作为非登记用户的人物132例如可以是作为登记用户的人物130的小孩或家庭成员的一员、或者朋友或熟人等。在车辆102的外部，从车站108出来的人物140、142、144、146、148、150分别向所希望的方向移动。
车外的人物146、150是车辆102的人物130、132迎接的对象者，看到人物130、132的车辆102并朝向该车辆102移动。
在上述场景中，车辆控制系统100通过作为车外摄像头的前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120，取得车辆102的外部环境的图像即车外图像。此外，车辆控制系统100通过作为车内摄像头的前座摄像头110及后座摄像头112，取得车辆102的车室内的图像即车内图像。这里，车外图像及车内图像可以作为动态图像(影像)而取得，也可以是以规定的时间间隔反复取得的静态图像。
车辆控制系统100基于上述取得的车外图像及车内图像，分别取得车外人物及车内人物的动作。然后，车辆控制系统100在识别出(或者检测到)接近车辆102的车外人物(接近人物)的情况下，当判断为车内人物对上述接近的车外人物正在进行预先决定的规定的动作时，执行车辆102的门的打开动作。
这里，上述规定的动作可以是由人对搜寻人时的对象人物或相遇的熟人等(以下也仅称为熟人等)进行的特征性动作(例如表示喜悦、高兴的动作、或者呼吁自身的存在的动作)。这样的规定的动作例如可以是针对作为对象的人物的注视，即，将视线及/或面部朝向对象人物持续规定时间以上的动作。或者，规定的动作可以是朝向对象人物在面部形成规定的表情及/或朝向对象人物进行规定的姿势。上述规定的表情可以为笑脸、微笑、有意识的表情(例如，在认为“啊！”时稍微张开嘴巴的表情)、眨眼、短时间连续的眨眼等在看到认识的人时由人进行的通常的或每个登记用户固有的任意表情。
此外，上述姿势可以是举起单手或双手、挥动单手或双手、点头、将打开的手举起、敲击门窗等用于向人问候或吸引人注意等的任意的姿态或手势。此外，在上述规定的动作中，能够包含在发现了熟人等时由人发出的声音、例如发出“喂”、“＊＊先生/女士”(＊＊是人的名字)、“啊，在这，在这。”等声音。另外，可以通过检测存在于正在进行上述规定的动作的人物将视线或面部所朝的方向上的人物来确定该规定的动作的对象人物。
在图1所示的场景中，坐在车辆102的驾驶席上的人物130将接近车辆102的车外的人物150作为对象人物而将视线(图示点线箭头)朝向该对象人物，因此，车辆控制系统100对此进行检测，例如进行与人物150最近的后部右门126的打开动作。
通常，在乘坐于车辆中的人物在车辆外发现了认识的人的情况下，趋向于进行成为笑脸、挥动手、点头等规定的行动。如上所述，车辆控制系统100在检测到接近车辆102的车外人物时，将车辆102的车内人物对上述接近的车外人物进行规定的动作作为条件，使门进行打开动作，因此，能够支持作为位于车室内的人物的熟人等的可能性高的车外人物的顺畅的乘车。此外，上述门的打开动作在存在车内人物的情况下进行，因此，在对不是车内人物的熟人等的车外人物进行了门打开动作的情况下，能够通过车内人物的存在或车内人物的修正操作(例如用于使上述门打开动作无效化的操作)，阻止不是该熟人的人物的乘车，因此，也可以确保针对车辆的安全性。
车辆控制系统100也可以在接近车辆102的车外人物和车辆102的车内人物分别将彼此作为对象人物而正在进行上述那样的预先决定的规定的动作中的任意一种的情况下，执行门的打开动作，使得更加可靠地对作为位于车室内的人物的熟人等的车外人物进行上述门打开动作。
此外，车辆控制系统100能够在对接近车辆102的车外的人物正在进行上述规定的动作的车内的人物不是登记用户时，对作为车辆102的登记用户的人物进行规定的通知，当作为该登记用户的人物针对上述通知返回了肯定的指示时，执行门的打开动作，使得在作为位于车室内的登记用户的人物的管理下进行上述门的打开动作。上述通知例如能够包含不是登记用户的车内的人物进行规定的动作的对象、即上述车外的人物的面部图像。
在图1所示的场景中，坐在车辆102的助手席上的作为非登记用户的人物132将接近车辆102的车外的人物146作为对象人物而将视线(图示虚线箭头)朝向该对象人物，因此，车辆控制系统100对此进行检测。然后，由于人物132是非登记用户，因此，车辆控制系统100对作为登记用户的人物130进行规定的通知。然后，当人物130针对上述通知返回了肯定的指示时，车辆控制系统100例如进行与人物146最近的后部左门128的打开动作。这里，上述通知能够包含人物146的面部图像。
此外，在作为登记用户的人物130乘坐于车辆102时，能够通过车辆102所具备的显示装置(图1中未图示)来进行上述通知。或者，如图1中单点划线箭头所示，在作为登记用户的人物130远离车辆102时，能够通过该作为登记用户的人物130的便携终端160来进行上述通知。
此外，车辆控制系统100在检测到接近车辆102的多个车外人物时，对作为登记用户的车内人物进行包含上述多个车外人物的面部图像的通知。例如，在图1所示的场景中，当除了人物146之外人物148也接近车辆102时，车辆控制系统100对这些接近的人物进行检测，对车内的作为登记用户的人物130进行包含人物146、148的面部图像的规定的通知。
然后，车辆控制系统100在作为登记用户的车内的人物130针对上述通知返回了肯定的指示时，执行门的打开动作。与上述同样，能够通过车载的显示装置或人物130的便携终端160来进行该通知。由此，能够可靠地判断作为登记用户的人物130是否为所接近的多个人物认识的人物而允许门打开动作，车辆102的安全性得到提高。
此外，车辆控制系统100在上述多个人物146、148接近的情况下，当进行包含这些人物的面部图像的上述通知时，例如作为车内人物的人物132进行上述规定的动作的对象人物即车外的人物146的面部图像能够不包含在该通知内。由此，上述通知所包含的面部图像的数量被限定，因此，作为登记用户的人物130能够更加迅速且可靠地判断是否允许执行门打开动作。
接着，参照图2对车辆控制系统100的结构进行说明。在本实施方式中，车辆控制系统100由作为车载的电子控制装置(ECU，Electronic Control Unit)的车辆控制装置202、图像取得装置204以及用户管理装置206构成。
车辆控制装置202、图像取得装置204以及用户管理装置206经由车载网络总线200以能够通信的方式连接。在车载网络总线200上还连接有BCM(车身控制模块)208、TCU(远程信息控制单元)210、以及UI(用户接口)控制装置212。
BCM 208具备CPU等处理装置(未图示)，控制设置于车辆102的驾驶席门122、助手席门124、后部右门126、后部左门128的致动器，从而控制这些门的打开动作。
TCU 210具备近距离通信装置214、远距离通信装置216、控制这些通信装置的动作的处理装置218。处理装置218例如是具备CPU等处理器的计算机。近距离通信装置214例如是按照Bluetooth(注册商标；蓝牙)通信标准而与便携终端160等进行通信的无线通信装置。此外，远距离通信装置216是用于经由通信网络104而与例如利用管理服务器106、便携终端160等进行通信的无线通信装置。
UI控制装置212具备CPU等处理装置(未图示)，根据车辆102所具备的车辆控制装置202等其他装置的指示，在设置于车辆102的车室内的显示装置220上显示图像、以及从扬声器224输出声音。此外，UI控制装置212从麦克风226取得车室内的声音，并且，进行针对该声音的声音识别处理，向其他装置输出上述声音及/或声音识别处理的结果。此外，UI控制装置212取得经由设置在显示装置220的显示屏上的触摸面板222从车辆102的乘客输入的指示及/或数据，将取得的指示及/或数据向其他装置输出。
构成车辆控制系统100的图像取得装置204具备处理装置230，该处理装置230是具备CPU等处理器的计算机，作为功能要素或功能单元，该图像取得装置204具备车外图像取得部232和车内图像取得部234。这些功能要素例如通过作为计算机的处理装置230执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置230所具备的上述功能要素的全部或一部分。
车外图像取得部232控制前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120，从这些车外摄像头取得车辆102的外部环境的图像即车外图像。此外，车内图像取得部234控制前座摄像头110及后座摄像头112，从这些车内摄像头取得车辆102的车室内的图像即车内图像。车外图像及车内图像分别能够为以规定的时间间隔反复拍摄的静态图像或者规定帧率的动态图像。图像取得装置204经由车载网络总线200向其他装置输出上述取得的车外图像及车内图像。
构成车辆控制系统100的用户管理装置206判断车内人物是否为作为车辆102的利用者而预先登记的登记用户。
具体而言，用户管理装置206具备处理装置240和存储装置242。存储装置242例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置240例如是具备CPU等处理器的计算机。作为功能要素或功能单元，处理装置240具备用户确定部244和用户信息取得部246。
处理装置240所具备的这些功能要素例如通过作为计算机的处理装置240执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置240所具备的上述功能要素的全部或一部分。
用户确定部244从图像取得装置204接收车内图像，基于该接收到的车内图像，针对位于车辆102中的车内人物分别进行面部图像认证，确定车内人物是否为登记用户。具体而言，用户确定部244从利用管理服务器106取得已经登记在利用管理服务器106中的各登记用户的面部图像，与上述车内图像中的车内人物的面部图像进行比较，由此，判断各位车内人物是否为登记用户。
用户确定部244例如将车内人物信息248存储于存储装置242，该车内人物信息248由车内人物各自的面部图像和表示各个车内人物是登记用户还是非登记用户的识别信息构成。在上述识别信息中，例如可以包含预先向各个登记用户赋予的识别ID等。由此，车辆102的车内人物中的在车内人物信息248中与上述面部图像对应地存储有包含上述识别ID的识别信息的车内人物可以被判断为是登记用户。
用户确定部244还将在开始利用车辆102时乘坐于驾驶席的车内人物确定为车辆102的当前的利用者(当前用户)，对在车内人物信息248中与当前用户的面部图像对应起来的上述识别信息附加表示该面部图像的人物是当前用户的信息。
在本实施方式中，用户确定部244将乘坐于车辆102的驾驶席的人物130确定为登记用户且为当前用户，将人物132确定为非登记用户。而且，用户确定部244将针对人物130及132的车内人物信息248存储于存储装置242。
用户信息取得部246参照用户确定部244所存储的车内人物信息248，从利用管理服务器106取得车内人物中的作为当前用户的登记用户的信息，将该信息作为用户信息249存储于存储装置242。在用户信息249中例如可以包含用于与该登记用户的便携终端进行通信的通信地址。在本实施方式中，用户信息取得部246将包含作为登记用户且当前用户的人物130的便携终端160的通信地址在内的用户信息249存储于存储装置242。
构成车辆控制系统100的车辆控制装置202基于从图像取得装置204接收的车外图像及车内图像，对BCM 208进行指示，控制车门的打开动作。
具体而言，车辆控制装置202具备处理装置250和存储装置252。存储装置252例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置250例如是具备CPU等处理器的计算机。作为功能要素或功能单元，处理装置250具备人物识别部254和门控制部256。
处理装置250所具备的这些功能要素例如通过作为计算机的处理装置250执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置250所具备的上述功能要素的全部或一部分。
人物识别部254基于从图像取得装置204接收的车外图像及车内图像，分别识别车外人物及车内人物的动作。具体而言，人物识别部254识别接近车辆102的车外人物(以下也称为接近人物)。此外，人物识别部254判断车内人物是否对上述接近的车外人物正在进行预先决定的规定的动作。这里，如上所述，上述规定的动作可以是针对作为对象的人物的注视、针对对象人物的规定的面部表情及/或针对对象人物的规定的姿势等。此外，人物识别部254判断接近车辆102的车外人物和车内人物是否分别将彼此作为对象人物而正在进行上述的预先决定的规定的动作中的任意一种。
门控制部256在基于人物识别部254中的识别结果识别出接近车辆102的车外人物的情况下，当判断为车辆102的车内人物对该接近的车外人物正在进行上述的预先决定的规定的动作时，执行车辆102的门的打开动作。
例如在图1所示的场景中，人物识别部254检测到人物150作为接近车辆102的车外人物，并且，识别出作为车内人物的人物130注视着车外的人物150。然后，门控制部256基于人物识别部254中的上述识别结果，对BCM 208进行指示，例如执行与车内的人物130所注视的车外的人物150最近的空席的门、即后部右门126的打开动作。
或者，门控制部256在接近车辆102的车外人物和车辆102的车内人物分别将彼此作为对象人物而正在进行上述的规定的动作中的任意一种的情况下，执行车辆102的门的打开动作。
此外，门控制部256从用户管理装置206参照车内人物信息248，当对接近车辆102的车外人物正在进行上述规定的动作的车内人物不是登记用户时，对作为登记用户的人物(例如当前用户)进行用于询问是否可以使车辆102的门进行打开动作的规定的通知。然后，门控制部256在作为该登记用户的人物针对上述规定的通知返回了肯定的指示时，执行车辆102的门的打开动作。在上述规定的通知中，例如能够包含车内人物所进行的上述规定的动作的对象人物即车外人物的面部图像。
当作为上述登记用户的人物位于车辆102中时，能够通过显示装置220进行上述规定的通知。门控制部256能够经由UI控制装置212，通过显示装置220进行上述规定的通知，并取得作为上述登记用户的人物向触摸面板222输入的上述指示。或者，在作为上述登记用户的人物不在车辆102中时，能够经由该登记用户的便携终端进行上述规定的通知。
例如在图1的场景中，人物识别部254检测到人物146作为接近车辆102的车外人物，并且，识别出作为车内人物的人物132注视着车外的人物146。此外，门控制部256基于车内人物信息248，识别为对车外的人物146正在进行作为规定行动的注视的车内的人物132是非登记用户。
此外，门控制部256根据从图像取得装置204接收的车内图像和车内人物信息248，检测到作为登记用户的人物130位于车内，对UI控制装置212进行指示，使其针对作为登记用户的车内的人物130，在显示装置220中显示包含人物146的面部图像的上述规定的通知。然后，门控制部256在人物130针对上述通知向触摸面板222输入了肯定的指示时，对BCM208进行指示，例如可以使后部左门128进行打开动作。
或者，如图1的场景中的虚线箭头所示，在作为登记用户的人物130从车辆102出去的情况下，门控制部256根据从图像取得装置204接收的车内图像和车内人物信息248，检测到作为登记用户的人物130不在车内。然后，门控制部256从用户管理装置206进一步取得用户信息249，取得该用户信息所包含的人物130的便携终端160的信息。
由此，门控制部256能够经由便携终端160，对人物130进行包含作为车内的非登记用户的人物132所注视的车外的人物146的面部图像在内的上述规定的通知。然后，当人物130经由便携终端160针对上述通知返回肯定的指示时，门控制部256接收该指示，对BCM208进行指示，例如可以使后部左门128进行打开动作。
此外，门控制部256在人物识别部254识别出接近车辆102的多个车外人物时，对作为登记用户的人物(例如当前用户)进行包含上述识别出的多个车外人物的面部图像的通知。然后，当作为上述登记用户的人物针对上述通知返回肯定的指示时，执行车辆102的门的打开动作。当作为上述登记用户的人物位于车辆102内时，能够经由显示装置220及触摸面板222而进行上述通知及指示。或者，当作为上述登记用户的人物不在车辆102中时，能够经由作为该登记用户的人物的便携终端而进行上述通知及指示。
例如在图1的场景中，当除了人物146之外人物148也向车辆102的方向移动时，人物识别部254将人物146、148识别为接近车辆102的车外人物。由此，门控制部256经由显示装置220或便携终端160，对作为登记用户的车内的人物130进行包含上述识别出的多个车外的人物146、148的面部图像在内的通知。然后，当作为登记用户的人物130经由触摸面板222或便携终端160针对上述通知返回了肯定的指示时，执行车辆102的门的打开动作。
这里，在人物识别部254如上述那样识别出接近车辆102的多个车外人物的情况下识别出车内人物朝向该识别出的多个接近的车外人物的一部分正在进行规定的动作时，门控制部256针对上述多个接近的车外人物中的由车内人物正在进行的上述规定的动作的对象人物，能够使该对象人物的面部图像不包含在上述通知中。例如，在图1所示的场景中，门控制部256针对车内的人物132所注视的车外的人物146的面部图像，能够不包含在上述通知中。
具有上述结构的车辆控制系统100在检测到接近车辆102的车外的人物并检测到车辆102的车内的人物对该车外的人物正在进行将视线或笑脸朝向该车外的人物这样的规定的动作时，执行车辆102的门的打开动作。由此，在车辆控制系统100中，即便在上述接近的车外人物不是登记用户的情况下，也能够确保车辆102的安全性，并且，该车外人物能够进行顺畅的乘车。
接着，对车辆控制系统100的动作进行说明。图3是示出车辆控制系统100的处理的步骤的流程图。该处理在车辆102停车或驻车时，例如在车速小于规定速度(例如5km/h)时开始。构成车辆控制系统100的各装置例如能够经由连接有车速传感器(未图示)的BCM 208而得到与车辆102的车速有关的信息。
另外，与图3所示的处理并行地，图像取得装置204分别以规定的时间间隔通过前座摄像头110及后座摄像头112取得车内图像，并且通过前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120取得车外图像。此外，与图3所示的处理并行地，用户管理装置206例如在从对车辆102进行了表示利用开始的规定的操作时起到对车辆102进行了表示利用结束的规定的操作为止的期间，识别相对于车辆102上车下车的人物，将车内人物信息248及用户信息249存储于存储装置242。
这里，上述表示利用开始的规定的操作及表示利用结束的规定的操作分别例如能够是当前用户进行的车辆102的点火钥匙的接通操作及断开操作。用户管理装置206例如能够从连接有点火钥匙传感器(未图示)的BCM 208取得存在点火钥匙的接通操作及断开操作的情况。
当开始图3所示的处理时，构成车辆控制系统100的车辆控制装置202的人物识别部254基于从图像取得装置204取得的车外图像及车内图像而开始车外人物及车内人物的识别处理，判断是否检测到接近车辆102的车外的人物(接近人物)(S100)。然后，在未检测到接近人物时(S100，否)，人物识别部254返回步骤S100，等待检测接近人物。
另一方面，在检测到接近人物时(S100，是)，人物识别部254识别车辆102的车内人物针对上述检测到的接近人物的行动(S102)。在该行动的识别中，包含车内人物对上述检测到的接近人物中的任意接近人物是否正在进行预先决定的规定的动作的识别。除此之外，人物识别部254在车内人物对上述接近人物进行了规定的动作时，能够进行该接近人物是否也对该车内人物进行了预先决定的规定动作的识别。然后，人物识别部254将上述接近的车外人物的检测结果和针对上述车内人物的行动的信息作为针对车外人物及车内人物的识别结果而向门控制部256发送。
接着，门控制部256基于上述识别结果，判断上述检测到的接近人物是否为一位(S104)。在接近的车外人物为一位的情况下(S104，是)，门控制部256基于上述识别结果，判断车内人物是否对上述接近人物进行了规定的动作(例如，对该接近人物送出视线或笑脸的动作)(S106)。然后，当车内人物对接近人物进行了规定的动作时(S106，是)，门控制部256从用户管理装置206取得车内人物信息248并参照，判断进行了该规定的动作的车内人物是否为登记用户(S108)。
然后，在进行了上述规定的动作的车内人物不是登记用户时(S108，否)，门控制部256参照车内人物信息248，对正在利用车辆102的登记用户(例如上述的当前用户)进行包含上述车内人物进行了规定的动作的接近人物的面部图像在内的规定的通知(S110)。该通知能够是向上述登记用户询问是否可以进行车辆102的门的打开动作的通知。此外，当正在利用车辆102的上述登记用户位于车辆102中时，能够通过显示装置220进行该通知，当该登记用户不在车辆102中时，能够经由该登记用户的便携终端进行该通知。
然后，门控制部256从接受上述规定的通知的登记用户接收针对该通知的响应(S112)，判断该响应是否为针对上述通知的肯定的指示(例如，允许门的打开动作这一意思的指示)(S114)。门控制部256在上述响应未对上述通知给出肯定的指示时(S114，否)，使处理返回步骤S126。
另一方面，当上述响应对上述通知给出肯定的指示时(S114，是)，门控制部256对BCM 208进行指示，执行车辆102的任意门的打开动作(S116)。在该情况下，门控制部256能够基于上述识别结果，判断上述接近的车外人物是否也对进行了上述规定的动作的车内人物正在进行规定动作，当正在进行规定动作时，执行门的打开动作。
这里，执行打开动作的门例如可以为助手席门124、后部右门126及后部左门128中的作为空席的座席的门且是与上述接近的车外人物最近的门。接着，门控制部256基于车内图像，判断上述接近的车外人物是否乘坐于车辆102并关闭了门(S118)，在未关闭门时(S118，否)，返回步骤S118，等待至关闭门为止。
另一方面，当关闭了门时(S118，是)，门控制部256判断车辆102是否结束停车或驻车而起步(S126)。门控制部256例如在车辆102的车速成为规定的速度(例如5km/h)以上时，能够判断为车辆102起步。如上所述，门控制部256例如能够经由BCM 208得到与车辆102的车速有关的信息。然后，当车辆102未起步时(S126，否)，门控制部256使处理返回步骤S100。另一方面，当车辆102起步了时(S126，是)，门控制部256结束本处理。
另一方面，在步骤S108中，当对接近人物进行了规定的动作的车内人物是登记用户时(S108，是)，门控制部256将处理移至步骤S116，执行车辆102的门的打开动作。
另一方面，在步骤S106中，在车内人物未对接近人物进行规定的动作时(S106，否)，门控制部256将处理移至步骤S126。
另一方面，在步骤S104中，当检测到的接近人物为多个时(S104，否)，门控制部256与步骤S106同样地基于人物识别部254的识别结果，判断车内人物是否将上述接近人物中的任意接近人物作为对象而进行了规定的动作(S120)。
然后，当车内人物将接近人物中的任意接近人物作为对象人物而进行了规定的动作时(S120，是)，门控制部256参照车内人物信息248，对正在利用车辆102的登记用户(例如上述的当前用户)进行包含除了上述对象人物之外的其他接近人物的面部图像在内的规定的通知(S122)。然后，门控制部256将处理移至步骤S112。
另一方面，当车内人物未将接近人物中的任意接近人物作为对象人物而进行规定的动作时(S120，否)，门控制部256参照车内人物信息248，对正在利用车辆102的登记用户(例如上述的当前用户)进行包含所有接近人物的面部图像在内的规定的通知(S124)。然后，门控制部256将处理移至步骤S112。
另外，步骤S122及S124中的上述规定的通知与步骤S110中的规定的通知同样，能够设为是否可以进行车辆102的门的打开动作的询问。此外，当正在利用车辆102的登记用户位于车辆102中时，能够通过显示装置220进行这些通知，当该登记用户不在车辆102中时，能够经由该登记用户的便携终端进行这些通知。
另外，本发明不限于上述实施方式的结构，在不脱离其主旨的范围内能够在各种方案中实施。
例如，在本实施方式中，作为一例，作为当前用户的一位登记用户(人物130)和一位非登记用户(人物132)乘坐于车辆102，车辆102的乘客结构不限于此。也可以是非登记用户未乘坐于车辆102，还可以是多个非登记用户乘坐于车辆102。此外，除了作为当前用户的登记用户之外其他的任意数量的登记用户也可以乘坐于车辆102。
此外，在本实施方式中，车辆控制装置202的门控制部256在图3的步骤S106中判断车内人物是否对接近人物进行了规定的动作，但该判断的方式不限于此。门控制部256也可以判断车内人物是否对接近人物持续进行了预先决定的规定时间以上的规定的动作。由此，即便车内人物看错接近人物而在短时间内(0.1秒～2秒程度)进行了规定的动作，也能够不打开门，因此，能够提高安全性。
此外，在图3的步骤S106中，门控制部256也可以基于人物识别部254中的识别结果，判断接近人物和车内人物是否分别将彼此作为对象人物而正在进行上述那样的预先决定的规定的动作中的任意动作。然后，门控制部256在接近人物和车内人物将彼此作为对象人物而正在进行规定的动作中的任意动作的情况下，能够进行步骤S108以后的处理。
此外，在本实施方式中，车辆控制装置202的门控制部256在图3的步骤S110、S122及/或S124中，对作为当前用户的登记用户进行了规定的通知，但规定的通知的对象不限于作为当前用户的登记用户。在如上述那样多个登记用户乘坐于车辆102的情况下，门控制部256能够对作为当前用户的登记用户及/或其他登记用户进行规定的通知。
在该情况下，可以对多个登记用户进行规定的通知，也可以按照分配给乘坐于车辆102的登记用户的优先顺位，对此时位于车辆102内的优先顺位最高的一位登记用户进行规定的通知。上述优先顺位例如可以由作为当前用户的登记用户预先决定并存储在存储装置252中，也可以由用户管理装置206的用户确定部244按照预先决定的规定的基准(例如，用户信息249所示的登记用户的年龄顺序)来决定并对门控制部256进行指示。
此外，在本实施方式中，车辆102是4门的车辆，但不限于此。车辆102可以是具有2个以上的任意数量的门的车辆。
此外，在本实施方式中，设置有前置摄像头114的位置例如是车辆102的前保险杠，但不限于此。前置摄像头114也可以与前座摄像头110一体构成并设置于车辆102的室内镜。
此外，在本实施方式中，设置有前座摄像头110的位置例如是车辆102的室内镜，但不限于此。前座摄像头110例如也可以安装于车辆102的仪表板等。
此外，在本实施方式中，在车辆102外接近该车辆102的人物是两位(人物146、150)或三位(人物146、148、150)，但接近人物的数量可以是任意数量。
此外，在本实施方式中，门控制部256在检测到车内人物对接近人物进行的规定的动作时，进行门的打开动作，但也可以在除了规定的动作之外还满足规定的条件时，进行门的打开动作。例如，在本实施方式中，作为车内人物对接近人物进行的规定的动作之一，示出了将注视(视线)或面部朝向接近人物的动作，但这些动作有时在注意到接近车辆102的奇怪的人物的动向时也会被检测到。
因此，门控制部256例如在检测到将注视或面部朝向接近人物等规定的动作的情况下，例如能够将在进行了该规定的动作的车内人物的表情中未表现出紧张(厌恶的表情、惊讶的表情等)的特征作为条件，进行门的打开动作。在该情况下，能够按照现有技术，由车辆控制装置202的人物识别部254识别车内人物是否表现出紧张的表情特征。
此外，门控制部256也可以根据车外的状况来变更门打开动作的动作方式。例如，门控制部256在车外的接近人物为一位的情况下，能够进行门的自动打开动作作为门打开动作，在存在多个接近人物的情况下，能够仅进行门锁的解锁或门手柄的提供动作(从门主体的推出)作为门打开动作。由此，在存在多个接近人物的情况下，能够降低不是上述规定的动作的对象人物的接近人物随意乘车的可能性。
此外，在本实施方式中，车辆控制系统100由多个装置(车辆控制装置202、图像取得装置204及用户管理装置206)构成，但车辆控制系统100的结构不限于此。车辆控制系统100也可以由更少或更多的多个装置构成。这种装置的一个或多个能够设置于设置在车辆102外且与车载装置以能够通信的方式连接的利用管理服务器106及/或其他服务器。此外，车辆控制系统100或者也能够在车辆102中作为一个装置而构成。
如以上说明的那样，本实施方式的车辆控制系统100具备：车外图像取得部232，其取得车辆102的外部环境的图像即车外图像；以及车内图像取得部234，其取得车辆102的车室内的图像即车内图像。此外，车辆控制系统100具备：人物识别部254，其基于上述车外图像及车内图像分别识别车外人物及位于车室内的车内人物的动作；以及门控制部256，其控制车辆102的门的状态。而且，门控制部256在基于人物识别部254中的识别结果识别出接近车辆102的车外人物(接近人物)的情况下，当判断为车内人物对接近人物正在进行预先决定的规定的动作时，执行车辆102的门的打开动作。
根据该结构，能够确保车辆的安全性，并且，针对所登记的车辆利用者(登记用户)以外的人物，也能够进行顺畅的乘车。
此外，在车辆控制系统100中，门控制部256在车内人物和接近人物分别将彼此作为对象人物而正在进行预先决定的规定的动作中的任意一种的情况下，执行门的打开动作。根据该结构，进行了车内人物与接近人物之间的对应，因此，能够进一步提高门打开动作的安全性。
此外，在车辆控制系统100中，上述规定的动作是将面部或视线朝向对象人物持续规定时间以上的动作。根据该结构，通过简单的处理，针对所登记的车辆利用者(登记用户)以外的人物也能够进行顺畅的乘车。
此外，在车辆控制系统100中，上述规定的动作是朝向对象人物在面部形成规定的表情或者进行规定的姿势的动作。根据该结构，对人发现了熟人等时进行的各种动作进行检测，执行门的打开动作，因此，能够进一步提高车辆102的便利性。
此外，车辆控制系统100具备用户确定部244，该用户确定部244判断车内人物是否为作为车辆102的利用者而预先登记的登记用户。然后，当将接近人物作为对象人物正在进行规定的动作的车内人物不是登记用户时，门控制部256对车辆102的登记用户进行规定的通知，当该登记用户针对该规定的通知返回了肯定的指示时，执行门的打开动作。
根据该结构，例如在作为非登记用户的小孩向陌生的接近人物挥手这样的情况下，能够将检测到该挥手的动作而进行门的打开动作防患于未然，进一步提高安全性。
此外，在车辆控制系统100中，门控制部256在人物识别部254识别出多个接近人物时，对登记用户进行包含该多个接近人物的面部图像的通知，当该登记用户针对该通知返回了肯定的指示时，执行门的打开动作。
根据该结构，在车外存在多个接近人物且难以识别出车内人物的规定的动作的对象人物是哪个接近人物的场面或者通过门的打开动作而可能使对象人物以外的接近人物乘入的场面中，能够将意外地进行门的打开动作防患于未然，进一步提高安全性。
此外，在车辆控制系统100中，门控制部256针对上述识别出的多个接近人物中的车内人物的上述规定的动作的对象人物，不使该对象人物的面部图像包含在上述通知内。根据该结构，通知所包含的对象人物的面部图像的数量被降低，因此，登记用户能够迅速地判断是否可以执行门打开动作。
此外，在车辆控制系统100中，上述门的打开动作是打开门的自动动作、或者将门设定为从车辆102的外部打开的状态的动作。根据该结构，门控制部256不限于自动地打开门的动作，能够通过门解锁、将收纳在门内的门手柄从门中取出而成为能够动作的状态等各种动作来支援车外的接近人物的顺畅的乘车。
此外，车辆控制系统100通过进行车辆控制的计算机，执行进行以下处理的车辆控制方法。该车辆控制方法具备如下步骤：取得车辆102的外部环境的图像即车外图像；取得车辆102的车室内的图像即车内图像；基于车外图像及车内图像分别识别车外人物及位于车室内的车内人物的动作；以及对车辆102的门的状态进行控制。而且，在上述控制的步骤中，在基于上述识别的步骤中的识别结果识别出接近车辆102的车外人物(接近人物)的情况下，当判断为车内人物对上述接近人物正在进行预先决定的规定的动作时，执行车辆102的门的打开动作。
根据该结构，能够确保车辆的安全性，并且针对所登记的车辆利用者(登记用户)以外的人物，也能够进行顺畅的乘车。
[由上述实施方式支持的结构]
上述实施方式支持以下的结构。
(结构1)一种车辆控制系统，其中，所述车辆控制系统具备：车外图像取得部，其取得车辆的外部环境的图像、即车外图像；车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；人物识别部，其基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及门控制部，其控制所述车辆的门的状态，所述门控制部在基于所述人物识别部中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。
(结构2)在结构1所记载的车辆控制系统的基础上，所述门控制部在所述车内人物和接近的所述车外人物分别将彼此作为对象人物而正在进行预先决定的规定的动作中的任意动作的情况下，执行所述门的打开动作。
(结构3)在结构2所记载的车辆控制系统的基础上，所述规定的动作是将面部或视线朝向对象人物持续规定时间以上的动作。
(结构4)在结构2或3所记载的车辆控制系统的基础上，所述规定的动作是朝向对象人物在面部形成规定的表情或者进行规定的姿势的动作。
(结构5)在结构1至4中的任意一个结构所记载的车辆控制系统的基础上，所述车辆控制系统具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，当将接近的所述车外人物作为对象人物而正在进行所述规定的动作的所述车内人物不是所述登记用户时，所述门控制部向所述车辆的所述登记用户进行规定的通知，当该登记用户针对所述规定的通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
(结构6)在结构1至5中的任意一个结构所记载的车辆控制系统的基础上，所述车辆控制系统具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，当所述人物识别部识别出多个接近的所述车外人物时，所述门控制部对所述登记用户进行包含所述识别出的多个接近的所述车外人物的面部图像在内的通知，当该登记用户针对该通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
(结构7)在结构6所记载的车辆控制系统的基础上，所述门控制部针对所述识别出的多个接近的所述车外人物中的所述车内人物的所述规定的动作的对象人物，不使该对象人物的面部图像包含在所述通知内。
(结构8)在结构1至7中的任意一个结构所记载的车辆控制系统的基础上，所述打开动作是将所述门打开的自动动作、或者将所述门设定为从所述车辆的外部打开的状态的动作。
(结构9)一种车辆控制方法，该车辆控制方法由进行车辆的控制的计算机来执行，其中，该车辆控制方法具备以下步骤：取得所述车辆的外部环境的图像、即车外图像；取得所述车辆的车室内的图像、即车内图像；基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及控制所述车辆的门的状态，在所述控制的步骤中，在基于所述识别的步骤中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。

Claims (9)

1.一种车辆控制系统，其中，
所述车辆控制系统具备：
车外图像取得部，其取得车辆的外部环境的图像、即车外图像；
车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；
人物识别部，其基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及
门控制部，其控制所述车辆的门的状态，
所述门控制部在基于所述人物识别部中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。
2.根据权利要求1所述的车辆控制系统，其中，
所述门控制部在所述车内人物和接近的所述车外人物分别将彼此作为对象人物而正在进行预先决定的规定的动作中的任意动作的情况下，执行所述门的打开动作。
3.根据权利要求2所述的车辆控制系统，其中，
所述规定的动作是将面部或视线朝向对象人物持续规定时间以上的动作。
4.根据权利要求2所述的车辆控制系统，其中，
所述规定的动作是朝向对象人物在面部形成规定的表情或者进行规定的姿势的动作。
5.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，
当将接近的所述车外人物作为对象人物而正在进行所述规定的动作的所述车内人物不是所述登记用户时，所述门控制部向所述车辆的所述登记用户进行规定的通知，
当该登记用户针对所述规定的通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
6.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统具备用户确定部，该用户确定部判断所述车内人物是否是被预先登记为所述车辆的利用者的登记用户，
当所述人物识别部识别出多个接近的所述车外人物时，所述门控制部对所述登记用户进行包含识别出的多个接近的所述车外人物的面部图像在内的通知，
当该登记用户针对该通知返回了肯定的指示时，所述门控制部执行所述门的打开动作。
7.根据权利要求6所述的车辆控制系统，其中，
所述门控制部针对所述识别出的多个接近的所述车外人物中的所述车内人物的所述规定的动作的对象人物，不使该对象人物的面部图像包含在所述通知内。
8.根据权利要求1至7中的任意一项所述的车辆控制系统，其中，
所述打开动作是将所述门打开的自动动作、或者将所述门设定为从所述车辆的外部打开的状态的动作。
9.一种车辆控制方法，该车辆控制方法由进行车辆的控制的计算机来执行，其中，
该车辆控制方法具备以下步骤：
取得所述车辆的外部环境的图像、即车外图像；
取得所述车辆的车室内的图像、即车内图像；
基于所述车外图像及所述车内图像，分别识别所述车辆的车外人物及车内人物的动作；以及
控制所述车辆的门的状态，
在所述控制的步骤中，
在基于所述识别的步骤中的识别结果识别出接近所述车辆的车外人物的情况下，当判断为所述车内人物对接近的所述车外人物正在进行预先决定的规定的动作时，执行所述门的打开动作。
CN202110533317.1A 2020-05-27 2021-05-17 车辆控制系统及车辆控制方法 Pending CN113799730A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020092174A JP7410796B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法
JP2020-092174 2020-05-27

Publications (1)

Publication Number Publication Date
CN113799730A true CN113799730A (zh) 2021-12-17

Family

ID=78704596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533317.1A Pending CN113799730A (zh) 2020-05-27 2021-05-17 车辆控制系统及车辆控制方法

Country Status (3)

Country Link
US (1) US11414052B2 (zh)
JP (1) JP7410796B2 (zh)
CN (1) CN113799730A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022081043A (ja) * 2020-11-19 2022-05-31 トヨタ自動車株式会社 降車支援装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006046744A1 (ja) * 2004-10-29 2006-05-04 Nihon Dempa Kogyo Co., Ltd. 車両状態の通知システム及びその構成装置、通知方法
JP2006233499A (ja) * 2005-02-23 2006-09-07 Toyota Motor Corp 車両用遠隔操作装置
CN102663440A (zh) * 2010-12-23 2012-09-12 大陆汽车有限责任公司 用于输出信息的方法
US20130275008A1 (en) * 1997-03-17 2013-10-17 American Vehicular Sciences Llc Vehicular Door Control Systems
CN108021129A (zh) * 2016-11-04 2018-05-11 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储车辆控制程序的介质
CN108248549A (zh) * 2018-01-30 2018-07-06 北京汽车股份有限公司 车载乘车人员识别系统、车辆和车载乘车人员识别方法
WO2019183163A1 (en) * 2018-03-20 2019-09-26 Antenum Llc Orientation independent antennas with direction finding for remote keyless entry
CN110874077A (zh) * 2018-08-30 2020-03-10 松下电器（美国）知识产权公司 信息处理装置以及信息处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003138817A (ja) 2001-10-31 2003-05-14 Denso Corp 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
JP2013036251A (ja) * 2011-08-09 2013-02-21 Aisin Seiki Co Ltd 車載カメラと携帯情報端末機による車両開閉体操作装置及びシステム並びにその制御方法
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
JP6338390B2 (ja) 2014-02-10 2018-06-06 フルタ電機株式会社 羽根車
JP6361220B2 (ja) 2014-03-27 2018-07-25 株式会社ニコン 自律走行車両
US10369967B2 (en) * 2014-04-01 2019-08-06 Mico Latta Inc. Vehicle and program for vehicle
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
JP2016071577A (ja) * 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
US10179568B2 (en) * 2015-10-13 2019-01-15 Faraday & Future Inc. Seamless vehicle access system
JP2018030499A (ja) * 2016-08-25 2018-03-01 株式会社デンソーテン 車外情報提供装置および車外情報提供方法
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275008A1 (en) * 1997-03-17 2013-10-17 American Vehicular Sciences Llc Vehicular Door Control Systems
WO2006046744A1 (ja) * 2004-10-29 2006-05-04 Nihon Dempa Kogyo Co., Ltd. 車両状態の通知システム及びその構成装置、通知方法
JP2006233499A (ja) * 2005-02-23 2006-09-07 Toyota Motor Corp 車両用遠隔操作装置
CN102663440A (zh) * 2010-12-23 2012-09-12 大陆汽车有限责任公司 用于输出信息的方法
CN108021129A (zh) * 2016-11-04 2018-05-11 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储车辆控制程序的介质
CN108248549A (zh) * 2018-01-30 2018-07-06 北京汽车股份有限公司 车载乘车人员识别系统、车辆和车载乘车人员识别方法
WO2019183163A1 (en) * 2018-03-20 2019-09-26 Antenum Llc Orientation independent antennas with direction finding for remote keyless entry
CN110874077A (zh) * 2018-08-30 2020-03-10 松下电器（美国）知识产权公司 信息处理装置以及信息处理方法

Also Published As

Publication number Publication date
JP7410796B2 (ja) 2024-01-10
JP2021188295A (ja) 2021-12-13
US11414052B2 (en) 2022-08-16
US20210370878A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
JP5630318B2 (ja) スマートエントリシステム
JP6650032B2 (ja) 人物の顔認証に基づく車両制御システム
WO2022048119A1 (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
JP7354056B2 (ja) 車両制御システム、及び車両制御方法
CN109906178B (zh) 用户认证启动系统和方法
US20140204211A1 (en) Method and device for vehicle access control
JP6207089B2 (ja) 車両ドア制御装置
US11518344B2 (en) Vehicular security system with biometric authorization feature
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
JP7147259B2 (ja) 車載装置、車載装置の制御方法、及び予備動作推定システム
JP2003237504A (ja) 車両機能の制御装置
US20210374433A1 (en) Vehicle control system and vehicle control method
CN113799730A (zh) 车辆控制系统及车辆控制方法
US11364868B2 (en) Vehicle control system and vehicle control method
US11572732B2 (en) Vehicle control device, vehicle control method, and recording medium
US20210370867A1 (en) Vehicle control system, server, and vehicle control method
US11549303B2 (en) Vehicle control device, vehicle control method, and recording medium
JP2010214990A (ja) 車両用制御装置および方法、並びにプログラム
JP7180318B2 (ja) 開閉体制御装置
JP2001097070A (ja) 乗物用人物認識装置
JP2004330979A (ja) 車両の駆動制御装置
JP7399762B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
US20230311812A1 (en) Control system and control method of control system
WO2023242888A1 (ja) 車室内モニタリング装置、車室内モニタリングシステム、および、車室内モニタリング方法
JP2021189611A (ja) 車両制御システム、車両制御方法、及び車両制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination