CN113799731B - 车辆控制系统、服务器及车辆控制方法 - Google Patents

车辆控制系统、服务器及车辆控制方法 Download PDF

Info

Publication number
CN113799731B
CN113799731B CN202110533423.XA CN202110533423A CN113799731B CN 113799731 B CN113799731 B CN 113799731B CN 202110533423 A CN202110533423 A CN 202110533423A CN 113799731 B CN113799731 B CN 113799731B
Authority
CN
China
Prior art keywords
vehicle
person
user
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110533423.XA
Other languages
English (en)
Other versions
CN113799731A (zh
Inventor
茂吕泽亮
刘海嵩
中岛章
大熊显至
丸山弘明
松尾祥和
东嵩士
山口文彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN113799731A publication Critical patent/CN113799731A/zh
Application granted granted Critical
Publication of CN113799731B publication Critical patent/CN113799731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1001—Alarm systems associated with another car fitting or mechanism, e.g. door lock or knob, pedals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F15/76—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects responsive to devices carried by persons or objects, e.g. magnets or reflectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013—Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00—Power-actuated vehicle locks
    • E05B81/54—Electrical circuits
    • E05B81/64—Monitoring or sensing, e.g. by using switches or sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/45—Control modes
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/65—Power or signal transmission
    • E05Y2400/66—Wireless transmission
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/856—Actuation thereof
    • E05Y2400/858—Actuation thereof by body parts, e.g. by feet
    • E05Y2400/86—Actuation thereof by body parts, e.g. by feet by hand
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/531—Doors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Lock And Its Accessories (AREA)
  • Power-Operated Mechanisms For Wings (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供车辆控制系统、服务器及车辆控制方法。在控制车门的动作的车辆控制中，能够确保车辆的安全性，并且对于所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。该车辆控制系统具备：取得车辆的外部环境的图像、即车外图像的车外图像取得部；取得车辆的车室内的图像、即车内图像的车内图像取得部；基于车外图像及车内图像识别是否存在车内人物并且识别车外人物的动作的人物识别部；控制车辆的门的状态的门控制部；以及决定车外人物在指示门的打开动作时应进行的规定的动作的动作决定部，门控制部在基于人物识别部中的识别结果识别出存在车内人物的情况下，当车外人物进行了上述规定的动作时，执行门的打开动作。

Description

车辆控制系统、服务器及车辆控制方法
技术领域
本发明涉及车载装备的动作控制，尤其是涉及控制与车门的开闭相关的动作的车辆控制系统、用于该车辆控制系统的服务器、以及车辆控制方法。
背景技术
以往，已知有使用图像认证的车辆的进入系统(例如参照专利文献1)。该进入系统具备根据电波、超声波、红外线或车辆的周边图像来检测接近了车辆的人的周边监视单元，在检测到接近了车辆的人的情况下，对人进行拍摄，执行基于虹膜的本人确认。然后，上述进入系统在确认到是本人的情况下，将门解锁。
根据上述以往的进入系统，预先登记有虹膜图像的利用者仅通过接近车辆就能够将门解锁，因此，能够减轻利用者乘坐车辆时的负担。另一方面，作为期望进行与门解锁等门开闭动作相关的自动动作的场景，不仅考虑所登记的利用者本人的乘车的情况，还考虑例如在该利用者使用该车辆去迎接其他人物这样的场面下该其他人物乘车的情况。
在该情况下，作为伴随着上述其他人物的接近而将车门自动解锁的方法，考虑将用于判断接近了车辆的人物是否为作为迎接对象的人物的信息预先登记于车辆的方法。但是，在一个一个地登记伴随着车辆利用而可能乘车的人物时，伴随着利用的准备作业变得繁琐，是不方便的。
现有技术文献
专利文献
专利文献1：日本特开2003-138817号公报
发明内容
发明要解决的问题
本发明的目的在于，在控制与车辆的门开闭相关的动作的车辆控制中，能够确保车辆的安全性，并且，针对所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。
用于解决问题的手段
本发明的一个方案是一种车辆控制系统，其中，所述车辆控制系统具备：车外图像取得部，其取得车辆的外部环境的图像、即车外图像；车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；人物识别部，其基于所述车外图像及所述车内图像，识别是否存在所述车辆的车内人物，并且识别所述车辆的车外人物的动作；门控制部，其控制所述车辆的门的状态；以及动作决定部，其决定所述车外人物在指示所述门的打开动作时应进行的规定的动作，所述门控制部在基于所述人物识别部中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了所述动作决定部决定出的所述规定的动作时，执行所述门的打开动作。
根据本发明的其他方案，所述动作决定部在预先决定的时机决定所述规定的动作。
根据本发明的其他方案，具备：存储装置，其存储用户信息，该用户信息包含被预先登记为所述车辆的利用者的登记用户的信息、以及同与所述登记用户处于规定的关系的人物的终端装置相关的终端信息；用户确定部，其确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户；以及动作信息分发部，其向放置在所述车辆外的终端装置分发与所述动作决定部决定出的所述规定的动作有关的动作信息，所述动作信息分发部向与作为所述车内人物的所述登记用户处于所述规定的关系的人物的所述终端装置分发所述动作信息。
根据本发明的其他方案，具备动作信息提供部，该动作信息提供部通过近距离无线通信，向放置在所述车辆外的终端装置提供与所述动作决定部决定出的所述规定的动作有关的动作信息，所述动作信息提供部在与接近所述车辆的终端装置建立了通信时，向该终端装置发送所述动作信息。
根据本发明的其他方案，具备：动作信息提供部，其通过近距离无线通信，向放置在所述车辆外的终端装置提供与所述动作决定部决定出的所述规定的动作有关的动作信息；以及用户确定部，其确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户，所述动作信息提供部将基于所述人物识别部中的识别结果识别出存在作为所述登记用户的所述车内人物作为条件，响应于从所述终端装置接收到请求的情况而向该终端装置发送所述动作信息。
根据本发明的其他方案，所述打开动作是打开所述门的自动动作、或者是将所述门设定为能够从所述车辆的外部打开的状态的动作。
本发明的另一个方案是一种服务器，其中，所述服务器与所述车辆的车载装置以能够通信的方式连接而构成上述任意一个车辆控制系统，所述服务器具备所述动作决定部。
本发明的又一个方案是一种车辆控制方法，该车辆控制方法由进行车辆控制的计算机来执行，其中，所述车辆控制方法具备以下步骤：取得车辆的外部环境的图像、即车外图像；取得所述车辆的车室内的图像、即车内图像；基于所述车外图像及所述车内图像，识别所述车辆的车外人物的动作、以及识别是否存在所述车辆的车内人物；控制所述车辆的门的状态；以及决定所述车外人物在指示所述门的打开动作时应使用的规定的动作，在所述控制的步骤中，在基于所述识别的步骤中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了在所述决定的步骤中决定出的所述规定的动作时，执行所述门的打开动作。
发明的效果
根据本发明，在控制与车辆的门开闭相关的动作的车辆控制中，能够确保车辆的安全性，并且，对于所登记的车辆利用者以外的人物，也能够进行顺畅的乘车。
附图说明
图1是示出本发明的一实施方式的车辆控制系统的结构的图。
图2是示出构成图1所示的车辆控制系统的利用管理服务器的结构的一例的图。
图3是示出图2所示的利用管理服务器所决定的车外人物应进行的解锁动作的一例的图。
图4是示出构成图1所示的车辆控制系统的车载系统的结构的一例的图。
图5是示出构成图1所示的车辆控制系统的利用管理服务器的动作的步骤的流程图。
图6是示出构成图1所示的车辆控制系统的车载系统的动作的步骤的流程图。
附图标记说明
100…车辆控制系统，102…车辆，104…车载系统，106…利用管理服务器，108…通信网络，110…前座摄像头，112…后座摄像头，114…前置摄像头，116…右侧摄像头，118…左侧摄像头，120…后置摄像头，122…驾驶席门，124…助手席门，126…后部右门，128…后部左门，130、140、142、144…人物，150、152、154…便携终端，200、418、430、440、460…处理装置，202…通信装置，204、442、462…存储装置，206…用户信息，208…登记用户信息，210…面部图像信息，212…个人信息，214…特定用户信息，216…第1许可用户信息，218…第2许可用户信息，230…动作决定部，232…动作信息分发部，234…用户登记部，236…用户信息提供部，400…车载网络总线，402…车辆控制装置，404…图像取得装置，406…用户管理装置，408…BCM，410…TCU，412…UI控制装置，414…近距离通信装置，416…远距离通信装置，420…显示装置，422…触摸面板，424…扬声器，426…麦克风，432…车外图像取得部，434…车内图像取得部，444…用户确定部，446…用户信息取得部，448…车内人物信息，450…用户关联信息，464…动作信息取得部，466…动作信息提供部，468…人物识别部，470…门控制部。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。图1是示出本发明的一实施方式的车辆控制系统的结构的图。本实施方式的车辆控制系统100例如由车载系统104和利用管理服务器106构成，该车载系统104由搭载于车辆102的多个电子控制装置(ECU，ElectronicControl Unit)构成，车辆控制系统100对车辆102的座席门的打开动作进行控制。
构成车辆控制系统100的车载系统104与利用管理服务器106经由通信网络108以能够相互通信的方式连接。通信网络108例如能够是因特网等开放网络或私有网络。
车辆102具备拍摄车室内的车内摄像头、即前座摄像头110及后座摄像头112。前座摄像头110例如设置于室内镜或仪表板等，拍摄车室内的车辆102的前半部分的区域。后座摄像头112例如设置于车室内的车顶内表面，拍摄车室内的后半部分的区域。
此外，车辆102具备拍摄车外的周围环境的车外摄像头、即前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120。前置摄像头114例如设置于前保险杠，拍摄周围环境中的车辆102的前方区域。右侧摄像头116及左侧摄像头118例如设置于车辆102的右侧支柱及左侧支柱，分别拍摄周围环境中的车辆102的右侧区域及左侧区域。此外，后置摄像头120例如设置于后保险杠或尾门上部，拍摄周围环境中的车辆102的后方区域。
车辆102例如可以由作为该车辆102的利用者而预先登记于利用管理服务器106的多个利用者(登记用户)分别利用。车辆102例如可以是私家车、共享汽车等。
在图1所示的例子中，车辆102具备作为前部座席门的驾驶席门122及助手席门124、以及作为后部座席门的后部右门126及后部左门128这4个门。
车辆控制系统100基于车辆102的车内是否存在人物(车内人物)和位于车辆102的外部的人物(车外人物)的动作，来控制车辆102的上述4个门的打开动作。
这里，门的打开动作是指为了使车外人物乘入车辆102而设定门的状态的动作，除了单纯的门锁的解锁之外，还可以包含通过设置于门的致动器将该门自动打开的动作。此外，例如在用于门开闭的把手(门把手或门手柄)被收纳于门主体内这一类型的门中，在上述门锁的解锁中，可以包含通过致动器将上述门把手从门主体中取出而能够由车外人物进行门的打开操作的情况。
在图1所示的场景中，例如，在车辆102中乘坐有人物130作为车内人物，该人物130是该车辆102的当前的利用者(当前用户)且是登记用户，并且存在3位人物140、142及144作为车外人物。此外，这些人物140、142、144分别持有自身的便携终端150、152、154。
利用管理服务器106保持登记用户的信息。此外，利用管理服务器106按照每个登记用户，保持各个登记用户在利用车辆102时许可该车辆102的解锁的人物(许可用户)的信息。此外，利用管理服务器106在规定的时机决定位于车辆102外的车外人物在对车辆102指示门的打开动作时应使用的规定的动作(以下也称为解锁动作)。如后所述，上述解锁动作例如可以是手指的特定运动或身体的特定手势。此外，上述规定的时机例如能够为每日的规定时刻。
车载系统104基于车内图像，进行坐在车辆102的驾驶席上的人物130的面部图像认证，将人物130识别为当前用户，然后，向利用管理服务器106发送该当前用户的信息。
利用管理服务器106从车载系统104接收表示车辆102的当前用户(人物130)的信息，将针对上述决定的最新的解锁动作的信息(动作信息)向车载系统104和人物140的便携终端150发送，该人物140例如是针对人物130的许可用户。
车载系统104从利用管理服务器106接收上述动作信息并存储。此外，车载系统104基于车外图像及车内图像，识别是否存在车内人物及车外人物的动作。然后，车载系统104在基于上述识别结果识别出存在车内人物的情况下，当车外人物进行了上述接收到的动作信息所示的解锁动作时，执行车辆102的座席门的打开动作。
在图1所示的场景中，作为许可用户的人物140通过便携终端150接收到动作信息，识别出该动作信息所示的解锁动作。然后，人物140接近车辆102(图示虚线箭头)，在车辆102中的任意车外摄像头例如右侧摄像头116的视野内进行上述解锁动作。车载系统104检测到存在作为车内人物的人物130，并且，识别出作为车外人物的人物140进行的解锁动作，执行例如在该时间点与人物140最近的后部右门126的打开动作。
即，车辆控制系统100在规定的时机决定解锁动作，识别车外人物是否进行了最新的该解锁动作，由此，认证该车外人物是否为针对当前用户的许可用户，并且，将存在车内人物作为前提而执行门的打开动作。由此，在车辆控制系统100中，能够确保车辆102的安全性，并且也能够对登记用户以外的人物支援顺畅的乘车。
接着，参照图2对构成车辆控制系统100的利用管理服务器106的结构进行说明。利用管理服务器106具有处理装置200、通信装置202以及存储装置204。通信装置202是用于经由通信网络108而与车载系统104及便携终端150等进行通信的无线通信装置及/或有线通信装置。
存储装置204例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。在存储装置204中保存有用户信息206。用户信息206由车辆102的每个登记用户的登记用户信息208构成。此外，各个登记用户信息208包含对应的登记用户的面部图像信息210、包含用于识别该登记用户的ID码的个人信息212、以及与该登记用户具有规定的关系的人物(特定许可用户)的特定用户信息214。
这里，规定的关系例如可以是登记用户的家庭成员或亲戚等血缘关系、或者亲密的朋友、熟人等关系。在特定用户信息214中，包含表示每个特定许可用户与登记用户的关系的信息、以及用于与该特定许可用户所持的终端装置(例如便携终端)进行通信的终端信息。
此外，在登记用户信息208中，包含分别针对第1许可用户和第2许可用户的信息，即第1许可用户信息216和第2许可用户信息218。第1许可用户是对应的登记用户在利用车辆102时许可车辆102的门的解锁的用户，如后所述，无论该登记用户是否乘坐在车辆102内，都可以接收针对动作决定部230(后述)决定出的解锁动作的动作信息。
此外，第2许可用户是对应的登记用户在利用车辆102时许可车辆102的门的解锁的用户，如后所述，只有在该登记用户乘坐于车辆102内的期间，才可以接收针对动作决定部230决定出的解锁动作的动作信息。第1许可用户及第2许可用户例如可以是登记用户的朋友或熟人等。
在第1许可用户信息216及第2许可用户信息218中，分别包含用于与各第1许可用户的终端装置(例如便携终端)进行通信的终端信息以及用于与各第2许可用户的终端装置(例如便携终端)进行通信的终端信息。
这里，在图1所示的场景中，人物140、142及144分别是特定许可用户、第1许可用户及第2许可用户。
处理装置200例如是具备CPU等处理器的计算机。作为功能要素或功能单元，处理装置200具备动作决定部230、动作信息分发部232、用户登记部234及用户信息提供部236。
处理装置200所具备的这些功能要素例如通过作为计算机的处理装置200执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置200所具备的上述功能要素的全部或一部分。
动作决定部230在预先决定的规定的时机(例如每日的规定时刻)，决定作为许可用户的车外人物在指示车辆102的门的打开动作时应进行的解锁动作。这里，解锁动作能够为形成手指的特定形状的动作、使手指或手臂以特定的模式运动的动作、使用了身体的特定手势，除此之外还能够为将这些动作与特定声音组合的动作等。
图3是示出动作决定部230决定出的解锁动作的一例的图。在图3中，以表的形式从动作(a)到动作(q)示出用手指形成特定形状的15种解锁动作。动作(a)至动作(n)是用手指形成特定形状的动作，动作(p)是在动作(k)所示的手指的形状中将指尖左右摆动的动作，以及动作(q)是将动作(h)所示的手指的形状横向倾倒并将指尖上下摆动的动作。作为图3所示的例子的变形，例如，能够将依次示出从这些手指的形状选择的多个不同形状的动作作为解锁动作。
参照图2，动作信息分发部232向车辆102发送表示动作决定部230决定出的上述解锁动作的动作信息。此外，动作信息分发部232将该动作信息向放置在车辆102外的终端装置分发。具体而言，动作信息分发部232向与作为车内人物的登记用户(例如当前用户)处于规定的关系的人物(即，特定许可用户)的终端装置分发上述动作信息。
更具体而言，动作信息分发部232在从车载系统104接收到车辆102的当前用户的信息时，参照存储于存储装置204的用户信息206所包含的针对当前用户的登记用户信息208。然后，动作信息分发部232基于参照的登记用户信息208所包含的特定用户信息214，向与当前用户处于规定的关系的特定许可用户的终端装置(例如便携终端)发送动作信息。由此，通过自身的终端装置接收到动作信息的特定许可用户能够进行该动作信息所示的解锁动作，由此，使车辆102执行门打开动作。
这里，动作信息分发部232也可以向该特定用户信息214所包含的全部特定许可用户的终端装置发送动作信息，还可以提取这些特定许可用户中的进一步处于特定的关系的特定许可用户，向该提取出的特定许可用户的终端装置发送动作信息。在该情况下，成为上述提取对象的特定的关系能够仅为上述规定的关系中的例如当前用户的家庭成员等。动作信息分发部232在上述提取时应使用的上述特定的关系例如可以作为对全部登记用户应用的规则而被预先决定，也可以由登记用户分别预先决定并存储在登记用户信息208中。
动作信息分发部232还在从特定许可用户或第1许可用户的终端装置接收到动作信息的发送请求时，向作为该发送请求的发送源的终端装置发送动作信息。关于接收到的发送请求是否为从特定许可用户或第1许可用户的终端装置发送的发送请求，例如可以根据发送源的通信地址、与该发送请求一起发送的ID码等判断。
用户登记部234将针对各个登记用户的登记用户信息208存储于存储装置204。用户登记部234例如能够收集各个登记用户经由便携终端等发送的面部图像等信息，生成这些登记用户的登记用户信息208并存储于存储装置204。
用户信息提供部236根据来自车载系统104的请求，参照存储装置204的用户信息206，将该请求所示的登记用户的登记用户信息208向车载系统104发送。
接着，参照图4对车载系统104的结构进行说明。在本实施方式中，车载系统104由作为车载的电子控制装置(ECU)的车辆控制装置402、图像取得装置404以及用户管理装置406构成。
车辆控制装置402、图像取得装置404及用户管理装置406经由车载网络总线400以能够通信的方式连接。在车载网络总线400中还连接有BCM(车身控制模块)408、TCU(远程信息控制单元)410、以及UI(用户接口)控制装置412。
BCM 408具备CPU等处理装置(未图示)，控制设置于车辆102的驾驶席门122、助手席门124、后部右门126、后部左门128的致动器，从而控制这些门的打开动作。BCM 408还检测车辆102的点火钥匙(未图示)的接通断开操作，将检测结果向其他装置通知。
TCU 410具备近距离通信装置414、远距离通信装置416、以及控制这些通信装置的动作的处理装置418。处理装置418例如是具备CPU等处理器的计算机。近距离通信装置414例如是按照Bluetooth(注册商标；蓝牙)通信标准而与便携终端150等进行通信的无线通信装置。此外，远距离通信装置416是用于经由通信网络108例如与利用管理服务器106、便携终端150等进行通信的无线通信装置。
UI控制装置412具备CPU等处理装置(未图示)，根据车辆102所具备的车辆控制装置402等其他装置的指示，在设置于车辆102的车室内的显示装置420上显示图像，以及从扬声器424输出声音。此外，UI控制装置412从麦克风426取得车室内及车外的声音，并且，进行针对该声音的声音识别处理，将上述声音及/或声音识别处理的结果向其他装置输出。此外，UI控制装置412取得经由设置在显示装置420的显示屏上的触摸面板422从车辆102的乘客输入的指示及/或数据，将取得的指示及/或数据向其他装置输出。
构成车载系统104的图像取得装置404具备处理装置430，该处理装置430是具备CPU等处理器的计算机，作为功能要素或功能单元，该图像取得装置404具备车外图像取得部432和车内图像取得部434。这些功能要素例如通过作为计算机的处理装置430执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置430所具备的上述功能要素的全部或一部分
车外图像取得部432控制前置摄像头114、右侧摄像头116、左侧摄像头118及后置摄像头120，从这些车外摄像头取得车辆102的外部环境的图像、即车外图像。此外，车内图像取得部434控制前座摄像头110及后座摄像头112，从这些车内摄像头取得车辆102的车室内的图像、即车内图像。车外图像及车内图像分别能够为以规定的时间间隔反复拍摄的静态图像或规定帧率的动态图像。图像取得装置404将上述取得的车外图像及车内图像经由车载网络总线400向其他装置输出。
构成车载系统104的用户管理装置406管理针对乘坐于车辆102的人物的信息。
具体而言，用户管理装置406具备处理装置440和存储装置442。存储装置442例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置440例如是具备CPU等处理器的计算机。作为功能要素或功能单元，处理装置440具备用户确定部444和用户信息取得部446。
处理装置440所具备的这些功能要素例如通过作为计算机的处理装置440执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置440所具备的上述功能要素的全部或一部分。
用户确定部444从图像取得装置404接收车内图像，基于该接收到的车内图像，针对位于车辆102中的车内人物分别进行面部图像认证，确定车内人物是否为登记用户。具体而言，用户确定部444从利用管理服务器106取得已经登记在利用管理服务器106中的各登记用户的面部图像信息210和个人信息212，与上述车内图像中的车内人物的面部图像进行比较，由此，判断各位车内人物是否为登记用户。
用户确定部444基于面部图像认证的结果，例如将车内人物信息448存储于存储装置442，该车内人物信息448由车内人物各自的面部图像和表示各个车内人物是登记用户还是非登记用户的识别信息构成。在上述识别信息中，例如可以包含各个登记用户的个人信息212所包含的ID码等。由此，车辆102的车内人物中的在车内人物信息448中与上述面部图像对应地存储有包含上述ID码的识别信息的车内人物可以被判断为是登记用户。
用户确定部444还将在开始利用车辆102时乘坐于驾驶席的登记用户确定为车辆102的当前的利用者(当前用户)，对在车内人物信息448中与当前用户的面部图像对应起来的上述识别信息附加表示该面部图像的人物是当前用户的信息。此外，用户确定部444在确定出当前用户时，向利用管理服务器106发送表示该当前用户的信息(例如ID码)。
在图1所示的场景中，用户确定部444将乘坐于车辆102的驾驶席的人物130确定为登记用户且为当前用户，将针对人物130的车内人物信息448存储于存储装置442，并且，将人物130的ID码作为表示当前用户的信息向利用管理服务器106发送。
用户信息取得部446参照用户确定部444存储的车内人物信息448而确定当前用户，从利用管理服务器106取得该当前用户的登记用户信息208，作为用户关联信息450而存储于存储装置442。即，在用户关联信息450中，可以包含当前用户的登记用户信息208所包含的面部图像信息210、个人信息212、特定用户信息214、第1许可用户信息216及第2许可用户信息218。
在图1所示的场景中，在用户信息取得部446存储于存储装置442的用户关联信息450中，包含特定用户信息214、第1许可用户信息216及第2许可用户信息218，该特定用户信息214包含作为特定许可用户的人物140的信息，该第1许可用户信息216包含作为第1许可用户的人物142的信息，该第2许可用户信息218包含作为第2许可用户的人物144的信息。
构成车载系统104的车辆控制装置402基于从图像取得装置404接收的车外图像及车内图像，对BCM 408进行指示来控制车门的打开动作。
具体而言，车辆控制装置402具备处理装置460和存储装置462。存储装置462例如由易失性及/或非易失性的半导体存储器及/或硬盘装置等构成。处理装置460例如是具备CPU等处理器的计算机。作为功能要素或功能单元，处理装置460具备动作信息取得部464、动作信息提供部466、人物识别部468及门控制部470。
处理装置460所具备的这些功能要素例如通过作为计算机的处理装置460执行程序而实现。另外，上述计算机程序能够预先存储在计算机可读取的任意的存储介质中。取而代之，也能够通过包含一个以上的电子电路部件的硬件分别构成处理装置460所具备的上述功能要素的全部或一部分。
动作信息取得部464从利用管理服务器106取得针对动作决定部230决定出的解锁动作的动作信息。动作信息取得部464能够接收并取得在动作决定部230决定了解锁动作时由利用管理服务器106的动作信息分发部232发送的动作信息。除此之外或者取而代之，动作信息取得部464也可以在对车辆102进行了表示利用开始的规定的操作(例如点火钥匙的接通操作)时或者以规定的时间间隔向利用管理服务器106发送发送请求，取得动作信息。
动作信息提供部466通过近距离无线通信，向车辆102外的终端装置(例如便携终端)提供动作信息取得部464取得的动作信息，即，针对利用管理服务器106的动作决定部230决定出的解锁动作的动作信息。具体而言，动作信息提供部466例如在TCU 410的近距离通信装置414不经由其他通信装置而直接与在规定距离的范围内(例如近距离通信装置414能够通信的范围)接近了车辆102的作为第1许可用户的车外人物的便携终端建立了通信时，通过近距离通信装置414向该便携终端发送动作信息。由此，通过自身的便携终端接收到动作信息的第1许可用户能够进行该动作信息所示的解锁动作，由此，使车辆102执行门打开动作。
在图1所示的场景中，动作信息提供部466在作为第1许可用户的人物142接近车辆102且建立了该人物142持有的便携终端152与近距离通信装置414的通信时，向便携终端152发送动作信息。
此外，例如，动作信息提供部466在TCU 410的近距离通信装置414不经由其他通信装置而直接与在规定距离的范围内(例如近距离通信装置414能够通信的范围)接近了车辆102的作为第2许可用户的车外人物的便携终端建立了通信时，将在车辆102内存在作为登记用户的车内人物作为条件，通过近距离通信装置414向该便携终端发送动作信息。由此，通过自身的便携终端接收到动作信息的第2许可用户能够进行该动作信息所示的解锁动作，由此，使车辆102执行门打开动作。
这里，动作信息提供部466能够基于后述的人物识别部468中的识别结果及用户管理装置406所存储的车内人物信息448，来判断在车辆102内是否存在作为登记用户的车内人物。另外，在该情况下，动作信息提供部466也可以将向作为第2许可用户的车外人物的便携终端发送了动作信息的情况通知给车辆102内的登记用户。例如，动作信息提供部466能够对UI控制装置412进行指示，将上述通知显示于显示装置420，及/或使上述通知从扬声器424作为声音而发出。
由此，作为登记用户的车内人物能够预先知晓第2许可用户乘车的可能性。此外，或者动作信息提供部466也可以在作为登记用户的车内人物针对上述通知而通过基于触摸面板422的输入或经由麦克风426的声音指示许可了动作信息的发送时，向作为第2许可用户的车外人物的便携终端发送动作信息。
在图1所示的场景中，由于在车辆102内存在作为登记用户的人物130，因此，动作信息提供部466在作为第2许可用户的人物144接近车辆102且建立了该人物144持有的便携终端154与近距离通信装置414的通信时，向便携终端154发送动作信息。
人物识别部468基于从图像取得装置404接收的车外图像及车内图像，识别是否存在车外人物及车内人物、以及车外人物的动作。尤其是人物识别部468基于动作信息取得部464取得的动作信息，识别车外人物是否进行了该动作信息所示的解锁动作。然后，人物识别部468将这些识别的结果(识别结果)送至动作信息提供部466及门控制部470。
门控制部470在基于人物识别部468中的识别结果识别出存在车内人物的情况下，当车外人物进行了由动作信息取得部464取得的动作信息所示的解锁动作时，对BCM 408进行指示，执行车辆102的门的打开动作。在该情况下，门控制部470例如能够执行与进行了解锁动作的车外人物最近的门的打开动作。
在图1所示的场景中，例如，当人物识别部468将接近车辆102的左侧的车外的人物144的动作识别为是上述解锁动作时，门控制部470对BCM 408进行指示，执行与人物144最近的助手席门124的打开动作。
上述的车辆控制系统100例如可以每日将表示决定出的解锁动作的动作信息向登记用户许可的用户发送，当车外人物进行了该解锁动作时，将在车辆102内存在车内人物作为条件，执行车辆102的门的打开动作。由此，在车辆控制系统100中，能够确保车辆102的安全性，并且，也能够对登记用户以外的人物支援顺畅的乘车。
接着，对车辆控制系统100的处理进行说明。图5及图6分别是示出构成车辆控制系统100的利用管理服务器106及车载系统104的处理的步骤的流程图。
首先，对图5所示的利用管理服务器106中的处理进行说明。该处理在利用管理服务器106的电源接通的状态下规定的时机到来时开始。上述规定的时机例如能够为每日凌晨3点等。利用管理服务器106通过自身具备的定时器(未图示)来识别规定的时机的到来。或者，上述规定的时机也可以是对车辆102进行了表示利用开始的规定的操作时。利用管理服务器106能够在上述表示开始利用的规定的操作被进行了时从车载系统104的车辆控制装置402接收这一意思的通知。
另外，利用管理服务器106与图5所示的处理并行地执行以下的处理。首先，用户登记部234响应于从希望利用车辆102的人物的便携终端等接收到信息的情况而生成该人物的登记用户信息208并存储于存储装置204。此外，动作信息分发部232响应于从车辆102发送了表示当前用户的信息(例如ID码)的情况而接收并存储该信息。此外，用户信息提供部236响应于从车辆102接收到发送请求的情况而向车辆102发送当前用户的登记用户信息208。
当开始图5所示的处理时，动作决定部230决定将哪个动作设为解锁动作(S100)。接下来，动作信息分发部232将表示上述决定出的解锁动作的动作信息向车辆102的车载系统104发送(S102)。此外，动作信息分发部232参照车辆102的当前用户(当前利用车辆102的登记用户)的登记用户信息208，向特定用户信息所示的特定许可用户的便携终端发送动作信息(S104)，之后结束本处理。
接着，对图6所示的车载系统104中的处理进行说明。该处理在车辆102停车或驻车时，例如在车速小于规定速度(例如5km/h)时开始。构成车载系统104的各装置例如能够经由连接有车速传感器(未图示)的BCM 408而得到与车辆102的车速有关的信息。
另外，车载系统104的用户管理装置406与图6所示的处理并行地执行以下的处理。首先，用户管理装置406例如在从对车辆102进行了表示利用开始的规定的操作时起到对车辆102进行了表示利用结束的规定的操作为止的期间，基于图像取得装置404取得的车内图像，识别相对于车辆102上车下车的人物，将车内人物信息448及用户关联信息450存储于存储装置442。此外，用户管理装置406的用户确定部444在车辆102的利用开始时，基于图像取得装置404取得的车内图像，确定当前用户(当前利用车辆102的登记用户)，将该当前用户的ID码向利用管理服务器106发送。此外，用户管理装置406的用户信息取得部446从利用管理服务器106取得当前用户的登记用户信息208。
此外，车辆控制装置402的动作信息取得部464与图6所示的处理并行地在车辆102的利用开始时，从利用管理服务器106取得表示最新的解锁动作的动作信息。
这里，上述表示利用开始的规定的操作及表示利用结束的规定的操作分别例如能够是当前用户进行的车辆102的点火钥匙的接通操作及断开操作。用户管理装置406及车辆控制装置402例如能够从连接有点火钥匙传感器(未图示)的BCM 408取得存在点火钥匙的接通操作及断开操作的情况。
当开始图6所示的处理时，车载系统104的图像取得装置404开始取得车外图像及车内图像(S200)。此外，车辆控制装置402的人物识别部468开始进行识别是否存在车外人物及车内人物以及识别车外人物及车内人物的动作的识别动作(S202)。
接着，车辆控制装置402的门控制部470基于人物识别部468的当前的识别结果，判断车外人物是否进行了上述取得的动作信息所示的解锁动作(S204)。然后，在车外人物进行了解锁动作时(S204，是)，门控制部470基于人物识别部468的当前的识别结果，判断在车辆102内是否存在车内人物(S206)。
然后，当在车辆102内存在车内人物时(S206，是)，门控制部470对BCM 408进行指示，进行车辆102的门的打开动作(S208)。在该情况下，门控制部470例如能够执行未被车内人物或货物等占有的座席中的与进行了解锁动作的上述车外人物最近的座席的门的打开动作。
接着，门控制部470基于车内图像，判断上述车外人物是否乘坐于车辆102并关闭了门(S210)，在未关闭门时(S210，否)，返回步骤S210等待至关闭门为止。另一方面，当关闭了门时(S210，是)，门控制部470判断车辆102是否结束停车或驻车而起步(S212)。门控制部470例如在车辆102的车速成为规定的速度(例如，5km/h)以上时，能够判断为车辆102已起步。如上所述，门控制部470例如能够经由BCM 408得到与车辆102的车速有关的信息。
然后，当车辆102未起步时(S212，否)，门控制部470返回步骤S204重复进行处理。另一方面，当车辆102起步了时(S212，是)，门控制部470结束本处理。
另一方面，在步骤S206中在车辆102内不存在车内人物时(S206，否)，门控制部470将处理移至步骤S212。
此外，另一方面，在步骤S204中不存在进行了解锁动作的车外人物时(S204，否)，动作信息提供部466判断TCU 410的近距离通信装置414是否建立了与针对当前用户的任意第1许可用户的便携终端的通信(S214)。然后，在未建立与任意第1许可用户的便携终端的通信时(S214，否)，动作信息提供部466判断TCU 410的近距离通信装置414是否建立了与针对当前用户的任意第2许可用户的便携终端的通信(S216)。
然后，当近距离通信装置414建立了与第2许可用户的便携终端的通信时(S216，是)，动作信息提供部466基于人物识别部468的当前的识别结果，判断在车辆102内是否存在作为登记用户的车内人物(S218)。然后，当在车辆102内存在作为登记用户的车内人物时(S218，是)，动作信息提供部466判断是否从建立了通信的便携终端接收到动作信息的发送请求(S220)。然后，当从该便携终端接收到动作信息的发送请求时(S220，是)，动作信息提供部466向近距离通信装置414建立了通信的便携终端发送动作信息(S222)，之后将处理移至步骤S212。
另一方面，在步骤S216中未建立与任意第2许可用户的便携终端的通信时(S216，否)、在步骤S218中在车辆102内不存在作为登记用户的车内人物时(S218，否)、或者在步骤S220中未从建立了通信的便携终端接收到动作信息的发送请求时(S220，否)，动作信息提供部466将处理移至步骤S212。
此外，另一方面，当在步骤S214中近距离通信装置414建立了与任意第1许可用户的便携终端的通信时(S214，是)，动作信息提供部466将处理移至步骤S222。
另外，本发明不限于上述实施方式的结构，在不脱离其主旨的范围内能够在各种方案中实施。
例如，在上述实施方式中，特定许可用户、第1许可用户及第2许可用户分别由一位人物140、142及144示出，但特定许可用户、第1许可用户及第2许可用户的数量不限于此，可以是任意的数量。
此外，在上述实施方式中，作为特定许可用户的人物140、作为第1许可用户的人物142、以及作为第2许可用户的人物144分别持有便携终端150、152、154作为终端装置而接收动作信息，但动作信息的接收装置不限于便携终端。特定许可用户、第1许可用户及第2许可用户分别也能够取代便携终端而使用喜欢的终端装置来接收动作信息。
这样的终端装置除了能够是智能手机等便携终端之外，根据其使用方式，还能够是台式PC(Personal Computer：个人计算机)、便携式PC、平板PC、车载AV(Audio Visual：影音)装置等具备BlueTooth等近距离通信及/或WiFi(注册商标)通信的功能等的任意装置。
此外，例如，在上述实施方式中，人物140、142、144持有作为终端装置的便携终端150、152、154而接近了车辆102，但进行车辆102的解锁动作的车外人物不一定需要携带终端装置。车外人物只要能够在通过某个终端装置从利用管理服务器106及/或车载系统104接收到动作信息之后预先将该动作信息所示的解锁动作存储在大脑中，并且只要在利用管理服务器106决定新的解锁动作之前，不携带终端装置，也能够通过接近车辆102进行解锁动作来指示车辆102的门的打开动作。
此外，在上述实施方式中，车辆控制系统100由利用管理服务器106和车载系统104构成，但车辆控制系统100的结构不限于此。例如，车辆控制系统100也可以通过具有与利用管理服务器106同样的功能的车载装置和车载系统104而构成为车载装置的集合体。或者，车辆控制系统100也可以构成为搭载于车辆102的一个装置。
此外，或者车辆控制装置402及用户管理装置406也可以不设置在车载系统104中而设置在利用管理服务器106内，通过利用管理服务器106和车载的图像取得装置404来构筑车辆控制系统100。在该情况下，利用管理服务器106能够经由通信网络108及车辆102的TCU 410，从图像取得装置404取得车内图像及车外图像，并且，对BCM 408进行指示，进行车辆102的门的打开动作。
如以上说明的那样，本实施方式的车辆控制系统100具备：车外图像取得部432，其取得车辆102的外部环境的图像、即车外图像；以及车内图像取得部434，其取得车辆102的车室内的图像、即车内图像。此外，车辆控制系统100具备：人物识别部468，其基于车外图像及车内图像，识别是否存在车辆102的车内人物，并且，识别车辆102的车外人物的动作；门控制部470，其控制车辆102的门的状态；以及动作决定部230，其决定解锁动作，该解锁动作是车外人物在指示车辆102的门的打开动作时应进行的规定的动作。而且，门控制部470在基于人物识别部468中的识别结果识别出存在车内人物的情况下，当车外人物进行了动作决定部230决定出的上述解锁动作时，执行车辆102的门的打开动作。
根据该结构，能够确保车辆102的安全性，并且也能够对登记用户以外的人物支援顺畅的乘车。
此外，在车辆控制系统100中，动作决定部230在预先决定的时机决定解锁动作。根据该结构，解锁动作被适当更新，因此，能够防止使用了一次的解锁动作之后被第三者使用而将车辆102的门解锁。
此外，车辆控制系统100具备存储用户信息206的存储装置204，该用户信息206包含作为车辆102的利用者而预先登记的登记用户的信息、以及同与登记用户处于规定的关系的人物的终端装置相关的终端信息。此外，车辆控制系统100具备：用户确定部444，其确定车内人物中的作为车辆102的利用者而预先登记的登记用户；以及动作信息分发部232，其向放置在车辆102外的终端装置分发针对动作决定部230决定出的解锁动作的动作信息。而且，动作信息分发部232向与作为车内人物的登记用户处于规定的关系的人物的终端装置分发动作信息。
根据该结构，将动作信息与解锁动作的决定一起分发给登记用户的家庭成员等与该登记用户处于规定的关系的人物，因此，便利性提高。
此外，车辆控制系统100具备动作信息提供部466，该动作信息提供部466通过近距离无线通信，向放置在车辆102外的终端装置提供与动作决定部230决定出的解锁动作有关的动作信息。动作信息提供部466在与接近车辆102的例如第1许可用户的终端装置建立了通信时，向该终端装置发送动作信息。
根据该结构，例如第1许可用户仅通过持着终端装置接近车辆102就能够取得动作信息，因此，便利性提高。
此外，车辆控制系统100具备：动作信息提供部466，其通过近距离无线通信，向放置在车辆102外的终端装置提供与动作决定部230决定出的解锁动作有关的动作信息；以及用户确定部444，其确定车内人物中的登记用户。而且，动作信息提供部466将基于人物识别部468中的识别结果识别出存在作为登记用户的车内人物作为条件，响应于从接近车辆102的例如第2许可用户的终端装置接收到请求的情况而向该终端装置发送动作信息。
根据该结构，例如能够针对登记用户基于信赖关系的深度等而设定为第2许可用户的人物，与信赖关系更深的第1许可用户相比，确保更高的安全性，并且，能够支援第2许可用户顺畅地乘上车辆102。
此外，在车辆控制系统100中，车辆102的门的打开动作是打开该门的自动动作、或者是将门设定为能够从车辆102的外部打开的状态的动作。根据该结构，门控制部470不限于自动地打开门的动作，能够通过门解锁、将收纳在门内的门手柄从门中取出而成为能够动作的状态等各种动作来支援车外人物的顺畅的乘车。
此外，车辆控制系统100具备与车辆102的车载装置以能够通信的方式连接而构成该车辆控制系统的利用管理服务器106，该利用管理服务器106具备决定解锁动作的动作决定部230。根据该结构，即便在车辆102的车载装置的电源断开的状态下，也能够决定解锁动作，将表示该解锁动作的动作信息向许可用户分发。此外，根据该结构，例如通过将一个利用管理服务器106与多个车辆102的车载装置以能够通信的方式连接，能够利用1台利用管理服务器106来进行针对多个车辆102各自的解锁动作的决定及动作信息的分发目的地管理。
此外，车辆控制系统100通过进行车辆控制的计算机即处理装置200、430、440、460来执行进行以下的处理的车辆控制方法。该车辆控制方法具有：取得车辆102的外部环境的图像、即车外图像的步骤(S200)；以及取得车辆102的车室内的图像、即车内图像的步骤(S200)。此外，该车辆控制方法具有：基于车外图像及车内图像来识别车辆102的车外人物的动作及是否存在车辆102的车内人物的步骤(S202)；控制车辆102的门的状态的步骤(S208)；以及决定车外人物在指示门的打开动作时应使用的规定的动作、即解锁动作的步骤(S100)。而且，在上述控制的步骤中，在基于上述识别的步骤中的识别结果识别出存在车内人物的情况下(S206中的是)，当车外人物进行了在上述决定的步骤中决定出的规定的动作、即解锁动作时(S204中的是)，执行车辆102的门的打开动作。
根据该结构，能够确保车辆102的安全性，并且也能够对登记用户以外的人物支援顺畅的乘车。
[由上述实施方式支持的结构]
上述实施方式支持以下的结构。
(结构1)一种车辆控制系统，其中，所述车辆控制系统具备：车外图像取得部，其取得车辆的外部环境的图像、即车外图像；车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；人物识别部，其基于所述车外图像及所述车内图像，识别是否存在所述车辆的车内人物，并且识别所述车辆的车外人物的动作；门控制部，其控制所述车辆的门的状态；以及动作决定部，其决定所述车外人物在指示所述门的打开动作时应进行的规定的动作，所述门控制部在基于所述人物识别部中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了所述动作决定部决定出的所述规定的动作时，执行所述门的打开动作。
(结构2)在结构1所记载的车辆控制系统的基础上，所述动作决定部在预先决定的时机决定所述规定的动作。
(结构3)在结构1或2所记载的车辆控制系统的基础上，具备：存储装置，其存储用户信息，该用户信息包含被预先登记为所述车辆的利用者的登记用户的信息、以及同与所述登记用户处于规定的关系的人物的终端装置相关的终端信息；用户确定部，其确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户；以及动作信息分发部，其向放置在所述车辆外的终端装置分发与所述动作决定部决定出的所述规定的动作有关的动作信息，所述动作信息分发部向与作为所述车内人物的所述登记用户处于所述规定的关系的人物的所述终端装置分发所述动作信息。
(结构4)在结构1至3中的任意一个结构所记载的车辆控制系统的基础上，具备动作信息提供部，该动作信息提供部通过近距离无线通信，向放置在所述车辆外的终端装置提供与所述动作决定部决定出的所述规定的动作有关的动作信息，所述动作信息提供部在与接近所述车辆的终端装置建立了通信时，向该终端装置发送所述动作信息。
(结构5)在结构1至3中的任意一个结构所记载的车辆控制系统的基础上，具备：动作信息提供部，其通过近距离无线通信，向放置在所述车辆外的终端装置提供与所述动作决定部决定出的所述规定的动作有关的动作信息；以及用户确定部，其确定所述车内人物中的被预先登记为所述车辆的利用者的登记用户，所述动作信息提供部将基于所述人物识别部中的识别结果识别出存在作为所述登记用户的所述车内人物作为条件，响应于从所述终端装置接收到请求的情况而向该终端装置发送所述动作信息。
(结构6)在结构1至5中的任意一个结构所记载的车辆控制系统的基础上，所述打开动作是打开所述门的自动动作、或者是将所述门设定为能够从所述车辆的外部打开的状态的动作。
(结构7)一种服务器，其中，所述服务器与所述车辆的车载装置以能够通信的方式连接而构成结构1至6中的任意一个结构所记载的车辆控制系统，所述服务器具备所述动作决定部。
(结构8)一种车辆控制方法，该车辆控制方法由进行车辆控制的计算机来执行，其中，所述车辆控制方法具备以下步骤：取得车辆的外部环境的图像、即车外图像；取得所述车辆的车室内的图像、即车内图像；基于所述车外图像及所述车内图像，识别所述车辆的车外人物的动作、以及识别是否存在所述车辆的车内人物；控制所述车辆的门的状态；以及决定所述车外人物在指示所述门的打开动作时应使用的规定的动作，在所述控制的步骤中，在基于所述识别的步骤中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了在所述决定的步骤中决定出的所述规定的动作时，执行所述门的打开动作。

Claims (7)

1.一种车辆控制系统，其中，
所述车辆控制系统具备：
车外图像取得部，其取得车辆的外部环境的图像、即车外图像；
车内图像取得部，其取得所述车辆的车室内的图像、即车内图像；
人物识别部，其基于所述车外图像及所述车内图像，识别是否存在所述车辆的车内人物，并且识别所述车辆的车外人物的动作；
门控制部，其控制所述车辆的门的状态；
动作决定部，其识别预先决定的规定的时刻的到来，更新所述车外人物在指示所述门的打开动作时应进行的规定的动作；以及
动作信息分发部，其向被预先登记为所述车辆的利用者的登记用户所持有的登记用户终端装置以及作为所述登记用户的关系人而被预先记录于存储装置的特定许可用户所持有的特定许可用户终端装置，分发表示所述动作决定部更新后的所述规定的动作的动作信息，
所述门控制部在基于所述人物识别部中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了所述动作决定部更新后的所述规定的动作时，执行所述门的打开动作。
2.根据权利要求1所述的车辆控制系统，其中，
所述存储装置存储用户信息，该用户信息包含所述登记用户的信息以及与所述特定许可用户的所述特定许可用户终端装置相关的终端信息；
所述车辆控制系统具备用户确定部，该用户确定部根据所述用户信息确定所述登记用户。
3.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统具备动作信息提供部，该动作信息提供部通过近距离无线通信，向放置在所述车辆外的车外终端装置提供所述动作信息，
所述动作信息提供部在与接近所述车辆的所述车外终端装置建立了通信时，向该车外终端装置发送所述动作信息。
4.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统具备：
动作信息提供部，其通过近距离无线通信，向放置在所述车辆外的车外终端装置提供所述动作信息；以及
用户确定部，其确定所述登记用户，
所述动作信息提供部将基于所述人物识别部中的识别结果识别出存在作为所述登记用户的所述车内人物作为条件，响应于从所述车外终端装置接收到请求的情况而向该车外终端装置发送所述动作信息。
5.根据权利要求1所述的车辆控制系统，其中，
所述打开动作是打开所述门的自动动作、或者是将所述门设定为能够从所述车辆的外部打开的状态的动作。
6.一种服务器，其中，
该服务器与车辆的车载装置以能够通信的方式连接而构成权利要求1所述的车辆控制系统，该服务器具备所述动作决定部。
7.一种车辆控制方法，该车辆控制方法由进行车辆控制的计算机来执行，其中，
所述车辆控制方法具备以下步骤：
取得车辆的外部环境的图像、即车外图像；
取得所述车辆的车室内的图像、即车内图像；
基于所述车外图像及所述车内图像，识别所述车辆的车外人物的动作、以及识别是否存在所述车辆的车内人物；
控制所述车辆的门的状态；
识别预先决定的规定的时刻的到来，更新所述车外人物在指示所述门的打开动作时应使用的规定的动作；
向被预先登记为所述车辆的利用者的登记用户所持有的登记用户终端装置以及作为所述登记用户的关系人而被预先记录于存储装置的特定许可用户所持有的特定许可用户终端装置，分发表示更新后的所述规定的动作的动作信息，
在所述控制的步骤中，
在基于所述识别的步骤中的识别结果识别出存在所述车内人物的情况下，当所述车外人物进行了在所述决定的步骤中更新后的所述规定的动作时，执行所述门的打开动作。
CN202110533423.XA 2020-05-27 2021-05-17 车辆控制系统、服务器及车辆控制方法 Active CN113799731B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020092521A JP7332535B2 (ja) 2020-05-27 2020-05-27 車両制御システム、サーバ、及び車両制御方法
JP2020-092521 2020-05-27

Publications (2)

Publication Number Publication Date
CN113799731A CN113799731A (zh) 2021-12-17
CN113799731B true CN113799731B (zh) 2024-07-16

Family

ID=78706605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533423.XA Active CN113799731B (zh) 2020-05-27 2021-05-17 车辆控制系统、服务器及车辆控制方法

Country Status (3)

Country Link
US (1) US20210370867A1 (zh)
JP (1) JP7332535B2 (zh)
CN (1) CN113799731B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12004054B1 (en) * 2020-07-31 2024-06-04 Apple Inc. Electronic devices with motion-based proximity sensing
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
JP2023022547A (ja) * 2021-08-03 2023-02-15 株式会社Subaru 乗員に応じた車両の設定システム、および車両

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
JP2005344335A (ja) 2004-06-01 2005-12-15 Fujitsu Ten Ltd ドアロック制御システム、ドアロック制御装置およびドアロック制御方法
FR2920172B1 (fr) 2007-08-21 2009-12-04 Valeo Securite Habitacle Procede de deverrouillage automatique d'un ouvrant de vehicule automobile pour systeme mains-libre et dispositif pour la mise en oeuvre du procede
US9721408B2 (en) * 2012-09-12 2017-08-01 Nissan Motor Co., Ltd. Control apparatus for vehicle opening/closing body
JP6182483B2 (ja) 2014-03-12 2017-08-16 オムロンオートモーティブエレクトロニクス株式会社 携帯機および制御システム
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
US9818246B2 (en) * 2015-07-29 2017-11-14 Ford Global Technologies, Llc System and method for gesture-based control of a vehicle door
JP2017121865A (ja) * 2016-01-07 2017-07-13 トヨタ自動車株式会社 自動運転車両
JP6525345B2 (ja) * 2017-03-15 2019-06-05 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
US20200209011A1 (en) * 2017-06-16 2020-07-02 Honda Motor Co., Ltd. Vehicle system, autonomous vehicle, vehicle control method, and program
JP2019104376A (ja) * 2017-12-12 2019-06-27 トヨタ自動車株式会社 車室内監視装置、格納装置、および車両
JP2019173541A (ja) 2018-03-29 2019-10-10 アイシン精機株式会社 車両制御装置
JP2019183504A (ja) * 2018-04-10 2019-10-24 株式会社デンソー 車両用ドア制御装置

Also Published As

Publication number Publication date
JP7332535B2 (ja) 2023-08-23
US20210370867A1 (en) 2021-12-02
JP2021188305A (ja) 2021-12-13
CN113799731A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
US10586414B2 (en) User identification system
CN113799731B (zh) 车辆控制系统、服务器及车辆控制方法
CN110268408B (zh) 用于汽车的双因素生物测定认证
CN110807178B (zh) 一种车辆授权管理方法、装置、终端及服务器
JP6447379B2 (ja) 認証装置、認証システムおよび認証方法
US10147257B2 (en) Systems and methods for user based vehicle access control
CN110217196B (zh) 车门控制系统与方法
CN113799729B (zh) 车辆控制系统及车辆控制方法
JP4636171B2 (ja) 車両用生体認証システム
JP2005248445A (ja) 協調認証装置
CN113815562A (zh) 基于全景摄像头的车辆解锁方法、设备及存储介质
JP2019153106A (ja) 車載システム、及び、乗降認証システム
JP7410796B2 (ja) 車両制御システム、及び車両制御方法
JP7268751B2 (ja) 情報処理装置および情報処理方法
CN114708677A (zh) 基于nfc的非接触式汽车数字钥匙实现系统及方法
WO2019181143A1 (ja) 車両制御システム
JP7358297B2 (ja) エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
JP2021091274A (ja) ウィンドウ表示システムおよびそれを含む車両システム
JP2006037410A (ja) 遠隔操作システム
JP6888160B1 (ja) 認証システム、認証方法、認証プログラム及び端末装置
US20240095317A1 (en) Method and System For Device Access Control
JP2021189611A (ja) 車両制御システム、車両制御方法、及び車両制御プログラム
JP2024111374A (ja) 電子鍵システム
CN117072015A (zh) 应用于车辆的开门控制方法和装置
JP2021111227A (ja) プログラム及び通信端末

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant