CN114762017A - 车内监视系统、车内监视装置以及车内监视程序 - Google Patents

车内监视系统、车内监视装置以及车内监视程序 Download PDF

Info

Publication number
CN114762017A
CN114762017A CN202080084452.6A CN202080084452A CN114762017A CN 114762017 A CN114762017 A CN 114762017A CN 202080084452 A CN202080084452 A CN 202080084452A CN 114762017 A CN114762017 A CN 114762017A
Authority
CN
China
Prior art keywords
vehicle
unit
remote
recognition
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080084452.6A
Other languages
English (en)
Other versions
CN114762017B (zh
Inventor
舩桥淳一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN114762017A publication Critical patent/CN114762017A/zh
Application granted granted Critical
Publication of CN114762017B publication Critical patent/CN114762017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/12—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries responding to state of charge [SoC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Thermal Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车内监视系统、车内监视装置以及存储介质。转移判断部(103)基于获取的能量余量判断是否进行远程处理，在判断为不进行远程处理的情况下，车载识别部(104)识别车辆内部的对象物，车载判断部(105)基于识别结果判断车辆内部的状况，在判断为进行远程处理的情况下，车载通信部(106)将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，接收车内监视支援装置对车辆内部的状况的判断结果，车载控制部(107)基于判断结果来进行对车辆内部的控制。

Description

车内监视系统、车内监视装置以及车内监视程序
相关申请的交叉引用
本申请基于2019年12月4日申请的日本申请号2019－219456号，并在此引用其记载内容。
技术领域
本公开涉及车内监视系统、车内监视装置以及车内监视程序。
背景技术
在自动驾驶车辆中，为了车辆内的防止犯罪、事故防止，研究监视车内的车内监视。例如，在专利文献1中，为了防止许多人同乘的公共交通工具的车辆内的事故、犯罪，对相机影像等进行处理以掌握状况。
专利文献1：日本特开2016－062414号公报
但是，在自动驾驶车辆中，监视系统需要承担多种多样的监视，另一方面从成本、搭载条件、消耗能量的观点来看，存在监视系统中能够搭载的功能有限这样的问题。另外，即使在监视系统中搭载了所有的功能的情况下，由于消耗能量增大，所以自动驾驶车辆使用的能量也有可能不足。
发明内容
本公开的目的在于提供即使在能量余量不足的情况下，也能够精度良好地进行车内监视的车内监视装置、车内监视系统以及车内监视程序。
本公开所涉及的车内监视系统构成为，包括搭载于车辆的车载器和车内监视支援装置，上述车载器包括：能量获取部、车载获取部、转移判断部、车载识别部、车载判断部、车载通信部以及车载控制部，上述车内监视支援装置包括：远程通信部、远程识别部以及远程判断部，上述能量获取部获取能量余量，上述能量余量是上述车载器使用的能量的余量，上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，上述转移判断部基于上述能量余量判断是否进行远程处理，在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至上述车内监视支援装置，上述远程通信部接收上述传感器信息，上述远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，上述远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，上述远程通信部将上述远程判断部的判断结果发送至上述车载器，上述车载通信部接收上述远程判断部的判断结果，上述车载控制部基于上述车载判断部的判断结果或者上述远程判断部的判断结果来进行对上述车辆内部的控制。
另外，本公开所涉及的车内监视装置是搭载于车辆的车内监视装置，包括：能量获取部、车载获取部、转移判断部、车载识别部、车载判断部、车载通信部以及车载控制部，上述能量获取部获取能量余量，上述能量余量是上述车内监视装置使用的能量的余量，上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，上述转移判断部基于上述能量余量判断是否进行远程处理，在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置，上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果，上述车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
另外，本公开所涉及的车内监视程序是用于使计算机执行处理的程序，处理包括：能量获取部获取能量余量，上述能量余量是计算机使用的能量的余量；车载获取部获取与上述车辆内部的对象物相关的传感器信息；转移判断部基于上述能量余量判断是否进行远程处理；在上述转移判断部判断为不进行远程处理的情况下，车载识别部基于上述传感器信息识别上述车辆内部的对象物；车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况；在上述转移判断部判断为进行远程处理的情况下，车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置；上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
根据本公开所涉及的车内监视系统、车内监视装置以及车内监视程序，能量获取部获取计算机使用的能量的余量、亦即能量余量，车载获取部获取与车辆内部的对象物相关的传感器信息，转移判断部基于能量余量判断是否进行远程处理。
而且，在转移判断部判断为不进行远程处理的情况下，车载识别部基于传感器信息识别车辆内部的对象物，车载判断部基于车载识别部的识别结果来判断车辆内部的状况，在转移判断部判断为进行远程处理的情况下，车载通信部将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，车载通信部接收车内监视支援装置对车辆内部的状况的判断结果，车载控制部基于车载判断部的判断结果或者车内监视支援装置的判断结果来进行对车辆内部的控制。
这样，基于获取的能量余量判断是否进行远程处理，在判断为不进行远程处理的情况下，识别车辆内部的对象物，并基于识别结果判断车辆内部的状况，在判断为进行远程处理的情况下，将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，接收车内监视支援装置对车辆内部的状况的判断结果，并基于判断结果，进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
根据本公开的车内监视系统、车内监视装置以及车内监视程序，即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
附图说明
关于本公开的上述目的以及其它目的、特征及优点，参照附图并通过下述的详细描述会变得更加明确。该附图如下述那样。
图1是表示车内监视系统的结构的框图。
图2是表示车载器的硬件结构的框图。
图3是表示车载器的功能结构的框图。
图4是表示车内监视支援装置的硬件结构的框图。
图5是表示车内监视支援装置的功能结构的框图。
图6是表示第一实施方式所涉及的车内监视处理例程的流程图。
图7是表示第一实施方式所涉及的车内监视支援处理例程的流程图。
图8是表示第二实施方式所涉及的车内监视处理例程的流程图。
图9是表示第二实施方式所涉及的车内监视支援处理例程的流程图。
具体实施方式
以下，使用附图对本公开的实施方式进行说明。
＜本公开的第一实施方式所涉及的车内监视系统的结构＞
参照图1，对本公开的实施方式所涉及的车内监视系统1进行说明。图1是表示本公开的第一实施方式所涉及的车内监视系统1的结构的框图。如图1所示，本公开的第一实施方式所涉及的车内监视系统1由搭载于车辆100的车载器10、车内监视支援装置20、基站60以及网络70构成。此外，车内监视系统1以搭载车载器10的车辆100实施自动驾驶的情况为例进行说明。车辆100是能够运输对象物的车辆，例如在对象物为人的情况下是公共汽车，在对象物为物(包括动物)的情况下是卡车。在本公开中，以对象物为人，车辆100为公共汽车的情况为例进行说明。
基站60是与网络70连接，并通过无线通信与车载器10进行通信的无线基站。网络70是因特网、广域以太网等公共网络。即，车载器10与车内监视支援装置20构成为能够经由基站60以及网络70进行通信。
另外，在车辆100中搭载有能够通过有线或者无线与车载器10连接的能量计测装置以及传感器(未图示)。能量计测装置是计测车载器10使用的能量的余量的装置。能量计测装置例如如日本专利6191349号公报所公开的那样，监视车载器10使用的能量。作为能量，例如是蓄电池内部的电力、汽油的量、氢等各种能量。传感器是获取车内的信息的装置。作为传感器，例如能够采用相机、温度计、振动传感器、激光雷达、超声波传感器、毫米波传感器等。在本公开中，以能量为电力，传感器是拍摄车辆100的内部的相机的情况为例进行说明。能量计测装置以及相机将能量余量以及拍摄到的图像传递给车载器10。
车载器10执行自动驾驶控制。参照图2以及图3，对车载器10的结构进行说明。
图2是表示本实施方式所涉及的车载器10的硬件结构的框图。如图2所示，车载器10具有：CPU(Central Processing Unit：中央处理器)11、ROM(Read Only Memory：只读存储器)12、RAM(Random Access Memory：随机存取存储器)13、存储器14、输入部15、显示部16以及天线17。各结构经由总线19相互可通信地连接。
CPU11是中央运算处理单元，执行各种程序，或者控制各部。即，CPU11从ROM12或者存储器14读出程序，将RAM13作为工作区执行程序。CPU11按照存储于ROM12或者存储器14的程序，进行上述各结构的控制以及各种运算处理。在本实施方式中，在ROM12或者存储器14中存储有用于执行车内监视处理的车内监视程序。
ROM12存储各种程序以及各种数据。RAM13作为工作区暂时存储程序或者数据。存储器14由HDD(Hard Disk Drive：硬盘驱动器)或者SSD(Solid State Drive：固态硬盘)构成，存储包括操作系统的各种程序以及各种数据。
输入部15包括鼠标等定位设备、键盘以及声音输入设备，用于进行各种输入。显示部16例如是液晶显示器或者扬声器，显示或者再生各种信息。显示部16也可以采用触摸面板方式，作为输入部15发挥作用。天线17是用于与其它设备进行无线通信的无线通信天线，例如使用LTE、5G、Wi－Fi(注册商标)等标准。
图3是表示本实施方式所涉及的车载器10的功能结构的框图。如图3所示，本实施方式所涉及的车载器10构成为具备：能量获取部101、车载获取部102、转移判断部103、车载识别部104、车载判断部105、车载通信部106、车载控制部107以及输出部108。
能量获取部101从能量计测装置获取车载器10使用的能量的余量、亦即能量余量。然后，能量获取部101将获取的能量余量传递给转移判断部103。
车载获取部102获取与车辆100内部的对象物相关的传感器信息。具体而言，车载获取部102按规定周期获取拍摄车辆100的内部的相机拍摄到的影像。然后，车载获取部102将获取的影像传递给转移判断部103。
转移判断部103基于能量余量判断是否进行远程处理。具体而言，转移判断部103将能量余量例如分为三个阶段(高、中、低)的等级，并根据等级判断是否进行基于车内监视支援装置20的远程处理以及远程处理的内容。例如在能量余量低于第一阈值的情况下，能量余量的等级能够设为Low，在能量余量在第一阈值以上且在第二阈值以下的情况下，能够设为Mid，在能量余量高于第二阈值的情况下，能够设为High。
在能量余量的等级为High的情况下，有足够将能量使用于监视的能量。因此，通过车载器10执行车内监视。具体而言，通过车载识别部104以及车载判断部105进行识别以及状况的判断。该情况下，转移判断部103将传感器信息传递给车载识别部104。
另一方面，在能量余量的等级为Mid或者Low的情况下，监视使用能量的风险较高。因此，将监视功能的一部分委托给车内监视支援装置20。将构成监视功能的车载识别部104以及车载判断部105的至少任意一个的功能委托给车内监视支援装置20。更具体而言，在能量余量的等级为Low的情况下，转移判断部103将传感器信息传递给车载通信部106，使该传感器信息发送至车内监视支援装置20。另外，在能量余量的等级为Mid的情况下，转移判断部103仅将车载判断部105的功能委托给车内监视支援装置20。该情况下，转移判断部103将传感器信息传递给车载识别部104，并且命令车载识别部104将传感器信息和识别结果传递给车载通信部106。即，转移判断部103使车载通信部106将传感器信息和识别结果发送至车内监视支援装置20。
在转移判断部103判断为不进行远程处理的情况下，车载识别部104基于传感器信息识别车辆100内部的对象物。具体而言，在能量余量的等级为Mid或者High的情况下，设为转移判断部103判断为不通过远程处理进行根据传感器信息亦即影像识别车辆100内的人的处理，车载识别部104进行根据影像内的各图像识别车辆100内的人的处理。识别手段例如除了下述参考文献1之外，还能够采用任意的识别手段。
[参考文献1]S.Ren，K.He,R.Girshick，and J.Sun，"Faster R-CNN:Towardsreal-time object detection with region proposal networks，"Advances in NeuralInformation Processing Systems 28，May 2015，pp.91-99.
而且，车载识别部104在被转移判断部103命令传递给车载通信部106的情况下，将影像和识别结果传递给车载通信部106，在未被转移判断部103命令传递给车载通信部106的情况下，将影像和识别结果传递给车载判断部105。
在转移判断部103判断为不对判断处理进行远程处理的情况下，车载判断部105基于车载识别部104的识别结果和车辆100的当前的场景来判断车辆100内部的状况。
具体而言，车载判断部105首先从车载控制部107获取当前的场景。当前的场景是指车辆100当前所处的情景，例如等待中、运行中正常、运行中反常、停车中等情景。在本公开中，作为当前的场景，以运行中正常和运行中反常的情况为例进行说明。
在当前的场景为运行中正常的情况下，车载判断部105基于车载识别部104的识别结果来判断车辆100内部的状况是正常、需要注意以及反常中的哪一个。具体而言，针对车载识别部104的识别结果，车载判断部105例如通过人体姿势估计(参考文献2)等方法检测多个时刻的车辆100内部的人的姿势。
[参考文献2]A.Toshev and C.Szegedy,"DeepPose:Human pose estimation viadeep neural networks，"Proc.Computer Vision and Pattern Recognition 2014，Columbus，USA，June 2014，pp.3476-3483.
接下来，车载判断部105根据检测出的多个时刻的姿势来判定在车辆100内部被识别出的人是正常时的姿势还是不是正常时的姿势。正常时的姿势例如是指在公共汽车内“就座”、“抓住扶手或者吊环站立”等姿势。在检测出的姿势是正常时的姿势的情况下，车载判断部105判断为车辆100内部的状况是正常的。另外，在检测出的姿势不是正常时的姿势的情况下，车载判断部105判断为车辆100内部的状况是反常的。然后，车载判断部105将判断结果传递给车载控制部107。
另外，在当前的场景为运行中反常的情况下，车载判断部105也同样地基于车载识别部104的识别结果来判定在车辆100内部被识别出的人是正常时的姿势还是不是正常时的姿势。若判断结果为反常，则车载判断部105将判断结果传递给车载控制部107。车载判断部105还将判断结果传递给车载通信部106。这是因为若运行中反常的情况下的判断结果为反常，则需要更详细地验证当前的状况。在本实施方式中，由于详细的验证较多地使用消耗能量，所以使车内监视支援装置20更详细地验证车辆100内部的状况。另外，若判断结果不是反常，则车载判断部105将判断结果传递给车载控制部107。
车载通信部106将从各处理部传递来的数据发送至车内监视支援装置20。具体而言，车载通信部106将传感器信息、识别结果以及判断结果中的获取的数据发送至车内监视支援装置20。
另外，车载通信部106在将传感器信息或者识别结果发送到车内监视支援装置20的情况下，从车内监视支援装置20接收远程判断部203的判断结果。然后，车载通信部106将接收的判断结果传递给车载控制部107。
车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来进行对车辆100内部的控制。具体而言，车载控制部107基于车载判断部105或者远程判断部203的判断结果进行控制，以进行注意唤起或者对应指示。
例如，在当前的场景为运行中正常的情况下，车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来判定是否需要对车辆100内部的控制。更具体而言，在判断结果为正常的情况下，车载控制部107判定为不需要对车辆100内部的控制。此外，该控制是与车内监视相关的特别的控制，与通常的车辆控制等其它控制不同。另外，在判断结果为反常的情况下，车载控制部107判定为需要对车辆100内部的控制。在需要控制的情况下，车载控制部107作为控制而根据检测出的姿势来决定与姿势相应的注意唤起的内容。车载控制部107的姿势与注意唤起建立对应例如能够通过预先创建对应表来实现。例如，在由车载判断部105检测到在运行中人在车辆100内步行的姿势的情况下，决定进行注意唤起以使得就坐。然后，将控制的内容传递给输出部108。
另外，在当前的场景为运行中反常的情况下，车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来判定是否需要对车辆100内部的控制。更具体而言，在判断结果为正常的情况下，车载控制部107判定为不需要对车辆100内部的控制。另外，在判断结果为反常的情况下，车载控制部107判定为需要对车辆100内部的控制。在需要控制的情况下，车载控制部107作为控制而根据检测出的姿势来决定与姿势相应的对应内容。例如能够通过预先创建对应表来实现车载控制部107的姿势与对应的对应关系建立。例如，在由车载判断部105在运行中的车辆100内人持有刀具的情况下，决定进行显示的对应以使得收起刀具。然后，将控制的内容传递到输出部108。
输出部108输出车载控制部107进行的车厢控制的内容。具体而言，若车厢控制的内容为注意唤起，则输出部108进行显示注意唤起以及再生注意唤起的声音数据中的至少任意一个。另外，在车厢控制的内容为对应的情况下，输出部108也同样地进行显示对应的指示以及再生对应的指示的声音数据中的至少任意一个。
车内监视支援装置20进行本公开的实施方式所涉及的车内监视系统中的用于车辆进行自动驾驶的行驶支援。参照图4以及图5，对本公开的实施方式所涉及的车内监视支援装置20的结构进行说明。图4是表示本实施方式所涉及的车内监视支援装置20的硬件结构的框图。如图4所示，车内监视支援装置20具有：CPU11、ROM12、RAM13、存储器14、输入部15、显示部16以及通信接口(I/F)18。各结构经由总线19相互可通信地连接。此外，对于与车载器10相同的硬件省略说明。在车内监视支援装置20中，在ROM12或者存储器14中存储有用于执行车内监视支援处理的车内监视支援程序。
通信接口18是用于与其它设备进行通信的接口，例如使用以太网(注册商标)、FDDI、Wi－Fi(注册商标)等标准。
接下来，对车内监视支援装置20的功能结构进行说明。图5是表示车内监视支援装置20的功能结构的例子的框图。如图5所示，本实施方式所涉及的车内监视支援装置20构成为具备：远程通信部201、远程识别部202、远程判断部203、远程验证部204、支援控制部205以及输出部206。
远程通信部201从车载器10接收数据。具体而言，远程通信部201接收从车载通信部106发送的包括传感器信息、识别结果以及判断结果中的至少任意一个的数据。远程通信部201在仅接收到传感器信息的情况下，将该传感器信息传递给远程识别部202以及支援控制部205。另外，远程通信部201在接收到传感器信息以及识别结果的情况下，将该传感器信息以及识别结果传递给远程判断部203。另外，远程通信部201在接收到传感器信息、识别结果以及判断结果的情况下，将该传感器信息以及该识别结果传递给远程验证部204。
另外，远程通信部201将远程判断部203的判断结果发送至车载器10。
远程识别部202基于远程通信部201接收到的传感器信息来识别车辆100内部的对象物。具体而言，远程识别部202与车载识别部104同样地识别对象物。此时，远程识别部202能够使用精度比车载识别部104所使用的识别手段高的识别手段来识别对象物。例如，与车载识别部104相比提高影像内的各图像的分辨率来识别对象物即可。即，远程识别部202与车载识别部104相比能量消耗没有限制，所以通过使用更高性能的识别手段，能够适当地支援车载器10。除此之外，也可以通过更高的采样速率、更多的图像、更多种类的传感器信息、车载识别部104使用的更高质量的传感器信息进行识别。此外，并不限定于识别，也可以在下述的判断、验证中，也使用与车载器10中的判断、验证相比高性能的方法。然后，远程识别部202将识别结果传递给远程判断部203。
远程判断部203基于车载识别部104的识别结果或者远程识别部202的识别结果来判断车辆100内部的状况。具体而言，远程判断部203基于远程通信部201接收到的识别结果或者远程识别部202的识别结果判断为车辆100内部的状况是正常或者反常。远程判断部203的判断与车载判断部105相同。而且，在判断结果为正常的情况下，远程判断部203将判断结果传递给远程通信部201以及支援控制部205。另外，在判断结果不是反常的情况下，远程判断部203将识别结果以及判断结果传递给远程验证部204。
在远程判断部203的判断结果为反常的情况下，远程验证部204基于远程识别部202的识别结果来验证车辆100内部的状况的反常的程度。
具体而言，远程验证部204基于传感器信息和识别结果来判断车辆100内部的状况是轻微以及重大中的哪一个。远程验证部204根据影像的各图像、和识别结果来估计车辆100内部的人的行动。验证方法例如能够通过上述参考文献2进行姿势识别，并通过使用参考文献3的方法进行估计。
[参考文献3]铃木智之，青木义满，“使用了以行动迁移影像中的姿势特征为中心的学习的时间序列行动识别”，精密工学会志83卷12号，2017，pp.1156－1165。
接下来，远程验证部204判断估计出的行动是轻微以及重大中的哪一个。远程验证部204例如能够预先将重大的行动列表化，并根据估计出的行动是否符合列表所包括的行动，判断是轻微还是重大。并不限定于该判断方法，远程验证部204能够使用其它判断方法。然后，远程验证部204将验证结果传递给支援控制部205。
另外，在车载判断部105的判断结果为反常的情况下，远程验证部204也同样地基于车载识别部104的识别结果来验证车辆100内部的状况的反常的程度。然后，远程验证部204将验证结果传递给支援控制部205。
支援控制部205根据远程验证部204的验证结果来生成用于进行对车辆100的支援的支援信息。具体而言，支援控制部205生成与验证结果和车辆100内部的人的行动相应的支援信息。例如，在验证结果为重大，并且人的行动为“跌倒”的情况下，生成“呼叫工作人员”这样的支援信息。另外，例如在验证结果为轻微的情况下，支援控制部205不生成支援信息。这是因为在轻微的情况下，委托给车载器10的车载控制部107的控制即可。然后，支援控制部205将生成的支援信息传递给输出部206。另外，支援控制部205将验证所使用的数据以及验证结果储存至状况管理数据库(未图示)。
另外，支援控制部205将接收的传感器信息以及远程识别部202的识别结果，或者接收的识别结果和判断结果储存至状况管理数据库。储存于状况管理数据库的各种数据能够使用于解析精度的提高、人的确认。
输出部206输出由支援控制部205生成的支援信息。例如，在“呼叫工作人员”这样的支援信息的情况下，将该支援信息传递给用于呼叫工作人员(通知工作人员)的装置(未图示)。
＜本公开的第一实施方式所涉及的车内监视系统的作用＞
图6是表示本公开的第一实施方式所涉及的车载器10的车内监视处理例程的流程图。处理的开始的定时既可以是定期也可以是任意的定时。
在步骤S100中，能量获取部101从能量计测装置获取车载器10使用的能量的余量、亦即能量余量。
在步骤S101中，车载获取部102获取与车辆100内部的对象物相关的传感器信息。
在步骤S102中，转移判断部103判定能量余量是否低于第一阈值。
在能量余量不低于第一阈值的情况下(上述步骤S102的否)，在步骤S103中，车载识别部104基于通过上述步骤S101获取的传感器信息来识别车辆100内部的对象物。
在步骤S104中，转移判断部103判定能量余量是否低于第二阈值。
在能量余量不低于第二阈值的情况下(上述步骤S104的否)，在步骤S105中，车载判断部105基于通过上述步骤S103得到的识别结果来判断车辆100内部的状况。
在步骤S106中，车载控制部107判定通过上述步骤S105得到的判断结果是否是反常。
判断结果不是反常的情况下(上述步骤S106的否)，结束处理。另一方面，在判断结果是反常的情况下(上述步骤S106的是)，在步骤S107中，车载通信部106将通过上述步骤S101获取的传感器信息、通过上述步骤S103得到的识别结果以及通过上述步骤S105得到的判断结果发送至车内监视支援装置20。
在步骤S108中，车载控制部107基于通过上述步骤S105得到的判断结果来进行对车辆100内部的控制。
在步骤S109中，输出部108输出基于上述步骤S108的车载控制部107进行的车厢控制的内容，并结束处理。
另一方面，在能量余量低于第一阈值的情况下(上述步骤S102的是)，在步骤S110中，车载通信部106将通过上述步骤S101获取的传感器信息发送至车内监视支援装置20。
另外，在能量余量低于第二阈值的情况下(上述步骤S104的是)，在步骤S111中，车载通信部106将通过上述步骤S101获取的传感器信息和通过上述步骤S103得到的识别结果发送至车内监视支援装置20。
在步骤S112中，车载通信部106接收远程判断部203的判断结果。
在步骤S113中，车载控制部107判定通过上述步骤S112接收的判断结果是否是反常。
在判断结果是反常的情况下(上述步骤S113的是)，进入步骤S108。此时，在步骤S108中，车载控制部107基于通过上述步骤S113得到的判断结果来进行对车辆100内部的控制。另一方面，在判断结果不是反常的情况下(上述步骤S113的否)，结束处理。
图7是表示本公开的第一实施方式所涉及的车内监视支援装置20的车内监视支援处理例程的流程图。每当远程通信部201从车载器10接收数据时，执行处理。
在步骤S200中，远程通信部201从车载器10接收数据。
在步骤S201中，远程通信部201判定接收的数据中是否包括判断结果。
在包括判断结果的情况下(上述步骤S201的是)，进入步骤S206。
另一方面，在不包括判断结果的情况下(上述步骤S201的否)，在步骤S202中，远程通信部201判定接收的数据是否仅是传感器信息。
在不仅是传感器信息的情况下(上述步骤S202的否)，进入步骤S204。
另一方面，在仅是传感器信息的情况下(上述步骤S202的是)，在步骤S203中，远程识别部202基于通过上述步骤S200接收的传感器信息来识别车辆100内部的对象物。
在步骤S204中，远程判断部203基于通过上述步骤S200接收的识别结果或者通过上述步骤S203得到的识别结果来判断车辆100内部的状况。
在步骤S205中，远程通信部201将通过上述步骤S204得到的判断结果发送至车载器10。
在步骤S206中，远程验证部204判定判断结果是否是反常。
在判断结果不是反常的情况下(上述步骤S206的否)，进入步骤S208。另一方面，在判断结果是反常的情况下(上述步骤S206的是)，在步骤S207中，远程验证部204基于通过上述步骤S200接收的识别结果或者通过上述步骤S203得到的识别结果来验证车辆100内部的状况的反常的程度。
在步骤S208中，支援控制部205基于通过上述步骤S200～S207得到的数据来进行支援控制，并结束处理。
如以上说明的那样，根据本公开的第一实施方式所涉及的车内监视系统，基于获取的能量余量来判断是否进行远程处理，在判断为不进行远程处理的情况下，识别车辆内部的对象物，并基于识别结果来判断车辆内部的状况，在判断为进行远程处理的情况下，将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，接收基于车内监视支援装置对车辆内部的状况的判断结果，并基于判断结果来进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
另外，在能量余量低于第一阈值的情况下，将传感器信息发送至车内监视支援装置，在能量余量在第一阈值以上且在第二阈值以下的情况下，使识别结果发送至车内监视支援装置，从而能够抑制与能量余量相应的能量的消耗，并精度良好地进行车内监视。
另外，车内监视支援装置使用精度比车载器10所使用的识别手段高的识别手段来识别对象物，从而在车载器10中，能够抑制能量消耗，并精度良好地进行车内监视。
＜其它场景的例子＞
在上述的实施方式中，以当前的场景为行中正常和运行中反常的情况为例进行了说明，但并不限定于此。既可以仅在任意一种情况下实现，也可以仅实现其它场景的情况，还可以组合其它场景来实现。作为其它场景的情况，对场景仅为停车中的情况进行说明。此外，由于是与上述车内监视系统1相同的结构，功能模块的处理的内容根据场景而不同，所以使用相同的附图标记进行说明。对于未特别提及的点，是与上述实施方式相同的结构。
在场景为停车中的情况下，例如考虑人上下车辆100的情况。该情况下，将伞等遗忘物作为对象物。即，在识别中识别遗忘物，在判断中判断遗忘物的有无。
具体而言，车载获取部102获取的传感器信息是图像。车载获取部102从相机获取停车紧前的图像和停车中的图像。然后，车载获取部102将停车紧前的图像和停车中的图像作为传感器信息，传递给转移判断部103。
在能量余量的等级为High的情况下，转移判断部103将传感器信息传递给车载识别部104。另一方面，在能量余量的等级为Low的情况下，转移判断部103将传感器信息传递给车载通信部106，使该传感器信息发送至车内监视支援装置20。另外，在能量余量的等级为Mid的情况下，转移判断部103仅将车载判断部105的功能委托给车内监视支援装置20。该情况下，转移判断部103将传感器信息传递给车载识别部104，并且命令车载识别部104将传感器信息和识别结果传递给车载通信部106。即，转移判断部103使车载通信部106将传感器信息和识别结果发送至车内监视支援装置20。
在转移判断部103判断为不进行远程处理的情况下，车载识别部104基于传感器信息识别车辆100内部的对象物。具体而言，车载识别部104通过求出停车紧前的图像与停车中的图像的背景差分等方法识别对象物。然后，车载识别部104在被转移判断部103命令传递给车载通信部106的情况下，将识别结果传递给车载通信部106，在未被转移判断部103命令传递给车载通信部106的情况下，将识别结果传递给车载判断部105。
在转移判断部103判断为不对判断处理进行远程处理的情况下，车载判断部105基于车载识别部104的识别结果来判断车辆100内部的状况。具体而言，车载判断部105基于识别结果判断遗失物是否重要。例如，针对识别结果，对预先获取的重要的各遗失物计算与该遗失物的图像的相似度，若相似度在规定值以上，则判断为该遗失物为重要的遗失物。重要的遗失物例如是钱包、智能手机等。然后，车载判断部105将判断结果传递给车载通信部106。
车载通信部106将获取的数据发送至车内监视支援装置20。
远程通信部201从车载器10接收数据。远程通信部201在仅接收到传感器信息的情况下，将该传感器信息传递给远程识别部202。另外，远程通信部201在接收到传感器信息和识别结果的情况下，将传感器信息和识别结果传递给远程判断部203。另外，远程通信部201在接收到判断结果的情况下，将传感器信息、识别结果以及判断结果传递给支援控制部205。
远程识别部202以及远程判断部203进行与车载识别部104以及车载判断部105相同的处理。车载判断部105将判断结果传递给支援控制部205。
支援控制部205基于判断结果来生成用于进行对车辆100的支援的支援信息。具体而言，在判断结果为重大的情况下，支援控制部205生成“安排赶往车辆100的人员”这样的支援信息。能够期待通过该人员迅速地保管遗失物，提高返还的速度。另一方面，在判断结果不是重大的情况下，将该遗失物登记至遗失物数据库(未图示)。然后，支援控制部205将支援信息传递给输出部206。
如以上说明的那样，能够应用于车辆100中各种场景下监视车辆的情况，即使在能量余量不足的情况下，也能够期待精度良好地进行车内监视。
＜本公开的第二实施方式所涉及的车内监视系统的结构＞
接下来，对第二实施方式所涉及的车内监视系统2的结构进行说明。此外，对与第一实施方式所涉及的车内监视系统1相同的结构附加相同的附图标记并省略详细的说明。在第一实施方式中，通过发送至车内监视支援装置20的数据决定委托给车内监视支援装置20的处理。在第二实施方式中，对在车载器30侧决定委托给车内监视支援装置40的处理的情况进行说明。
如图3所示，第二实施方式所涉及的车载器30构成为具备：能量获取部101、车载获取部102、转移判断部103、车载识别部104、车载判断部105、车载通信部106、车载控制部107以及输出部108。
在能量余量低于第一阈值的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别以及远程判断部203的判断的支援请求信息。另外，在能量余量在第一阈值以上且在第二阈值以下的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别的支援请求信息。然后，转移判断部103将支援请求信息传递给车载通信部106。
车载通信部106将支援请求信息以及传感器信息发送至车内监视支援装置20。
另外，车载通信部106接收远程识别部202的识别结果。然后，车载通信部106将接收的远程识别部202的识别结果传递给车载判断部105。
在转移判断部103判断为进行远程处理的情况下，车载判断部105基于远程识别部202的识别结果来判断车辆100内部的状况。
第二实施方式所涉及的车内监视支援装置20构成为具备：远程通信部201、远程识别部202、远程判断部203、远程验证部204、支援控制部205以及输出部206。
远程通信部201接收从车载通信部106发送的传感器信息以及支援请求信息。然后，远程通信部201将接收的支援请求信息以及传感器信息传递给远程识别部202。
在支援请求信息是用于进行远程识别部202的识别的信息的情况下，远程识别部202将识别结果传递给远程通信部201。另一方面，在支援请求信息是用于进行远程识别部202的识别以及远程判断部203的判断的信息的情况下，远程识别部202将识别结果传递给远程判断部203。
远程通信部201将远程识别部202的识别结果发送至车载器10。
＜本公开的第二实施方式所涉及的车内监视系统的作用＞
图8是表示第二实施方式所涉及的车载器30的车内监视处理例程的流程图。此外，对与第一实施方式所涉及的车内监视支援处理例程相同的处理附加相同的附图标记并省略详细的说明。处理的开始的定时既可以是定期也可以是任意的定时。
在步骤S300中，转移判断部103判定能量余量是否在第二阈值以下。
当能量余量不在第二阈值以下的情况下(上述步骤S300的否)，进入步骤S103。另一方面，当能量余量在第二阈值以下的情况下(上述步骤S300的是)，在步骤S301中，在能量余量低于第一阈值的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别以及远程判断部203的判断的支援请求信息。另外，当能量余量在第一阈值以上且在第二阈值以下的情况下，转移判断部103生成使车内监视支援装置20进行远程识别部202的识别的支援请求信息。
在步骤S302中，车载通信部106将支援请求信息以及传感器信息发送至车内监视支援装置20。
在步骤S303中，车载通信部106接收远程识别部202的识别结果或者远程判断部203的判断结果。
在步骤S304中，车载通信部106判定是否接收到识别结果。在接收到识别结果的情况下(上述步骤S304的是)，车载通信部106将接收的远程识别部202的识别结果传递给车载判断部105，并进入步骤S105。该情况下，在步骤S105中，车载判断部105基于远程识别部202的识别结果来判断车辆100内部的状况。
另一方面，在未接收到识别结果的情况下(接收到判断结果的情况下)(上述步骤S304的否)，车载通信部106将接收的远程判断部203的判断结果传递给车载控制部107，并进入步骤S106。
图9是表示第二实施方式所涉及的车内监视支援装置40的车内监视支援处理例程的流程图。此外，对与第一实施方式所涉及的车内监视支援处理例程相同的处理附加相同的附图标记并省略详细的说明。每当远程通信部201从车载器10接收数据时执行处理。
在步骤S400中，远程通信部201接收从车载通信部106发送的传感器信息以及支援请求信息。
在步骤S401中，远程识别部202判定支援请求信息是否是用于进行远程识别部202的识别的信息。
在不是用于进行远程识别部202的识别的信息的情况下(上述步骤S401的否)，进入步骤S204。
另一方面，在是用于进行远程识别部202的识别的信息的情况下(上述步骤S401的是)，在步骤S402中，远程通信部201将通过上述步骤S203得到的远程识别部202的识别结果发送至车载器10。
如以上说明的那样，根据本公开的第二实施方式所涉及的车内监视系统，基于获取的能量余量来判断是否进行远程处理，在判断为进行远程处理的情况下，当能量余量低于第一阈值时，使车内监视支援装置进行远程识别部的识别以及远程判断部的判断，当能量余量在第一阈值以上且在第二阈值以下时，使车内监视支援装置进行远程识别部的识别，接收远程识别部的识别结果或者远程判断部的判断结果，在接收到远程识别部的识别结果的情况下，基于远程识别部的识别结果来判断车辆内部的状况，基于判断结果来进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
此外，本公开并不限定于上述的实施方式，能够在不脱离该发明的主旨的范围内进行各种变形、应用。
例如，在上述实施方式中，转移判断部103仅使用能量余量判断是否进行远程处理，但并不限定于此。例如，能够也使用基于预先获取的运行计划的能量补给的预测来判断是否进行远程处理。具体而言，即使在当前的能量余量的等级为低的情况下，能够在附近的加油站、可充电的场所等补给能量的情况下，转移判断部103也判断为不进行远程处理。另外，能量补给也包括基于通过再生制动等得到的能量的补给。例如，在运行计划包括前半为上坡，后半为下坡的行驶路线的情况下，在下坡时预测到使用了再生制动的能量补给。该情况下，在下坡的紧前或者近前，即使能量余量较少(例如第一阈值以下)，转移判断部103也判断为不进行远程处理。另外，也可以根据车辆100的运行模式(返程中、上下车中、行驶中等)进行判断。另外，也可以在产生反常事件(乘客在车辆100的行驶中移动、跌倒、有异常行动等)的情况下，进行远程处理。该情况下，通过将重要的运算委托给外部，能够进行更详细的状况判断，并且能够将状况数据记录至车内监视支援装置20，并应用于其它车辆的状况判断。
另外，在上述的实施方式中，以仅车内监视支援装置20的远程验证部204进行车辆100内部的状况的验证的情况为例进行了说明，但并不限定于此。也可以将远程验证部204的功能搭载于车载器10。该情况下，构成为在有足够的能量余量的情况下，在车载器10进行验证，否则在车内监视支援装置20进行验证即可。
另外，在上述的第二实施方式中，转移判断部103生成支援请求信息，但并不限定于此。例如，也可以构成为向车内监视支援装置20发送能量余量，并在车内监视支援装置20设置远程转移判断部。该情况下，远程转移判断部进行在能量余量低于第一阈值的情况下，进行远程识别部202的识别以及远程判断部203的判断，在能量余量在第一阈值以上且在第二阈值以下的情况下，进行远程识别部202的识别的判断即可。
另外，也能够设为组合第一实施方式与第二实施方式所涉及的车内监视系统的结构。例如，转移判断部103构成为根据能量余量来决定在车载器进行处理的范围、和将处理委托给车内监视支援装置的范围即可。具体而言，构成为将能量余量的等级分为四个阶段，在能量余量最少的等级下，将识别和判断委托给车内监视支援装置，在其次的等级下，仅将判断委托给车内监视支援装置，在其次的等级下仅将识别委托给车内监视支援装置，在能量余量最多的等级下，由车载器进行识别以及判断即可。此外，在该例子中，也可以根据基于处理负荷的能量消耗量，使仅识别的情况和仅判断的情况相反。
另外，在传感器为温度计的情况下，能够通过温度是否在规定范围内来判断正常、反常。该情况下，车载控制部107构成为若反常则控制温度变更，输出部108构成为对搭载于车辆100的空调(未图示)输出温度变更命令即可。不仅在车辆100运输人的情况下，在通过自动驾驶运输生鲜食品、冷冻食品、家畜等的卡车中也有用。
另外，在上述的实施方式中，以传感器信息为图像的情况为例进行了说明，但并不限定于此。在使用声音的情况下，构成为通过下述参考文献4、参考文献5所记载的方法等进行基于声音的对象的识别、判断以及验证即可。
[参考文献4]G.Hinton，L.Deng，Y.Dong，G.E.Dahl，A.Mohamed，N.Jaitly，A.Senior，V.Vanhoucke，P.Nguyen，T.N.Sainath and B.Kingsbury，"Deep neuralnetworks for acoustic modeling in speech recognition，"IEEE Signal ProcessingMagazine，Vol.29，No.6，2012，pp.82-97.
[参考文献5]Proc.the Detection and Classification of Acoustic Scenesand Events 2016Workshop(DCASE2016)，Budapest，Hungary，September 2016，pp.45-49.
另外，在上述的实施方式中，转移判断部103根据能量余量判断是否进行远程处理，但并不限定于此。也可以构成为除了能量余量之外，还对基于预先获取的运行计划的能量补给的预测、乘客的属性、基于自动驾驶的运行的难易度等各种信息进行综合判断，来判断是否进行远程处理。能量补给的预测是指车辆100是否能够在运行计划中进行能量补给的信息。
另外，进行远程处理的基准也能够不取决于能量余量。例如，能够构成为并不一直在车载器10进行，而在任意的定时，通过车内监视支援装置20进行高性能的监视处理，在其它定时进行能量消耗较低的车载器10中的监视处理。
另外，也可以构成为车载器10随时将传感器信息、识别结果以及判断结果发送至车内监视支援装置20，车内监视支援装置20将传感器信息、识别结果以及判断结果登记至状况管理数据库。
此外，CPU以外的各种处理器也可以执行在上述实施方式中CPU读取软件(程序)并执行的程序。作为该情况下的处理器，例示FPGA(Field－Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路构成的PLD(Programmable Logic Device：可编程逻辑器件)以及ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了使特定的处理执行而专用地设计的电路构成的处理器亦即专用电路等。另外，既可以利用这些各种处理器中的一个执行上述各程序，也可以利用同种或者不同种类的两个以上的处理器的组合(例如，多个FPGA以及CPU与FPGA的组合等)执行上述各程序。另外，更具体而言，这些各种处理器的硬件结构是组合半导体元件等电路元件而成的电气电路。
另外，在上述各实施方式中，对程序预先存储(安装)于ROM12或者存储器14的方式进行了说明，但并不限定于此。程序也可以以存储于CD－ROM(Compact Disk Read OnlyMemory：紧凑型光盘只读储存器)，DVD－ROM(Digital Versatile Disk Read OnlyMemory：数字通用光盘只读存储器)以及USB(Universal Serial Bus：通用串行总线)存储器等非暂时(non－transitory)存储介质的方式提供。另外，上述各程序也可以是经由网络从外部装置下载的方式。
关于以上的实施方式，进一步公开以下的附记。
(附记项1)
一种车内监视装置，是搭载于车辆的车内监视装置，包括：
存储器；以及
至少一个处理器，与上述存储器连接，
上述处理器构成为，
获取能量余量，上述能量余量是上述车内监视装置使用的能量的余量；
获取与车辆内部的对象物相关的传感器信息；
基于上述能量余量判断是否进行远程处理；
在判断为不进行远程处理的情况下，基于上述传感器信息识别上述车辆内部的对象物；
基于识别结果判断上述车辆内部的状况；
在判断为进行远程处理的情况下，将上述传感器信息发送至进行与上述识别以及上述判断相同的处理的车内监视支援装置；
接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及
基于上述判断结果来进行对上述车辆内部的控制。
(附记项2)
一种存储有车内监视程序的非暂时存储介质，上述车内监视程序使计算机执行：
获取能量余量，上述能量余量是计算机使用的能量的余量；
获取与车辆内部的对象物相关的传感器信息；
基于上述能量余量判断是否进行远程处理；
在判断为不进行远程处理的情况下，基于上述传感器信息识别上述车辆内部的对象物；
基于识别结果判断上述车辆内部的状况；
在判断为进行远程处理的情况下，将上述传感器信息发送至进行与上述识别以及上述判断相同的处理的车内监视支援装置；
接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及
基于上述判断结果来进行对上述车辆内部的控制。
(附记项3)
一种车内监视支援装置，
包括远程通信部、远程识别部以及远程判断部，
上述远程通信部从进行车辆内部的监视的车内监视装置接收与车辆内部的对象物相关的传感器信息，
上述远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，
上述远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，
上述远程通信部将上述远程判断部的判断结果发送至上述车内监视装置。
(附记项4)
一种车内监视方法，
搭载于车辆的车载器的能量获取部获取能量余量，上述能量余量是上述车载器使用的能量的余量，
上述车载器的车载获取部获取与上述车辆内部的对象物相关的传感器信息，
上述车载器的转移判断部基于上述能量余量判断是否进行远程处理，
在上述转移判断部判断为不进行远程处理的情况下，上述车载器的车载识别部基于上述传感器信息识别上述车辆内部的对象物，
上述车载器的车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，
在上述转移判断部判断为进行远程处理的情况下，上述车载器的车载通信部将上述传感器信息发送至车内监视支援装置，
上述车内监视支援装置的远程通信部接收上述传感器信息，
上述车内监视支援装置的远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，
上述车内监视支援装置的远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，
上述远程通信部将上述远程判断部的判断结果发送至上述车载器，
上述车载通信部接收上述远程判断部的判断结果，
上述车载器的车载控制部基于上述车载判断部的判断结果或者上述远程判断部的判断结果来进行对上述车辆内部的控制。
依据实施方式对本公开进行了描述，但是应理解本公开不限定于该实施方式、构造。本公开也包括各种变形例、均等范围内的变形。除此以外，各种组合、方式、进而在这些组合、方式中仅包含一个要素、更多或更少的其它组合、方式也落入本公开的范畴、思想范围中。

Claims (11)

1.一种车内监视系统，
包括搭载于车辆的车载器(10、30)和车内监视支援装置(20、40)，
上述车载器包括：能量获取部(101)、车载获取部(102)、转移判断部(103)、车载识别部(104)、车载判断部(105)、车载通信部(106)以及车载控制部(107)，
上述车内监视支援装置包括：远程通信部(201)、远程识别部(202)以及远程判断部(203)，
上述能量获取部获取能量余量，上述能量余量是上述车载器使用的能量的余量，
上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，
上述转移判断部基于上述能量余量判断是否进行远程处理，
在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，
上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，
在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至上述车内监视支援装置，
上述远程通信部接收上述传感器信息，
上述远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，
上述远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，
上述远程通信部将上述远程判断部的判断结果发送至上述车载器，
上述车载通信部接收上述远程判断部的判断结果，
上述车载控制部基于上述车载判断部的判断结果或者上述远程判断部的判断结果来进行对上述车辆内部的控制。
2.根据权利要求1所述的车内监视系统，其中，
上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，
在上述转移判断部判断为不进行远程处理的情况下，上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，
在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述车载识别部的识别结果发送至上述车内监视支援装置，
上述远程通信部接收上述识别结果，
上述远程判断部基于上述远程通信部接收的上述识别结果来判断上述车辆内部的状况。
3.根据权利要求2所述的车内监视系统，其中，
在上述能量余量低于第一阈值的情况下，上述转移判断部使上述车载通信部将上述传感器信息发送至上述车内监视支援装置，在上述能量余量在第一阈值以上且在第二阈值以下的情况下，上述转移判断部使上述车载通信部将上述车载识别部的识别结果发送至上述车内监视支援装置。
4.根据权利要求1或者权利要求2所述的车内监视系统，其中，
上述远程通信部将上述远程识别部的识别结果发送至上述车载器，
上述车载通信部接收上述远程识别部的识别结果，
在上述转移判断部判断为进行远程处理的情况下，上述车载判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况。
5.根据权利要求4所述的车内监视系统，其中，
在上述能量余量低于第一阈值的情况下，上述转移判断部使上述车内监视支援装置进行上述远程识别部的识别以及上述远程判断部的判断，在上述能量余量在第一阈值以上且在第二阈值以下的情况下，上述转移判断部使上述车内监视支援装置进行上述远程识别部的识别。
6.根据权利要求1～5中的任意一项所述的车内监视系统，其中，
上述转移判断部根据上述能量余量以及基于预先获取的运行计划的能量补给的预测来判断是否进行远程处理。
7.根据权利要求1～6中的任意一项所述的车内监视系统，其中，
上述远程识别部使用精度比上述车载识别部所使用的识别手段高的识别手段来识别对象物。
8.根据权利要求1～6中的任意一项所述的车内监视系统，其中，
上述车内监视支援装置还包括远程验证部(204)和支援控制部(205)，
上述远程判断部基于上述车载识别部的识别结果或者上述远程识别部的识别结果判断为上述车辆内部的状况是正常或者反常，
在上述远程判断部的判断结果为反常的情况下，上述远程验证部基于上述远程识别部的识别结果来验证上述车辆内部的状况的反常的程度，
上述支援控制部根据上述远程验证部的验证结果来生成用于进行对上述车辆的支援的支援信息。
9.根据权利要求1～8中的任意一项所述的车内监视系统，其中，
上述车载控制部基于上述车载判断部或者上述远程判断部的判断结果进行注意唤起、对应指示以及温度变更中的至少一个。
10.一种车内监视装置，是搭载于车辆的车内监视装置，
包括：能量获取部、车载获取部、转移判断部、车载识别部、车载判断部、车载通信部以及车载控制部，
上述能量获取部获取能量余量，上述能量余量是上述车内监视装置使用的能量的余量，
上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，
上述转移判断部基于上述能量余量判断是否进行远程处理，
在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，
上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，
在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置，
上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果，
上述车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
11.一种车内监视程序，用于使计算机执行处理，上述处理包括：
能量获取部获取能量余量，上述能量余量是计算机使用的能量的余量；
车载获取部获取与上述车辆内部的对象物相关的传感器信息；
转移判断部基于上述能量余量判断是否进行远程处理；
在上述转移判断部判断为不进行远程处理的情况下，车载识别部基于上述传感器信息识别上述车辆内部的对象物；
车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况；
在上述转移判断部判断为进行远程处理的情况下，车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置；
上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及
车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
CN202080084452.6A 2019-12-04 2020-11-27 车内监视系统、车内监视装置以及存储介质 Active CN114762017B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019219456A JP7188369B2 (ja) 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム
JP2019-219456 2019-12-04
PCT/JP2020/044235 WO2021112005A1 (ja) 2019-12-04 2020-11-27 車内監視システム、車内監視装置、及び車内監視プログラム

Publications (2)

Publication Number Publication Date
CN114762017A true CN114762017A (zh) 2022-07-15
CN114762017B CN114762017B (zh) 2024-02-27

Family

ID=76220218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080084452.6A Active CN114762017B (zh) 2019-12-04 2020-11-27 车内监视系统、车内监视装置以及存储介质

Country Status (4)

Country Link
US (1) US20220289129A1 (zh)
JP (1) JP7188369B2 (zh)
CN (1) CN114762017B (zh)
WO (1) WO2021112005A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009161093A (ja) * 2008-01-09 2009-07-23 Nec Access Technica Ltd 車両セキュリティ遠隔監視システム
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
WO2014174822A1 (ja) * 2013-04-24 2014-10-30 株式会社デンソー 運転支援ユニット、運転支援装置、センサユニット、及び携帯端末
US20150298630A1 (en) * 2012-08-29 2015-10-22 Honda Access Corp. System for monitoring battery provided in vehicle
JP2017195755A (ja) * 2016-04-14 2017-10-26 株式会社ユピテル 装置、車載機器およびシステム
CN107305372A (zh) * 2016-04-25 2017-10-31 韩磊 云计算网络架构的远程监控的电动汽车能源监控和更换网
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム
JP2019131096A (ja) * 2018-02-01 2019-08-08 三菱電機株式会社 車両制御支援システムおよび車両制御支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150369872A1 (en) * 2014-06-19 2015-12-24 Ford Global Technologies, Llc Distance to Empty Prediction with Long Term Distance Compensation
JP6551332B2 (ja) * 2016-07-26 2019-07-31 トヨタ自動車株式会社 車両の走行可能距離算出システムおよび走行可能距離算出方法
CN109712387B (zh) * 2018-09-26 2024-04-05 姜洪明 网约车、出租车的乘客和司机的安全保护系统
US20210191398A1 (en) * 2019-12-20 2021-06-24 Uber Technologies Inc. System and Methods for Automated Detection of Vehicle Cabin Events for Triggering Remote Operator Assistance

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009161093A (ja) * 2008-01-09 2009-07-23 Nec Access Technica Ltd 車両セキュリティ遠隔監視システム
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
US20150298630A1 (en) * 2012-08-29 2015-10-22 Honda Access Corp. System for monitoring battery provided in vehicle
WO2014174822A1 (ja) * 2013-04-24 2014-10-30 株式会社デンソー 運転支援ユニット、運転支援装置、センサユニット、及び携帯端末
JP2017195755A (ja) * 2016-04-14 2017-10-26 株式会社ユピテル 装置、車載機器およびシステム
CN107305372A (zh) * 2016-04-25 2017-10-31 韩磊 云计算网络架构的远程监控的电动汽车能源监控和更换网
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム
JP2019131096A (ja) * 2018-02-01 2019-08-08 三菱電機株式会社 車両制御支援システムおよび車両制御支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付贤强;石春;黄周义;吕飞;吴刚;: "纯电动客车远程视频监控终端设计与实现", 电子测量技术, no. 08 *

Also Published As

Publication number Publication date
JP7188369B2 (ja) 2022-12-13
CN114762017B (zh) 2024-02-27
US20220289129A1 (en) 2022-09-15
WO2021112005A1 (ja) 2021-06-10
JP2021089561A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
US11383663B2 (en) Vehicle control method, vehicle control system, vehicle control device, passenger watching-over method, passenger watching-over system, and passenger watching-over device
RU2725681C9 (ru) Обнаружение объектов внутри транспортного средства в связи с обслуживанием
CN110997418A (zh) 车辆占用管理系统和方法
US10883832B2 (en) Capacity based vehicle operation
JP7119871B2 (ja) 忘れ物配送支援装置、忘れ物配送支援システム、忘れ物配送支援方法、及び忘れ物配送支援用コンピュータプログラム
CN108016383B (zh) 自主车辆进出的系统及方法
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
US20200189610A1 (en) Control device for vehicle and occupant transportation system
JP2019160242A (ja) 通信装置およびスケジュール作成方法
US20200231183A1 (en) Vehicle control apparatus
JP2020154941A (ja) 管理装置、管理方法、またはプログラム
JP2018106346A (ja) 警報システムおよび警報プログラム
JP2022104907A (ja) 車両内の乗員を監視し、乗員の活動を検出するためのカメラシステム
US11260874B2 (en) Driver assistance device that can be mounted on a vehicle
JP6619316B2 (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
CN110738843B (zh) 信息处理方法以及信息处理装置
CN114762017B (zh) 车内监视系统、车内监视装置以及存储介质
JP7076357B2 (ja) 感情推定装置
JP7491241B2 (ja) 制御装置、システム、車両、及び制御方法
JP2021096509A (ja) 通報装置、通報システムおよび通報方法
JP2020013394A (ja) 車両管理システム、車載機、およびセンタ装置
CN110705446B (zh) 用于辅助乘车的方法及装置
US20240094725A1 (en) Remote assistance system and remote assistance method
US11922737B2 (en) System and method for a purchase advisor for preowned battery electric vehicles (BEVs)
US20220161679A1 (en) Server, charging system, and computer readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant