JP2021089561A - 車内監視システム、車内監視装置、及び車内監視プログラム - Google Patents

車内監視システム、車内監視装置、及び車内監視プログラム Download PDF

Info

Publication number
JP2021089561A
JP2021089561A JP2019219456A JP2019219456A JP2021089561A JP 2021089561 A JP2021089561 A JP 2021089561A JP 2019219456 A JP2019219456 A JP 2019219456A JP 2019219456 A JP2019219456 A JP 2019219456A JP 2021089561 A JP2021089561 A JP 2021089561A
Authority
JP
Japan
Prior art keywords
vehicle
unit
remote
recognition
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019219456A
Other languages
English (en)
Other versions
JP7188369B2 (ja
Inventor
淳一郎 舩橋
Junichiro Funabashi
淳一郎 舩橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019219456A priority Critical patent/JP7188369B2/ja
Priority to CN202080084452.6A priority patent/CN114762017B/zh
Priority to PCT/JP2020/044235 priority patent/WO2021112005A1/ja
Publication of JP2021089561A publication Critical patent/JP2021089561A/ja
Priority to US17/804,973 priority patent/US20220289129A1/en
Application granted granted Critical
Publication of JP7188369B2 publication Critical patent/JP7188369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/12—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries responding to state of charge [SoC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Thermal Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる車内監視システム、車内監視装置及び車内監視プログラムを提供する。【解決手段】車載器１０において、移行判断部１０３が、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車載認知部１０４が、車両内部の対象物を認知し、車載判断部１０５が、認知結果に基づいて車両内部の状況を判断し、遠隔処理を行うと判断した場合、車載通信部１０６が、センサ情報を車載認知部１０４による認知及び車載判断部１０５による判断と同様の処理を行う車内監視支援装置に送信する。車載通信部１０６は、車内監視支援装置による車両内部の状況の判断結果を受信し、車載制御部１０７が、判断結果に基づいて、車両内部に対する制御を行う。【選択図】図３

Description

本開示は、車内監視システム、車内監視装置、及び車内監視プログラムに関する。
自動運転車両において、車両内の防犯や事故防止のため、車内を監視する車内監視が研究されている。例えば、特許文献１では、多数の人が乗り合わせる公共交通機関の車両内の事故や犯罪の防止のため、カメラ映像等を処理して状況を把握している。
特開２０１６−０６２４１４号公報
しかし、自動運転車両においては、監視システムが多様な監視を担う必要がある一方で、コスト・搭載条件・消費エネルギーの観点から、監視システムに搭載可能な機能の限界がある、という問題があった。また、監視システムに全ての機能を搭載した場合であっても、消費エネルギーが増大するため、自動運転車両が用いるエネルギーが不足してしまう危険がある。
本開示は上記の点に鑑みてなされたものであり、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる車内監視装置、車内監視システム、及び車内監視プログラムを提供することを目的とする。
本開示に係る車内監視システムは、車両に搭載された車載器と、車内監視支援装置とを含み、前記車載器は、エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、前記車内監視支援装置は、遠隔通信部と、遠隔認知部と、遠隔判断部とを含み、前記エネルギー取得部は、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車内監視支援装置に送信し、前記遠隔通信部は、前記センサ情報を受信し、前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車載器に送信し、前記車載通信部は、前記遠隔判断部の判断結果を受信し、前記車載制御部は、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行うように構成される。
また、本開示に係る車内監視装置は、車両に搭載された車内監視装置であって、エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、前記エネルギー取得部は、前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、前記車載通信部は、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、前記車載制御部は、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行うように構成される。
また、本開示に係る車内監視プログラムは、エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、前記車載通信部が、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、車載制御部が、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行うことを含む処理をコンピュータに実行させるためのプログラムである。
本開示に係る車内監視システム、車内監視装置、及び車内監視プログラムによれば、エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、車載取得部が、車両内部の対象物に関するセンサ情報を取得し、移行判断部が、エネルギー残量に基づいて、遠隔処理を行うか否かを判断する。
そして、車載認知部が、移行判断部が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両内部の対象物を認知し、車載判断部が、車載認知部による認知結果に基づいて、車両内部の状況を判断し、車載通信部が、移行判断部が遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車載通信部が、車内監視支援装置による車両内部の状況の判断結果を受信し、車載制御部が、車載判断部の判断結果又は車内監視支援装置の判断結果に基づいて、車両内部に対する制御を行う。
このように、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車両内部の対象物を認知し、認知結果に基づいて、車両内部の状況を判断し、遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車内監視支援装置による車両内部の状況の判断結果を受信し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
本開示の車内監視システム、車内監視装置、及び車内監視プログラムによれば、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
車内監視システムの構成を示すブロック図である。 車載器のハードウェア構成を示すブロック図である。 車載器の機能構成を示すブロック図である。 車内監視支援装置のハードウェア構成を示すブロック図である。 車内監視支援装置の機能構成を示すブロック図である。 第１実施形態に係る車内監視処理ルーチンを示すフローチャートである。 第１実施形態に係る車内監視支援処理ルーチンを示すフローチャートである。 第２実施形態に係る車内監視処理ルーチンを示すフローチャートである。 第２実施形態に係る車内監視支援処理ルーチンを示すフローチャートである。
以下、本開示の実施形態について図面を用いて説明する。
＜本開示の第１実施形態に係る車内監視システムの構成＞
図１を参照して、本開示の実施形態に係る車内監視システム１について説明する。図１は、本開示の第１実施形態に係る車内監視システム１の構成を示すブロック図である。図１に示すように、本開示の第１実施形態に係る車内監視システム１は、車両１００に搭載された車載器１０と、車内監視支援装置２０と、基地局６０と、ネットワーク７０により構成される。なお、車内監視システム１は、車載器１０を搭載した車両１００が、自動運転を実施している場合を例に説明する。車両１００は、対象物を運搬可能な車両であり、例えば対象物が人であるにはバス、対象物が物（動物を含む）である場合にはトラックである。本開示では、対象物が人、車両１００がバスである場合を例に説明する。
基地局６０は、ネットワーク７０に接続され、無線通信により車載器１０と通信を行う無線基地局である。ネットワーク７０は、インターネットや広域イーサ網等の公衆網である。すなわち、車載器１０と、車内監視支援装置２０とは、基地局６０及びネットワーク７０を介して通信可能に構成される。
また、車両１００には、車載器１０と有線又は無線により接続可能なエネルギー計測装置及びセンサ（図示しない）が搭載されている。エネルギー計測装置は、車載器１０の使用するエネルギーの残量を計測する装置である。エネルギー計測装置は、例えば、特許６１９１３４９号公報に開示されているように、車載器１０が用いるエネルギーを監視している。エネルギーとしては、例えばバッテリー内部の電気、ガソリンの量、水素等種々のエネルギーである。センサは、車内の情報を取得する装置である。センサとしては、例えば、カメラ、温度計、振動センサ、レーザレーダ、超音波センサ、ミリ波センサ等を採用することができる。本開示では、エネルギーが電気、センサが車両１００の内部を撮影するカメラである場合を例に説明する。エネルギー計測装置及びカメラは、エネルギー残量及び撮影した画像を、車載器１０に渡す。
車載器１０は、自動運転制御を実行する。図２及び図３を参照して、車載器１０の構成について説明する。
図２は、本実施形態に係る車載器１０のハードウェア構成を示すブロック図である。図２に示すように、車載器１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及びアンテナ１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、車内監視処理を実行するための車内監視プログラムが記憶されている。
ＲＯＭ１２は、各種プログラム及び各種データを記憶する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
入力部１５は、マウス等のポインティングデバイス、キーボード、及び音声入力デバイスを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイ又はスピーカーであり、各種の情報を表示又は再生する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。アンテナ１７は、他の機器と無線通信するための無線通信アンテナであり、例えば、ＬＴＥ、５Ｇ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
図３は、本実施形態に係る車載器１０の機能構成を示すブロック図である。図３に示すように、本実施形態に係る車載器１０は、エネルギー取得部１０１と、車載取得部１０２と、移行判断部１０３と、車載認知部１０４と、車載判断部１０５と、車載通信部１０６と、車載制御部１０７と、出力部１０８とを備えて構成される。
エネルギー取得部１０１は、エネルギー計測装置から、車載器１０が用いるエネルギーの残量であるエネルギー残量を取得する。そして、エネルギー取得部１０１は、取得したエネルギー残量を、移行判断部１０３に渡す。
車載取得部１０２は、車両１００内部の対象物に関するセンサ情報を取得する。具体的には、車載取得部１０２は、車両１００の内部を撮影するカメラが撮影した映像を、所定周期で取得する。そして、車載取得部１０２は、取得した映像を、移行判断部１０３に渡す。
移行判断部１０３は、エネルギー残量に基づいて、遠隔処理を行うか否かを判断する。具体的には、移行判断部１０３は、エネルギー残量を、例えば３段階（Ｈｉｇｈ、Ｍｉｄ、Ｌｏｗ）のレベルに分けて、レベルに応じて、車内監視支援装置２０による遠隔処理を行うか否か、及び遠隔処理の内容を判断する。エネルギー残量のレベルは、例えば、エネルギー残量が第１閾値よりも低い場合には、Ｌｏｗ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合にはＭｉｄ、エネルギー残量が第２閾値よりも高い場合にはＨｉｇｈとすることができる。
エネルギー残量のレベルがＨｉｇｈである場合、エネルギーを監視に使用する十分なエネルギーがある。このため、車載器１０により車内監視を実行する。具体的には、車載認知部１０４及び車載判断部１０５により、認知及び状況の判断を行う。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡す。
一方、エネルギー残量のレベルがＭｉｄやＬｏｗである場合、監視にエネルギーを使用することは、リスクが高い。このため、監視機能の一部を車内監視支援装置２０に任せる。監視機能を構成する車載認知部１０４及び車載判断部１０５の少なくとも何れかの機能を、車内監視支援装置２０に任せる。より具体的には、移行判断部１０３は、エネルギー残量のレベルがＬｏｗである場合、車載通信部１０６に、センサ情報を渡し、当該センサ情報を車内監視支援装置２０に送信させる。また、移行判断部１０３は、エネルギー残量のレベルがＭｉｄである場合、車載判断部１０５の機能のみを車内監視支援装置２０に任せる。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡すと共に、車載認知部１０４に、センサ情報と認知結果とを、車載通信部１０６に渡すように命じる。すなわち、移行判断部１０３は、車載通信部１０６に、センサ情報と認知結果とを、車内監視支援装置２０に送信させる。
車載認知部１０４は、移行判断部１０３が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、車載認知部１０４は、エネルギー残量のレベルがＭｉｄ又はＨｉｇｈである場合には、移行判断部１０３は遠隔処理により、センサ情報である映像から車両１００内の人を認知する処理を行わないと判断したものとして、映像内の各画像から車両１００内の人を認知する処理を行う。認知手段は、例えば下記参考文献１の他、任意の認知手段を採用することができる。
［参考文献１］S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems 28, May 2015, pp.91-99.
そして、車載認知部１０４は、映像と、認知結果とを、移行判断部１０３により車載通信部１０６に渡すように命じられている場合、車載通信部１０６に渡し、移行判断部１０３により車載通信部１０６に渡すように命じられていない場合、車載判断部１０５に渡す。
車載判断部１０５は、移行判断部１０３が、判断処理について遠隔処理を行わないと判断した場合、車載認知部１０４による認知結果と、車両１００の現在のシーンとに基づいて、車両１００内部の状況を判断する。
具体的には、車載判断部１０５は、まず、車載制御部１０７から、現在のシーンを取得する。現在のシーンとは、車両１００が現在置かれている場面であり、例えば待機中、運行中平常、運行中非常、停車中等の場面である。本開示では、現在のシーンとして、運行中平常と運行中非常との場合を例に説明する。
車載判断部１０５は、現在のシーンが運行中平常である場合、車載認知部１０４による認知結果に基づいて、車両１００内部の状況が、平常、要注意、及び非常の何れかであるかを判断する。具体的には、車載判断部１０５は、車載認知部１０４による認知結果に対して、例えば人体姿勢推定（参考文献２）等の手法により、複数時点の車両１００内部の人の姿勢を検出する。
［参考文献２］A. Toshev and C. Szegedy, "DeepPose: Human pose estimation via deep neural networks," Proc. Computer Vision and Pattern Recognition 2014, Columbus, USA, June 2014, pp.3476-3483.
次に、車載判断部１０５は、検出した複数時点の姿勢から、車両１００内部において認知された人が、平常時の姿勢であるか、又は平常時の姿勢で無いかを判定する。平常時の姿勢とは、例えばバス内で「着席」、「手すり又はつり革につかまって立っている」等の姿勢である。車載判断部１０５は、検出した姿勢が平常時の姿勢である場合、車両１００内部の状況が平常であると判断する。また、車載判断部１０５は、検出した姿勢が平常時の姿勢でない場合、車両１００内部の状況が非常であると判断する。そして、車載判断部１０５は、判断結果を、車載制御部１０７に渡す。
また、車載判断部１０５は、現在のシーンが運行中非常である場合も同様に、車載認知部１０４による認知結果に基づいて、車両１００内部において認知された人が、平常時の姿勢であるか、又は平常時の姿勢で無いかを判定する。車載判断部１０５は、判断結果が非常であれば、判断結果を車載制御部１０７に渡す。車載判断部１０５は、更に、判断結果を、車載通信部１０６に渡す。運行中非常である場合の判断結果が非常であれば、より詳細に現在の状況を検証する必要があるからである。本実施形態では、詳細な検証は消費エネルギーを多く使うため、車内監視支援装置２０により、車両１００内部の状況をより詳細に検証させる。また、車載判断部１０５は、判断結果が非常でなければ、判断結果を、車載制御部１０７に渡す。
車載通信部１０６は、各処理部から渡されたデータを、車内監視支援装置２０に送信する。具体的には、車載通信部１０６は、センサ情報、認知結果、及び判断結果のうち、取得したデータを、車内監視支援装置２０に送信する。
また、車載通信部１０６は、センサ情報又は認知結果を車内監視支援装置２０に送信した場合、車内監視支援装置２０から、遠隔判断部２０３による判断結果を受信する。そして、車載通信部１０６は、受信した判断結果を、車載制御部１０７に渡す。
車載制御部１０７は、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御を行う。具体的には、車載制御部１０７は、車載判断部１０５又は遠隔判断部２０３の判断結果に基づいて、注意喚起、又は対応指示を行うように制御する。
例えば、車載制御部１０７は、現在のシーンが運行中平常である場合、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御が必要か否かを判定する。より具体的には、判断結果が、平常である場合、車載制御部１０７は、車両１００内部に対する制御は不要であると判定する。なお、当該制御は、車内監視に関する特別な制御であり、通常の車両制御等の他の制御とは異なる。また、判断結果が非常である場合、車載制御部１０７は、車両１００内部に対する制御が必要であると判定する。制御が必要である場合、車載制御部１０７は、制御として姿勢に応じた注意喚起の内容を、検出された姿勢に応じて決定する。車載制御部１０７の姿勢と注意喚起との対応付けは、例えば予め対応表を作成しておくことで実現可能である。例えば、車載判断部１０５により運行中に人が車両１００内を歩行している姿勢が検出された場合、着座するように注意喚起を行う旨を決定する。そして、制御の内容を、出力部１０８に渡す。
また、車載制御部１０７は、現在のシーンが運行中非常である場合、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御が必要か否かを判定する。より具体的には、判断結果が、平常である場合、車載制御部１０７は、車両１００内部に対する制御は不要であると判定する。また、判断結果が非常である場合、車載制御部１０７は、車両１００内部に対する制御が必要であると判定する。制御が必要である場合、車載制御部１０７は、制御として姿勢に応じた対応の内容を、検出された姿勢に応じて決定する。車載制御部１０７の姿勢と対応との対応付けは、例えば予め対応表を作成しておくことで実現可能である。例えば、車載判断部１０５により運行中の車両１００内において人が刃物を把持している場合、刃物をしまうように表示する対応を行う旨を決定する。そして、制御の内容を、出力部１０８に渡す。
出力部１０８は、車載制御部１０７が行う車室制御の内容を出力する。具体的には、出力部１０８は、車室制御の内容が注意喚起であれば、注意喚起を表示すること、及び注意喚起の音声データを再生することの少なくとも何れかを行う。また、出力部１０８は、車室制御の内容が対応の場合も同様に、対応の指示を表示すること、及び対応の指示の音声データを再生することの少なくとも何れかを行う。
車内監視支援装置２０は、本開示の実施形態に係る車内監視システムにおける車両が自動運転を行うための走行支援を行う。図４及び図５を参照して、本開示の実施形態に係る車内監視支援装置２０の構成について説明する。図４は、本実施形態に係る車内監視支援装置２０のハードウェア構成を示すブロック図である。図４に示すように、車内監視支援装置２０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１８を有する。各構成は、バス１９を介して相互に通信可能に接続されている。なお、車載器１０と同様のハードウェアについては説明を省略する。車内監視支援装置２０では、ＲＯＭ１２又はストレージ１４には、車内監視支援処理を実行するための車内監視支援プログラムが記憶されている。
通信インタフェース１８は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
次に、車内監視支援装置２０の機能構成について説明する。図５は、車内監視支援装置２０の機能構成の例を示すブロック図である。図５に示すように、本実施形態に係る車内監視支援装置２０は、遠隔通信部２０１と、遠隔認知部２０２と、遠隔判断部２０３と、遠隔検証部２０４と、支援制御部２０５と、出力部２０６とを備えて構成される。
遠隔通信部２０１は、車載器１０からデータを受信する。具体的には、遠隔通信部２０１は、車載通信部１０６から送信された、センサ情報、認知結果、及び判断結果の少なくとも何れかを含むデータを受信する。遠隔通信部２０１は、センサ情報のみを受信した場合、当該センサ情報を、遠隔認知部２０２及び支援制御部２０５に渡す。また、遠隔通信部２０１は、センサ情報及び認知結果を受信した場合、当該センサ情報及び認知結果を、遠隔判断部２０３にわたす。また、遠隔通信部２０１は、センサ情報、認知結果及び判断結果を受信した場合、当該センサ情報及び当該認知結果を遠隔検証部２０４に渡す。
また、遠隔通信部２０１は、遠隔判断部２０３による判断結果を、車載器１０に送信する。
遠隔認知部２０２は、遠隔通信部２０１が受信したセンサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、遠隔認知部２０２は、車載認知部１０４と同様に、対象物を認知する。このとき、遠隔認知部２０２は、車載認知部１０４で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知することができる。例えば、車載認知部１０４よりも映像内の各画像の解像度を上げて、対象物を認知すればよい。すなわち、遠隔認知部２０２は、車載認知部１０４よりもエネルギー消費に制限が無いため、より高性能な認知手段を用いることで、車載器１０を適切に支援可能となるのである。他に、より高いサンプリングレート、より多い画像、より多種類のセンサ情報や車載認知部１０４が用いるより高品質なセンサ情報により、認知を行うようにしてもよい。なお、認知に限らず、下記の判断・検証においても、車載器１０における判断・検証よりも高性能な手法を用いてもよい。そして、遠隔認知部２０２は、認知結果を、遠隔判断部２０３に渡す。
遠隔判断部２０３は、車載認知部１０４による認知結果又は遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。具体的には、遠隔判断部２０３は、遠隔通信部２０１が受信した認知結果又は遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況が平常又は非常であると判断する。遠隔判断部２０３の判断は、車載判断部１０５と同様である。そして、遠隔判断部２０３は、判断結果が平常である場合、判断結果を、遠隔通信部２０１及び支援制御部２０５に渡す。また、遠隔判断部２０３は、判断結果が非常でない場合、認知結果及び判断結果を遠隔検証部２０４に渡す。
遠隔検証部２０４は、遠隔判断部２０３の判断結果が非常である場合、遠隔認知部２０２の認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。
具体的には、遠隔検証部２０４は、センサ情報と認知結果とに基づいて、車両１００内部の状況が、軽微及び重大の何れかであるかを判断する。遠隔検証部２０４は、映像の各画像と、認知結果とから、車両１００内部の人の行動を推定する。検証方法は、例えば上記参考文献２により姿勢認識を行い、参考文献３の手法を用いることで推定することができる。
［参考文献３］鈴木智之、青木義満、“行動遷移映像における姿勢特徴を中心とする学習を用いた時系列行動認識”、精密工学会誌 ８３巻１２号、２０１７、ｐｐ．１１５６−１１６５。
次に、遠隔検証部２０４は、推定した行動が、軽微及び重大の何れかであるか判断する。遠隔検証部２０４は、例えば、予め重大な行動をリスト化しておき、リストに含まれる行動に推定した行動が該当するか否かにより、軽微であるか重大であるかを判断することができる。この判断方法に限定されず、遠隔検証部２０４は、他の判断方法を用いることができる。そして、遠隔検証部２０４は、検証結果を、支援制御部２０５に渡す。
また、遠隔検証部２０４は、車載判断部１０５の判断結果が非常である場合も同様に、車載認知部１０４の認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。そして、遠隔検証部２０４は、検証結果を、支援制御部２０５に渡す。
支援制御部２０５は、遠隔検証部２０４による検証結果に応じて、車両１００に対する支援を行うための支援情報を生成する。具体的には、支援制御部２０５は、検証結果と車両１００内部の人の行動とに応じた支援情報を生成する。例えば、検証結果が重大であり、かつ、人の行動が「倒れている」場合、「係員を呼び出す」という支援情報を生成する。また、例えば、検証結果が軽微である場合には、支援制御部２０５は、支援情報を生成しない。軽微である場合、車載器１０による車載制御部１０７による制御に任せればよいためである。そして、支援制御部２０５は、生成した支援情報を、出力部２０６に渡す。また、支援制御部２０５は、検証に用いたデータ及び検証結果を、状況管理データベース（図示しない）に格納する。
また、支援制御部２０５は、受信したセンサ情報及び遠隔認知部２０２による認知結果、又は受信した認知結果と、判断結果とを、状況管理データベースに格納する。状況管理データベースに格納された各種データは、解析精度の向上や人による確認に用いることができる。
出力部２０６は、支援制御部２０５により生成された支援情報を出力する。例えば、「係員を呼び出す」という支援情報の場合、係員を呼び出す（係員に通知する）ための装置（図示しない）に当該支援情報を渡す。
＜本開示の第１実施形態に係る車内監視システムの作用＞
図６は、本開示の第１実施形態に係る車載器１０の車内監視処理ルーチンを示すフローチャートである。処理の開始のタイミングは定期でも任意のタイミングでもよい。
ステップＳ１００において、エネルギー取得部１０１は、エネルギー計測装置から、車載器１０が用いるエネルギーの残量であるエネルギー残量を取得する。
ステップＳ１０１において、車載取得部１０２は、車両１００内部の対象物に関するセンサ情報を取得する。
ステップＳ１０２において、移行判断部１０３は、エネルギー残量が第１閾値よりも低いか否かを判定する。
エネルギー残量が第１閾値よりも低くない場合（上記ステップＳ１０２のＮＯ）、ステップＳ１０３において、車載認知部１０４は、上記ステップＳ１０１により取得したセンサ情報に基づいて、車両１００内部の対象物を認知する。
ステップＳ１０４において、移行判断部１０３は、エネルギー残量が第２閾値よりも低いか否かを判定する。
エネルギー残量が第２閾値よりも低くない場合（上記ステップＳ１０４のＮＯ）ステップＳ１０５において、車載判断部１０５は、上記ステップＳ１０３により得られた認知結果に基づいて、車両１００内部の状況を判断する。
ステップＳ１０６において、車載制御部１０７は、上記ステップＳ１０５により得られた判断結果が非常であるか否かを判定する。
判断結果が非常でない場合（上記ステップＳ１０６のＮＯ）、処理を終了する。一方、判断結果が非常である場合（上記ステップＳ１０６のＹＥＳ）、ステップＳ１０７において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報、上記ステップＳ１０３により得られた認知結果、及び上記ステップＳ１０５により得られた判断結果を、車内監視支援装置２０に送信する。
ステップＳ１０８において、車載制御部１０７は、上記ステップＳ１０５により得られた判断結果に基づいて、車両１００内部に対する制御を行う。
ステップＳ１０９において、出力部１０８は、上記ステップＳ１０８による車載制御部１０７が行う車室制御の内容を出力し、処理を終了する。
一方、エネルギー残量が第１閾値よりも低い場合（上記ステップＳ１０２のＹＥＳ）、ステップＳ１１０において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報を、車内監視支援装置２０に送信する。
また、エネルギー残量が第２閾値よりも低い場合（上記ステップＳ１０４のＹＥＳ）、ステップＳ１１１において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報と、上記ステップＳ１０３により得られた認知結果とを車内監視支援装置２０に送信する。
ステップＳ１１２において、車載通信部１０６は、遠隔判断部２０３による判断結果を受信する。
ステップＳ１１３において、車載制御部１０７は、上記ステップＳ１１２により受信した判断結果が非常であるか否かを判定する。
判断結果が非常である場合（上記ステップＳ１１３のＹＥＳ）、ステップＳ１０８に進む。このとき、ステップＳ１０８において、車載制御部１０７は、上記ステップＳ１１３により得られた判断結果に基づいて、車両１００内部に対する制御を行う。一方、判断結果が非常でない場合（上記ステップＳ１１３のＮＯ）、処理を終了する。
図７は、本開示の第１実施形態に係る車内監視支援装置２０の車内監視支援処理ルーチンを示すフローチャートである。遠隔通信部２０１が車載器１０からデータを受信する度に処理が実行される。
ステップＳ２００において、遠隔通信部２０１は、車載器１０からデータを受信する。
ステップＳ２０１において、遠隔通信部２０１は、受信したデータに判断結果が含まれるか否かを判定する。
判断結果が含まれる場合（上記ステップＳ２０１のＹＥＳ）、ステップＳ２０６に進む。
一方、判断結果が含まれない場合（上記ステップＳ２０１のＮＯ）、ステップＳ２０２において、遠隔通信部２０１は、受信したデータがセンサ情報のみ否かを判定する。
センサ情報のみでない場合（上記ステップＳ２０２のＮＯ）、ステップＳ２０４に進む。
一方、センサ情報のみである場合（上記ステップＳ２０２のＹＥＳ）、ステップＳ２０３において、遠隔認知部２０２は、上記ステップＳ２００により受信したセンサ情報に基づいて、車両１００内部の対象物を認知する。
ステップＳ２０４において、遠隔判断部２０３は、上記ステップＳ２００により受信した認知結果又は上記ステップＳ２０３により得られた認知結果に基づいて、車両１００内部の状況を判断する。
ステップＳ２０５において、遠隔通信部２０１は、上記ステップＳ２０４により得られた判断結果を、車載器１０に送信する。
ステップＳ２０６において、遠隔検証部２０４は、判断結果が非常であるか否かを判定する。
判断結果が非常でない場合（上記ステップＳ２０６のＮＯ）、ステップＳ２０８に進む。一方、判断結果が非常である場合（上記ステップＳ２０６のＹＥＳ）、ステップＳ２０７において、遠隔検証部２０４は、上記ステップＳ２００により受信した認知結果又は上記ステップＳ２０３により得られた認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。
ステップＳ２０８において、支援制御部２０５は、上記ステップＳ２００〜Ｓ２０７により得られたデータに基づいて、支援制御を行い、処理を終了する。
以上説明したように、本開示の第１実施形態に係る車内監視システムによれば、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車両内部の対象物を認知し、認知結果に基づいて、車両内部の状況を判断し、遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車内監視支援装置による車両内部の状況の判断結果を受信し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
また、エネルギー残量が第１閾値よりも低い場合、センサ情報を、車内監視支援装置に送信し、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、認知結果を車内監視支援装置に送信させることにより、エネルギー残量に応じたエネルギーの消費を抑えつつ、精度よく車内監視を行うことができる。
また、車内監視支援装置が、車載器１０で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知することにより、車載器１０ではエネルギー消費を抑えつつ、精度よく車内監視を行うことができる。
＜他のシーンの例＞
上述の実施形態では、現在のシーンが行中平常と運行中非常との場合を例に説明したが、これに限定されるものではない。何れかの場合のみで実装してもよいし、他のシーンの場合のみを実装しても、他のシーンを組み合わせて実装してもよい。他のシーンの場合として、シーンが停車中のみの場合を説明する。なお、上記車内監視システム１と同様の構成であり、機能ブロックの処理の内容がシーンに応じて異なることになるため、同一の符号を用いて説明する。特に言及しない点については、上記実施形態と同様の構成である。
シーンが停車中の場合、例えば、車両１００に人が乗降するような場合が考えられる。この場合、傘等の忘れ物を対象物とする。すなわち、認知では忘れ物を認知し、判断では忘れ物の有無を判断する。
具体的には、車載取得部１０２が取得するセンサ情報は、画像である。車載取得部１０２は、停車直前の画像と、停車中の画像とをカメラから取得する。そして、車載取得部１０２は、停車直前の画像と、停車中の画像とをセンサ情報として、移行判断部１０３に渡す。
移行判断部１０３は、エネルギー残量のレベルがＨｉｇｈである場合、センサ情報を、車載認知部１０４に渡す。一方、移行判断部１０３は、エネルギー残量のレベルがＬｏｗである場合、車載通信部１０６に、センサ情報を渡し、当該センサ情報を車内監視支援装置２０に送信させる。また、移行判断部１０３は、エネルギー残量のレベルがＭｉｄである場合、車載判断部１０５の機能のみを車内監視支援装置２０に任せる。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡すと共に、車載認知部１０４に、センサ情報と認知結果とを、車載通信部１０６に渡すように命じる。すなわち、移行判断部１０３は、車載通信部１０６に、センサ情報と認知結果とを、車内監視支援装置２０に送信させる。
車載認知部１０４は、移行判断部１０３が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、車載認知部１０４は、停車直前の画像と、停車中の画像との背景差分を求める等の手法により、対象物を認知する。そして、車載認知部１０４は、認知結果を、移行判断部１０３により車載通信部１０６に渡すように命じられている場合、車載通信部１０６に渡し、移行判断部１０３により車載通信部１０６に渡すように命じられていない場合、車載判断部１０５に渡す。
車載判断部１０５は、移行判断部１０３が、判断処理について遠隔処理を行わないと判断した場合、車載認知部１０４による認知結果に基づいて、車両１００内部の状況を判断する。具体的には、車載判断部１０５は、認知結果に基づいて、落とし物が重要か否かを判断する。例えば、認知結果に対して、予め取得した重要な落とし物の各々について、当該落とし物の画像との類似度を算出し、類似度が所定値以上であれば、当該落とし物が重要な落とし物であると判断する。重要な落とし物とは、例えば、財布やそしスマートフォン等である。そして、車載判断部１０５は、判断結果を、車載通信部１０６に渡す。
車載通信部１０６は、取得したデータを、車内監視支援装置２０に送信する。
遠隔通信部２０１は、車載器１０からデータを受信する。遠隔通信部２０１は、センサ情報のみを受信した場合、当該センサ情報を、遠隔認知部２０２に渡す。また、遠隔通信部２０１は、センサ情報と認知結果とを受信した場合、センサ情報と認知結果とを遠隔判断部２０３に渡す。また、遠隔通信部２０１は、判断結果を受信した場合、センサ情報と認知結果と判断結果とを支援制御部２０５に渡す。
遠隔認知部２０２及び遠隔判断部２０３は、車載認知部１０４及び車載判断部１０５と同様の処理を行う。車載判断部１０５は、判断結果を、支援制御部２０５に渡す。
支援制御部２０５は、判断結果に基づいて、車両１００に対する支援を行うための支援情報を生成する。具体的には、支援制御部２０５は、判断結果が重大である場合、「車両１００に駆け付ける人員を手配する」という支援情報を生成する。当該人員により、落とし物を素早く預かり、返却の速度を高めることが期待できる。一方、判断結果が重大でない場合、当該落とし物を、落とし物データベース（図示しない）に登録しておく。そして、支援制御部２０５は、支援情報を出力部２０６に渡す。
以上説明したように、車両１００において様々なシーンにおいて、車両を監視する場合に応用することができ、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことが期待できる。
＜本開示の第２実施形態に係る車内監視システムの構成＞
次に、第２実施形態に係る車内監視システム２の構成について説明する。なお、第１実施形態に係る車内監視システム１と同様の構成については、同一の符号を付して詳細な説明は省略する。第１実施形態では、車内監視支援装置２０に送信するデータにより、車内監視支援装置２０に任せる処理を決定した。第２実施形態では、車載器３０側で車内監視支援装置４０に任せる処理を決定する場合について説明する。
図３に示すように、第２実施形態に係る車載器３０は、エネルギー取得部１０１と、車載取得部１０２と、移行判断部１０３と、車載認知部１０４と、車載判断部１０５と、車載通信部１０６と、車載制御部１０７と、出力部１０８とを備えて構成される。
移行判断部１０３は、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置２０に、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための支援要請情報を生成する。また、移行判断部１０３は、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置２０に、遠隔認知部２０２による認知を行わせるための支援要請情報を生成する。そして、移行判断部１０３は、支援要請情報を、車載通信部１０６に渡す。
車載通信部１０６は、支援要請情報及びセンサ情報を、車内監視支援装置２０に送信する。
また、車載通信部１０６は、遠隔認知部２０２による認知結果を受信する。そして、車載通信部１０６は、受信した遠隔認知部２０２による認知結果を、車載判断部１０５に渡す。
車載判断部１０５は、移行判断部１０３が遠隔処理を行うと判断した場合、遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。
第２実施形態に係る車内監視支援装置２０は、遠隔通信部２０１と、遠隔認知部２０２と、遠隔判断部２０３と、遠隔検証部２０４と、支援制御部２０５と、出力部２０６とを備えて構成される。
遠隔通信部２０１は、車載通信部１０６から送信されたセンサ情報及び支援要請情報を受信する。そして、遠隔通信部２０１は、遠隔認知部２０２に、受信した支援要請情報及びセンサ情報を渡す。
遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知を行わせるための情報である場合、認知結果を遠隔通信部２０１に渡す。一方、遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための情報である場合、認知結果を遠隔判断部２０３に渡す。
遠隔通信部２０１は、遠隔認知部２０２による認知結果を、車載器１０に送信する。
＜本開示の第２実施形態に係る車内監視システムの作用＞
図８は、第２実施形態に係る車載器３０の車内監視処理ルーチンを示すフローチャートである。なお、第１実施形態に係る車内監視支援処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。処理の開始のタイミングは定期でも任意のタイミングでもよい。
ステップＳ３００において、移行判断部１０３は、エネルギー残量が第２閾値以下であるか否かを判定する。
エネルギー残量が第２閾値以下でない場合（上記ステップＳ３００のＮＯ）、ステップＳ１０３に進む。一方、エネルギー残量が第２閾値以下である場合（上記ステップＳ３００のＹＥＳ）、ステップＳ３０１において、移行判断部１０３は、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置２０に、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための支援要請情報を生成する。また、移行判断部１０３は、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置２０に、遠隔認知部２０２による認知を行わせるための支援要請情報を生成する。
ステップＳ３０２において、車載通信部１０６は、支援要請情報及びセンサ情報を、車内監視支援装置２０に送信する。
ステップＳ３０３において、車載通信部１０６は、遠隔認知部２０２による認知結果又は遠隔判断部２０３による判断結果を受信する。
ステップＳ３０４において、車載通信部１０６は、認知結果を受信したか否かを判定する。認知結果を受信した場合（上記ステップＳ３０４のＹＥＳ）、車載通信部１０６は、受信した遠隔認知部２０２による認知結果を、車載判断部１０５に渡すし、ステップＳ１０５に進む。この場合、ステップＳ１０５において、車載判断部１０５は、遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。
一方、認知結果を受信していない場合（判断結果を受信した場合）（上記ステップＳ３０４のＮＯ）、車載通信部１０６は、受信した遠隔判断部２０３による判断結果を、車載制御部１０７に渡し、ステップＳ１０６に進む。
図９は、第２実施形態に係る車内監視支援装置４０の車内監視支援処理ルーチンを示すフローチャートである。なお、第１実施形態に係る車内監視支援処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。遠隔通信部２０１が車載器１０からデータを受信する度に処理が実行される。
ステップＳ４００において、遠隔通信部２０１は、車載通信部１０６から送信されたセンサ情報及び支援要請情報を受信する。
ステップＳ４０１において、遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知を行わせるための情報であるか否かを判定する。
遠隔認知部２０２による認知を行わせるための情報でない場合（上記ステップＳ４０１のＮＯ）、ステップＳ２０４に進む。
一方、遠隔認知部２０２による認知を行わせるための情報である場合（上記ステップＳ４０１のＹＥＳ）、ステップＳ４０２において、遠隔通信部２０１は、上記ステップＳ２０３により得られた遠隔認知部２０２の認知結果を、車載器１０に送信する。
以上説明したように、本開示の第２実施形態に係る車内監視システムによれば、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行うと判断した場合、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置に、遠隔認知部による認知及び遠隔判断部による判断を行わせ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置に、遠隔認知部による認知を行わせ、遠隔認知部による認知結果又は遠隔判断部による判断結果を受信し、遠隔認知部による認知結果を受信した場合、遠隔認知部による認知結果に基づいて、車両内部の状況を判断し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記実施形態では、移行判断部１０３は、エネルギー残量のみを用いて遠隔処理を行うか否かを判断したが、これに限定されるものではない。例えば、予め取得した運行計画に基づいたエネルギー補給の見通しも用いて、遠隔処理を行うか否かを判断することができる。具体的には、現在のエネルギー残量のレベルが低い場合であっても、近くのガソリンスタンドや電気充電可能な場所等でエネルギーを補給することができる場合、移行判断部１０３は、遠隔処理を行わないと判断する。また、エネルギー補給には、回生ブレーキ等により得られるエネルギーによる補給も含まれる。例えば、運行計画に、前半が上り坂、後半が下り坂である走行ルートが含まれている場合、下り坂では回生ブレーキを用いたエネルギー補給が見通せる。この場合、移行判断部１０３は、下り坂の直前又は手前では、エネルギー残量が少ない（例えば第１閾値以下）であっても、遠隔処理を行わないと判断する。また、車両１００の運行モード（回送中、乗降中、走行中等）に応じて判断してもよい。また、非常イベント（乗客が車両１００の走行中に移動した、転倒した、異常行動があった等）が発生した場合に、遠隔処理を行うこととしてもよい。この場合、重い演算を外部に委託することにより、より詳細な状況判断をすることができると共に、状況データを車内監視支援装置２０に記録し、他の車両の状況判断に応用することができる。
また、上述の実施形態では、車両１００内部の状況の検証を、車内監視支援装置２０の遠隔検証部２０４のみが行うものとして説明したが、これに限定されるものではない。遠隔検証部２０４の機能を車載器１０に搭載してもよい。この場合、十分なエネルギー残量がある場合には、車載器１０で検証を行い、そうでない場合に車内監視支援装置２０で検証を行う構成とすればよい。
また、上述の第２実施形態では、移行判断部１０３が支援要請情報を生成することとしたが、これに限定されるものではない。例えば、車内監視支援装置２０にエネルギー残量を送信し、車内監視支援装置２０に遠隔移行判断部を設ける構成としてもよい。この場合、遠隔移行判断部が、エネルギー残量が第１閾値よりも低い場合、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、遠隔認知部２０２による認知を行わせる判断を行えばよい。
また、第１実施形態と第２実施形態とに係る車内監視システムを組み合わせた構成とすることもできる。例えば、移行判断部１０３は、エネルギー残量に応じて、車載器で処理する範囲と、車内監視支援装置に処理を任せる範囲とを決定する構成とすればよい。具体的には、エネルギー残量のレベルを４段階に分け、エネルギー残量が最も少ないレベルでは、認知と判断とを車内監視支援装置に任せ、その次のレベルでは、判断のみを車内監視支援装置に任せ、その次のレベルでは認知のみを車内監視支援装置に任せ、エネルギー残量が最も多いレベルでは、車載器が認知及び判断を行う構成とすればよい。なお、この例において、認知のみの場合と判断のみの場合とを、処理負荷に基づくエネルギー消費量に応じて、逆にしてもよい。
また、センサが温度計である場合、温度が所定範囲内か否かで平常・非常を判断することができる。この場合、車載制御部１０７は、非常であれば温度変更を制御する構成とし、出力部１０８は、車両１００に搭載されたエアコン（図示しない）に対して温度変更命令を出力する構成とすればよい。人を車両１００が運搬する場合だけでなく、生鮮食品や冷凍食品、家畜等を自動運転により運搬するトラックにおいても有用である。
また、上述の実施形態では、センサ情報が画像の場合を例に説明したが、これに限定されるものではない。音声を用いる場合、下記参考文献４、参考文献５に記載された手法等により、音声による対象の認知、判断、及び検証を行う構成とすればよい。
［参考文献４］G.Hinton, L.Deng, Y.Dong, G.E.Dahl, A.Mohamed, N.Jaitly, A.Senior, V.Vanhoucke, P.Nguyen, T.N.Sainath and B.Kingsbury, "Deep neural networks for acoustic modeling in speech recognition," IEEE Signal Processing Magazine, Vol.29, No.6, 2012, pp.82-97.
［参考文献５］Proc. the Detection and Classification of Acoustic Scenes and Events 2016 Workshop (DCASE2016), Budapest, Hungary, September 2016, pp.45-49.
また、上述の実施形態では、移行判断部１０３は、エネルギー残量に応じて遠隔処理を行うか否かを判断したが、これに限定されるものではない。エネルギー残量の他に、予め取得した運行計画に基づいたエネルギー補給の見通し、乗客の属性、自動運転による運行の難易度等、様々な情報を総合判断して、遠隔処理を行うか否かを判断する構成としてもよい。エネルギー補給の見通しとは、車両１００が運行計画においてエネルギー補給可能であるか否かの情報である。
また、遠隔処理を行う基準は、エネルギー残量によらない場合も可能である。例えば、常に車載器１０で行うのではなく、任意のタイミングでは、車内監視支援装置２０により高性能な監視処理を行い、他のタイミングではエネルギー消費の低い車載器１０での監視処理を行うこととする構成とすることができる。
また、車載器１０が、センサ情報、認知結果及び判断結果を随時車内監視支援装置２０に送信し、車内監視支援装置２０が、状況管理データベースにセンサ情報、認知結果及び判断結果を登録する構成としてもよい。
なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
車両に搭載された車内監視装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、
車両内部の対象物に関するセンサ情報を取得し、
前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
認知結果に基づいて、前記車両内部の状況を判断し、
遠隔処理を行うと判断した場合、前記センサ情報を、前記認知、及び前記判断と同様の処理を行う車内監視支援装置に送信し、
前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
前記判断結果に基づいて、前記車両内部に対する制御を行う
ように構成されている車内監視装置。
（付記項２）
コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、
車両内部の対象物に関するセンサ情報を取得し、
前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
認知結果に基づいて、前記車両内部の状況を判断し、
遠隔処理を行うと判断した場合、前記センサ情報を、前記認知、及び前記判断と同様の処理を行う車内監視支援装置に送信し、
前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
前記判断結果に基づいて、前記車両内部に対する制御を行う
ことをコンピュータに実行させる車内監視プログラムを記憶した非一時的記憶媒体。
（付記項３）
遠隔通信部と、遠隔認知部と、遠隔判断部とを含み、
前記遠隔通信部は、車両内部の対象物に関するセンサ情報を、車両内部の監視を行う車内監視装置から受信し、
前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車内監視装置に送信する
車内監視支援装置。
（付記項４）
車両に搭載された車載器のエネルギー取得部が、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、
前記車載器の車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、
前記車載器の移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
前記車載器の車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
前記車載器の車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
前記車載器の車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、車内監視支援装置に送信し、
前記車内監視支援装置の遠隔通信部が、前記センサ情報を受信し、
前記車内監視支援装置の遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
前記車内監視支援装置の遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
前記遠隔通信部が、前記遠隔判断部の判断結果を、前記車載器に送信し、
前記車載通信部が、前記遠隔判断部の判断結果を受信し、
前記車載器の車載制御部が、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行う
車内監視方法。
１ 車内監視システム
１０、３０ 車載器
１４ ストレージ
１５ 入力部
１６ 表示部
１７ アンテナ
１８ 通信インタフェース
１９ バス
２０、４０ 車内監視支援装置
６０ 基地局
７０ ネットワーク
１００ 車両
１０１ エネルギー取得部
１０２ 車載取得部
１０３ 移行判断部
１０４ 車載認知部
１０５ 車載判断部
１０６ 車載通信部
１０７ 車載制御部
１０８ 出力部
２０１ 遠隔通信部
２０２ 遠隔認知部
２０３ 遠隔判断部
２０４ 遠隔検証部
２０５ 支援制御部
２０６ 出力部

Claims (11)

  1. 車両に搭載された車載器（１０、３０）と、車内監視支援装置（２０、４０）とを含み、
    前記車載器は、エネルギー取得部（１０１）と、車載取得部（１０２）と、移行判断部（１０３）と、車載認知部（１０４）と、車載判断部（１０５）と、車載通信部（１０６）と、車載制御部（１０７）とを含み、
    前記車内監視支援装置は、遠隔通信部（２０１）と、遠隔認知部（２０２）と、遠隔判断部（２０３）とを含み、
    前記エネルギー取得部は、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、
    前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、
    前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車内監視支援装置に送信し、
    前記遠隔通信部は、前記センサ情報を受信し、
    前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車載器に送信し、
    前記車載通信部は、前記遠隔判断部の判断結果を受信し、
    前記車載制御部は、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行う
    車内監視システム。
  2. 前記車載認知部は、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    前記車載判断部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記車載認知部による認知結果を、前記車内監視支援装置に送信し、
    前記遠隔通信部は、前記認知結果を受信し、
    前記遠隔判断部は、前記遠隔通信部が受信した前記認知結果に基づいて、前記車両内部の状況を判断する
    請求項１記載の車内監視システム。
  3. 前記移行判断部は、前記エネルギー残量が第１閾値よりも低い場合、前記車載通信部に、前記センサ情報を、前記車内監視支援装置に送信させ、前記エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、前記車載通信部に、前記車載認知部による認知結果を、前記車内監視支援装置に送信させる
    請求項２記載の車内監視システム。
  4. 前記遠隔通信部は、前記遠隔認知部による認知結果を、前記車載器に送信し、
    前記車載通信部は、前記遠隔認知部による認知結果を受信し、
    前記車載判断部は、前記移行判断部が遠隔処理を行うと判断した場合、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断する
    請求項１又は請求項２記載の車内監視システム。
  5. 前記移行判断部は、前記エネルギー残量が第１閾値よりも低い場合、前記車内監視支援装置に、前記遠隔認知部による認知及び前記遠隔判断部による判断を行わせ、前記エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、前記車内監視支援装置に、前記遠隔認知部による認知を行わせる
    請求項４記載の車内監視システム。
  6. 前記移行判断部は、前記エネルギー残量と、予め取得した運行計画に基づいたエネルギー補給の見通しとに応じて、遠隔処理を行うか否かを判断する
    請求項１〜請求項５の何れか１項記載の車内監視システム。
  7. 前記遠隔認知部は、前記車載認知部で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知する
    請求項１〜請求項６の何れか１項記載の車内監視システム。
  8. 前記車内監視支援装置は、遠隔検証部（２０４）と、支援制御部（２０５）とを更に含み、
    前記遠隔判断部は、前記車載認知部による認知結果又は前記遠隔認知部による認知結果に基づいて、前記車両内部の状況が平常又は非常であると判断し、
    前記遠隔検証部は、前記遠隔判断部の判断結果が非常である場合、前記遠隔認知部の認知結果に基づいて、前記車両内部の状況の非常の程度を検証し、
    前記支援制御部は、前記遠隔検証部による検証結果に応じて、前記車両に対する支援を行うための支援情報を生成する
    請求項１〜請求項６の何れか１項記載の車内監視システム。
  9. 前記車載制御部は、前記車載判断部又は前記遠隔判断部の判断結果に基づいて、注意喚起、対応指示、及び温度変更の少なくとも１つを行う
    請求項１〜請求項８の何れか１項記載の車内監視システム。
  10. 車両に搭載された車内監視装置であって、
    エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、
    前記エネルギー取得部は、前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、
    前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、
    前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、
    前記車載通信部は、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
    前記車載制御部は、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行う
    車内監視装置。
  11. エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、
    車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、
    移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、
    前記車載通信部が、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
    車載制御部が、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行う
    ことを含む処理をコンピュータに実行させるための車内監視プログラム。
JP2019219456A 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム Active JP7188369B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019219456A JP7188369B2 (ja) 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム
CN202080084452.6A CN114762017B (zh) 2019-12-04 2020-11-27 车内监视系统、车内监视装置以及存储介质
PCT/JP2020/044235 WO2021112005A1 (ja) 2019-12-04 2020-11-27 車内監視システム、車内監視装置、及び車内監視プログラム
US17/804,973 US20220289129A1 (en) 2019-12-04 2022-06-01 Vehicle-interior monitoring system, vehicle-interior monitoring apparatus, and non-transitory computer-readable storage medium having vehicle-interior monitoring program stored thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019219456A JP7188369B2 (ja) 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム

Publications (2)

Publication Number Publication Date
JP2021089561A true JP2021089561A (ja) 2021-06-10
JP7188369B2 JP7188369B2 (ja) 2022-12-13

Family

ID=76220218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019219456A Active JP7188369B2 (ja) 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム

Country Status (4)

Country Link
US (1) US20220289129A1 (ja)
JP (1) JP7188369B2 (ja)
CN (1) CN114762017B (ja)
WO (1) WO2021112005A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009161093A (ja) * 2008-01-09 2009-07-23 Nec Access Technica Ltd 車両セキュリティ遠隔監視システム
BR112015004301A2 (pt) * 2012-08-29 2017-07-04 Honda Access Kk sistema para monitorar a bateria de um veículo
JP6089923B2 (ja) * 2013-04-24 2017-03-08 株式会社デンソー 運転支援ユニット、運転支援装置、センサユニット、及び携帯端末
US20150369872A1 (en) * 2014-06-19 2015-12-24 Ford Global Technologies, Llc Distance to Empty Prediction with Long Term Distance Compensation
JP6835306B2 (ja) * 2016-04-14 2021-02-24 株式会社ユピテル 装置、車載機器およびシステム
CN107305372B (zh) * 2016-04-25 2020-06-19 岳秀兰 云计算网络架构的远程监控的电动汽车能源监控和补给网
JP6551332B2 (ja) * 2016-07-26 2019-07-31 トヨタ自動車株式会社 車両の走行可能距離算出システムおよび走行可能距離算出方法
JP2019131096A (ja) * 2018-02-01 2019-08-08 三菱電機株式会社 車両制御支援システムおよび車両制御支援装置
CN109712387B (zh) * 2018-09-26 2024-04-05 姜洪明 网约车、出租车的乘客和司机的安全保护系统
US20210191398A1 (en) * 2019-12-20 2021-06-24 Uber Technologies Inc. System and Methods for Automated Detection of Vehicle Cabin Events for Triggering Remote Operator Assistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Also Published As

Publication number Publication date
JP7188369B2 (ja) 2022-12-13
CN114762017B (zh) 2024-02-27
US20220289129A1 (en) 2022-09-15
WO2021112005A1 (ja) 2021-06-10
CN114762017A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US11383663B2 (en) Vehicle control method, vehicle control system, vehicle control device, passenger watching-over method, passenger watching-over system, and passenger watching-over device
RU2725681C9 (ru) Обнаружение объектов внутри транспортного средства в связи с обслуживанием
US11145043B2 (en) Using unmanned aerial vehicles to inspect autonomous vehicles
CN110997418A (zh) 车辆占用管理系统和方法
US10474423B2 (en) Systems and methods for soundscape selection in autonomous vehicles
WO2021189641A1 (zh) 遗留对象检测
WO2018016248A1 (ja) 情報推定システム、情報推定方法及びプログラム
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
US20220305988A1 (en) Passenger Protection Method and Apparatus
US11577688B2 (en) Smart window apparatus, systems, and related methods for use with vehicles
US20200189610A1 (en) Control device for vehicle and occupant transportation system
JP2019160242A (ja) 通信装置およびスケジュール作成方法
JP2024513294A (ja) 置き忘れられたモバイルデバイスの検出および管理
JP2022104907A (ja) 車両内の乗員を監視し、乗員の活動を検出するためのカメラシステム
EP4180297A1 (en) Automatic driving control method and apparatus
US10609202B2 (en) System and method for determining a safe return to a vehicle
CN106394166A (zh) 在电气化车辆充电期间可选择的车厢调节
WO2021112005A1 (ja) 車内監視システム、車内監視装置、及び車内監視プログラム
JP6619316B2 (ja) 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体
US11094026B2 (en) System and method for determining a safe return to a vehicle
US20230401979A1 (en) Driving diagnostic device, driving diagnostic system, machine learning device and generation method of learned model
JP7439695B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
CN110705446B (zh) 用于辅助乘车的方法及装置
US11830343B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP7473016B2 (ja) システム、情報処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R151 Written notification of patent or utility model registration

Ref document number: 7188369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151